SABOL, F. Aspektově orientovaná analýza postojů z uživatelských recenzí počítačových her [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2023.
Práci po stránce aktivity studenta, naplnění zadání i spokojenosti s celkovým výsledkem hodnotím jako silně nadprůměrnou. František Sabol zpracoval rozsáhlou datovou sadu, nad rámec zadání vytvořil velmi kvalitní uživatelské rozhraní a celkově realizoval systém, který snese srovnání s komerčně využívanými nástroji pro analýzu postojů.
| Kritérium | Známka | Body | Slovní hodnocení |
|---|---|---|---|
| Informace k zadání | Zadání vyžadovalo nastudování moderních metod zpracování přirozeného jazyka a realizaci systému, který bude schopen rozpoznávat aspekty recenzí a klasifikovat postoje uživatelů. Student se této práce zhostil výborně, nad rámec zadání vytvořil velmi zdařilé uživatelské rozhraní a celkový výsledný systém může reálně sloužit pro marketingové analýzy v oblasti počítačových her. | ||
| Práce s literaturou | Student aktivně získával a využíval řadu relevantních studijních materiálů, které samostatně zpracoval do velmi zdařilého přehledu poznání v oblasti aspektové analýzy postojů. | ||
| Aktivita během řešení, konzultace, komunikace | Aktivita studenta v obou semestrech byla příkladná, pravidelně konzultoval postup řešení, dodržoval veškeré termíny a na konzultace byl vzorně připraven. | ||
| Aktivita při dokončování | Text technické zprávy byl dokončen v dostečném předstihu, měl jsem možnost průběžně konzultovat i jeho průběžné verze, student vždy rychle zapracoval moje připomínky a připravil aktualizace. | ||
| Publikační činnost, ocenění | - |
Student vytvořil funkční systém pro stahování uživatelských recenzí, extrakci aspektu a sentimentu a vizualizaci výsledků ve webovém uživatelském rozhraní. Technická zpráva se dobře četla, ale obsahovala výše uvedené nedostatky. Z těchto důvodů navrhuji hodnocení stupněm C (79 bodů).
| Kritérium | Známka | Body | Slovní hodnocení |
|---|---|---|---|
| Náročnost zadání | |||
| Rozsah splnění požadavků zadání | Student splnil zadání, navíc implementoval uživatelské rozhraní a modul pro agregaci dat z webu. | ||
| Rozsah technické zprávy | Rozsah technické zprávy je v obvyklém rozmezí a všechny části technické zprávy jsou skutečně nezbytné. | ||
| Prezentační úroveň technické zprávy | 81 | Technická zpráva se mi dobře četla. Výtku bych měl k poznámkám pod čarou, které bohužel obsahují jen odkazy URL bez dalšího vysvětlení či slovního popisu. Zvláště to vadí v případech, kdy taková poznámka pod čarou je u neznámého pojmu. | |
| Formální úprava technické zprávy | 80 | Typografická stránka práce se mi zdá být v pořádku. Vizuálně jsem pouze dvakrát narazil na řádek končící jednopísmennou předložkou. (Pravděpodobně student po úpravách zapomněl znovu použít nástroj vlna .) Dvakrát jsem narazil na jiné odsazení odstavce. Jazykovou správnost práce nedokáži posoudit, jelikož je psána ve slovenském jazyce. | |
| Práce s literaturou | 83 | Výběr studijních pramenů je vyhovující. Student se na použité zdroje většinou vhodně odkazuje. Občas není jasné odkud čerpal definice pojmů (např. na str. 8). Ve třech případech uvedl více než jeden zdroj (str. 10 a 11), přičemž zdroje nejsou od sebe odlišeny a na tyto zdroje se v textu vyskytuje odkaz pouze jednou. | |
| Realizační výstup | 70 | Student vytvořil nástroj na stahování uživatelských recenzí z herních webů. Připravil datovou sadu ruční extrakcí čtveřic aspekt, kategorie aspektu, názorový výraz a sentiment z přibližně tisíce uživatelských recenzí. Pomocí ní doladil model mT5-base, který používá k extrakci zmíněných čtveřic z dalších uživatelských recenzí videoher. Dále student vytvořil webové uživatelské rozhraní, pomocí kterého vizualizuje výsledek extrakce. Tento systém je funkční, ale zdrojový kód téměř neobsahuje komentáře. Uživatelské rozhraní neustále vytěžuje disk i procesor. Má-li hra více než deset tisíc recenzí, připravení vizualizace trvá kolem pěti sekund. Negativně hodnotím nízký počet účastníků testování uživatelského rozhraní (bylo jich pouze pět). Dle cílů a výsledků testování (str. 46) se domnívám, že nemuselo probíhat formou osobního setkání studenta s účastníkem. Postačil by formulář, který by se účastníkům rozeslal. V uživatelském rozhraní jsem narazil na chybu, kdy při přepnutí na kategorii price (cena) se nezmění word cloud (oblak slov). Pro tu samou kategorii schází i graf pozitivních, negativních a neutrálních uživatelských recenzí. U těchto grafů jsem také narazil na případ, kdy se překrývají popisy u osy X. Student v technické zprávě vyzdvihuje možnost využití grafu pozitivních, negativních a neutrálních uživatelských recenzí k detekci anomálií a trendu. Chybí mi ale možnost zobrazit recenze uživatelů v intervalu, který je takto zajímavý. Dále mě znepokojila místa (např. interval o délce devět měsíců) uprostřed grafu, která asi nemají vyhodnocené recenze (např. je tam uvedeno „Total: 37; Processed: 0“). V technické zprávě je podobný případ na straně 40. Vyhodnocení klasifikace pro jednotlivé třídy kategorie aspektu a sentimentu uvedené v tabulce 5.1 (str. 43) ukazuje nevyváženou validační sadu, kde např. kategorie aspektu Komunita má pouze dva vzorky. | |
| Využitelnost výsledků | Student ručně připravil datovou sadu z reálných dat čítající přes tisíc uživatelských recenzí, kterou je možné dále rozšířit. |
eVSKP id 140744