CHOVANCOVÁ, K. Počítač jako inteligentní spoluhráč ve slovně-asociační hře Krycí jména [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2024.
Celkově hodnotím práci studentky z hlediska aktivity stupněm C - dobře. Kvůli zdravotním problémům se jí nepodařilo navázat na výborně započatou práci v prvním semestru a výsledky v letním semestru nenaplnily zcela očekávání.
| Kritérium | Známka | Body | Slovní hodnocení |
|---|---|---|---|
| Informace k zadání | Zadání navazovalo na předchozí absolventské práce, vyžadovalo aktualizaci stávajících korpusových dat a začlenění nových metod pro generování a hádání nápověd. Bohužel kvůli studentčiným zdravotním problémům nebyly počáteční výborné výsledky dotaženy do plně uspokojivého stavu. Naopak ale byla práce úspěšně rozšířena o vyhodnocování psychologicko-neurologických experimentů s asociacemi slov, jimiž se zabývají kolegové z Psychologického ústavu AVČR. | ||
| Práce s literaturou | Studentka byla při získávání a využívání studijních materiálů aktivní, bohužel text práce, vznikající až v rámci druhého semestru, nezpracovává veškeré shromážděné relevantní zdroje v plné míře. | ||
| Aktivita během řešení, konzultace, komunikace | Jak již bylo konstatováno, aktivita během řešení byla nevyvážená. Přestože celkový čas, který studentka práci věnovala, dokonce mírně překročil domluvený rozsah, zdravotní problémy vedly k tomu, že se ve velké části letního semestru studentka práci nemohla dostatečně věnovat a konzultace probíhaly spíše sporadicky. | ||
| Aktivita při dokončování | Práce byla dokončována spíše na poslední chvíli, neměl jsem možnost konzultovat definitivní podobu technické zprávy. | ||
| Publikační činnost, ocenění | - |
Textová část práce má několik nedostatků. Bylo provedeno větší množství analýz, ale pro čtenáře je občas těžké pochopit jejich relevanci. Implementované rozšíření webové aplikace pro hraní hry Krycí jména bylo vyhodnoceno pouze částečně a zdá se, že s tímto rozšířením byly zaneseny do systému chyby. Druhou aplikaci, která slouží jako pomocník při tvorbě testů sémantické znalosti a kontroly, hodnotím pozitivně.
| Kritérium | Známka | Body | Slovní hodnocení |
|---|---|---|---|
| Náročnost zadání | |||
| Rozsah splnění požadavků zadání | Bod číslo 3 je splněn částečně. Práce by se měla také zaměřit na vyhodnocení hadače. U bodu číslo 4 práce vůbec neřeší jazykově nezávislé řešení. Navíc je v práci uvedena analýza studie STST II a byl vytvořen nástroj pro tvorbu testů sémantické znalosti a kontroly. Bohužel však práce dostatečně nediskutuje relevantnost k původnímu zadání a tyto dvě části tak působí spíše jako nesouvisející. | ||
| Rozsah technické zprávy | Technická zpráva je v obvyklém rozmezí a všechny části jsou vzhledem k tématu a rozšíření relevantní. | ||
| Prezentační úroveň technické zprávy | 60 | Kapitoly na sebe dobře logicky navazují (až na problém uvedený v rozsahu splnění požadavků zadání ), ovšem text je místy hůře pochopitelný pro čtenáře a obsahuje faktické chyby. Autorka například zaměňuje kosinovou podobnost a vzdálenost, u rovnice 4.8 chybí označení pravděpodobnosti, nebo například v posledním odstavci v sekci Transformátory a velké jazykové modely text naznačuje, že LLM nepoužívají vektorové reprezentace slov. | |
| Formální úprava technické zprávy | 70 | Text obsahuje větší množství překlepů. Objevuje se zdvojování slov a vynechávání mezer mezi slovy. Některé rovnice nemají dobře vysázené dolní indexy. Obrázky a tabulky nejsou odkazovány z text. Často nejsou citace odděleny od předešlého slova mezerou. Poznámky pod čarou sloužící jako odkazy na zdroj často neobsahují vysázenou adresu zdroje a jsou tedy použitelné pouze v elektronické verzi, kdy je odkaz funkční (například na straně 26). | |
| Práce s literaturou | 55 | Text obsahuje 27 zdrojů, které jsou relevantní vzhledem k tématu práce. Místy však citace chybí či není jasný zdroj odkud jsou čerpány data. Jako například u studie STST II či KKorpusu. Za nejproblematičtější považuji, že autorka nedostatečně odlišuje svůj přínos od předešlých prací. Například u popisu DETECT skóre, dále například v závěru je napsáno, že v práci byl implementován systém pro hraní Krycích jmen, přestože z předešlého textu vyplývá, že byl převzat s několika úpravami. | |
| Realizační výstup | 60 | Za realizační výstupy považuji natrénované modely, přípravu dat pro tyto modely, webovou aplikace k tvorbě testů sémantické znalosti a kontroly a popsané experimenty a analýzy. Vynechávám webové rozhraní pro hraní hry Krycí jména , protože bylo převzato. Autorka rozšířila původní řešení o metodu DETECT a vyhodnotila úspěšnost této metody v roli hlavního špióna. Dále provedla několik dalších úprav jako změnu kontroly slov neporušujících pravidla hry. Ovšem tato úprava měla zřejmě za následek přílišnou relaxaci pravidel a při mém testování jsem dostával několik nápověd porušujících pravidla hry. Také došlo k znečištění slovníku, což mělo za následek, že jsem dostal jako nápovědu slovo tvořené arabskými znaky. Navíc mimo zadání byla provedena analýza studie STST II, ale její relevance k zadání není dostatečně diskutována a je tedy těžké zhodnotit závěry z této analýzy. Ve svém hodnocení beru i pozitivně v úvahu velké množství vynaložené práce na předzpracování dat. | |
| Využitelnost výsledků | Vytvořený nástroj pro tvorbu testů sémantické znalosti a kontroly by mohl být využit při tvorbě datových sad. |
eVSKP id 154711