ZÁDRAPA, J. Aplikace pro detekci Fake News [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2024.
Při celkovém hodnocení nejvíce zohledňuji množství a kvalitu odvedené práce. Student při řešení práce postupoval systematicky a velmi dobře si poradil s technickými překážkami. Práce byla po celou dobu pravidelně konzultována, kvalita textu je na velmi dobré úrovni, výsledné řešení je povedené. Pozitivně hodnotím i zpracování v angličtině a účast na Excel@FIT.
| Kritérium | Známka | Body | Slovní hodnocení |
|---|---|---|---|
| Informace k zadání | Jedná se o diplomovou práci s výzkumným přesahem. Cílem bylo ověřit schopnosti jazykových modelů detekovat manipulační techniky používané při tvorbě fake news. Vhodné modely pak měly být použity při implementaci detekčního nástroje. Práce je složitějšího charakteru, protože obsahuje množství na sebe navazujících fází. Student splnil všechny body zadání ve velmi dobré kvalitě. | ||
| Práce s literaturou | Student aktivně vyhledával relevantní dostupnou literaturu a vhodně ji začlenil do své práce. | ||
| Aktivita během řešení, konzultace, komunikace | K aktivitě studenta nemám jedinou výtku. Pravidelně se účastnil konzultací k práci, na které chodil připraven. Sám přicházel s nápady, jak práci dále posunout a výborně je komunikoval. Výsledky byly tvořeny průběžně. Student měl vědecký a systematický přístup. | ||
| Aktivita při dokončování | Textová část práce byla dokončena s více než měsíčním předstihem. Student obsah práce konzultoval průběžně a její definitivní obsah mi byl zaslán k připomínkování v dostatečném předstihu. Všechny mé připomínky k práci byly zapracovány. | ||
| Publikační činnost, ocenění | Student se zúčastnil Excel@FIT 2024. |
Študent úspešne naštudoval problematiku manipulačných techník v texte a vytvoril desktopovú aplikáciu a rozšírenie webového prehliadača, ktoré využívajú jazykové modely pre detekciu Fake News. Dosiahnuté výsledky sú porovnateľné s existujúcimi riešeniami a využiteľné v praxi.
| Kritérium | Známka | Body | Slovní hodnocení |
|---|---|---|---|
| Náročnost zadání | Pre splnenie zadania sa musel študent zoznámiť s problematikou Fake News, dezinformácií a manipulačných techník. Následne bolo nutné zoznámiť sa s jazykovými modelmi vhodnými pre ich detekciu (napr. BERT), natrénovať a vyhodnotiť úspešnosť daných modelov na príkladoch z praxe. | ||
| Rozsah splnění požadavků zadání | Body zadania boli splnené v plnom rozsahu. Študent úspešne zvolil sadu techník využívaných Fake News vhodných k detekcii. Následne natrénoval a porovnal detekčné modely i s existujúcimi nástrojmi. Experimentálne boli overené predpoklady z návrhu a študent diskutoval možné vylepšenia nástroja do budúcna. Kladne hodnotím zapojenie študenta pri príprave datasetu, ktorý bolo potrebné pre danú prácu značne rozšíriť. Nad rámec zadania boli taktiež vytvorené dve verzie nástroja využiteľného pre detekciu Fake News - desktopovú aplikáciu a rozšírenie webového prehliadača. | ||
| Rozsah technické zprávy | Podľa aplikácie https://app.fit.vut.cz/normostrany , vyvinutej pre fakultné využitie, má práca 90 normostrán. Tým dosahuje obvyklého rozsahu diplomovej práce. | ||
| Prezentační úroveň technické zprávy | 80 | Text práce je napísaný zrozumiteľne a jednotlivé kapitoly na seba logicky nadväzujú. V úvode práce študent popisuje motiváciu a štruktúru textu. Druhá kapitola diskutuje problematiku Fake News a jednotlivé manipulačné techniky. Výhradu mám k sekcii 2.2 Motivation for this thesis, ktorá nie je v danej kapitole vhodná a jej obsah bol obsiahnutý už v úvode práce. Tretia kapitola rozoberá spracovanie prirodzeného jazyka a jazykové modely. Kapitola by benefitovala z hlbšej technickej analýzi a odborného popisu jednotlivých modelov a konceptov NLP. V kapitole 4 sú analyzované jednotlivé nástroje, ktoré detekciu Fake News umožňujú. Kapitola by mala byť rozdelená na dve časti, nástroje vhodné pre český text a iné alternatívy, napr. zahraničné texty. Pri aktuálnom členení textu nie je sekcia 4.2 Others vhodne vyčlenená, pretože existujú i iné sekcie danej kapitoly, ktoré popisujú dodatočné nástroje (4.3). Výhrady mám ku kapitole 5 Designing a fake News Detection application, ktorá má rozsah iba dvoch strán. Táto kapitola by mala využiť znalosti popísané v iných kapitolách tak, aby jednoznačne popísala proces návrhu a dôvody, ktoré viedli k definovaniu finálnych požiadavkov využitia aplikácie i detekčného modelu, ktoré sú prezentované len ako výsledok diskusie. Kapitola 6 popisuje základné vyhodnocovanie jednotlivých modelov a ich využiteľnosti pre finálnu aplikáciu, kapitola 7 popisuje implementačné detaily. Táto kapitola obsahuje prvky návrhu aplikácie, napr. sekcia 7.1 Design, ktoré mali byť popísané už v rámci kapitoly 5. Obrázok 7.1 zobrazujúci štruktúru súborového systému nie je z pohľadu obsahu podstatný. Kapitola 8 podrobne popisuje hlavné testovanie jednotlivých modelov a aplikácie ako celku. Zvyšné kapitoly obsahujú diskusiu k možným nedostatkom a rozšíreniam a zhŕňajú výsledky práce. | |
| Formální úprava technické zprávy | 85 | Práca je napísaná v anglickom jazyku. Po jazykovej stránke je na kvalitnej úrovni, príležitostne sa v texte nachádzajú gramatické chyby, nesprávne využitie čiarok a preklepy. Príkladom je obrázok 3.2. Niektoré obrázky nie sú jednoducho čitateľné kvôli menšiemu textu, napr. obrázok 6.3. Odkazy na kapitoly a sekcie by mali začínať veľkým písmenom. Práca príležitostne obsahuje takmer prázdne strany, ktoré nepôsobia pozitívne z pohľadu prezentácie textu, napr. strana 5 a 22. | |
| Práce s literaturou | 85 | Rozsah využitej literatúry je v dostatočnom rozmedzí. Študent využíva ako odborné články a vedeckú literatúru, tak i technickú dokumentáciu, blogy a verejné príspevky. Príležitostne sa vyskytujú drobné chyby v bibliografii, napr. názov inštitúcie u zdroja č. 33. V rámci práce sa vyskytujú zbytočne excitované frázy, napr. "very common", "very hard", "very dangerous", ktoré by potrebovali podporu vhodným zdrojom. | |
| Realizační výstup | 90 | Práca má výskumný i implementačný charakter. V rámci implementácie študent vytvoril rozšírenie webového prehliadača ako doplnok desktopovej aplikácie. Zdrojové kódy sú prehľadné, príležitostne obsahujú nevyužité zakomentované úseky kódu. V rámci výskumnej časti obsahuje práca sadu prehľadných skriptov formou Jupyter Notebook využitých pre trénovanie a vyhodnotenie modelov. Funkčnosť aplikácie bola študentom prezentovaná osobne. | |
| Využitelnost výsledků | Práca je využiteľná v praxi z niekoľkých pohľadov. Zozbieraný dataset sa dá využiť ako základ pre porovnávanie dodatočných manipulačných techník, prípadne trénovanie iných typov modelov. Implementovaná aplikácia je využiteľná v praxi pre jednoduchú detekciu Fake News na webe. |
eVSKP id 154643