KYJOVSKÝ, D. Analýza témat a šíření dezinformací z propagandistických webových stránek [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2023.
Z hlediska aktivity a celkového přístupu k řešením hodnotím práci studenta jako ne příliš uspokojivou, výsledný systém neposkytuje plně očekávanou funkcionalitu, aktivita měla velmi kolísavou úroveň a student podal spíše podprůměrný výkon i při práci s literaturou. Celkově navrhuji hodnocení stupněm E - dostatečně.
| Kritérium | Známka | Body | Slovní hodnocení |
|---|---|---|---|
| Informace k zadání | Jednalo se o průměrně obtížné zadání, které předpokládalo získání základního přehledu v oblasti automatického odhalování dezinformačních zpráv a realizaci systému pro analýzu témat a vzorců šíření propagandy. Studentovi se bohužel podařilo realizovat pouze systém pro stahování dat z předem identifikovaných problematických serverů, očekávaná automatická analýza dezinformačních témat a pravidelné doplňování datové sady zůstaly nerealizované. V tomto směru tedy nelze být s výsledkem práce plně spokojen. | ||
| Práce s literaturou | Student nebyl při získávání a zpracování studijních materiálů a zdrojů příliš aktivní, pro oblast automatické identifikace nezpracoval dostatečně kvalitní rešerši a nepronikl do moderních metod odhalování dezinformací, kterými se nejnovější vědecké publikace v této oblasti zabývají. | ||
| Aktivita během řešení, konzultace, komunikace | Míra aktivita studenta v obou semestrech byla velmi nevyvážená, i když nakonec věnoval práci dohodnuté úsilí, nebyla práce na tématu soustavná a postup mohl být lépe a častěji konzultován. | ||
| Aktivita při dokončování | Text technické zprávy byl dokončován až těsně před odevzdáním, finální podoba nebyla plně konzultována, zejména připomínky ke slabému vyhodnocení vytvořených nástrojů se nepodařilo dostatečně v odevzdané práci zohlednit. | ||
| Publikační činnost, ocenění |
Napriek istým výstupom, realizačný výstup práce nesplňuje zadanie v určenom rozsahu, a teoretická časť práce ani konkrétne nepopisuje metódy pre analýzu či detekciu dezinformácií. Absencia popisu konkrétnych metód spochybňuje znalosti študenta v tejto oblasti. Realizačné výstupy práce, ako automatické sťahovanie dát zo zoznamu dezinformačných webov, a ukladanie a deduplikácie týchto dát do databázy / v databáze sú potenciálne užitočné pre ďalší výskum. Vypracovanie bakaláskej práce ale považujem za nedostatočné.
| Kritérium | Známka | Body | Slovní hodnocení |
|---|---|---|---|
| Náročnost zadání | |||
| Rozsah splnění požadavků zadání | K jednotlivym bodom zadania: Nesplnené. Práca nepopisuje metódy pre extrakciu tém z textu, ani konkrétne nepopisuje žiadnu metódu pre odhalovanie dezinformácií v texte. V teoretickej práci sa práca zaoberá poskytuje všeobecné prehľady typov metód pre odhalovanie overovanie faktov a dezinformácií, rozdelených podľa viacerých zdrojov, definiciou pojmov ako "dezinformace", "propaganda", či typom dezinformácií v spoločnosti. Nesplnené. Práca sa nezaoberá tvorbou metód pre identifikáciu nových tém v čase. Čiasočne splnené. Práca umožnuje sťahovanie webových stránok z bližšie neurčených URL, a bližšie neurčeným spôsobom (dochádza ku crawlingu, alebo sú sťahované iba konkrétne URL?). Nesplnené. Príklad časti článku stiahnutého z webu z kap. 6.6, nie je možné považovať za vyhodnotenie. Častočné splnené. Plagáť obsahuje abstrakt v CZ a EN jazyku, a obrázok systému bez popisu. Je otázne, či plagát prezentuje výsledky práce. | ||
| Rozsah technické zprávy | Práca obsahuje informácie nerelevantné k práci, naťahujúce rozsah, a naopak neobsahuje niektoré chybajúce časti, nutné k jej porozumeniu a splneniu. Konkrétne, až na TF-IDF a bag-of-words prístupy, práca neobsahuje popis konkrétnych metód. Značnú časť práce tvoria prehľady metód, ktoré nie sú vysvetlené. Prehľady sa naviac z veĺkej časti zaoberajú všeobecným strojovím účením a spracovaním jazyka (viď kapitola 3.2), avšak z práce nie je jasné, či niektorá z úvedených metód a aká bola použitá. Ďalej, práca obsahuje popis metrík pre binárnu klasifikáciu. K použitiu týchto metrík však nedošlo. Ďalej signifikantná (napr. strany 10, 11) časť citácií je v texte prepísaná celým názvom, čo umelo predlžuje text. Práca obsahuje aj relevantné prehľady, zaoberajúce sa napríklad rôznymi typmi prístupov k detekcii dezinformácií (viď kapitola 2.3). | ||
| Prezentační úroveň technické zprávy | 55 | Za problematický považujem rozsah kapitol. Konkrétne kapitoly, ktoré sú najdôležitejšie pre posúdenie rozsahu autorovej práce sú najkratšie. Extrémnym prípadom krátkej kapitoly je napríklad kapitola 6.6 zaoberajúca sa vyhodnotením systému, ktorá, bez popisu obrázkov, obsahuje 5 viet. Naopak, záver práce je nezvyčajne dlhý (2 strany), pričom však prínosy práce sú zhrnuté v hlavne v poslednom paragrafe záveru (akýsi záver záveru). Za problematické tiež považujem abstraktné obrázky, ktoré ilustrujú obsah textu bez bližšieho kontextu (napr. Obr 2.1 alebo Obr. 5.4). | |
| Formální úprava technické zprávy | 55 | Typografická stránka práce obsahuje pochybenia ako Odsadenie paragrafov aj z nadpismi napr. na stranach 29-30. Preklady názvov prácí (str. 10). Chybné preklady terminologie, napr. "ověření nároku" (claim verification) (str.11). Chýbajúce popisy referencií (str. 12, "viz 3.2"). Nedefinované termíny napr. "Dle Českých elfů", nie je jasné či je to organizácia atp pri prvom spomenutí. (str. 8) Chýbajúce ukončenie viet bodkou (napr. Obr. 2.1, či odrážky na str. 8). Dvojité, až trojitý spôsob citácie (názvom, referenciou, niekedy aj autorom naraz, napr. str 10). Obrázky z nižším rozlíšením (napr. Obr 3.1 alebo Obr. 3.2). Jazyková stránka práce nebola posúdená. | |
| Práce s literaturou | 50 | Práca sa odvoláva na citácie prehľadových článkov, pri spomenuti konkrétnych metód však považujem za nutné citovať priamo spomenuté metódy (napr. metódy FastText, Context2Vec či CoVE na str. 18 a 19.) Práca taktiež obsahuje nepodložené všeobecné tvrdenia. Napr. v úvode kapitole 2 tvrdí že: "dezinformace se v současné době šíří na internetu a sociálnich sítích mnohem rychlej než kdy předtím". alebo str. 13, paragraf "Přístup na základě syntaxe textu": tvrdí že text napísaný mätúcim spôsobom môže indikovať že sa jedná o dezinformácie | |
| Realizační výstup | 60 | Systém sa na prvý pokus, vzhľadom k nejasnosti krokov k jeho spusteniu, oponentovi spustiť v určenom čase nepodarilo (čo značí "naimportujte inicializační skripy do databáze"?). Systém sa na samostatnom stroji nepodarilo spustiť ani s pomocou študenta. Nakoniec bol systém prezentovaní na jeho laptope. Realizačný výstup umožňuje sťahovať správy s rôznorodých dezinformačných webov. Pre každý z týchto webov bol pracne implementovaný individuálny spôsob pre ich crawling, sťahovanie a ukladanie do databázy. | |
| Využitelnost výsledků | Funkčným výstupom práce bol systém pre periodické sťahovanie obsahu dezinformačných webov. Ten má potenciál byť využitý v ďalšom výskume. |
eVSKP id 148612