NGUYEN, H. Faktická kontrola a spolehlivost zdrojů z otevřených médií [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2025.
The start of work on the project was rather slow, but the results exceeded my expectations.
| Kritérium | Známka | Body | Slovní hodnocení |
|---|---|---|---|
| Informace k zadání | The bachelor thesis focused on the development of a fact-checking module - a data-driven solution, partially leveraging large language models (LLMs), to verify claims using resources from Demagog.cz. The primary objective was to verify Czech-language political statements, utilizing annotated datasets curated by Demagog.cz. Demagog.cz is a unique Czech initiative dedicated to verifying statements made by politicians, identifying disinformation, and detecting misleading content on social media platforms. The statements in their database are manually (although partially subjectively) verified, allowing users to determine whether a statement is false, misleading, accurate (or not rellevant). Each statement is accompanied by manually sourced references that serve as the basis for verification. As an extension of this, the bachelor thesis also tackled the task of evaluating the reliability of the supporting sources. This thesis presented a substantial challenge, as prior work in this area relied only on relatively simple classification models and generic datasets (e.g., sourced from Wikipedia). In contrast, this bachelor project required the student to identify a suitable LLM capable of handling political discourse in Czech, supporting multilingual input, and compatible with deployment on CESNET hardware (GPUs, ...). The chosen model had to be fine-tuned for the specific verification task to achieve satisfactory performance. Considerable effort was devoted to designing and optimizing prompts using state-of-the-art prompt engineering techniques. In addition to claim verification, the student implemented functionality to assess the reliability of sources referenced in Demagog.cz. All necessary datasets for training, fine-tuning, prompt-based LLM querying, and evaluation were independently prepared by the student. This involved the automated crawling of data from Demagog.cz and supplementary resources, organizing the information into the required structure, and performing manual checks to ensure alignment between claims and reference material. Overall, the project fully met the assignment requirements, and the scope and quality of work exceeded initial expectations. No significant deficiencies were identified in the project’s delivery. | ||
| Práce s literaturou | The student engaged consistently with relevant literature, paying particular attention to emerging techniques for prompting LLMs, including zero-shot and few-shot approaches. They demonstrated awareness of prior publications pertinent to the topic. | ||
| Aktivita během řešení, konzultace, komunikace | The initial progress of the student during the winter semester was relatively slow, and the preliminary results were not particularly promising. However, the pace of the work improved significantly during the summer semester. The focus shifted more strongly toward developing the factual verification module, which was identified as a higher priority than source reliability within the scope of this project. Throughout the thesis, the student collaborated with a postdoctoral researcher at Idiap Research Institute (as prior work was done there), who provided ongoing technical and scientific guidance. Regular meetings with the project supervisor were held on a weekly or bi-weekly basis to ensure steady progress and support. | ||
| Aktivita při dokončování | As previously mentioned, the work was completed on schedule, including the public release of the database. The thesis is of solid quality, and its content was regularly discussed with the supervisor throughout the project. | ||
| Publikační činnost, ocenění | The work is intended to be developed further into a public (more condensed) research report and potentially submitted to a relevant conference or workshop in the coming months. We also plan to reach out to representatives from Demagog.cz to present the results - specifically, how effectively machine learning models can replicate/or support human efforts in verifying political statements—and to possibly explore and discuss any open challenges they face in this area. The data prepared in the project is available through huggingface. |
Celkově hodnotím práci známkou B. Autor prokázal znalosti v dané oblasti, schopnost pracovat s relevantními zdroji informací a systematický přístup k řešení komplexního problému.
| Kritérium | Známka | Body | Slovní hodnocení |
|---|---|---|---|
| Náročnost zadání | Zadání práce řeší aktuální problémy vzniklé rapidním šířením informací na internetu. Vzhledem k hloubce problematiky a potřebných znalostí použitých technologií hodnotím toto zadání jako obtížnější. | ||
| Rozsah splnění požadavků zadání | Autor práce zadání splnil. | ||
| Rozsah technické zprávy | Technická zpráva má přibližně 63 normostran a splňuje tak obvyklý rozsah bakalářské práce. Údaje získány pomocí nástroje Theses Checker ( https://app.fit.vut.cz/theses-checker/ ) | ||
| Prezentační úroveň technické zprávy | 80 | Teoretickou část práce hodnotím velice pozitivně. Tato část je převážně k tématu a velice dobře zpracovaná s přiměřenou úrovní detailu. Teoretická část mimo jiné obsahuje i vysvětlení, která témata se vztahují ke kterým částem práce. Jako převážně pozitivní taktéž hodnotím zpracování návrhu a implementace systému pro ověření faktů. Mimo samotnou rozsáhlou návrhovou i implementační práci zde autor navrhuje změny pro praktické využití systému. Co se týče čitelnosti práce, nachází se zde drobné nedostatky nutící čtenáře k vytrhnutí se z kontextu. Konkrétně se jedná o podsekci Automatic Curation, která je založena na části výsledků experimentů z kapitoly 6. Zde bych doporučil uvést celý postup jako rozšíření v podobě další iterace vylepšení datové sady až do kapitoly za experimenty. Čtenář tak získá kontext práce a dostatečné informace k pochopení řešeného problému. Níže pouze sepisuji drobné inkonzistence v popisech tabulek: Popis tabulky 6.5 není konzistentní s jejím obsahem. Obsah tabulky je tudíž zavádějící a nelze z něj vyvodit jasné závěry. V tabulce 7.1 nesedí součty čísel (nikde dále v textu není uvedeno, zda byly vzorky záměrně vyřazeny). Pojmenování datové sady v tabulce 7.2 není konzistentní s pojmenováním v tabulce 7.1 a je tak na první pohled zavádějící. | |
| Formální úprava technické zprávy | 85 | Zpráva obsahuje občasné překlepy a jazykové nedostatky (nejčastěji v podobě chybějících členů). Jedná se nicméně pouze o ojedinělé případy, nepůsobí tedy příliš rušivě na čtenáře práce. Např.: Strana 27 - tabulka referencována pouze pomocí čísla 4.2, bez označení Table Strana 28 - Figure 4.4 referencována dříve než Figure 4.3 Strana 30,39 - chybí tečka na konci věty Strana 33 - chybí ; před however | |
| Práce s literaturou | 95 | Práce obsahuje 44 citací. Autor pracuje převážně s aktuální odbornou literaturou, která je relevantní k tématu práce. | |
| Realizační výstup | 70 | Rozsah vypracování kapitoly 7 a s tím i 4. bodu zadání značně menší oproti zbytku práce. Ale přestože se jedná o významné téma s žádoucími výsledky, je tento stav pochopitelný vzhledem k vypracování předešlých částí a celkové obtížnosti zadání. Repozitář obsahuje soubor README jako dokumentaci projektu včetně postupu pro zprovoznění. Zdrojové kódy obsahují hlavičku s popisem souboru a autorem, dále pak stručnou dokumentaci kódu v podobě komentářů funkcí. Mimo zdrojové kódy obsahuje odevzdaný repozitář i samotnou datovou sadu, která vznikla jako jeden z výstupů práce. | |
| Využitelnost výsledků | Práce přináší nový systém pro ověřování faktů, založený na velkých jazykových modelech. Práce přináší zcela nové poznatky v oblasti automatizovaného ověřování faktů v českém/slovenském prostředí. Na výsledcích práce je možné dále stavět výzkum a má tedy vědecký přínos ve své oblasti. |
eVSKP id 165312