Posudky závěrečné kvalifikační práce

Velmi kladně hodnotím přípravu doménových dat a experimentální výsledky, které pomohou v přípravě návrhu výzkumného projektu. A také demo pro subjektivní zhodnocení mozností modelů pro použití v cílené oblasti. Oceňuji rychlé osvojení si výpočetního klastru LUMI, potřebných SW knihoven a jednotlivých modelů. Myslím si ale, že se výsledky ne vždy podařilo nejlepším způsobem v textu odprezentovat, detailněji prodiskutovat a vytvořit o tématu ucelený příběh. Zde je velký potenciál ke zlepšení. Každopádně se jedná o velmi zajímavé téma, znalostně jsme se posunuli a na práci se dá navázat, ať už spoluprací na výzkumném projektu řešeném ve Skupině zpracování řeči nebo diplomovou prací.

Dílčí hodnocení
Kritérium	Známka	Body	Slovní hodnocení
Informace k zadání			Cílem práce bylo zmapovat možnosti velkých jazykových modelů pro použití ve státních zpravodajských složkách a připravit podklady pro jednání o možném výzkumném projektu. Práce byla zaměřena hodně prakticky včetně jednání s uživateli o řešené úloze a přípravy dat, a hodně experimentálně - porovnání dostupných modelů pro vytěžování zpravodajských informací na zvolené úloze. Všechny body zadání byly splněny.
Práce s literaturou			Student aktivně pracoval s literaturou a dalšími studijními materiály, materiály si dokázal obstarat a potřebnou tématiku nastudovat.
Aktivita během řešení, konzultace, komunikace			Student svá řešení aktivně a pravidelně konzultoval, dodržoval dohodnuté termíny a na konzultace byl dostatečně připraven.
Aktivita při dokončování			Práce byla dokončena v dostatečném předstihu a její obsah byl konzultován.
Publikační činnost, ocenění			Práce nebyla jinde publikována. Výsledky však budou použity při jednání o možném výzkumném projektu.

Posudek oponenta

Plchot, Oldřich

The work offers interesting results with NER on Czech military-style data. The implementation of fine-tuning of various models in the environment of the Lumi supercomputer is very useful for consecutive experiments and research. The weak part of the whole work is the actual technical report that lacks focus on detail, sometimes contains unnecessary basic theory, and in places feels informal.

Dílčí hodnocení
Kritérium	Body	Slovní hodnocení
Náročnost zadání		This assignment required the student not only to get acquainted with multiple state-of-the-art LLM models but also to set up the pipeline for their fine-tuning, quantization, and efficient training/inference on the AMD platform present in the LUMI supercomputer.
Rozsah splnění požadavků zadání		The assignment specifies that the student should get acquainted with data mining techniques such as Retrieval Augmented Generation (RAG) in point three. This approach has not been discussed in the work, and the work focuses on Named-Entity recognition (NER), which is a different (and also useful) task needed by analysts to sift through a lot of data. But at least the RAG methods and the way of their use by a security analyst could be discussed.
Rozsah technické zprávy		The technical report is brief and in some cases discussing theory not very relevant to the overall topic such as basic neural network theory starting with the perception while to focus should be put on describing in greater detail how how the transformer models and in general LLMs work and how they are trained, leaving the basic theory for the reader to study elsewhere. The report also contains a number of overly large figures, which are artificially taking up too much space. Also, some enumerations and writing are too sparse (for example, page 25).
Prezentační úroveň technické zprávy	55	The report is split into seven chapters that briefly touch on the problem at hand and introduce a basic theory, followed by a description of the data and experimental results. Overall, the chapters are very brief and, for example, the theoretical introduction is lacking with respect to introducing properly the workings of transformer-based models and LLMs, while it spends time on basic machine learning theory that is out of scope here. The reader is often left hanging with Figures not being referenced from the main text, and the captions of such figures offering no details about what is shown in them. In the end, the reader gets the important message on what was achieved in this work, but he ultimately does not learn much about the topic, nor is the problem at hand looked at from different angles that are not eventually implemented ... for example, the above-mentioned RAG. Overall, the report is often not detailed, does not rigorously describe theory or experiment,s and is too brief,
Formální úprava technické zprávy	65	The report is written in English in a style that feels in places less formal than it would be suited for this kind of report. The figures are too large, are not properly described, and, in some cases, are not referenced in the text.
Práce s literaturou	70	The report contains relevant sources, but the citation is done imprecisely, often putting the reference at the end of the whole paragraph instead of properly placing it behind the term or sentence to which it is related. Overall, the bibliography follows the citation standards.
Realizační výstup	85	The software package is functional and provides an easy way of extending it to other open-source LLM models. The code is well organized and easy to follow. The package contains datasets and scripts to replicate the results obtained in this report, along with brief readme files.
Využitelnost výsledků		The work does not really offer any new insights into state-of-the-art in Named-Entity recognition via LLMs, but it offers some insights via testing some of the model's abilities on relatively new data (some of which could not have been seen by the LLMs) in the Czech language. The results can be used in various projects pursued in speech@FIT research group. The work should be extended, but it offers a good basis for future work in this direction.

Posudky

Posudek vedoucího

Schwarz, Petr

Posudek oponenta

Plchot, Oldřich

Otázky