EICHLER, V. Vektorová reprezentace českého textu [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2025.
Student se důstojně vypořádal s nesnadným zadáním a natrénoval solidní model pro reprezentaci českého textu. Zvlášť oceňuji úsilí o destilaci z jiného modelu, které s ohledem na implementační komplikace přesáhlo původní intenci zadání.
| Kritérium | Známka | Body | Slovní hodnocení |
|---|---|---|---|
| Informace k zadání | Zadání řadí práci mezi lehce náročnější, jde o aplikovaný výzkum v oblasti strojového zpracování přirozeného jazyka, kromě pochopení samotného strojového učení před řešitelem nevyhnutelně stojí i problémy se škálou trénování modelů. Práce navazuje na projekt semANT řešený na UPGM. Zadání považuji za splněné. | ||
| Práce s literaturou | Student byl při řešení velmi samostaný v osvojování modelů a trénovacích technik a i když to technická zprávy místy zatajuje, dosáhl solidního porozumění problematice. | ||
| Aktivita během řešení, konzultace, komunikace | Student byl aktivní v první polovině řešení zadání. V druhé jeho úsilí mírně polevilo, ale na -- nyní již nepravidelné -- konzultace přicházel řádně podle domluvy a připraven. | ||
| Aktivita při dokončování | Dokončování práce bylo v rozumném tempu, dokončování technické zprávy mírně hektické. Poslední podoba textu, kterou jsem před odevzdáním četl, měla ještě značný prostor pro zlepšení. Nahlédnutím do odevzdané zprávy konstatuji, že se ho podařilo část vyplnit. | ||
| Publikační činnost, ocenění | Není mi známa. |
Práca splnila zadanie a vytvorila model užitočný pre širokú komunitu v ČR. Zároveň sa zaoberá obtiažnymi technickými problémami spojenými s trénovaním jazykových modelov na veľkom množstve dát. Text práce avšak obsahuje menšie pochybenia, a metóda online distilácie môže byť neefektívne implementovaným riešením (viď otázka). Navrhujem preto hodnotenie B.
| Kritérium | Známka | Body | Slovní hodnocení |
|---|---|---|---|
| Náročnost zadání | |||
| Rozsah splnění požadavků zadání | |||
| Rozsah technické zprávy | |||
| Prezentační úroveň technické zprávy | 80 | Práca má logickú náväznosť, aj sa v niektorých bodoch dobre číta. Niekedy sú ale informácie v nej redundantné a naopak niekedy jej časti nie sú sebestačné. Vytkol by som. Koherentnosť práce, ktorá v niektorých sekciách ma formu chronologickej správy, skôr než štrukúrovaného predstavenia metódy, implementácie a výsledkov. Práca sa zaoberala škálovaním metódy na vypočetne náročný scenár z veľa dátami a veľkými modelmi, a pri tom postupne narazila na viacero technických problémov, pre ktoré chronologická štruktúra dáva zmysel. Obsahuje však aj zbytočné detaily , ktoré su pre výsledky práce nepodstatné (napr. ako to že na clustrovej platforme SGE písanie skriptov vyžaduje viac réžie než na Metacentre, a že sťahovanie dát na SGE spôsobu pád skriptu kvôli prístupu na internet, alebo napr. že extrakcie reprezentácie na CLS pozícii bola implementovaná, ale nepoužíva sa). komentár k neuskutočneným/nezdokumentovaným experimentom (napr. že práca experimentovala aj na sade DaReCzech, ale výsledky sa týkali iba počiatočných experimentov, a v tejto práci nebudú, alebo to že mcontriever bol vyhodnotený aj na kroslinguálnych úlohách, ale tie táto práca robiť nebude) subjektívne/nejasné zhodnotenia , ktoré do vedeckej práce nepatria (napr. (podsekcia 6.4.3, "gradient clipping seems to have worked, what bothered me was the underlying issue causing the gradients to explode"), (sekcia 6.3 quite large multilingual model), (kapitola 5 "Distilling such a model ended up being quite a challenge, and the implementation was intricate",...) Fragmentovanosť informácií. Napríklad distilácia z iného modelu je navrhnutá v sekcii 4.2, ale aká presne časť modelu je distilovaná, a aká je objektívna funkcia je jasné až z popisu implementácie v sekcii 5.3. Preťažovanie/nejasnosť termínov. Napr. Raz Gemma, potom Gemma 2, potom sa odvoláva k BGE-Multilingual-Gemma2, sú pužívané zameniteľne, pričom v realite sú to tri odlišné modely. sekcia hovorí o svojom obsahu a hovorí this chapter presents ... (sekcia 3.5), alebo v podsekcii 3.1.3 je zase vyjadrenie "the following section presents". | |
| Formální úprava technické zprávy | 85 | Občasne chýbajú typy referovanej entity (napr. str. 12 "in 3.1.2", str. 18 Figure 3.3. "comparable to 3.2" atd.). Názvy sú nekonzistentne kapitalizované (napr. sekcia 3.2 vs sekcia 3.5). Niektoré grafy majú názov, iné nie (napr. Obr. 6.11, vs Obr. 6.12 vs Obr. 6.13). Referované entity nie sú nasledované symbolom nbsp (viď napr. koniec strany 55). Drobná chyba v zátvorkovaní vo formule 2.10. | |
| Práce s literaturou | 85 | Občasne chýbajú citácie podkladajúce tvrdenia (v úvode citácia na "traditional IR methods", odkazovanie sa na dense retrieval modely a kontrastívne učenie. Citovanie arxiv namiesto recenzovanej verzie publikácie (napr. 14 bola na ACL'19, 20 na RANLP).* Je škoda, že sa v práci neobjavila aj naša práca [1] na komparatívnej štúdii porovnávajúcej vyhľadávacie modely na českej sade DaReCzech. [1] Štětina, J., Fajčík, M., Štefánik, M. and Hradiš, M., 2024. A comparative study of text retrieval models on DaReCzech. Proceedings of the Eighteenth Workshop on Recent Advances in Slavonic Natural Language Processing (RASLAN 2024) , pp.15–22. * Pre automatickú kontrolu/doplnenie bibtex citácií odporúčam nástroj rebiber. | |
| Realizační výstup | 95 | Validácia prístupu je technicky správa a férová. Implementácia je zdokumentované, modulárna, obsahuje README a aj popis závislostí. Kedže sa jedná o všestranný model pre vyhľadávanie na Češtine, aspon jeho finálna verzia mohla byť porovnaná s baseline systémami aj na druhej sade, napríklad DaReCzechu, alebo preloženej sade. | |
| Využitelnost výsledků | Práca vytvorila stredne veľký model na vyhľadávanie v Češtine. Na svoju rýchlosť model funguje očakávane, a može byť užitočný pre široké publikum. |
eVSKP id 164716