CHUPÁČ, S. Rychlé diskriminativní neuronové sítě pro opravu textu [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2023.
Student provedl velké množství experimentů. Student implementoval online generování syntetických překlepů a učení neuronových sítí s chybovou funkcí CTC bez předchozích zkušeností v oblasti strojového učení. Jako přínosný poznatek experimentů považuji fakt, že neuronová síť trénovaná pomocí chybové funkce CTC je schopna přidávat i odebírat znaky ze vstupního textu a tedy generovat různě dlouhé výstupní texty s různým zarovnáním vzhledem ke vstupu. Tato vlastnost neplatí pro vkládání/mazání velkého množství po sobě následujících znaků, nicméně v rámci překlepů kde dochází k mazání/vkládání jednotek znaků se schopnost CTC sítí zvládnout různá zarovnání vstupu vzhledem k výstupu jeví jako dostatečná.
| Kritérium | Známka | Body | Slovní hodnocení |
|---|---|---|---|
| Informace k zadání | Cílem práce bylo zjistit, zda jsou menší diskriminativní modely, jejichž vyhodnocení sestává s jednoho dopředného průchodu, schopny opravit překlepy v textu. Standardním přístupem jsou autoregresivní modely vyžadující mnohonásobné vyhodnocení. Student provedl dostatečné množství experimentů, které ukazují, že diskriminativní modely přinášejí stabilní zlepšení na textech, které obsahují náhodné překlepy. Jako nedostatek vnímám malou flexibilitu implementace datasetu, která umožňuje učení pouze na řádcích o fixní délce. | ||
| Práce s literaturou | Student nastudoval problematiku neuronových sítí a zpracování textu zejména z doporučeného NLP kurzu univerzity Stanford. | ||
| Aktivita během řešení, konzultace, komunikace | Student byl aktivní po celou dobu řešení práce a výsledky pravidelně konzultoval. | ||
| Aktivita při dokončování | Práce byla dokončena v posledním týdnu před odevzdáním, obsah práce byl několikrát konzultován v průběhu dokončování. Finální obsah konzultován nebyl. | ||
| Publikační činnost, ocenění |
Student se zjevně seznámil s relevantními poznatky používání neuronových sítí na opravu chyb a odvedl slušné množství experimentální práce. Lepšímu hodnocení ovšem pevně stojí v cestě absence vyhodnocení na reálných datech -- i když by jejich pořízení nebylo nijak drahou záležitostí.
| Kritérium | Známka | Body | Slovní hodnocení |
|---|---|---|---|
| Náročnost zadání | Zadání vyžaduje práci s neuronovými sítěmi nad rámec bakalářského studia na FITu, ale jedná se o poměrně přímočarou aplikaci známých architektur na jen lehce nestandardní problém. | ||
| Rozsah splnění požadavků zadání | |||
| Rozsah technické zprávy | |||
| Prezentační úroveň technické zprávy | 60 | Technická zpráva je organizována vhodně, kapitoly na sebe navazují přirozeně a čtenář je povětšině plynule veden textem. Zpráva je slabší v prezentaci uvnitř jednotlivých částí, kdy nadužívá text v neprospěch rovnic (popis použitých architektur) a schémat (výsledné softwarové dílo). Jako výrazný klad hodnotím uspořádání experimentální části, kdy je naprosto jasně oddělen návrh pokusu, jeho výsledky a následně jejich diskuse. Zásadním nedostatkem je ale vlastní způsob vyhodnocování, a to ze dvou důvodů: (1) Je používáno příliš mnoho testovacích sad. Dokonce se v rámci experimentu 2 stane, že jsou vyvozovány závěry z přímého srovnávání na různých sadách. (2) Úplně chybí vyhodnocení na reálných datech. Jelikož jsou předvedeny pouze výsledky na syntetických datech, není jak odhadnout praktickou užitečnost -- a z mé osobní zkušenosti jsou předváděné výsledky na poměr zlepšování výstupů OCR jazykovým modelem vskutku až fantastické. Technická zpráva rovněž nikterak nekomentuje, jak jsou navrhovaná řešení rychlá při nasazení, ačkoliv je rychlost hned prvním slovem názvu práce. Rychlost trénování by si rovněž zasloužila komentář, udávaných 1.8 milionu iterací do konvergence je na modely srovnatelných velikostí neobvykle mnoho. Konečně, použité architektury jsou poněkud nestandardní v tom, že postupně snižují počet kanálů v druhé konvoluční části. Toto rozhodnutí mělo být přinejmenším komentováno. | |
| Formální úprava technické zprávy | 82 | Práce je vkusným výstupem z TeXu. Jazykovou úroveň slovenského textu nemohu podrobně posoudit, ale nespatřil jsem rušivé chyby. Obrázky jsou přiměřené kvality, i když některá schémata jsou zbytečně bitmapová. Lehce rušivá je i absence jednotného vizualního stylu, obrázky Každý pes -- jiná ves, do té míry, že některé mají slovenské popisky a jiné anglické (hned pod sebou jsoucí obr. 2.1 a 2.2). | |
| Práce s literaturou | 70 | Student zřetelně odlišil vlastní práci od převzaté a vzal v potaz známé stěžejní poznatky. Teoretická část technické zprávy je ovšem na citace relativně skoupá a řada poznatků je citována z populární namísto odborné literatury. Koresponduje to s méně-než-ideálně rigorózním jazykem zprávy. | |
| Realizační výstup | 85 | Výsledná sada skriptů neoplývá softwarově-inženýrskou krásou, ale pro potřeby práce je naprosto na místě, je přímočará a umožňuje snadné experimentování a replikaci výsledků. | |
| Využitelnost výsledků | Vzhledem k nedostatečnému vyhodnocení (část Prezentační úroveň) nelze přímou využitelnost výsledků posoudit, ale je dobře možné, že využitelné jsou. |
eVSKP id 148399