LIGOCKÝ, M. Odhad správnosti odpovědí na otázku [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2023.
Celkově hodnotím přístup studenta k řešení této problematiky výborně. Student pracoval aktivně a velmi samostatně. Dokázal experimenty dotáhnout do konce i přes značné zpoždění s předáním cílových dat. Výsledky se zdají být použitelné. Práce byla prezentována na Excel@FIT.
| Kritérium | Známka | Body | Slovní hodnocení |
|---|---|---|---|
| Informace k zadání | Jednalo se o téma blízké partnerské firmě s FIT. Student měl za úkol probádat chování modelů strojového učení v doméně hodnocení podobností vět během výuky jazyka. Práci hodnotím jako více obtížnou. Obtížné bylo zejména zorientovat se a pochopit problematiku zpracování přirozeného jazyka a strojového učení. Dále se zorientovat v základech výuky jazyka a pochopit jádro problému. Nakonec bylo třeba získáné výsledky správně interpretovat vzhledem k praktické aplikaci ze výuce jazyka. Celkově jsem s výkonem a výsledky práce velmi spokojen. Studentovi byla slíbena reálná data pro vyhodnocení na úloze výuky jazyka, bohužel došlo ke zpoždění se sběrem dat a ta byla předána až během dubna. Tím pádem neměl dostatek času pro důsledné vyhodnocení řešení a musel se po většinu času spokojit se syntetickými datatesty. | ||
| Práce s literaturou | Student literaturu získával samostatně a aktivně. Větší část znalostí čerpal přímo z vědeckých článků. | ||
| Aktivita během řešení, konzultace, komunikace | Student byl během řešení aktivní. Na konzultace docházel pravidelně každých 14 dní. Na konzultace přicházel připravený a ukázal znatelný postup při řešení práce. Pracoval většinou samostatně. | ||
| Aktivita při dokončování | Aktivita při dokončování byla znatelně vyšší. To bylo způsobeno zejména dodáním cílových dat a z toho plynoucí evaluace vytvořených systémů a jejich rychlé úpravy. Víceméně finální text práce byl ke kontrole odevzdán na konci dubna, takže student měl cca týden na zapracování připomínek. | ||
| Publikační činnost, ocenění | Práce byla prezentována na Excel@FIT . Výsledky jsou použitelné v praxi. |
| Kritérium | Známka | Body | Slovní hodnocení |
|---|---|---|---|
| Náročnost zadání | - The assignment requires the student to compare several NLP models for semantic similarity task, grammatical correction tasks in the context of a real-world language learning application. - While most of the current public datasets and models are research-oriented, studying them in the real-world application makes the thesis assignment moderately difficult. | ||
| Rozsah splnění požadavků zadání | |||
| Rozsah technické zprávy | The thesis content is about 49 pages. | ||
| Prezentační úroveň technické zprávy | 80 | - The thesis is organized into 7 chapters with continuity. - The baseline experiments on public datasets in chapters 4 and 5 are well explained with details. | |
| Formální úprava technické zprávy | 80 | - The report is overall well written, with some minor errors in chapter 5, 6. | |
| Práce s literaturou | 72 | - The student missed some literature and datasets on evaluating the grammatical correctness of sentences. The datasets are from standard GLUE benchmark: CoLA (corpus of linguistically acceptable sentences). | |
| Realizační výstup | 80 | - The experiments were implemented using python - The student demonstrated the software with the help of jupyter notebook. | |
| Využitelnost výsledků | - The conducted experiments, results, software and findings are potentially useful for real-world applications and can inspire future works in this direction. |
eVSKP id 148176