DEDIČ, J. Detekce a rozpoznání volacích znaků ve VHF komunikaci [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2023.
Celkově hodnotím přístup studenta k řešení pro něho zcela nové problematiky nadprůměrně. Pracoval aktivně, pravidelně a se zájmem o téma. Překážky překonával a snažil se pochopit principy strojového učení. Výsledky práce jsou pro naši výzkumnou skupinu zajímavé.
| Kritérium | Známka | Body | Slovní hodnocení |
|---|---|---|---|
| Informace k zadání | Jednalo se o téma navazující na skončený projekt ATCO2. Student měl za úkol ověřit a eventuálně zdokonalit detektor volacích znaků z automatického přepisu řeči. Jako referenční sloužil systém kolegů z IDIAP. Dále nás zajímalo, jestli se dá v přepisech detekovat volací znak pomocí naivních technik (detekce klíčových slov) - tedy bez použití strojového učení. Náročnost práce hodnotím celkově jako středně obtížnou. Obtížnější je část trénování vlastních NER modelů. Dále bylo třeba se zorientovat v problematice zpracování přirozeného jazyka - což byla pro studenta zcela nová oblast. Celkově jsem s výkonem a výsledky práce spokojen. V rámci řešení práce byl kladen důraz pouze na volací znaky. Ostatní třídy (command, value, ...) jsme nepovažovali za důležité a neřešili. Což pravděpodobně vede k částečnému nesplnění 4. bodu v zadání. Toto mohlo být napraveno včasnou úpravou zadání, za co se vedoucí omlouvá. | ||
| Práce s literaturou | Student literaturu získával samostatně a aktivně. | ||
| Aktivita během řešení, konzultace, komunikace | Student byl během řešení aktivní. Na konzultace docházel víceméně pravidelně každých 14 dní. Na konzultace přicházel připravený a ukázal znatelný postup při řešení práce. Nechal si poradit a rady se snažil při řešení aplikovat. Občas bylo třeba detailněji vysvětlit problematiku přípravy dat, tříd a vyhodnocení. | ||
| Aktivita při dokončování | Aktivita při dokončování byla lehce vyšší. Dokončování však nebylo ve stresu. Víceméně finální text práce byl ke kontrole odevzdán na konci dubna, takže měl cca týden na zapracování připomínek. | ||
| Publikační činnost, ocenění | Není |
Aj napriek drobnym nedostatkom hodnotim pracu kladne. Ocenujem hlavne sirku nastudovania danej problematiky. Po praktickej stranke autor odviedol kus poctivej roboty. Neuspokojil sa s jedným riešením. Namiesto toho navrhol a implementoval tri rôzne riešenia detekcie volacích znakov.
| Kritérium | Známka | Body | Slovní hodnocení |
|---|---|---|---|
| Náročnost zadání | Obtiažnosť zadania spočíva hlavne v naštudovaní problematiky automatického spracovania leteckej komunikácie. | ||
| Rozsah splnění požadavků zadání | Úlohou študenta bolo navrhnúť metódu na detekovanie volacích znakov lietadla z automatického prepisu komunikácie. Študent vo svojej práci navrhol tri rôzne riešenia: naivné riešenie založené na porovnávaní reťazcov, ktorého presnosť závisí na kandidátnych volacích znakoch získaných z radaru, riešenie založené na rozpoznávaní pomenovaných entít, ktoré používa umelé neuronové siete (BERT model) na klasifikáciu tokenov, riešenie založené na "prompt inžinierstve", kde najpv veľký jazykový model (GPT3) dostane od autora zformulovanú úlohu spolu s ukážkami. Následne model obdrží validačné dáta, kde vyhľadáva jednotlivé volacie znaky bez toho, aby bol na túto úlohu špeciálne trénovaný. | ||
| Rozsah technické zprávy | |||
| Prezentační úroveň technické zprávy | 70 | Prva polovica spravy s teoretickym uvodom je v zásade prehladna a dobre sa číta. Problematicka je druha polovica, a to najmä záver, ktorý pôsobí skôr ako draft než finálny text (napr. niektoré vety nemajú výpovednú hodnotu). V závere by som očakával, že autor skôr zhodnotí výsledky svojej práce, zdôrazní čo sa podarilo a možno skonštatuje čo mu nevyšlo. Namiesto toho autor v závere zhrňuje, čomu sa venoval v jednotlivých kapitolách. Náznak zhodnotenia výsledkov je načrtnutný v poslednom odseku. Ďalší problém vidím v nadväznosti kapitol, napr. podkapitola 4.4 úzko súvisí s kapitolou 5.4, niektoré informácie sa dokonca opakujú. Podobne je to s podkapitolami 5.3 a 4.2, kde študent opisuje použitú datovú sadu. | |
| Formální úprava technické zprávy | 75 | Práca obsahuje veľa preklepov. Študent navyše zbytočne rozdeľuje vetné celky, ktoré spolu úzko súvisia, do samostatných odsekov. Tento jav pôsobí rušivo na čitateľa. | |
| Práce s literaturou | 95 | Autor cituje relevantné zdroje vo svojej práci. | |
| Realizační výstup | 95 | Realizacny vystup je prehladny, dobre strukturovany a zdokumentovaný kod v jazykoch JavaScript a Python. Nastroj je navrhnutý ako server, ktorý komunikuje s klientom prostredníctvom HTTP POST dotazov. Nastroj mi bol taktiez osobne odprezentovany. | |
| Využitelnost výsledků | Tato praca nadvazuje na projekt ATCO 2 , ktory si kladie za ciel vytvoriť platformu na zber a spracovanie údajov získaných z riadenia letovej prevádzky. Autor celkom jasne ukazal, ze detekcia volacích znakov značne závisí na kvalite automatických prepisov. Vysledny system pracuje celkom spoľahlivo, pokiaľ sa v prepise vyskytuje hľadaný volací znak. |
eVSKP id 140505