SARVAŠ, M. Detekce klíčových informací v hovorech na tísňové linky [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2024.
Práce řeší reálný problém tísňových linek s využitím technik stojového učení trénovaných na reálných datech. Výsledkem jsou dvě metody použitelné pro vytěžování klíčových informací z hovorů s cílem hovory urychlit a tím zrychlit reakci záchraných složek. Tyto dvě metody jsou objektivně srovnány a připraveny k implementaci a testování v prostředí tísňového centra v rámci projektu Národního bezpečnostního výzkumu Ministerstva vnitra. Zároveň výstupem práce je i sada nástrojů a postupů k čištění nekonzistentních reálných dat, tak aby byla použitelná pro trénování a evaluaci machine learning modelů. Práce plně splnila očekávání.
| Kritérium | Známka | Body | Slovní hodnocení |
|---|---|---|---|
| Informace k zadání | Student si musel osvojit nejnovější techniky používané pro detekci jmenných entit a ty použít na reálná data z tísňových linek. Práce byla náročná hlavně díky omezeným možnostem nakládaní s daty, které byly dán jejich citlivostí dat a podmínkami nakládání s daty danými jejich poskytovatelem. Dále řešením nekonzistencí v datech způsobených jejich objemem, množstvím lidí, kteří je tvoří, a časovým rámcem jejich pořízení. Práce plně splnila zadání. | ||
| Práce s literaturou | Student aktivně pracoval s literaturou, dokázal si najít relevantní zdroje, ty nastudovat a použít pro řešení práce. | ||
| Aktivita během řešení, konzultace, komunikace | Student byl během řešení práve velmi aktivní, své přístupy řádně konzultoval a na konzultace byl vždy připraven. | ||
| Aktivita při dokončování | Práce byla dokončena v dostatečném předstihu a její definitivní obsah byl konzultován. Vzhledem k tomu, že práce byla vyhotovena v angličtině, velké úsilí bylo vloženo do korekcí anglického textu. Rozhodnutí vypracovat práci v angličtině beru velmi kladně, protože to zvýší její dosah. Zároveň zde vidím ještě určitý prostor ke zlepšení. | ||
| Publikační činnost, ocenění | Práce byla publikována na konferenci Excel@FIT . Zároveň výsledky práce budou použity v rámci projektu Národního bezpečnostního výzkumu Ministerstva vnitra. |
The student has more than fulfilled the assignment and managed to implement and compare various methods for named entity recognition in speech data. It should be noted that the code and results are not the only outcomes, but the created datasets will be useful for further research. Overall, the work is well-written and technical and uses multiple relevant sources. The work has been linked to the active project with the Ministry of Interior concerning speech applications for the emergency lines. The outcomes will definitely be used in future research.
| Kritérium | Známka | Body | Slovní hodnocení |
|---|---|---|---|
| Náročnost zadání | The assignment falls into the category of rather difficult ones. The main reason is the scientific nature of the assignment and the need to study, understand, and implement the newest methods from machine learning and speech processing for the task of named entity recognition. | ||
| Rozsah splnění požadavků zadání | The author has implemented multiple state-of-the-art methods for the given task, compared results, and substantially improved the baseline systems. The work contains numerous experimental results and is a good base for further research and production system implementation. | ||
| Rozsah technické zprávy | This work is of the usual length. Chapters logically follow each other and do not contain redundant information. | ||
| Prezentační úroveň technické zprávy | 90 | As stated above, the work is logically segmented into chapters that are of adequate length and provide the reader a brief introduction to the methods used and then, in detail, describe the experimental setup and results. The information is balanced with plenty of references, which allows an interested reader to follow more details. | |
| Formální úprava technické zprávy | 95 | The typography and English grammar are on a very good level. | |
| Práce s literaturou | 100 | This work is very well complemented with multiple citations, which are used appropriately and in a correct format. The text reads almost like a scientific publication. | |
| Realizační výstup | 100 | The author has substantially improved current baselines on an important task that acts as a building block of a state-of-the-art dialogue system. We are presented with an overview of multiple methods for named entity recognition, which are then implemented, and corresponding models are trained, tested, and compared. The code is well documented and commented for easy future re-use and improvement. | |
| Využitelnost výsledků | This work has both the implementation and scientific qualities and fulfills all preconditions to be a base of the production system implementation and the subsequent scientific research. Another valuable outcomes of this work are the created datasets that will most likely be used in further research. |
eVSKP id 156967