Odhad správnosti odpovědí na otázku
Loading...
Date
Authors
Ligocký, Marián
ORCID
Advisor
Referee
Mark
B
Journal Title
Journal ISSN
Volume Title
Publisher
Vysoké učení technické v Brně. Fakulta informačních technologií
Abstract
Odhad správnosti odpovede na otázku je kritický pre aplikácie na výučbu jazyka, kde sa očakáva odpoveď v podobe vety. Možný prístup je spočítať sémantickú podobnosť vstupnej vety a vopred definovných správnych odpovedí. Skóre podobnosti študentovej a správnej odpovede môže byť vypočítané pomocou hlbokých jazykových modelov, založených na architektúre transformerov. Pre získanie podobnosti viet (STS) sme preskúmali rôzne modely. Najlepší model stsb-TinyBERT-L-4 (cross-encoder) vylepšuje pôvodný model o 27.8% (stredná kvadratická chyba) na reálnych odpovediach študentov, oskórovaných učiteľom a kalibrovaných lineárnou regresiou. Označenia NLI môžu zlepšiť výsledky, ale je nutný ďalší výskum.
When it comes to language learning apps that allow sentence-like answers, accurately estimating the correctness score is crucial. A possible approach is to compute the semantic similarity of input sentences and predefined correct answers. The similarity score of the student and the correct answer can be computed by a deep language model based on transformer architecture. We examined different models for Semantic Textual Similarity. The best model stsb-TinyBERT-L-4 (cross-encoder), improves the old model by 27.8% in MSE on a human-annotated dataset and calibrated by linear regression. While incorporating Natural Language Inference labels may enhance performance, further research is needed.
When it comes to language learning apps that allow sentence-like answers, accurately estimating the correctness score is crucial. A possible approach is to compute the semantic similarity of input sentences and predefined correct answers. The similarity score of the student and the correct answer can be computed by a deep language model based on transformer architecture. We examined different models for Semantic Textual Similarity. The best model stsb-TinyBERT-L-4 (cross-encoder), improves the old model by 27.8% in MSE on a human-annotated dataset and calibrated by linear regression. While incorporating Natural Language Inference labels may enhance performance, further research is needed.
Description
Citation
LIGOCKÝ, M. Odhad správnosti odpovědí na otázku [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2023.
Document type
Document version
Date of access to the full text
Language of document
en
Study field
Informační technologie
Comittee
prof. Dr. Ing. Jan Černocký (předseda)
doc. Ing. Zdeněk Vašíček, Ph.D. (člen)
Ing. Václav Šátek, Ph.D. (člen)
Ing. Filip Orság, Ph.D. (člen)
Ing. Vladimír Bartík, Ph.D. (člen)
Date of acceptance
2023-06-15
Defence
Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm B.
Result of defence
práce byla úspěšně obhájena
Document licence
Standardní licenční smlouva - přístup k plnému textu bez omezení