Odhad správnosti odpovědí na otázku
| but.committee | prof. Dr. Ing. Jan Černocký (předseda) doc. Ing. Zdeněk Vašíček, Ph.D. (člen) Ing. Václav Šátek, Ph.D. (člen) Ing. Filip Orság, Ph.D. (člen) Ing. Vladimír Bartík, Ph.D. (člen) | cs |
| but.defence | Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm B. | cs |
| but.jazyk | angličtina (English) | |
| but.program | Informační technologie | cs |
| but.result | práce byla úspěšně obhájena | cs |
| dc.contributor.advisor | Szőke, Igor | en |
| dc.contributor.author | Ligocký, Marián | en |
| dc.contributor.referee | Kesiraju, Santosh | en |
| dc.date.created | 2023 | cs |
| dc.description.abstract | Odhad správnosti odpovede na otázku je kritický pre aplikácie na výučbu jazyka, kde sa očakáva odpoveď v podobe vety. Možný prístup je spočítať sémantickú podobnosť vstupnej vety a vopred definovných správnych odpovedí. Skóre podobnosti študentovej a správnej odpovede môže byť vypočítané pomocou hlbokých jazykových modelov, založených na architektúre transformerov. Pre získanie podobnosti viet (STS) sme preskúmali rôzne modely. Najlepší model stsb-TinyBERT-L-4 (cross-encoder) vylepšuje pôvodný model o 27.8% (stredná kvadratická chyba) na reálnych odpovediach študentov, oskórovaných učiteľom a kalibrovaných lineárnou regresiou. Označenia NLI môžu zlepšiť výsledky, ale je nutný ďalší výskum. | en |
| dc.description.abstract | When it comes to language learning apps that allow sentence-like answers, accurately estimating the correctness score is crucial. A possible approach is to compute the semantic similarity of input sentences and predefined correct answers. The similarity score of the student and the correct answer can be computed by a deep language model based on transformer architecture. We examined different models for Semantic Textual Similarity. The best model stsb-TinyBERT-L-4 (cross-encoder), improves the old model by 27.8% in MSE on a human-annotated dataset and calibrated by linear regression. While incorporating Natural Language Inference labels may enhance performance, further research is needed. | cs |
| dc.description.mark | B | cs |
| dc.identifier.citation | LIGOCKÝ, M. Odhad správnosti odpovědí na otázku [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2023. | cs |
| dc.identifier.other | 148176 | cs |
| dc.identifier.uri | http://hdl.handle.net/11012/211150 | |
| dc.language.iso | en | cs |
| dc.publisher | Vysoké učení technické v Brně. Fakulta informačních technologií | cs |
| dc.rights | Standardní licenční smlouva - přístup k plnému textu bez omezení | cs |
| dc.subject | kódování vět vektory | en |
| dc.subject | aplikace pro výuku jazyka | en |
| dc.subject | sémantická podobnost vět | en |
| dc.subject | sentence embeddings | cs |
| dc.subject | language learning application | cs |
| dc.subject | semantic textual similarity | cs |
| dc.title | Odhad správnosti odpovědí na otázku | en |
| dc.title.alternative | Answer Correctness Estimation on a Question | cs |
| dc.type | Text | cs |
| dc.type.driver | bachelorThesis | en |
| dc.type.evskp | bakalářská práce | cs |
| dcterms.dateAccepted | 2023-06-15 | cs |
| dcterms.modified | 2023-06-15-16:13:25 | cs |
| eprints.affiliatedInstitution.faculty | Fakulta informačních technologií | cs |
| sync.item.dbid | 148176 | en |
| sync.item.dbtype | ZP | en |
| sync.item.insts | 2025.03.18 20:59:30 | en |
| sync.item.modts | 2025.01.17 10:23:12 | en |
| thesis.discipline | Informační technologie | cs |
| thesis.grantor | Vysoké učení technické v Brně. Fakulta informačních technologií. Ústav počítačové grafiky a multimédií | cs |
| thesis.level | Bakalářský | cs |
| thesis.name | Bc. | cs |