Citlivosť učenia s malým množstvom anotovaných dát na efekty náhodnosti
Loading...
Date
Authors
Pecher, Branislav
ORCID
Advisor
Referee
Mark
P
Journal Title
Journal ISSN
Volume Title
Publisher
Vysoké učení technické v Brně. Fakulta informačních technologií
Abstract
Cieľom učenia s malým množstvom anotovaných dát, ako je prompting, učenie v kontexte alebo učenie doladením, je efektívne natrénovať model pri použití iba malého počtu označených vzoriek. Avšak tieto prístupy sú pomerne citlivé na efekty náhodnosti, čo výrazne ovplyvňuje ich porovnávanie, celkové využitie a reprodukovateľnosť výskumu. V tejto dizertačnej práci sa zameriavame na lepšie porozumenie a riešenie citlivosti na efekty náhodnosti. Vykonávame rozsiahlu analýzu 415 výskumných prác, ktoré sa zaoberajú citlivosťou na účinky náhodnosti naprieč rôznymi pohľadmi, od rozpoznania problému cez skúmanie citlivosti a určenie jej zdroja až po zmiernenie účinkov náhodnosti a rozšírenie porovnaní úspešnosti modelov tak, aby brali túto citlivosť do úvahy. Na základe tejto analýzy sa zameriavame na riešenie identifikovaných otvorených problémov. Ako prvé porovnávame rôzne prístupy k učeniu s malým množstvom anotovaných dát z hľadiska ako veľa anotovaných dát potrebujú a ich citlivosti na efekty náhodnosti. Následne navrhujeme novú stratégiu skúmania náhodnosti, ktorá sa rieši problémom interakcií a protichodných zistení. Túto stratégiu skúmania náhodností následne využívame aby sme poskytli detailnú analýzu rôznych zdrojov náhodnosti naprieč rôznymi prístupmi, modelmi a dátovými sadami. Nakoniec navrhujeme dve nové stratégie zmierňovania efektov náhodnosti, jednu pre citlivosť na výber vzoriek v prípade učenia s niekoľkými príkladmi, a druhú pre citlivosť pri optimalizácii v učení doladením. Celkovo prinášame nové poznatky o predtým nedostatočne preskúmaných javoch a zlepšujeme oblasť riešenia citlivosti učenia s malým množstvom anotovaných dát na efekty náhodnosti.
Learning with limited labelled data, such as prompting, in-context learning, or fine-tuning, aims to effectively train a model while using only a small number of labelled samples. However, it was observed to be sensitive to the effects of randomness, which severely impacts their comparison, overall use, and reproducibility of research. In this thesis, we focus on better understanding and addressing the sensitivity to the effects of randomness. We perform a comprehensive analysis of 415 research works that address the sensitivity to the effects of randomness across various tasks, ranging from recognition of the problem through investigation of the sensitivity and determining its source up to mitigating the effects of randomness and extending the comparisons and benchmarks to explicitly take sensitivity into consideration. Based on the analysis, we focus on addressing the identified open problems. First, we compare different approaches for learning with limited labelled data from the perspective of their data efficiency and sensitivity to the effects of randomness. Second, we propose a novel investigation strategy that addresses the problem of interactions and contradictory findings. Using the investigation strategy, we provide an in-depth analysis of different sources of randomness across different approaches, models and datasets. Finally, we propose two novel mitigation strategies, one for sample selection sensitivity in few-shot learning, and another for fine-tuning optimisation sensitivity. Overall, we provide new insights into previously under-explored phenomena and improve the domain of addressing the sensitivity of learning with limited labelled data to the effects of randomness.
Learning with limited labelled data, such as prompting, in-context learning, or fine-tuning, aims to effectively train a model while using only a small number of labelled samples. However, it was observed to be sensitive to the effects of randomness, which severely impacts their comparison, overall use, and reproducibility of research. In this thesis, we focus on better understanding and addressing the sensitivity to the effects of randomness. We perform a comprehensive analysis of 415 research works that address the sensitivity to the effects of randomness across various tasks, ranging from recognition of the problem through investigation of the sensitivity and determining its source up to mitigating the effects of randomness and extending the comparisons and benchmarks to explicitly take sensitivity into consideration. Based on the analysis, we focus on addressing the identified open problems. First, we compare different approaches for learning with limited labelled data from the perspective of their data efficiency and sensitivity to the effects of randomness. Second, we propose a novel investigation strategy that addresses the problem of interactions and contradictory findings. Using the investigation strategy, we provide an in-depth analysis of different sources of randomness across different approaches, models and datasets. Finally, we propose two novel mitigation strategies, one for sample selection sensitivity in few-shot learning, and another for fine-tuning optimisation sensitivity. Overall, we provide new insights into previously under-explored phenomena and improve the domain of addressing the sensitivity of learning with limited labelled data to the effects of randomness.
Description
Keywords
stabilita, citlivosť, vplyvy náhodnosti, učenie bez príkladov, prompting, učenie s niekoľkými príkladmi, učenie v kontexte, učenie doladením, meta-učenie, veľké jazykové modely, parametrovo efektívne učenie s doladením, učenie s inštrukciami, skúmanie náhodnosti, zmierňovanie efektov náhodnosti, stability, sensitivity, effects of randomness, zero-shot learning, prompting, few-shot learning, in-context learning, fine-tuning, meta-learning, large language models, parameter-efficient fine-tuning, instruction-tuning, investigating randomness, mitigating randomness
Citation
PECHER, B. Citlivosť učenia s malým množstvom anotovaných dát na efekty náhodnosti [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2025.
Document type
Document version
Date of access to the full text
Language of document
en
Study field
Informační technologie
Comittee
doc. Ing. Jiří Jaroš, Ph.D. (předseda)
prof. Dr. Ing. Jan Černocký (člen)
doc. Ing. Pavel Kordík, Ph.D. (člen)
prof. Ing. Ján Paralič, PhD. (člen)
doc. Mgr. Radek Pelánek, Ph.D. (člen)
Date of acceptance
2025-05-26
Defence
Student přednesl cíle a výsledky, kterých v rámci řešení disertační práce dosáhl. V rozpravě student odpověděl na otázky komise a oponentů. Diskuze je zaznamenána na diskuzních lístcích, které jsou přílohou protokolu. Počet diskuzních lístků: 6. Komise se v závěru jednomyslně usnesla, že student splnil podmínky pro udělení akademického titulu doktor.
Komise jednomyslně doporučuje a oponenti podpořili, aby studentovi byla udělena cena za výjimečně kvalitní disertační práci, a to z důvodu, že student vytvořil nadstandardní práci, kterou publikoval na několika A* konferencích a i přesto stihl práci odevzdat ve standardní době studia.
The student presented the goals and results that he achieved within the solution of the dissertation. The student has competently answered the questions of the committee members and reviewers. The discussion is recorded on the discussion sheets, which are attached to the protocol. Number of discussion sheets: 6. The committee has agreed unanimously that the student has fulfilled requirements for being awarded the academic title Ph.D.
The committee unanimously recommends, and the opponents support, to awarding the thesis the Dean's Award for an exceptionally high-quality dissertation.
Result of defence
práce byla úspěšně obhájena
Document licence
Standardní licenční smlouva - přístup k plnému textu bez omezení