Citlivosť učenia s malým množstvom anotovaných dát na efekty náhodnosti

Simple item page
but.committeedoc. Ing. Jiří Jaroš, Ph.D. (předseda) prof. Dr. Ing. Jan Černocký (člen) doc. Ing. Pavel Kordík, Ph.D. (člen) prof. Ing. Ján Paralič, PhD. (člen) doc. Mgr. Radek Pelánek, Ph.D. (člen)cs
but.defenceStudent přednesl cíle a výsledky, kterých v rámci řešení disertační práce dosáhl. V rozpravě student odpověděl na otázky komise a oponentů. Diskuze je zaznamenána na diskuzních lístcích, které jsou přílohou protokolu. Počet diskuzních lístků: 6. Komise se v závěru jednomyslně usnesla, že student splnil podmínky pro udělení akademického titulu doktor. Komise jednomyslně doporučuje a oponenti podpořili, aby studentovi byla udělena cena za výjimečně kvalitní disertační práci, a to z důvodu, že student vytvořil nadstandardní práci, kterou publikoval na několika A* konferencích a i přesto stihl práci odevzdat ve standardní době studia. The student presented the goals and results that he achieved within the solution of the dissertation. The student has competently answered the questions of the committee members and reviewers. The discussion is recorded on the discussion sheets, which are attached to the protocol. Number of discussion sheets: 6. The committee has agreed unanimously that the student has fulfilled requirements for being awarded the academic title Ph.D. The committee unanimously recommends, and the opponents support, to awarding the thesis the Dean's Award for an exceptionally high-quality dissertation.cs
but.jazykangličtina (English)
but.programInformační technologiecs
but.resultpráce byla úspěšně obhájenacs
dc.contributor.advisorBieliková, Máriaen
dc.contributor.authorPecher, Branislaven
dc.contributor.refereeTonelli, Saraen
dc.contributor.refereeParalič, Jánen
dc.date.created2025cs
dc.description.abstractCieľom učenia s malým množstvom anotovaných dát, ako je prompting, učenie v kontexte alebo učenie doladením, je efektívne natrénovať model pri použití iba malého počtu označených vzoriek. Avšak tieto prístupy sú pomerne citlivé na efekty náhodnosti, čo výrazne ovplyvňuje ich porovnávanie, celkové využitie a reprodukovateľnosť výskumu. V tejto dizertačnej práci sa zameriavame na lepšie porozumenie a riešenie citlivosti na efekty náhodnosti. Vykonávame rozsiahlu analýzu 415 výskumných prác, ktoré sa zaoberajú citlivosťou na účinky náhodnosti naprieč rôznymi pohľadmi, od rozpoznania problému cez skúmanie citlivosti a určenie jej zdroja až po zmiernenie účinkov náhodnosti a rozšírenie porovnaní úspešnosti modelov tak, aby brali túto citlivosť do úvahy. Na základe tejto analýzy sa zameriavame na riešenie identifikovaných otvorených problémov. Ako prvé porovnávame rôzne prístupy k učeniu s malým množstvom anotovaných dát z hľadiska ako veľa anotovaných dát potrebujú a ich citlivosti na efekty náhodnosti. Následne navrhujeme novú stratégiu skúmania náhodnosti, ktorá sa rieši problémom interakcií a protichodných zistení. Túto stratégiu skúmania náhodností následne využívame aby sme poskytli detailnú analýzu rôznych zdrojov náhodnosti naprieč rôznymi prístupmi, modelmi a dátovými sadami. Nakoniec navrhujeme dve nové stratégie zmierňovania efektov náhodnosti, jednu pre citlivosť na výber vzoriek v prípade učenia s niekoľkými príkladmi, a druhú pre citlivosť pri optimalizácii v učení doladením. Celkovo prinášame nové poznatky o predtým nedostatočne preskúmaných javoch a zlepšujeme oblasť riešenia citlivosti učenia s malým množstvom anotovaných dát na efekty náhodnosti.en
dc.description.abstractLearning with limited labelled data, such as prompting, in-context learning, or fine-tuning, aims to effectively train a model while using only a small number of labelled samples. However, it was observed to be sensitive to the effects of randomness, which severely impacts their comparison, overall use, and reproducibility of research. In this thesis, we focus on better understanding and addressing the sensitivity to the effects of randomness. We perform a comprehensive analysis of 415 research works that address the sensitivity to the effects of randomness across various tasks, ranging from recognition of the problem through investigation of the sensitivity and determining its source up to mitigating the effects of randomness and extending the comparisons and benchmarks to explicitly take sensitivity into consideration. Based on the analysis, we focus on addressing the identified open problems. First, we compare different approaches for learning with limited labelled data from the perspective of their data efficiency and sensitivity to the effects of randomness. Second, we propose a novel investigation strategy that addresses the problem of interactions and contradictory findings. Using the investigation strategy, we provide an in-depth analysis of different sources of randomness across different approaches, models and datasets. Finally, we propose two novel mitigation strategies, one for sample selection sensitivity in few-shot learning, and another for fine-tuning optimisation sensitivity. Overall, we provide new insights into previously under-explored phenomena and improve the domain of addressing the sensitivity of learning with limited labelled data to the effects of randomness.cs
dc.description.markPcs
dc.identifier.citationPECHER, B. Citlivosť učenia s malým množstvom anotovaných dát na efekty náhodnosti [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2025.cs
dc.identifier.other166485cs
dc.identifier.urihttp://hdl.handle.net/11012/251049
dc.language.isoencs
dc.publisherVysoké učení technické v Brně. Fakulta informačních technologiícs
dc.rightsStandardní licenční smlouva - přístup k plnému textu bez omezenícs
dc.subjectstabilitaen
dc.subjectcitlivosťen
dc.subjectvplyvy náhodnostien
dc.subjectučenie bez príkladoven
dc.subjectpromptingen
dc.subjectučenie s niekoľkými príkladmien
dc.subjectučenie v kontexteen
dc.subjectučenie doladenímen
dc.subjectmeta-učenieen
dc.subjectveľké jazykové modelyen
dc.subjectparametrovo efektívne učenie s doladenímen
dc.subjectučenie s inštrukciamien
dc.subjectskúmanie náhodnostien
dc.subjectzmierňovanie efektov náhodnostien
dc.subjectstabilitycs
dc.subjectsensitivitycs
dc.subjecteffects of randomnesscs
dc.subjectzero-shot learningcs
dc.subjectpromptingcs
dc.subjectfew-shot learningcs
dc.subjectin-context learningcs
dc.subjectfine-tuningcs
dc.subjectmeta-learningcs
dc.subjectlarge language modelscs
dc.subjectparameter-efficient fine-tuningcs
dc.subjectinstruction-tuningcs
dc.subjectinvestigating randomnesscs
dc.subjectmitigating randomnesscs
dc.titleCitlivosť učenia s malým množstvom anotovaných dát na efekty náhodnostien
dc.title.alternativeSensitivity of Learning with Limited Labelled Data to the Effects of Randomnesscs
dc.typeTextcs
dc.type.driverdoctoralThesisen
dc.type.evskpdizertační prácecs
dcterms.dateAccepted2025-05-26cs
dcterms.modified2025-05-26-14:00:41cs
eprints.affiliatedInstitution.facultyFakulta informačních technologiícs
sync.item.dbid166485en
sync.item.dbtypeZPen
sync.item.insts2025.06.04 10:02:00en
sync.item.modts2025.06.03 15:32:00en
thesis.disciplineInformační technologiecs
thesis.grantorVysoké učení technické v Brně. Fakulta informačních technologií. Ústav počítačové grafiky a multimédiícs
thesis.levelDoktorskýcs
thesis.namePh.D.cs
Files
Original bundle
Now showing 1 - 5 of 6
Thumbnail Image
Name:
final-thesis.pdf
Size:
10.37 MB
Format:
Adobe Portable Document Format
Description:
file final-thesis.pdf
Download
Thumbnail Image
Name:
appendix-1.pdf
Size:
614.88 KB
Format:
Adobe Portable Document Format
Description:
file appendix-1.pdf
Download
Thumbnail Image
Name:
Posudek-Vedouci prace-anonym_BranislavPecherSupervisor review.pdf
Size:
61.58 KB
Format:
Adobe Portable Document Format
Description:
file Posudek-Vedouci prace-anonym_BranislavPecherSupervisor review.pdf
Download
Thumbnail Image
Name:
Posudek-Oponent prace-anonym_Tonelli_PHD_thesis_review_UPDATED.pdf
Size:
91.4 KB
Format:
Adobe Portable Document Format
Description:
file Posudek-Oponent prace-anonym_Tonelli_PHD_thesis_review_UPDATED.pdf
Download
Thumbnail Image
Name:
Posudek-Oponent prace-anonym_PHD_thesisPecher_review.pdf
Size:
169.5 KB
Format:
Adobe Portable Document Format
Description:
file Posudek-Oponent prace-anonym_PHD_thesisPecher_review.pdf
Download
Collections
2025