Automatická optimalizace promptů velkých jazykových modelů
Loading...
Date
Authors
Kán, Adam
ORCID
Advisor
Referee
Mark
A
Journal Title
Journal ISSN
Volume Title
Publisher
Vysoké učení technické v Brně. Fakulta informačních technologií
Abstract
Táto práca sa zameriava na automatickú optimalizáciu promptov ako na flexibilné a nákladovo efektívne riešenie pri prechode medzi jazykovými modelmi. Cieľom je zlepšiť výkonnosť menších modelov pri klasifikácii témy a použitých komunikačných taktík v SMS správach. V rámci práce sú analyzované hlavné metódy optimalizácie promptov vhodné pre malé modely, pričom je navrhnutý systém schopný ich automatického prispôsobovania a optimalizácie. Tento systém využíva metódu ”in-context learning“ (učenie z kontextu), vylepšenú o ”chain-of-thought reasoning“ (uvažovanie v slede myšlienok) generované väčším modelom a zároveň systematicky upravuje inštrukcie v prirodzenom jazyku na základe predchádzajúcich chýb v klasifikácii. Rôzne experimenty overujú vplyv jednotlivých metód na výkonnosť malých modelov. Výsledky ukazujú, že navrhnutý systém dokáže výrazne zvýšiť efektivitu menších modelov, čím ich robí konkurencieschopnou a cenovo výhodnou alternatívou.
This thesis explores automatic prompt optimization as a flexible and cost-effective solution for transitioning between language models. It focuses on enhancing the performance of smaller language models in the task of classifying the purpose and used communication tactics of SMS messages. The thesis studies common prompt optimization methods suitable for small models and proposes a system capable of automatically adapting and optimizing the input prompt. This system utilizes the "in-context learning" method, enhanced with "chain-of-thought reasoning" generated by a larger model, while systematically modifying instructions in natural language based on previous classification errors. Various experiments verify the impact of individual methods on the performance of small models. The results show that the proposed system can significantly increase the efficiency of smaller models, making them a competitive and cost-effective alternative.
This thesis explores automatic prompt optimization as a flexible and cost-effective solution for transitioning between language models. It focuses on enhancing the performance of smaller language models in the task of classifying the purpose and used communication tactics of SMS messages. The thesis studies common prompt optimization methods suitable for small models and proposes a system capable of automatically adapting and optimizing the input prompt. This system utilizes the "in-context learning" method, enhanced with "chain-of-thought reasoning" generated by a larger model, while systematically modifying instructions in natural language based on previous classification errors. Various experiments verify the impact of individual methods on the performance of small models. The results show that the proposed system can significantly increase the efficiency of smaller models, making them a competitive and cost-effective alternative.
Description
Keywords
automatická optimalizácia promptov, učenie z kontextu, inštrukcia v prirodzenom jazyku, reťaz myšlienok, generovanie postupu uvažovania, veľké jazykové modely, kvantizované jazykové modely, binárna klasifikácia, klasifikácia SMS správ, automated prompt optimization, in-context learning, natural language instruction, chain of thought, reasoning generation, large language models, quantized language models, binary classification, SMS classification
Citation
KÁN, A. Automatická optimalizace promptů velkých jazykových modelů [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2025.
Document type
Document version
Date of access to the full text
Language of document
en
Study field
Informační technologie
Comittee
doc. Ing. František Zbořil, Ph.D. (předseda)
Mgr. Kamil Malinka, Ph.D. (člen)
Ing. Miloš Musil, Ph.D. (člen)
Ing. Vladimír Veselý, Ph.D. (člen)
doc. Ing. Vítězslav Beran, Ph.D. (člen)
Date of acceptance
2025-06-16
Defence
Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm A.
Result of defence
práce byla úspěšně obhájena
Document licence
Standardní licenční smlouva - přístup k plnému textu bez omezení