but.committee	doc. Ing. Jiří Jaroš, Ph.D. (předseda) prof. Dr. Ing. Jan Černocký (člen) doc. Ing. Pavel Kordík, Ph.D. (člen) prof. Ing. Ján Paralič, PhD. (člen) doc. Mgr. Radek Pelánek, Ph.D. (člen)	cs
but.defence	Student přednesl cíle a výsledky, kterých v rámci řešení disertační práce dosáhl. V rozpravě student odpověděl na otázky komise a oponentů a hostů. Diskuze je zaznamenána na diskuzních lístcích, které jsou přílohou protokolu. Počet diskuzních lístků: 4. Komise se v závěru jednomyslně usnesla, že student splnil podmínky pro udělení akademického titulu doktor. The student presented the goals and results that he achieved within the solution of the dissertation. The student has competently answered the questions of the committee members and reviewers and guests. The discussion is recorded on the discussion sheets, which are attached to the protocol. Number of discussion sheets: 4. The committee has agreed unanimously that the student has fulfilled requirements for being awarded the academic title Ph.D. Komise jednomyslně doporučuje a oponenti podpořili, aby studentovi byla udělena cena za výjimečně kvalitní disertační práci, a to z důvodu, že jde o velmi kvalitní disertační práci, která je publikovaná na jedné A* a dvou A konferencích a byla odevzdána ve standardní době studia. Také byla práce citována jedním z největších expertů v dané oblasti. The committee unanimously recommends, and the opponents support, to awarding the thesis the Dean's Award for an exceptionally high-quality dissertation.	cs
but.jazyk	angličtina (English)
but.program	Informační technologie	cs
but.result	práce byla úspěšně obhájena	cs
dc.contributor.advisor	Kompan, Michal	en
dc.contributor.author	Čief, Matej	en
dc.contributor.referee	Larson, Martha	en
dc.contributor.referee	Kordík, Pavel	en
dc.date.created	2025	cs
dc.description.abstract	Offline učenie a vyhodnocovanie pre kontextové, mnohoruké bandit algoritmy je vysoko požadované riešenie na zlepšenie adaptívnych webových systémov, pretože proces môže byť spustený \emph{offline}, teda bez priamej interakcie s používateľmi, čím sa zabráni nasadení suboptimálnych algoritmov. Napriek mnohým výhodám offline učenia a vyhodnocovania, viacero problémov bráni širšej adopcii v praxi. Neexistuje žiadna metóda, ktorá by na základe dát vybrala najlepší estimátor a vedela automaticky vyladiť hyper-parametere estimátora. Existujúce algoritmy často nie sú škálovateľné na veľké počty akcií, čo je bežný prípad v dnešných e-commerce odporúčačoch. V tejto práci sa snažíme vyriešiť dva praktické problémy pre každú oblasť, off-policy vyhodnocovanie a off-policy učenie. Pre off-policy vyhodnocovanie: (1) Navrhujeme nový algoritmus založený na krížovej validácii, ktorý umožní výber najlepšieho estimátora a vyladenie jeho hyper-parametrov napriek tomu, že v offline vyhodnocovaní nemáme prístup k žiadnej validačnej vzorke. (2) Offline vyhodnocovanie s veľkým množstvom akcií pomocou návrhu nového prístupu, ktorý sa učí nízko-dimenzionálne reprezentácie akcií a tým pádom sa lepšie škáluje z narastajucím počtom akcií. Pri off-policy učení sa adresujeme dva problémy, ktoré vznikajú kvôli nepresnému modelu: (1) Riešime nadmernú sebadôveru použitím pesimistických odhadov v offline učení pre kombinatorické priestory akcií a zároveň dosahujeme priaznivú výpočtovú zložitosť. (2) Reformulujeme populárnu definíciu odmeny, ktorá sa často používa pre doladenie jazykových modelov, aby odppovedali podľa ľudských preferencií, vďaka ktorej vieme predísť hackovaniu odmeny v procese učenia.	en
dc.description.abstract	Off-policy learning and evaluation for contextual multi-armed bandits are a highly desirable solution for improving the performance of adaptive web-based systems as the process can be run \emph{offline}, that is, without directly interacting with the users, preventing the deployment of sub-optimal policies. However, multiple practical considerations, such as the lack of a data-driven model selection procedure and limited scaling of the algorithms to large action spaces, prevent a wider adoption of off-policy techniques. In this thesis, we study both off-policy evaluation and off-policy learning and address two problems in each to make off-policy methods more practical. In off-policy evaluation, we address: (1) Estimator selection and hyper-parameter tuning by designing a cross-validation method that bypasses the lack of ground truth validation data. (2) Off-policy evaluation with large action spaces by proposing a novel estimator that scales well with a growing number of actions by learning the similarities between the actions. In off-policy learning, we address the problems arising due to the noise in the reward model by: (1) Applying pessimistic value estimation to address the overconfidence in off-policy learning for large combinatorial action spaces while keeping the optimization computationally tractable. (2) Reformulating a popular learning objective when aligning large language models to prevent reward hacking.	cs
dc.description.mark	P	cs
dc.identifier.citation	ČIEF, M. Off-policy vyhodnocovanie a učenie v adaptívnych systémoch [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2025.	cs
dc.identifier.other	166445	cs
dc.identifier.uri	http://hdl.handle.net/11012/251048
dc.language.iso	en	cs
dc.publisher	Vysoké učení technické v Brně. Fakulta informačních technologií	cs
dc.rights	Standardní licenční smlouva - přístup k plnému textu bez omezení	cs
dc.subject	offline bandit algoritmy	en
dc.subject	odporúčače	en
dc.subject	odporúčanie listov	en
dc.subject	učenie s odmenou a trestom definovanou človekom	en
dc.subject	offline bandit algorithms	cs
dc.subject	recommenders	cs
dc.subject	learning to rank	cs
dc.subject	reinforcement learning from human feedback	cs
dc.title	Off-policy vyhodnocovanie a učenie v adaptívnych systémoch	en
dc.title.alternative	Off-policy evaluation and learning in adaptive systems	cs
dc.type	Text	cs
dc.type.driver	doctoralThesis	en
dc.type.evskp	dizertační práce	cs
dcterms.dateAccepted	2025-05-26	cs
dcterms.modified	2025-05-26-14:33:35	cs
eprints.affiliatedInstitution.faculty	Fakulta informačních technologií	cs
sync.item.dbid	166445	en
sync.item.dbtype	ZP	en
sync.item.insts	2025.06.04 10:01:57	en
sync.item.modts	2025.06.03 15:37:10	en
thesis.discipline	Informační technologie	cs
thesis.grantor	Vysoké učení technické v Brně. Fakulta informačních technologií. Ústav počítačové grafiky a multimédií	cs
thesis.level	Doktorský	cs
thesis.name	Ph.D.	cs

Off-policy vyhodnocovanie a učenie v adaptívnych systémoch

Files

Original bundle

Collections