Evoluční algoritmy v posilovaném učení
| but.committee | doc. Ing. Lukáš Burget, Ph.D. (předseda) prof. Dr. Ing. Jan Černocký (člen) doc. Ing. Vladimír Janoušek, Ph.D. (člen) Ing. Michal Hradiš, Ph.D. (člen) Ing. Jaroslav Rozman, Ph.D. (člen) Ing. František Grézl, Ph.D. (člen) | cs |
| but.defence | Studentka nejprve prezentovala výsledky, kterých dosáhla v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Studentka následně odpověděla na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studentky na položené otázky rozhodla práci hodnotit stupněm A. | cs |
| but.jazyk | angličtina (English) | |
| but.program | Informační technologie a umělá inteligence | cs |
| but.result | práce byla úspěšně obhájena | cs |
| dc.contributor.advisor | Sekanina, Lukáš | en |
| dc.contributor.author | Gulčíková, Sabína | en |
| dc.contributor.referee | Vašíček, Zdeněk | en |
| dc.date.accessioned | 2025-06-27T04:00:30Z | |
| dc.date.available | 2025-06-27T04:00:30Z | |
| dc.date.created | 2025 | cs |
| dc.description.abstract | Funkcia odmeny je jedným z najdôležitejších signálov, ktoré vedú agenta pri učení v konfigurácii bez znalosti modelu prostredia. Prenesenie komplexného cieľa úlohy do ekvivalentného matematického výrazu je netriviálny proces, ktorý pri nesprávnom prístupe môže viesť k neželaným javom, ako je zneužívanie odmeny (reward hacking) alebo úplné zlyhanie učenia. Formovanie odmien (reward shaping) je metóda, ktorá agentovi poskytuje dodatočné informácie o úlohe s cieľom zlepšiť efektivitu a stabilitu jeho učenia. Táto diplomová práca sa zaoberá použitím genetického programovania na evolúciu formovacích funkcií odmeny, čím presúva záťaž návrhu z manuálneho procesu na automatickú evolúciu riadenú vhodne navrhnutou fitness funkciou. Tá umožňuje optimalizáciu zameriavať na požadované správanie agenta a priebeh učenia, výsledkom čoho je možnosť objaviť vhodné formy odmeňovania. Kvalitu tohto prístupu vyhodnocujeme na úlohe CartPole a porovnávame ho s prístupmi založenými na náhodne vygenerovaných aj ručne navrhnutých funkciách, ako aj so základným prístupom bez dodatočnej funkcie odmeny. Okrem štandardného učenia vyhodnocujeme aplikácie vyvinutých funkcií v rámci tzv. transfer učenia, pričom sa zameriavame na ich robustnosť a dopad na agentovu schopnosť učiť sa aj v prostrediach so zmenenou dynamikou, bez potreby dodatočnej zmeny hyperparametrov. | en |
| dc.description.abstract | Reward function is one of the key signals guiding agents during learning in a model-free reinforcement learning setup. Translating a complex task objective into a meaningful mathematical expression is a non-trivial process, which, if done incorrectly, can lead to negative side effects such as reward hacking or complete failure to learn. Reward shaping is a method of providing additional information about the task to improve learning efficiency and stability, offering potential for alleviating problems stemming from incorrect reward design. This thesis explores the use of genetic programming for evolving reward shaping functions, shifting the design burden from manual engineering to the evolution of reward functions guided by a fitness function. The fitness function allows for direct optimization of desired agent behaviors and smooth learning dynamics, letting evolution discover suitable reward transformations. We evaluate this approach on the CartPole control task, and compare it against randomly obtained and manually designed shaping reward functions, as well as shaping-free approaches. In addition to standard learning, we examine the application of evolved functions in a transfer learning scenario, evaluating their robustness and impact on the agent's ability to learn in an environment with modified dynamics without the need for further hyperparameter tuning. | cs |
| dc.description.mark | A | cs |
| dc.identifier.citation | GULČÍKOVÁ, S. Evoluční algoritmy v posilovaném učení [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2025. | cs |
| dc.identifier.other | 165202 | cs |
| dc.identifier.uri | https://hdl.handle.net/11012/255136 | |
| dc.language.iso | en | cs |
| dc.publisher | Vysoké učení technické v Brně. Fakulta informačních technologií | cs |
| dc.rights | Standardní licenční smlouva - přístup k plnému textu bez omezení | cs |
| dc.subject | posilované učenie | en |
| dc.subject | evolučné výpočty | en |
| dc.subject | evolučné posilované učenie | en |
| dc.subject | evolučný dizajn hodnotiaceho signálu | en |
| dc.subject | DQN algoritmus | en |
| dc.subject | PPO algoritmus | en |
| dc.subject | CartPole úloha | en |
| dc.subject | generalizácia | en |
| dc.subject | reinforcement learning | cs |
| dc.subject | evolutionary computation | cs |
| dc.subject | reward shaping | cs |
| dc.subject | evolutionary reward design | cs |
| dc.subject | DQN algorithm | cs |
| dc.subject | PPO algorithm | cs |
| dc.subject | CartPole task | cs |
| dc.subject | generalization | cs |
| dc.title | Evoluční algoritmy v posilovaném učení | en |
| dc.title.alternative | Evolutionary Algorithms in Reinforcement Learning | cs |
| dc.type | Text | cs |
| dc.type.driver | masterThesis | en |
| dc.type.evskp | diplomová práce | cs |
| dcterms.dateAccepted | 2025-06-26 | cs |
| dcterms.modified | 2025-06-26-16:13:21 | cs |
| eprints.affiliatedInstitution.faculty | Fakulta informačních technologií | cs |
| sync.item.dbid | 165202 | en |
| sync.item.dbtype | ZP | en |
| sync.item.insts | 2025.06.27 06:00:30 | en |
| sync.item.modts | 2025.06.27 05:32:04 | en |
| thesis.discipline | Strojové učení | cs |
| thesis.grantor | Vysoké učení technické v Brně. Fakulta informačních technologií. Ústav počítačových systémů | cs |
| thesis.level | Inženýrský | cs |
| thesis.name | Ing. | cs |