Využití zpětnovazebné učení a induktivní syntézy pro konstukci robustních kontroléru v POMDPs
| but.committee | prof. Dr. Ing. Jan Černocký (předseda) doc. Ing. Lukáš Burget, Ph.D. (člen) doc. Mgr. Lukáš Holík, Ph.D. (člen) Ing. Michal Hradiš, Ph.D. (člen) Ing. František Grézl, Ph.D. (člen) prof. Ing. Lukáš Sekanina, Ph.D. (člen) | cs |
| but.defence | Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm A. | cs |
| but.jazyk | angličtina (English) | |
| but.program | Informační technologie a umělá inteligence | cs |
| but.result | práce byla úspěšně obhájena | cs |
| dc.contributor.advisor | Češka, Milan | en |
| dc.contributor.author | Hudák, David | en |
| dc.contributor.referee | Holík, Lukáš | en |
| dc.date.created | 2024 | cs |
| dc.description.abstract | Jednou ze současných výzev při sekvenční rozhodováním je práce s neurčitostí, která je způsobena nepřesnými senzory či neúplnou informací o prostředích, ve kterých bychom chtěli dělat rozhodnutí. Tato neurčitost je formálně popsána takzvanými částečně pozorovatelnými Markovskými rozhodovacími procesy (POMDP), které oproti Markovským rozhodovacím procesům (MDP) nahrazují informaci o konkrétním stavu nepřesným pozorováním. Pro rozhodování v takových prostředích je nutno nějakým způsobem odhadovat současný stav a obecně tvorba optimálních politik v takových prostředích není rozhodnutelná. K vyrovnání se s touto výzvou existují dva zcela odlišné přístupy, kdy lze k problému přistupovat úplnými formálními metodami, a to buď s pomocí výpočtu beliefů či syntézou konečně stavových kontrolérů, nebo metodami založenými na nepřesné aproximaci současného stavu, reprezentované především hlubokým zpětnovazebným učením. Zatímco formální přístupy jsou schopné dělat verifikovatelná a robustní rozhodnutí pro malá prostředí, tak zpětnovazebné učení je schopné škálovat na reálné problémy. Tato práce se pak soustředí na spojení těchto dvou odlišných přístupů, kdy navrhuje různé metody jak pro interpretaci výsledku, tak pro vzájemné předávání nápověd. Experimenty v této práci ukazují, že z této symbiózy mohou těžit oba přístupy, ale také že zvolený přístup ke trénování agentů už sám o sobě řádově překonává současné systémy pro trénování agentů na podobných úlohách. | en |
| dc.description.abstract | A significant challenge in sequential decision-making involves dealing with uncertainty, which arises from inaccurate sensors or only a partial knowledge of the agent's environment. This uncertainty is formally described through the framework of partially observable Markov decision processes (POMDPs). Unlike Markov decision processes (MDP), POMDPs only provide limited information about the exact state through imprecise observations. Decision-making in such settings requires estimating the current state, and generally, achieving optimal decisions is not tractable. There are two primary strategies to address this issue. The first strategy involves formal methods that concentrate on computing belief MDPs or synthesizing finite state controllers, known for their robustness and verifiability. However, these methods often struggle with scalability and require to know the underlying model. Conversely, informal methods like reinforcement learning offer scalability but lack verifiability. This thesis aims to merge these approaches by developing and implementing various techniques for interpreting and integrating the results and communication strategies between both methods. In this thesis, our experiments show that this symbiosis can improve both approaches, and we also show that our implementation overcomes other RL implementations for similar tasks. | cs |
| dc.description.mark | A | cs |
| dc.identifier.citation | HUDÁK, D. Využití zpětnovazebné učení a induktivní syntézy pro konstukci robustních kontroléru v POMDPs [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2024. | cs |
| dc.identifier.other | 157079 | cs |
| dc.identifier.uri | http://hdl.handle.net/11012/248927 | |
| dc.language.iso | en | cs |
| dc.publisher | Vysoké učení technické v Brně. Fakulta informačních technologií | cs |
| dc.rights | Standardní licenční smlouva - přístup k plnému textu bez omezení | cs |
| dc.subject | Posilované učení | en |
| dc.subject | PAYNT | en |
| dc.subject | POMDP | en |
| dc.subject | interpretovatelnost | en |
| dc.subject | syntéza | en |
| dc.subject | PPO | en |
| dc.subject | sekvenční rozhodovací problémy | en |
| dc.subject | konečně stavové kontroléry | en |
| dc.subject | FSC | en |
| dc.subject | DQN | en |
| dc.subject | DDQN | en |
| dc.subject | Reinforcement learning | cs |
| dc.subject | PAYNT | cs |
| dc.subject | POMDP | cs |
| dc.subject | interpretability | cs |
| dc.subject | synthesis | cs |
| dc.subject | PPO | cs |
| dc.subject | sequential decision problems | cs |
| dc.subject | finite state controllers | cs |
| dc.subject | FSC | cs |
| dc.subject | DQN | cs |
| dc.subject | DDQN | cs |
| dc.title | Využití zpětnovazebné učení a induktivní syntézy pro konstukci robustních kontroléru v POMDPs | en |
| dc.title.alternative | Using Reinforcement learning and inductive synthesis for designing robust controllers in POMDPs | cs |
| dc.type | Text | cs |
| dc.type.driver | masterThesis | en |
| dc.type.evskp | diplomová práce | cs |
| dcterms.dateAccepted | 2024-06-18 | cs |
| dcterms.modified | 2024-06-18-11:39:56 | cs |
| eprints.affiliatedInstitution.faculty | Fakulta informačních technologií | cs |
| sync.item.dbid | 157079 | en |
| sync.item.dbtype | ZP | en |
| sync.item.insts | 2025.03.26 15:38:24 | en |
| sync.item.modts | 2025.01.15 19:25:00 | en |
| thesis.discipline | Strojové učení | cs |
| thesis.grantor | Vysoké učení technické v Brně. Fakulta informačních technologií. Ústav inteligentních systémů | cs |
| thesis.level | Inženýrský | cs |
| thesis.name | Ing. | cs |