Vylepšení syntézy konečně stavových kontrolérů pro POMDP
| but.committee | doc. Dr. Ing. Petr Hanáček (předseda) doc. RNDr. Milan Češka, Ph.D. (člen) Ing. Martin Hrubý, Ph.D. (člen) Mgr. Kamil Malinka, Ph.D. (člen) Ing. Matěj Grégr, Ph.D. (člen) Mgr. Ing. Pavel Očenášek, Ph.D. (člen) | cs |
| but.defence | Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky přítomných, např. ohledně významu pojmu "kontroler" a jejich rozsahu, postupu pro nacházení kontrolerů či charakteru použité optimalizační metody. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm výborně / A. | cs |
| but.jazyk | angličtina (English) | |
| but.program | Informační technologie a umělá inteligence | cs |
| but.result | práce byla úspěšně obhájena | cs |
| dc.contributor.advisor | Češka, Milan | en |
| dc.contributor.author | Macák, Filip | en |
| dc.contributor.referee | Holík, Lukáš | en |
| dc.date.accessioned | 2023-06-22T06:56:38Z | |
| dc.date.available | 2023-06-22T06:56:38Z | |
| dc.date.created | 2023 | cs |
| dc.description.abstract | Táto práca sa zameriava na kombináciu dvoch moderných metód syntézy plánovačov pre Markovské procesy s čiastočným pozorovaním (POMDPs), ktoré sú významným modelom pre sekvenčné rozhodovanie s neistotou. Hlavnou úlohou je nájsť plánovač POMDP, ktorý dosahuje čo najlepšiu hodnotu. Keďže hľadanie optimálneho plánovača je nerozhodnuteľné, zameriavame sa na syntézu dobrých konečne stavových kontrolérov (FSCs). V tejto práci integrujeme dve moderné, ortogonálne metódy pre syntézu kontrolérov POMDP, a to metódu založenú na prehľadávaní belief priestoru a induktívnu metódu. Prvá metóda získava FSC z konečného fragmentu takzvaného belief MDP, čo je MDP, ktorý udržiava prehľad o pravdepodobnostiach rovnako pozorovateľných stavov POMDP. Druhá je induktívna vyhľadávacia technika pre množinu FSC s fixnou veľkosťou pamäti. Kľúčovým výsledkom tejto práce je symbiotický algoritmus, ktorý integruje obidva tieto prístupy tak, aby sa každý dokázal zlepšiť z kontrolérov vytvorených tým druhým. Experimentálne výsledky naznačujú významné zlepšenie hodnoty kontrolérov pri značnom znižovaní času syntézy a využitej pamäte. | en |
| dc.description.abstract | This work focuses on combining two state-of-the-art controller synthesis methods for partially observable Markov decision processes (POMDPs), a prominent model in sequential decision making under uncertainty. A central issue is to find a POMDP controller that achieves a total expected reward objective. As finding optimal controllers is undecidable, we concentrate on synthesising good finite-state controllers (FSCs). We do so by tightly integrating two modern, orthogonal methods for POMDP controller synthesis: a belief-based and an inductive approach. The former method obtains an FSC from a finite fragment of the so-called belief MDP, an MDP that keeps track of the probabilities of equally observable POMDP states. The latter is an inductive search technique over a set of FSCs with a fixed memory size. The key result of this work is a symbiotic anytime algorithm that tightly integrates both approaches such that each profits from the controllers constructed by the other. Experimental results indicate a substantial improvement in the value of the controllers while significantly reducing the synthesis time and memory footprint. | cs |
| dc.description.mark | A | cs |
| dc.identifier.citation | MACÁK, F. Vylepšení syntézy konečně stavových kontrolérů pro POMDP [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2023. | cs |
| dc.identifier.other | 146891 | cs |
| dc.identifier.uri | http://hdl.handle.net/11012/210606 | |
| dc.language.iso | en | cs |
| dc.publisher | Vysoké učení technické v Brně. Fakulta informačních technologií | cs |
| dc.rights | Standardní licenční smlouva - přístup k plnému textu bez omezení | cs |
| dc.subject | Markovské modely | en |
| dc.subject | pravdepodobnostné modely | en |
| dc.subject | automatizovaná syntéza | en |
| dc.subject | model checking | en |
| dc.subject | formálne metódy | en |
| dc.subject | čiastočná pozorovateľnosť | en |
| dc.subject | Markov models | cs |
| dc.subject | probabilistic models | cs |
| dc.subject | automated synthesis | cs |
| dc.subject | model checking | cs |
| dc.subject | formal methods | cs |
| dc.subject | partial observability | cs |
| dc.title | Vylepšení syntézy konečně stavových kontrolérů pro POMDP | en |
| dc.title.alternative | Improving Synthesis of Finite State Controllers for POMDPs Using Belief Space Approximation | cs |
| dc.type | Text | cs |
| dc.type.driver | masterThesis | en |
| dc.type.evskp | diplomová práce | cs |
| dcterms.dateAccepted | 2023-06-21 | cs |
| dcterms.modified | 2023-06-21-11:01:07 | cs |
| eprints.affiliatedInstitution.faculty | Fakulta informačních technologií | cs |
| sync.item.dbid | 146891 | en |
| sync.item.dbtype | ZP | en |
| sync.item.insts | 2023.06.22 08:56:38 | en |
| sync.item.modts | 2023.06.22 08:13:07 | en |
| thesis.discipline | Matematické metody | cs |
| thesis.grantor | Vysoké učení technické v Brně. Fakulta informačních technologií. Ústav inteligentních systémů | cs |
| thesis.level | Inženýrský | cs |
| thesis.name | Ing. | cs |