Induktivní syntéza kontrolérů pro POMDP vůči vlastnostem ve stabilním stavu
Loading...
Date
Authors
ORCID
Advisor
Referee
Mark
B
Journal Title
Journal ISSN
Volume Title
Publisher
Vysoké učení technické v Brně. Fakulta informačních technologií
Abstract
Tato práce se zabývá syntézou konečných automatů pro částečně pozorovatelné Markovovské rozhodovací procesy s ohledem na vlastnosti v ustáleném stavu. Množina přípustných kontrolérů je prozkoumávána pomocí state-of-the-art syntézních metod. Metoda Abstraction-Refinement (AR) prozkoumává tuto množinu tím, že bere v úvahu rodiny kontrolérů najednou. Byl navržen nový algoritmus generující proti-příklady vzhledem ke vlastnostem v ustáleném stavu, pomocí principů metody counterexample-guided inductive synthesis. V experimentální části se porovnává metoda AR se základní one-by-one metodou. Ukáže se, že metoda AR je rychlejší o několik řádů ve většině případů, s výjimkou jednoho, kde nízké hodnoty přechodů snížily její rychlost. Není k dispozici žádný jiný nástroj, který umí provádět takovou syntézu, takže porovnání s jinými přístupy nebylo možné.
This thesis considers the problem of synthesizing finite-state controllers (FSC) for partially observable Markov decision processes wrt. steady-state properties. The set of candidate FSCs (design-space) is explored using state-of-the-art synthesis methods. The Abstraction-Refinement (AR) method prunes the design-space by considering families of FSCs at once. The novel algorithm generating counter-examples regarding steady-state properties using principles of the counterexample-guided inductive synthesis method is proposed. The experimental evaluation compares the AR method with a one-by-one exploration. It shows that the AR method is faster by orders of magnitude in all but one example, where the low transition rates reduced the speed of the AR method. No other tool is capable of performing such synthesis, so a comparison with other approaches is not available.
This thesis considers the problem of synthesizing finite-state controllers (FSC) for partially observable Markov decision processes wrt. steady-state properties. The set of candidate FSCs (design-space) is explored using state-of-the-art synthesis methods. The Abstraction-Refinement (AR) method prunes the design-space by considering families of FSCs at once. The novel algorithm generating counter-examples regarding steady-state properties using principles of the counterexample-guided inductive synthesis method is proposed. The experimental evaluation compares the AR method with a one-by-one exploration. It shows that the AR method is faster by orders of magnitude in all but one example, where the low transition rates reduced the speed of the AR method. No other tool is capable of performing such synthesis, so a comparison with other approaches is not available.
Description
Keywords
částečně pozorovatelný Markovův rozhodovací proces, syntéza konečných automatů, vlastnosti ve stabilním stavu, rodina konečných automatů, abstrakce rodin Markovských řetězců, protipříklady, partially observable Markov decision process, finite state controller synthesis, steady-state properties, family of finite state controllers, abstraction of Markov chains, counter-examples
Citation
JAROLÍM, A. Induktivní syntéza kontrolérů pro POMDP vůči vlastnostem ve stabilním stavu [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2023.
Document type
Document version
Date of access to the full text
Language of document
en
Study field
Informační technologie
Comittee
prof. Ing. Tomáš Vojnar, Ph.D. (předseda)
doc. Ing. Petr Matoušek, Ph.D., M.A. (člen)
Ing. František Grézl, Ph.D. (člen)
Ing. Tomáš Martínek, Ph.D. (člen)
Ing. Matěj Grégr, Ph.D. (člen)
Date of acceptance
2023-06-15
Defence
Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm B.
Result of defence
práce byla úspěšně obhájena
Document licence
Standardní licenční smlouva - přístup k plnému textu bez omezení