Vylepšení syntézy kontrolerů pro POMDP s využitím abstrakce a podobnosti.
Loading...
Date
Authors
Shevchenko, Aleksandr
ORCID
Advisor
Referee
Mark
A
Journal Title
Journal ISSN
Volume Title
Publisher
Vysoké učení technické v Brně. Fakulta informačních technologií
Abstract
Částečně pozorovatelný Markovský rozhodovací proces (POMDP) je důležitým modelem pro autonomní plánování, který se používá v mnoha oblastech, jako je robotika a biologie. Tato práce se zaměřuje na metodu Abstraction-Refinement pro induktivní syntézu konečně stavových kontrolérů (FSC) pro POMDP. Klasická verze AR vyžaduje model checking quotient MDP pro celou množinu kompatibilních akcí podrodiny v každé iteraci. My navrhujeme algoritmus, který využívá dědičné závislosti ke snížení velikosti masky pro quotient MDP a ke zrychlení model checkingu pro podrodiny FSC. Také představujeme chytrou verzi tohoto algoritmu, která zachovává všechny jeho výhody a snižuje jeho slabiny. Během experimentů se ukázalo, že náš přístup také ovlivňuje činnost jiných částí syntézy, jako je např. model building. V závislosti na modelu POMDP, pozorujeme jak zrychlení, tak zpomalení ve srovnání s AR. V průměru naše metoda zrychluje celkovou dobu syntézy 1.2 krát a v některých případech až desetkrát.
Partially observable Markov decision process is an important model for autonomous planning used in many areas, such as robotics and biology. This work focuses on the Abstraction-Refinement framework for the inductive synthesis of finite-state controllers (FSCs) for POMDPs. The classic version of AR requires model checking of a quotient MDP for an entire set of compatible choices of the subfamily in each iteration. We propose an algorithm that uses inheritance dependencies to reduce the size of the quotient MDP’s mask and accelerate model checking for subfamilies of FSCs. We also introduce a smart version of this algorithm, which preserves all its advantages and reduces its weaknesses. During the experiments, it turned out that our approach also affects the operation of other parts of the synthesis, e.g. model building. Depending on the POMDP model, we observe both speedups and slowdowns in comparison to AR. On average, our approach speeds up the overall synthesis time by 1.2 times, and in some cases up to the factor 10.
Partially observable Markov decision process is an important model for autonomous planning used in many areas, such as robotics and biology. This work focuses on the Abstraction-Refinement framework for the inductive synthesis of finite-state controllers (FSCs) for POMDPs. The classic version of AR requires model checking of a quotient MDP for an entire set of compatible choices of the subfamily in each iteration. We propose an algorithm that uses inheritance dependencies to reduce the size of the quotient MDP’s mask and accelerate model checking for subfamilies of FSCs. We also introduce a smart version of this algorithm, which preserves all its advantages and reduces its weaknesses. During the experiments, it turned out that our approach also affects the operation of other parts of the synthesis, e.g. model building. Depending on the POMDP model, we observe both speedups and slowdowns in comparison to AR. On average, our approach speeds up the overall synthesis time by 1.2 times, and in some cases up to the factor 10.
Description
Citation
SHEVCHENKO, A. Vylepšení syntézy kontrolerů pro POMDP s využitím abstrakce a podobnosti. [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2024.
Document type
Document version
Date of access to the full text
Language of document
en
Study field
Informační technologie
Comittee
doc. RNDr. Milan Češka, Ph.D. (předseda)
Ing. Zbyněk Křivka, Ph.D. (člen)
doc. Ing. Peter Chudý, Ph.D., MBA (člen)
Ing. Jiří Matoušek, Ph.D. (člen)
Ing. Jaroslav Rozman, Ph.D. (člen)
Date of acceptance
2024-06-10
Defence
Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm A.
Result of defence
práce byla úspěšně obhájena
Document licence
Standardní licenční smlouva - přístup k plnému textu bez omezení