Vylepšení syntézy kontrolérů pro POMDP s využitím efektivních metod pro krátkodobé plánování.

Abstract

Tato práce se zabývá syntézou konečně stavových kontrolérů (FSC) pro částečně pozorovatelné Markovovy rozhodovací procesy (POMDP). Navazuje na dva přístupy: induktivní syntézu, která symbolicky prohledává rodiny kontrolérů (realizovanou nástrojem PAYNT), a krátkodobé plánování založené na aproximaci belief prostoru (realizované nástrojem SARSOP). PAYNT poskytuje záruky pro dlouhodobé cíle, potýká se s problémem škálovatelnosti. SARSOP efektivně počítá aproximace optimálních strategií, má ale tendenci upřednostňovat krátkodobé odměny. Práce navrhuje metodu pro získání plánovacích informací ze SARSOPu ve formě alfa-vektorů a jejich integraci do procesu syntézy v PAYNTu. Experimenty potvrzují, že navržený přístup vede ke kompaktním a kvalitnějším kontrolérům ve srovnání s původními metodami.

This thesis addresses the problem of synthesising finite-state controllers (FSCs) for partially observable Markov decision processes (POMDPs). It builds upon two paradigms: inductive synthesis, which symbolically explores families of controllers as implemented in PAYNT, and short-term planning based on belief space approximation, realised in SARSOP. While PAYNT provides guarantees for long-term objectives, it suffers from scalability limitations. In contrast, SARSOP efficiently computes approximately optimal policies for discounted specifications but tends to favour short-term rewards. This work proposes a method to extract planning insights from SARSOP in the form of alpha-vectors and integrate them into PAYNT’s synthesis process. Experiments confirm that the proposed method yields compact controllers and better optimality compared to standalone approaches.