Posilované učení pro 3D hry

Abstract

Práce se zabývá učením neuronové sítě na jednoduchých úlohách v prostředí 3D střílečky Doom, zprostředkovaném výzkumnou platformou ViZDoom. Hlavním cílem je vytvoření agenta, který se učí na několika úlohách zároveň. Použitým algoritmem posilovaného učení je Rainbow, který kombinuje několik vylepšení algoritmu DQN. Pro učení na více úlohách jsem navrhnul a otestoval dvě různé architektury sítě. Jedna z nich byla úspěšná a po relativně krátké době trénování dokázal agent získat téměř 50 % z maximální možné odměny. Klíčovým prvkem úspěchu je Embedding vrstva pro parametrický popis prostředí jednotlivých úloh. Hlavním zjištěním je, že Rainbow je schopen učit se v 3D prostředí a s pomocí Embedding vrstvy i na více úlohách zároveň.Thesis deals with neural network learning on simple tasks in 3D shooter Doom, mediated by research platform ViZDoom. The main goal is to create an agent, which is able to learn multiple tasks simultaneously. Reinforcement learning algorithm used to achieve this goal is called Rainbow, which combines several improvements of DQN algorithm. I proposed and experimented with two different architectures of neural network for learning multiple tasks. One of them was successful and after a relatively short period of learning it reached almost 50% of maximum possible reward. The key element of this achievement is an Embedding layer for parametric description of task environment. The main discovery is, that Rainbow is able to learn in 3D environment and with the help of Embedding layer, it is able to learn on multiple tasks simultaneously.