Metody hlubokého učení pro strojové hraní hry Scotland Yard

Abstract

Táto práca sa zaoberá metódami hlbokého učenia, ktoré sú aplikovateľné na stolné hry s neurčitosťou. V rámci práce boli naštudované princípy učenia s posilňovaním, s hlavným zameraním na Q-learning algoritmy, spomedzi ktorých bol vybraný Deep Q-Network algoritmus. Ten bol následne implementovaný na zjednodušených pravidlách stolnej hry Scotland Yard. Konečná implementácia bola porovnaná s metódami Alpha-Beta a Monte Carlo Tree Search. S výsledkov vyplinulo, že schovávaný hráč riadený DQN algoritmom predstavoval pre ostatné metódy najťažšieho protihráča, narozdiel od hľadajúcich hráčov, ktorým sa nepodarilo zlepšiť existujúce riešenia. Napriek tomu, že implementovaná metóda nedosiahla lepšie výsledky oproti doposiaľ existujúcim metódam, ukázalo sa, že potrebuje najmenej výpočetných zdrojov a času na vykonanie daného ťahu. To ju robí najperspektívnejšou zo spomínaných metód na budúcu možnú implementáciu originálnej verzie danej hry.This theses concerns with deep learning methods applied to machine playing board games containing movement uncertainty. Reinforcement learning principles with main focus on Q-learning algorithms were studied, among which Deep Q--Network had been chosen and applied on simplified rules of the Scotland Yard board game. The final implementation was put to test against Alpha-Beta and Monte Carlo Tree Search. The results have shown that the hider driven by DQN represented the hardest opponent for the other two methods, while the DQN seekers did not manage to surpass past results. Although the implemented method did not reach better results than currently known methods, it proved to be the least demanding when considering computational resources and time needed to perform a given move, making it the most perspective to implement on original version of the game in the future.