Posilované učení pro hraní robotického fotbalu

Abstract

Práce zkoumá dopad omezeného zrakového vnímání na efektivitu víceagentního posilovaného učení v robotickém fotbale simulovaném v prostředí Google Research Football pomocí metody MAT. Jsou rozlišovány dva stupně omezení zraku: zúžení horizontálního zorného pole na 180° a zúžení na 180° v kombinaci s blokováním výhledu ostatními hráči. Součástí řešení je paměťový modul, jehož cílem je kompenzovat zrakové omezení. Provedeným výzkumem bylo zjištěno, že v jednoduchých situacích je vliv omezení zanedbatelný, zatímco u náročnějších her klesá úspěšnost variant se zrakovým omezením až o 20 %. Uvedený paměťový modul se jako kompenzace neosvědčil. Výsledky potvrzují, že pro úspěšný přenos naučených strategií z virtuálního prostředí na skutečné roboty je nutné v simulaci věrně modelovat senzorická omezení zraku.

This work investigates the impact of limited visual perception on the effectiveness of multi-agent reinforcement learning in a robotic football simulated in the Google Research Football environment using the MAT method. Two degrees of visual constraints are distinguished: 180° horizontal field of view narrowing, and 180° narrowing combined with blocking of vision by other players. The solution includes a memory module to compensate for the visual limitation. The research carried out found that in simple situations the effect of the constraint is negligible, while in more challenging games the success rate of variants with visual limitation drops by up to 20 %. The memory module was not successful as a compensation. The results confirm that to successfully transfer learned strategies from the virtual environment to real robots, it is necessary to faithfully model the sensory constraints of vision in the simulation.