Návrh a realizace simulačniho modelu dvounohého robotu

Abstract

Táto diplomová práca sa zaoberá návrhom a realizáciou simulačného modelu dvojnohého robota s využitím metód učenia posilňovaním (RL), ktorého cieľom je schopnosť pohybovať sa vpred. V teoretickej časti je spracovaná rešerš metód učenia posilňovaním so zameraním na algoritmus Proximal Policy Optimization (PPO), prehľad dostupných simulačných prostredí a analýza vybraných humanoidných robotov. V praktickej časti je podrobne analyzovaný proces tvorby modelu robota v Unified Robot Description Format (URDF) a v simulačnom prostredí MuJoCo, pričom sú tieto prístupy aj vzájomne porovnané. Následne sú prezentované experimenty vykonané v prostredí Walker2D, ktoré slúžia ako základ pre ďalšiu aplikáciu na vlastný model robota PAWO. Na záver sú získané poznatky prenesené do simulačného prostredia PAWO s cieľom dosiahnuť stabilnú a plynulú chôdzu v simulačnom prostredí PyBullet.

This diploma thesis deals with the design and implementation of a simulation model of a bipedal robot using reinforcement learning (RL) methods, the goal of which is the ability to move forward. The theoretical part includes a search for reinforcement learning methods with a focus on the Proximal Policy Optimization (PPO) algorithm, an overview of available simulation environments and an analysis of selected humanoid robots. The practical part analyses in detail the process of creating a robot model in Unified Robot Description Format (URDF) and in the MuJoCo simulation environment, these approaches are also compared with each other. Subsequently, experiments performed in the Walker2D environment are presented, which serve as a basis for further application to the own PAWO robot model. Finally, the acquired knowledge is transferred to the PAWO simulation environment in order to achieve stable and smooth walking.