Hraní karetní hry Poker počítačem s využitím metod strojového učení

Abstract

Tato práce popisuje implementaci no-limit Texas Hold'em heads-up Poker agenta. Uvádí pravidla pokeru a představuje koncepty teorie her, které jsou klíčové pro metody založené na lítosti. Poté je popsáno několik algoritmů pro řešení her se zaměřením na metodu Counterfactual Regret Minimization (CFR) a její varianty. Jsou zkoumány techniky abstrakce pro snížení složitosti hry. Implementace agenta využívá Monte Carlo CFR External Sampling s distribution-aware abstrakcí a je popsána a vyhodnocena prostřednictvím zápasů s pokročilým pokerovým agentem a lidskými protivníky. Zatímco pokročilý pokerový agent porazil vyvinutého agenta, proti méně zkušeným lidským protivníkům vykazoval konkurenceschopné výsledky, což demonstruje účinnost metod založených na CFR a herní abstrakci.

This thesis describes the implementation of a no-limit Texas Hold'em heads-up Poker agent. It outlines poker rules and introduces game-theoretic concepts central to regret-based methods. Several game-solving algorithms are then reviewed, focusing on the Counterfactual Regret Minimization (CFR) method and its variants. Abstraction techniques for reducing game complexity are analyzed. The agent implementation uses Monte Carlo CFR External Sampling with distribution-aware abstraction and is described and evaluated through matches against an advanced poker agent and human opponents. While the advanced poker agent outperformed the developed agent, it showed competitive results against less experienced human opponents, showcasing the effectiveness of CFR-based methods and game abstraction.