Simulace lidské interakce s využitím AI

Abstract

Simulace věrohodné interakce mezi lidmi může posílit využití velkých jazykových modelů (LLM) v oblasti výpočetních sociálních věd. Zejména pro experimenty v mezilidské komunikaci s využitím modelovacích nástrojů. V této práci je navržen nástroj PerSimChat, který poskytuje experimentální prostředí pro simulaci konverzací více osob pomocí LLM agentů s daty o reálných lidech. Současně je představen nový přístup pro volbu pořadí řečí agentů nazvaný postupný rozhovor s potřebou agenta mluvit. Empirické studie prokazují výkonnost nástroje v mnoha scénářích hodnocení a překonávají porovnávaná řešení v dimenzích věrohodnosti, důvěryhodnosti, hloubky obsahu a relevance. Systém dosahuje konkurenceschopných výsledků s jinými debatními systémy s více agenty v oblasti zdravého rozumu a matematiky. Kromě toho tato práce poskytuje demonstrační webovou aplikaci pro vytváření simulací a spouštění různých scénářů.

Simulation of the believable human interaction can strengthen the application of the large language models (LLMs) in computational social sciences. Especially for experiments in interpersonal communication using modeling tools. In this work, a PerSimChat framework is designed that provides an experimental environment for simulating multi-human conversations using LLM agents with real-world persona data. Simultaneously, a new approach for selecting the order of the agent's speech called One-by-One Talk with Agent’s Need to Talk is introduced. Empirical studies demonstrate the framework's performance on many evaluation scenarios, beating the baseline solutions on the dimensions of believability, credibility, content depth, and relevance. The system achieves competitive results with other multi-agent debate systems on commonsense and mathematical benchmarks. In addition, this thesis provides a demonstration web application for creating simulations and running variety of scenarios.