Large language models for analyzing user-agent conversations

Abstract

Používání velkých jazykových modelů (LLM) pro analýzu konverzace se výrazně rozšířilo v různých odvětvích. Jejich spolehlivost však zůstává sporná kvůli přítomnosti halucinací, chybných interpretací nebo vymyšlených odpovědí. Tento článek zkoumá GPT-4o pro automatickou analýzu reálných konverzací v oblasti péče o zákazníky mezi uživateli a agenty. Konkrétně hodnotíme GPT-4o pro zodpovídání otázek na základě konverzací mezi uživatelem a agentem a následnou pravdivost vygenerovaných odpovědí pomocí GPT-4o jako posuzovatele. Výsledky obou kroků porovnáváme s lidskými anotačními posudky. Uvádíme kategorie halucinací a analýzu chybných úsudků LLM. Naše zjištění poukazují na klíčové oblasti, ve kterých LLM selhávají, a zdůrazňují potřebu zdokonalených verifikačních rámců pro zvýšení jejich spolehlivosti v reálných aplikacích.

The use of large language models (LLMs) for conversation analysis has gained significant traction in various industries. However, their reliability remains questionable due to the presence of hallucinations, misinterpretations, or fabricated responses. This paper explores GPT-4o for the automatic analysis of real-world customer care conversations between users and agents. We specifically evaluate GPT-4o for question answering based on user--agent conversations and the subsequent veracity of the generated answers using GPT-4o as a judge. The results of both steps are compared against human annotation judgments. We introduce hallucination categories and the analysis of LLM misjudgments. Our findings highlight key areas where LLMs fail, emphasising the need for improved verification frameworks to enhance their reliability in real-world applications.