Vliv vizualizací neuronových sítí na rozhodování uživatelů při detekci deepfake pomocí heatmap

Abstract

Deepfake technológia je rastúcou hrozbou, pričom AI detekčné nástroje často postrádajú transparentnosť. Táto práca skúma vplyv XAI, konkrétne heatmap (Grad-CAM++), na ľudské rozhodovanie pri detekcii deepfake tvárí. Cieľom bolo overiť, ako AI skóre a heatmapy ovplyvňujú presnosť a dôveru používateľov, najmä pri zlyhaní AI. Experiment s tromi skupinami (kontrolná, AI skóre, AI skóre + heatmapa) ukázal 67% základnú ľudskú úspešnosť (F1). AI asistencia celkovo F1 významne nezlepšila. Skóre detektora silne ovplyvňovalo používateľov a pri chybách AI viedlo k horším výsledkom. Kľúčovým zistením je, že pridanie heatmapy mitigovalo tento negatívny dopad, udržalo presnosť na úrovni kontrolnej skupiny pri chybách AI, zlepšilo skóre vážené istotou a viedlo k vyváženejšiemu rozhodovaniu. Napriek objektívnym prínosom, používatelia subjektívne hodnotili heatmapy ako málo užitočné. Práca demonštruje potenciál heatmap zlepšiť robustnosť ľudského rozhodovania s podporou AI. Zároveň poukazuje na potrebu vývoja používateľsky zrozumiteľnejších XAI metód pre efektívny boj proti deepfake.

Deepfake technology is a growing threat, with AI detection tools often lacking transparency. This paper examines the impact of XAI, specifically heatmaps (Grad-CAM++), on human decision-making in deepfake face detection. The aim was to verify how AI scores and heatmaps affect user accuracy and confidence, especially when AI fails. A three-group experiment (control, AI score, AI score + heatmap) showed a 67% baseline human success rate (F1). AI assistance did not significantly improve F1 overall. The detector score strongly influenced users, leading to worse results when AI errors occurred. The key finding is that adding a heatmap mitigated this negative impact, maintained control-level accuracy when AI errors occurred, improved confidence-weighted scores, and led to more balanced decision-making. Despite the objective benefits, users subjectively rated heatmaps as of little use. The work demonstrates heatmaps' potential to improve human decision-making robustness with AI support. It also highlights the need to develop more user-friendly XAI methods to combat deepfakes effectively.