Detekce textu generovaného AI

Abstract

Táto práca sa zaoberá detekciou textov generovaných umelou inteligenciou (AI) za použitia rôznych modelov strojového učenia a veľkých jazykových modelov (LLM). Práca skúma techniky analýzy textov, metódy strojového učenia a moderné transformátorové modely, ako je BERT či GPT a ich schopnosť generovať text. Hlavným cieľom práce je vytvoriť spoľahlivý nástroj pre binárnu klasifikáciu textu, konkrétne detekciu textu vygenerovaného umelou inteligenciou. Modely strojoveho učenia, ktoré sme vybrali a otestovali (Extreme Gradient Boosting Classifier, BERT a kombinovaný model) dosiahli presnosť klasifikácie v okolí 80%. Tieto modely boli následne prevedené do formy webovej aplikácie, ktorá poskytuje interaktívne vysvetlenia rozhodnutia klasifikácie, a taktiež integrované do testovacieho modulu spoločnosti Lakmoos AI. Vytvorené riešenie je vhodné pre detekciu plagiátorstva či určenie vlastníctva textu a zároveň dopomáha vo firme vytvárať jazykové modely, ktoré sa svojimi odpoveďami čo najviac približujú k tým ľudským.

This thesis addresses the detection of texts generated by artificial intelligence (AI) with the use of various machine learning models and large language models (LLM). It explores text analysis techniques, machine learning methods, and modern transformer-based models, such as BERT or GPT and their ability to generate text. The main goal of the thesis is to create a reliable tool for binary text classification, especially for AI-generated text detection. The machine learning models we have selected and tested (Extreme Gradient Boosting Classifier, BERT and a combined model) all achieved a classification accuracy of around 80%. They were then transformed into a web application, which offers interactive decision explanations, and integrated into the test module of the company Lakmoos AI. The developed solution is useful in plagiarism detection or text ownership attribution and helps the company to create language models that produce answers as humanly as possible.