Systém pro vytěžování zpravodajských informací založený na velkých jazykových modelech

Abstract

V této práci byl vyvinut základ systému založený na velkých jazykových modelech pro zpracování zpravodajských informací se zaměřením na vojenské analytiky. Hlavním cílem bylo extrahovat z textů klíčové či zajímavé entity. Byly prozkoumány tři přístupy generativní NER s variantami Llama3 modelů (Llama 3.2 1B, Llama 3.1 8B, Llama 3.3 70B) –- zero-shot prompting, few-shot prompting a QLoRa fine-tuning – ve srovnání se dvěma baseline modely: OpenAI GPT-4o-mini a XLM-RoBERTa (fine-tuned, s zploštělými zjednodušenými entitami). Vyhodnocení proběhlo na sto oanotovaných dokumentech v českém jazyce z blogu “valka.online” a metriky precision, recall a F1 byly spočteny. Nejlepšího výsledku dosáhl model Llama 3.3 70B po dotrénování s 65% Precision, 69,7% Recall a 67,2% F1 skóre, čímž překonal oba baseline modely i promptingové přístupy na základních modelech o více než 15-40% v jednotlivých metrikách. Pro podporu následného vyhledávání byl vyvinut prototyp sémantického vyhledávání a zacíleného na podrobnější prohledávání dokumentů, využívající model Qwen 3 32B spolu s modelem BAAI BGE-M3.In this work, a foundation of an LLM-based intelligence mining system with a focus on military analysts was developed. The primary focus was on extracting critical or interesting entities in texts. Three approaches for generative NER with Llama3 variants (Llama3.2 1B, Llama3.1 8B, Llama3.3 70B) -- zero-shot prompting, few-shot prompting, and QLoRa fine-tuning were explored against two baselines: OpenAI's GPT4o-mini and XLM-RoBERTa model (fine-tuned, with flattened entities). Evaluation was done on hundreds of Czech annotated documents from the "valka.online" blog, and precision, recall, and F1 scores were scored. The best results were given by fine-tuned Llama3.3 70B with 65% precision, 69.7% recall, and 67.2% F1 score, beating both baselines and prompting methods on the base models by more than 15-40% in each metric. To support downstream retrieval, the prototype of semantic search and thus fine-grained searching in documents was developed using Qwen3 32B model with BAAI BGE-M3 embedding model.