Sémantická analýza logů pomocí LLM

Abstract

Tato práce se zabývá využitím velkých jazykových modelů (LLM) pro automatizaci sémantické analýzy logovacích záznamů, konkrétně pro anotaci dynamických parametrů v logových šablonách. Vzhledem k rostoucímu objemu logových dat a potřebě hlubšího porozumění jejich obsahu práce zkoumá potenciál LLM pro tuto úlohu. Byl navržen a implementován modulární nástroj Semantic Log Analyzer, který umožňuje flexibilní experimentování s různými jazykovými modely (včetně Llama 3 a Gemini Flash) a strategiemi promptování. Součástí řešení je také metoda pro automatizované hodnocení kvality generovaných sémantických anotací pomocí LLM. Efektivita nástroje byla ověřena prostřednictvím experimentů na standardních datasetech logů HDFS a OpenSSH. Výsledky těchto testů byly analyzovány s cílem identifikovat faktory ovlivňující přesnost anotací, jako je výběr modelu a struktura vstupních promptů. Práce demonstruje, že LLM představují slibný přístup pro automatizaci sémantické analýzy logů, a poukazuje na potenciál této technologie. Závěrem jsou diskutovány dosažené výsledky, limity zvolených metod a navrženy možné směry pro budoucí vylepšení a další výzkum v této oblasti.This thesis investigates the use of Large Language Models (LLM) for automating the semantic analysis of log records, focusing on the annotation of dynamic parameters within log templates. Addressing the challenge of increasing log data volume and the need for deeper content comprehension, this work explores the potential of LLMs for this task. A modular tool, Semantic Log Analyzer, was designed and implemented, enabling flexible experimentation with different LLMs (including Llama 3 and Gemini Flash) and prompting strategies. The solution also incorporates a method for automatically evaluating the quality of the generated semantic annotations using an LLM. The tool's effectiveness was validated through experiments on standard log datasets: HDFS and OpenSSH. Analysis of the experimental results identifies factors influencing annotation accuracy, such as model selection and input prompt structure. The work demonstrates that LLMs offer a promising approach for automating semantic log analysis and highlights the potential of this technology. The thesis concludes with a discussion of the achieved results, the limitations of the employed methods, and suggests potential directions for future enhancements and further research in this field.