Velké jazykové modely pro vyhledávání v dopravních videích

Abstract

Existující systémy pro vyhledávání a analýzu záznamů z dopravních kamer často spoléhají na předem definované metody detekce událostí a postrádají schopnost interagovat s uživateli prostřednictvím přirozeného jazyka. Hlavním cílem této diplomové práce je vytvořit takový systém s využítím multimodálních velkých jazykových modelů (MLLM) a souvisejících technologií, konkrétně multimodálních embedovacích modelů, přičemž oba typy modelů v nedávných letech zaznamenaly rychlý rozvoj. Systém je vytvořen tak, že podporuje výběr mezi více modely obou typů, čímž umožňuje jejich flexibilní integraci a porovnání. Všechny dostupné modely jsou dále porovnány specificky v oblasti dopravních záznamů za účelem zhodnocení jejich výkonu a vhodnosti pro praktické nasazení.

Existing systems for searching and analyzing traffic surveillance footage often rely on predefined event detection methods and lack the ability to interact with users through natural language. The main goal of this thesis is to create such system by utilizing multimodal large language models (MLLMs) and related technologies, namely multimodal embedding models, both of which have seen rapid advancements in recent years. The system is designed to support multiple models of both types, enabling flexible integration and comparison. Furthermore, the available models are benchmarked specifically in the domain of traffic footage to evaluate their performance and suitability for practical deployment.