Detekce malwaru v šifrované komunikaci

Abstract

Stále častější používání šifrování TLS (Transport Layer Security) představuje významnou výzvu pro tradiční nástroje síťového zabezpečení, které nejsou schopny kontrolovat šifrovaný provoz bez narušení soukromí. Tato práce navrhuje a implementuje modulární, vícevrstvý systém detekce škodlivého softwaru (MDS) určený k identifikaci škodlivé činnosti v rámci šifrované komunikace bez nutnosti dešifrování. Systém kombinuje modely strojového učení s učitelem, detektor anomálií založený na autoenkodéru, reputační vrstu a vrstvu indikátoru kompromitace (IoC), které zvyšují detekční schopnosti. Pro trénování a vyhodnocování modelů strojového učení byla vytvořena vlastní datová sada neškodných a škodlivých toků TLS. Dosažené výsledky byly slibné. Offline experimenty ukázaly, že nejvýkonnější model Random Forest využívající vlastností TLS dosáhl 99,02\% přesnosti bez falešně pozitivních výsledků. Vyhodnocení v reálném provozu potvrdilo účinnost systému v dynamickém prostředí, dosažením nízké míry falešně pozitivních výsledků a úspěšné odhalení změn chování během infikovaní škodlivým softwarem. Výsledky ukázaly užitečnost a praktickou hodnotu navrženého přístupu pro detekci šifrovaného malwaru a zároveň identifikovaly oblasti pro budoucí zlepšení, jako je širší sběr dat, využití více modelů uměle inteligence nebo podpora více šifrovacích protokolů, například QUIC.The increasing in usage of Transport Layer Security (TLS) encryption poses a significant challenge to traditional network security tools, which are unable to inspect encrypted traffic without violating privacy. This thesis proposes and implements a modular, multi-layered Malware Detection System (MDS) designed to identify malicious activity within TLS-encrypted communication without decryption. The system combines supervised machine learning models, an autoencoder-based anomaly detector, a reputation score layer, and an Indicator of Compromise (IoC) layer to enhance detection capabilities. A custom dataset of benign and malicious TLS flows was created for training and evaluation of the machine learning models. The achieved results were promising. Offline experiments demonstrated that the best-performing Random Forest model using TLS features achieved a 99.02\% accuracy with no false positives. Real-time evaluations confirmed the system’s effectiveness in dynamic environments, maintaining low false positive rates and successfully detecting behavioral changes during malware execution. The results showed the usefulness and practical value of the proposed approach for encrypted malware detection, while also identifying areas for future improvement, such as broader dataset collection, ensemble modeling or support for multiple encryption protocols, like QUIC.