Multikriteriální shlukování souborů

Abstract

Cieľom tejto práce je vytvorenie zhlukovacej časti novej verzie nástroja Clusty, ktorý je vyvíjaný spoločnosťou Avast Software. Nástroj slúži na automatickú analýzu a zhlukovanie rozličných typov súborov. Jeho najväčšími nedostatkami sú zhlukovanie súborov na základe jediného kritéria, zlá škálovateľnosť a dostupnosť v prípade poruchy. Medzi prínosy patria výkonnosť, vysvetliteľnosť vzniku zhlukov a možnosť používať techniky ako YARA pravidlá. Navrhnuté riešenie rieši nedostatky súčasnej verzie, pričom ponecháva požadované vlastnosti. Na zhlukovanie nepoužíva žiadnu z existujúcich metód, pretože žiadna zo zvažovaných metód nespĺňala kladené požiadavky. Namiesto toho sú predstavené tri nové metódy založené na metóde použitej v aktuálnej verzii nástroja Clusty a štandardných metódach. Pri zhlukovaní používa systém tzv. pravidiel, ktorý umožňuje používanie viacerých metód súčasne a s rôznymi konfiguráciami. Výsledné zhluky je možné považovať za lepšie ako pri použití súčasnej verzie. Práce navrhuje riešenie problémov nástroja Clusty, a predstavuje použiteľné metódy na zhlukovanie.This work aims to create the clustering part of a new version of the clustering tool named Clusty, which is developed by Avast Software. Clusty is a tool for automatic analysis and online clustering of all incoming samples. The most notable shortcomings are using a single criterion for clustering, vertical scalability, and lack of support for achieving high availability. Among the good features belong a good performance, interpretability of clusters' origin, and an ability to use other techniques like YARA rules. The designed tool overcome the shortcomings while keeping the features. None of the existing clustering methods is being used because none of them had satisfied the requirements. Instead, three new methods are proposed. They are based on the method in the current version of Clusty and the standard methods. The tool uses so-called rules to allow using multiple clustering methods concurrently. The clustering results can be considered better compared to the results from the current version. This work proposes a solution for the shortcomings and shows the usable clustering methods.