Classification of Potentially Malicious File Clusters via Machine Learning

Abstract

Táto práca navrhuje alternatívu súčasných metód klasifikácie malvéru na úrovni súborov, ktoré sú často založené na detekcii špecifických postupností bytov v daných súboroch. Experimentáciou bolo potvrdené, že je možné klasifikovať potenciálnu hrozbu aj na úrovni zoskupení súborov založenej na spoločných vlastnostiach súborov v danom zoskupení. To bolo dosiahnuté dôkladným výberom vlastností troch typov súborov - PE, APK a .NET. Porovnaním niekoľkých metód strojového učenia boli vybraté klasifikátory s najvyššou presnosťou a implementovaná webová služba poskytujúca API pre klasifikáciu, ktoré bolo použité pre integráciu s interným systémom spoločnosti Avast zodpovedného za tvorbu súborových zoskupení. Táto práca taktiež diskutuje možné nedostatky a navrhuje kroky pre zlepšenie dosiahnutej presnosti klasifikácie.This thesis proposes an alternative to currently used malware classification approaches on the file-level often based on the detection of specific byte sequences. The experimentation proved that a cluster-level classification based on the shared properties of files in the cluster is possible. That was achieved by a careful selection of the properties of the three file types - PE, APK and .NET. By comparing various machine learning methods the highest scoring classifiers were selected and a web service providing API for classification was implemented, which was used for the integration with the internal clustering system of the Avast company. This thesis also discusses drawbacks of the proposed approach and suggests steps for improving the classification.