Metody podporující interpretovatelné a vysvětlitelné strojové učení

Abstract

Narastajúca zložitosť systémov na báze strojového učenia predstavuje dôležité výzvy pri snahe porozumieť procesom ich rozhodovania - jav známy ako problém čiernej skrinky. Diplomová práca systematicky skúma existujúce metódy interpretability a vysvetliteľnosti modelov strojového učenia, so zameraním na konvolučné neurónové siete a obrazové dáta. Práca pokrýva intrinzické, post-hoc a mechanistické paradigmy interpretovateľnosti, kľúčové techniky (napríklad LIME, SHAP, metódy založené na gradientoch) a stratégie vyhodnotenia metód interpretability (kvalitatívne a kvantitatívne). Vykonané experimentálne analýzy posudzujú vplyv kvality modelu na vysvetlenia, porovnávajú výkonnosť metód interpretability na dátových rôznych sadách (MNIST, ImageNet) a hodnotia ich robustnosť voči rôznym typom perturbácií vstupných dát. Prínosom práce je aj návrh a experimentálna validácia metódy Adaptive-Metric Softmax (AMS) Ensemble, čo je nový prístup umožňujúci dynamicky kombinovať viacero metód interpretability s cieľom zlepšiť spoľahlivosť vysvetlení. Táto práca prináša teoretické poznatky a empirické dôkazy smerujúce k vývoju transparentnejších a dôveryhodnejších modelov strojového učenia.The increasing complexity of machine learning systems poses significant challenges in understanding their decision-making processes - a phenomenon known as the black-box problem. This thesis systematically investigates existing methods for interpretability and explainability of machine learning models, with a focus on convolutional neural networks and image data. It covers intrinsic, post-hoc, and mechanistic interpretability paradigms, key techniques (e.g., LIME, SHAP, gradient-based methods), and evaluation strategies for interpretability methods (both qualitative and quantitative). The conducted experimental analyses assess the impact of model quality on explanations, compare the performance of interpretability methods across different datasets (MNIST, ImageNet), and evaluate their robustness against various types of input data perturbations. A notable contribution of this work is the proposal and experimental validation of the Adaptive-Metric Softmax (AMS) Ensemble method, which is a novel approach that enables a dynamic combination of multiple interpretability methods to enhance the reliability of explanations. This thesis provides theoretical insights and empirical evidence supporting the development of more transparent and trustworthy machine learning models.