Spojení statistické fyziky a technik strojového učení s důrazem na aplikace pro spektroskopická data
Loading...
Date
Authors
Vrábel, Jakub
ORCID
Advisor
Mark
P
Journal Title
Journal ISSN
Volume Title
Publisher
Vysoké učení technické v Brně. CEITEC VUT
Abstract
Tato práce zkoumá obousměrný vztah mezi fyzikou a strojovým učením, a to jak v oblasti fundamentálního poznání, tak v oblasti praktických aplikací. Přestože strojové učení, a zejména hluboké učení, dosáhlo pozoruhodných úspěchů ve všech vědeckých oblastech, absence interpretovatelnosti modelů hlubokého učení zůstává zásadní překážkou skutečného vědeckého pokroku. Pojednávám o tom, jak může fyzika přispět ke strojovému učení prostřednictvím dvou komplementárních přístupů: poskytováním struktur pro teoretické pochopení systémů hlubokého učení a inspirováním nových algoritmů. V obrácené roli přezkoumávám a ukazuji, jak může hluboké učení řešit výzvy ve fyzikálních vědách, zejména ve spektroskopii, a jak profituje ze zakomponování fyzikou inspirovaných mechanismů. Hlavní přínosy této práce se dělí do tří směrů. Zaprvé, rozvíjím empirické a teoretické chápání neuronových sítí s využitím konceptů z vysokorozměrné geometrie a teorie perkolace a nabízím tak vhled do nového jevu zvaného Input Space Mode Connectivity. Zadruhé, vyvíjím fyzikou inspirovanou metodu učení, která zahrnuje induktivní tendence respektující procesy generování dat ve spektroskopii, což vede k lepší interpretovatelnosti. Zatřetí aplikuji metody hlubokého učení na analýzu spektroskopických dat se zaměřením na spektroskopii laserem buzeného plazmatu (LIBS), kde demonstruji aplikace a zlepšuji analytické schopnosti ve spracování dat.
This thesis explores the bidirectional relationship between physics and machine learning, advancing both fundamental understanding and practical applications at their intersection. While machine learning, and deep learning in particular, has achieved remarkable success across all scientific domains, the lack of interpretability in deep learning models remains a major obstruction to true scientific progress. I discuss how physics can contribute to machine learning through two complementary approaches: providing theoretical frameworks for understanding deep learning systems and inspiring novel algorithmic improvements. Conversely, I review and demonstrate how deep learning can address challenges in the physical sciences, particularly in spectroscopy, and how it benefits from incorporating physics-inspired inductive biases. The key contributions of this thesis fall into three main directions. First, I advance the empirical and theoretical understanding of deep neural networks using concepts from high-dimensional geometry and percolation theory, offering insights into a novel phenomenon called Input Space Mode Connectivity. Second, I develop a physics-inspired learning method that incorporates inductive biases respecting data-generating processes in spectroscopy, leading to enhanced interpretability. Third, I apply deep learning methods to spectroscopic data analysis, with a focus on Laser-Induced Breakdown Spectroscopy (LIBS), demonstrating practical applications and improving analytic capabilities.
This thesis explores the bidirectional relationship between physics and machine learning, advancing both fundamental understanding and practical applications at their intersection. While machine learning, and deep learning in particular, has achieved remarkable success across all scientific domains, the lack of interpretability in deep learning models remains a major obstruction to true scientific progress. I discuss how physics can contribute to machine learning through two complementary approaches: providing theoretical frameworks for understanding deep learning systems and inspiring novel algorithmic improvements. Conversely, I review and demonstrate how deep learning can address challenges in the physical sciences, particularly in spectroscopy, and how it benefits from incorporating physics-inspired inductive biases. The key contributions of this thesis fall into three main directions. First, I advance the empirical and theoretical understanding of deep neural networks using concepts from high-dimensional geometry and percolation theory, offering insights into a novel phenomenon called Input Space Mode Connectivity. Second, I develop a physics-inspired learning method that incorporates inductive biases respecting data-generating processes in spectroscopy, leading to enhanced interpretability. Third, I apply deep learning methods to spectroscopic data analysis, with a focus on Laser-Induced Breakdown Spectroscopy (LIBS), demonstrating practical applications and improving analytic capabilities.
Description
Citation
VRÁBEL, J. Spojení statistické fyziky a technik strojového učení s důrazem na aplikace pro spektroskopická data [online]. Brno: Vysoké učení technické v Brně. CEITEC VUT. 2025.
Document type
Document version
Date of access to the full text
Language of document
en
Study field
bez specializace
Comittee
prof. RNDr. Radim Chmelík, Ph.D. (předseda)
prof. Ing. Radimír Vrba, CSc. (místopředseda)
RNDr. Martin Ferus, Ph.D. (člen)
prof. Ing. Miloslav Pouzar, Ph.D. (člen)
prof. RNDr. Pavel Veis, CSc. (člen)
Dr. Nuno Miguel Azevedo Silva (člen)
Date of acceptance
2025-03-11
Defence
Disertační práce Ing. Vrábela zkoumá obousměrný vztah mezi fyzikou a strojovým učením, a to jak v oblasti fundamentálního poznání, tak v oblasti praktických aplikací. Práce úspěšně naplňuje své cíle tím, že rozvíjí jak teoretické, tak praktické aspekty strojového učení v kontextu fyziky a laserem indukované rozkladové spektroskopie. Výzkum přináší nové poznatky v oblasti interpretovatelnosti hlubokého učení, a to zavedením konceptu propojení módů ve vstupním prostoru a fyzikálně inspirované regularizace. Aplikovaná část práce zaměřená na laserem indukovanou rozkladovou spektroskopii dále ukazuje praktická zlepšení v přenosu dat, klasifikaci a výběru metrik vzdálenosti. Disertační práce efektivně propojuje reálné spektroskopické aplikace se strojovým učením a fyzikálními vědami. V průběhu obhajoby Ing. Vrábel prokázal hluboké znalosti ve zkoumané oblasti a taky připravenost samostatně vědecky pracovat na vysoké úrovni.
Result of defence
práce byla úspěšně obhájena
Document licence
Standardní licenční smlouva - přístup k plnému textu bez omezení