Využití velkých předtrénovaných jazykových modelů pro konfiguraci a podporu klinického informačního systému
Loading...
Date
Authors
Sova, Michal
ORCID
Advisor
Referee
Mark
D
Journal Title
Journal ISSN
Volume Title
Publisher
Vysoké učení technické v Brně. Fakulta informačních technologií
Abstract
Cílem této práce je seznámení se s podstatou a možným použitím velkých předtrénovaných jazykových modelů, seznámení se s možnostmi konfigurace klinického informačního systému FONS Enterprise a možnost jeho adaptace na konkrétní prostředí zákazníků. Práce nejprve představuje velké předtrénované jazykové modely a informační systém FONS Enterprise. Následně se zaměřuje na možnosti dotrénování modelů a implementaci metody RAG na datech z klinického systému. Implementace RAG architektury je realizována pomocí nástroje LangChain a LlamaIndex. Výsledky ukazují, že metoda RAG s modelem Gemma a embedding modelem bge-m3 poskytuje nejrelevantnější odpovědi, ale má potíže s porozuměním složitějších otázek. Metoda dotrénování modelu nepřináší očekávané výsledky, a to ani po úpravách parametrů trénování.
The aim of this work is to get acquainted with the essence and use of large pre-trained language models, to get acquainted with the configuration options of the clinical information system FONS Enterprise and the possibility of its adaptation to the specific environment of customers. The work first presents large pre-trained language models and the FONS Enterprise clinical information system. This work examines possibilities of training models and implementing RAG methods on data from the clinical system. The implementation of the RAG architecture is supported by the tools LangChain and LlamaIndex. The results show that the RAG method with the Gemma model and the bge-m3 embedding model provides the most relevant answers on basic questions, but struggles to understand more complex questions. The method of pre-training the model does not produce the expected results, even after adjusting the training parameters.
The aim of this work is to get acquainted with the essence and use of large pre-trained language models, to get acquainted with the configuration options of the clinical information system FONS Enterprise and the possibility of its adaptation to the specific environment of customers. The work first presents large pre-trained language models and the FONS Enterprise clinical information system. This work examines possibilities of training models and implementing RAG methods on data from the clinical system. The implementation of the RAG architecture is supported by the tools LangChain and LlamaIndex. The results show that the RAG method with the Gemma model and the bge-m3 embedding model provides the most relevant answers on basic questions, but struggles to understand more complex questions. The method of pre-training the model does not produce the expected results, even after adjusting the training parameters.
Description
Keywords
klinický informační systém, velké jazykové modely, velké předtrénované jazykové modely, architektura RAG, trénování jazykových modelů, Llama, Gemma, Mistral, LangChain, LlamaIndex, clinical information system, large language models, RAG architecture, pre-training, Llama, Gemma, Mistral, LangChain, LlamaIndex
Citation
SOVA, M. Využití velkých předtrénovaných jazykových modelů pro konfiguraci a podporu klinického informačního systému [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2024.
Document type
Document version
Date of access to the full text
Language of document
cs
Study field
Inteligentní systémy
Comittee
doc. Ing. Vladimír Janoušek, Ph.D. (předseda)
doc. Ing. Jiří Jaroš, Ph.D. (člen)
Ing. Jaroslav Rozman, Ph.D. (člen)
Ing. Vojtěch Mrázek, Ph.D. (člen)
Ing. Martin Hrubý, Ph.D. (člen)
Ing. Radek Kočí, Ph.D. (člen)
Date of acceptance
2024-06-18
Defence
Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm D.
Result of defence
práce byla úspěšně obhájena
Document licence
Standardní licenční smlouva - přístup k plnému textu bez omezení