Asistence při tvorbě lékařských zpráv pomocí velkých předtrénovaných jazykových modelů
Loading...
Date
Authors
Pricl, Patrik
ORCID
Advisor
Referee
Mark
D
Journal Title
Journal ISSN
Volume Title
Publisher
Vysoké učení technické v Brně. Fakulta informačních technologií
Abstract
Práca sa zaoberá využitím predtrénovaných jazykových modelov na sumarizáciu zdravot- nej dokumentácie do formy prepúšťacích správ. Na vytvorenie funkčného modelu bola využitá architektúra LLaMA a experimentovanie už s existujúcimi modelmi danej architek- túry. Cielom experimentov bolo nájsť model, ktorý zvládne generovať časť dokumentácie v českom jazyku. Vybraný model sa finetunoval pomocou metody LoRA. Následne sa exper- imentovalo s inference parametrami na nájdenie tých najvhodnejších, aby model generoval čo najkoreknejší výstup. Taktiež bola v rámci práce vytvorená webová a server aplikáciá, ktorých učelom je demonštrovať funkčnosť fine-tunovaného modelu.
The thesis deals with the use of pre-trained language models for summarizing medical documentation in the form of dismissal reports. To create a functional model, the LLaMA architecture is used. Already existing models of the given architecture were used. The aim of the experiments was to find a model that can generate part of the documentation in the Czech language. The selected model was fine-tuned using the LoRA method. Subsequently, the inference parameters were experimented with to find the most suitable ones so that the model generates the most correct output. Web-client and server applications were also created as part of the thesis, the purpose of which is to demonstrate the functionality of the fine-tuned model.
The thesis deals with the use of pre-trained language models for summarizing medical documentation in the form of dismissal reports. To create a functional model, the LLaMA architecture is used. Already existing models of the given architecture were used. The aim of the experiments was to find a model that can generate part of the documentation in the Czech language. The selected model was fine-tuned using the LoRA method. Subsequently, the inference parameters were experimented with to find the most suitable ones so that the model generates the most correct output. Web-client and server applications were also created as part of the thesis, the purpose of which is to demonstrate the functionality of the fine-tuned model.
Description
Keywords
Spracovanie prirodzeného jazyka, Sumarizácia textu, Umelá Inteligencia, Predtrénované jazykové modely, Transformers, Peft, LoRA, LLaMA, BERT, GPT, ChatGPT-3.5, Zdravot- nícka dokumentácia, Flask, Python, fine-tuning, NLP, Text sumarization, Artificial intelligence, Large language models, Transformers, Peft, LoRA, LLaMA, BERT, GPT, ChatGPT-3.5, Medical documents, Flask, Python, fine- tuning
Citation
PRICL, P. Asistence při tvorbě lékařských zpráv pomocí velkých předtrénovaných jazykových modelů [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2024.
Document type
Document version
Date of access to the full text
Language of document
en
Study field
Bioinformatika a biocomputing
Comittee
doc. Ing. Richard Růžička, Ph.D., MBA (předseda)
doc. Ing. František Zbořil, CSc. (člen)
doc. Mgr. Adam Rogalewicz, Ph.D. (člen)
Ing. Libor Polčák, Ph.D. (člen)
Mgr. Kamil Malinka, Ph.D. (člen)
doc. Ing. Tomáš Martínek, Ph.D. (člen)
Date of acceptance
2024-08-27
Defence
Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm D.
Result of defence
práce byla úspěšně obhájena
Document licence
Standardní licenční smlouva - přístup k plnému textu bez omezení