Asistence při tvorbě lékařských zpráv pomocí velkých předtrénovaných jazykových modelů

Abstract

Práca sa zaoberá využitím predtrénovaných jazykových modelov na sumarizáciu zdravot- nej dokumentácie do formy prepúšťacích správ. Na vytvorenie funkčného modelu bola využitá architektúra LLaMA a experimentovanie už s existujúcimi modelmi danej architek- túry. Cielom experimentov bolo nájsť model, ktorý zvládne generovať časť dokumentácie v českom jazyku. Vybraný model sa finetunoval pomocou metody LoRA. Následne sa exper- imentovalo s inference parametrami na nájdenie tých najvhodnejších, aby model generoval čo najkoreknejší výstup. Taktiež bola v rámci práce vytvorená webová a server aplikáciá, ktorých učelom je demonštrovať funkčnosť fine-tunovaného modelu.The thesis deals with the use of pre-trained language models for summarizing medical documentation in the form of dismissal reports. To create a functional model, the LLaMA architecture is used. Already existing models of the given architecture were used. The aim of the experiments was to find a model that can generate part of the documentation in the Czech language. The selected model was fine-tuned using the LoRA method. Subsequently, the inference parameters were experimented with to find the most suitable ones so that the model generates the most correct output. Web-client and server applications were also created as part of the thesis, the purpose of which is to demonstrate the functionality of the fine-tuned model.