Velké jazykové modely pro generování kódu se zaměřením na vestavěné systémy
Loading...
Date
Authors
Vadovič, Matej
ORCID
Advisor
Referee
Mark
B
Journal Title
Journal ISSN
Volume Title
Publisher
Vysoké učení technické v Brně. Fakulta informačních technologií
Abstract
Cieľom tejto práce bola adaptácia predtrénovaného jazykového modelu pre účely generovania kódu v oblasti vstavaných systémov. V práci je predstavená nová dátová sada pre ladenie modelov generovania kódu, ktorá obsahuje 50 tisíc dvojíc zdrojového kódu a komentárov zameraných na oblasť programovania vstavaných systémov. Táto sada je zložená zo zozbieraného zdrojového kódu z platformy GitHub. Na dátach nového korpusu boli ladené dva nové jazykové modely pre generovanie kódu založené na predtrénovaných modeloch s architektúrou transformer. Model MicroCoder je založený na modeli CodeLLaMA-Instruct 7B a pri jeho ladení bola využitá technika QLoRA pre minimalizáciu výpočtových nárokov ladenia. Druhý model, MicroCoderFIM, je založený na modeli StarCoderBase 1B a podporuje vyplňovanie kódu na základe okolia (fill-in-the-middle). Jednotlivé modely boli porovnávané na základe metrík BLEU, CodeBLEU, ChrF++ a ROUGE-L. Model MicroCoderFIM dosahuje najlepšie výsledky adaptácie na novú úlohu, pričom zaznamenal viac ako 120% zlepšenie vo všetkých meraných metrikách. Váhy modelov spolu s novou dátovou sadou sú voľne prístupné na verejnom úložisku.
The goal of this work was to adapt a pre-trained language model for the purpose of generating code in the field of embedded systems. The work introduces a new dataset for fine-tuning code generation models, consisting of 50,000 pairs of source code and comments focused on embedded systems programming. This dataset is composed of collected source code from the GitHub platform. Two new language models for code generation, based on transformer architecture pre-trained models, were fine-tuned on the data of the new corpus. Model MicroCoder is based on the CodeLLaMA-Instruct 7B model, and during its fine-tuning, the QLoRA technique was used to minimize computational requirements. The second model, MicroCoderFIM, is based on the StarCoderBase 1B model and supports code infilling. The individual models were compared based on BLEU, CodeBLEU, ChrF++, and ROUGE-L metrics. Model MicroCoderFIM achieves the best adaptation results to the new task, with over 120% improvement in all measured metrics. The weights of the models along with the new dataset are freely accessible on a public repository.
The goal of this work was to adapt a pre-trained language model for the purpose of generating code in the field of embedded systems. The work introduces a new dataset for fine-tuning code generation models, consisting of 50,000 pairs of source code and comments focused on embedded systems programming. This dataset is composed of collected source code from the GitHub platform. Two new language models for code generation, based on transformer architecture pre-trained models, were fine-tuned on the data of the new corpus. Model MicroCoder is based on the CodeLLaMA-Instruct 7B model, and during its fine-tuning, the QLoRA technique was used to minimize computational requirements. The second model, MicroCoderFIM, is based on the StarCoderBase 1B model and supports code infilling. The individual models were compared based on BLEU, CodeBLEU, ChrF++, and ROUGE-L metrics. Model MicroCoderFIM achieves the best adaptation results to the new task, with over 120% improvement in all measured metrics. The weights of the models along with the new dataset are freely accessible on a public repository.
Description
Citation
VADOVIČ, M. Velké jazykové modely pro generování kódu se zaměřením na vestavěné systémy [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2024.
Document type
Document version
Date of access to the full text
Language of document
sk
Study field
Informační technologie
Comittee
doc. Dr. Ing. Dušan Kolář (předseda)
Ing. Vladimír Bartík, Ph.D. (člen)
Ing. Jaroslav Dytrych, Ph.D. (člen)
doc. Mgr. Adam Rogalewicz, Ph.D. (člen)
Ing. Marcela Zachariášová, Ph.D. (člen)
Date of acceptance
2024-06-12
Defence
Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm B.
Result of defence
práce byla úspěšně obhájena
Document licence
Standardní licenční smlouva - přístup k plnému textu bez omezení