Akcelerace neuronové sítě pro jazykové modelování
but.committee | prof. Dr. Ing. Jan Černocký (předseda) doc. Ing. Jiří Jaroš, Ph.D. (místopředseda) doc. RNDr. Michal Novák, Ph.D. (člen) Ing. Filip Orság, Ph.D. (člen) RNDr. Marek Rychlý, Ph.D. (člen) | cs |
but.defence | Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm "C". Otázky u obhajoby: V komentáři k rovnici 2.13 uvádíte, že perplexitu je možné vyhodnotit jako geometrický průměr převrácených hodnot podmíněných pravděpodobností. Upřesněte, jak budete tento průměr počítat. Uveďte, jak funguje technika trénování NN-LM bez normalizace softmax na výstupu a jaké dává výsledky PPL oproti baseline a modelu normalizovanému pomocí omezené množiny slov. | cs |
but.jazyk | čeština (Czech) | |
but.program | Informační technologie | cs |
but.result | práce byla úspěšně obhájena | cs |
dc.contributor.advisor | Beneš, Karel | cs |
dc.contributor.author | Labaš, Dominik | cs |
dc.contributor.referee | Černocký, Jan | cs |
dc.date.created | 2018 | cs |
dc.description.abstract | Táto práca sa zaoberá akceleráciou neurónovej siete pre jazykové modelovanie. Cieľom práce je optimalizovať model doprednej neurónovej siete. Pri urýchľovaní neurónovej siete sme využili zmenu aktivačnej funkcie, predpočítanie matíc pre výpočet skrytej vrstvy, implementáciu cache histórie modelu a odstránenie normalizácie. Model s najlepšími výsledkami bol zrýchlený o 75.3\%. | cs |
dc.description.abstract | This work adresses the topic of neural language model acceleration. The aim of this work is to optimize model of a feed-forward neural network. In accelerating of the neural network we used a change of activation function, pre-calculation of matrices for calculationg the hidden layer, implementation of the model's history cache and unnormalized model. The best-performing model was accelerated by 75.3\%. | en |
dc.description.mark | C | cs |
dc.identifier.citation | LABAŠ, D. Akcelerace neuronové sítě pro jazykové modelování [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2018. | cs |
dc.identifier.other | 114690 | cs |
dc.identifier.uri | http://hdl.handle.net/11012/85264 | |
dc.language.iso | cs | cs |
dc.publisher | Vysoké učení technické v Brně. Fakulta informačních technologií | cs |
dc.rights | Standardní licenční smlouva - přístup k plnému textu bez omezení | cs |
dc.subject | Jazykové modelovanie | cs |
dc.subject | Jazykový model | cs |
dc.subject | Dopredná neurónová sieť | cs |
dc.subject | Akcelerácia neurónovej siete | cs |
dc.subject | Language modeling | en |
dc.subject | Language model | en |
dc.subject | Neural Network | en |
dc.subject | Neural network acceleration | en |
dc.title | Akcelerace neuronové sítě pro jazykové modelování | cs |
dc.title.alternative | Neural Language Model Acceleration | en |
dc.type | Text | cs |
dc.type.driver | bachelorThesis | en |
dc.type.evskp | bakalářská práce | cs |
dcterms.dateAccepted | 2018-06-12 | cs |
dcterms.modified | 2020-05-10-16:13:17 | cs |
eprints.affiliatedInstitution.faculty | Fakulta informačních technologií | cs |
sync.item.dbid | 114690 | en |
sync.item.dbtype | ZP | en |
sync.item.insts | 2025.03.18 19:09:03 | en |
sync.item.modts | 2025.01.15 18:46:15 | en |
thesis.discipline | Informační technologie | cs |
thesis.grantor | Vysoké učení technické v Brně. Fakulta informačních technologií. Ústav počítačové grafiky a multimédií | cs |
thesis.level | Bakalářský | cs |
thesis.name | Bc. | cs |
Files
Original bundle
1 - 4 of 4
Loading...
- Name:
- final-thesis.pdf
- Size:
- 1.85 MB
- Format:
- Adobe Portable Document Format
- Description:
- final-thesis.pdf
Loading...
- Name:
- Posudek-Vedouci prace-20644_v.pdf
- Size:
- 85.73 KB
- Format:
- Adobe Portable Document Format
- Description:
- Posudek-Vedouci prace-20644_v.pdf
Loading...
- Name:
- Posudek-Oponent prace-20644_o.pdf
- Size:
- 87.39 KB
- Format:
- Adobe Portable Document Format
- Description:
- Posudek-Oponent prace-20644_o.pdf
Loading...
- Name:
- review_114690.html
- Size:
- 1.45 KB
- Format:
- Hypertext Markup Language
- Description:
- file review_114690.html