Diferenciovatelný návrh architektury neuronových sítí
Loading...
Date
Authors
Eichler, Vojtěch
ORCID
Advisor
Referee
Mark
A
Journal Title
Journal ISSN
Volume Title
Publisher
Vysoké učení technické v Brně. Fakulta informačních technologií
Abstract
Cílem této práce je navrhnout systém pro diferencovatelný návrh architektury neuronových sítí, který následně umožní experimentovat s návrhem různých typů neuronových sítí. Práce vychází z nové metody DARTS (Differentiable architecture search) a přináší její implementaci v knihovně TensorFlow verze 2, kde nebyla k dispozici. Následně jsou v této práci popsány experimenty s operacemi běžných konvolučních sítí, konvolučních sítí s vrstvami využívajícími aproximačních násobiček a s operacemi kombinujícími mechanismy pozornosti a konvoluce. Přínosem této práce je tedy systém pro diferencovatelný návrh architektury neuronových sítí, který umožňuje experimenty s různými vrstvami z moderních verzí knihovny TensorFlow.
The aim of this work is to propose a system for differentiable architecture search, which can be used for design of some neural network types. The work is based on the DARTS (Differentiable architecture search) approach and implements similar system in TensorFlow. Experiments with regular convolution neural networks, convolution neural networks using approximate multipliers and neural networks combining attention and convolution machanisms are presented. The main contribution of this work is novel implementation of a diferentiable architecture search system supporting various layers from the recent versions of the TensorFlow library.
The aim of this work is to propose a system for differentiable architecture search, which can be used for design of some neural network types. The work is based on the DARTS (Differentiable architecture search) approach and implements similar system in TensorFlow. Experiments with regular convolution neural networks, convolution neural networks using approximate multipliers and neural networks combining attention and convolution machanisms are presented. The main contribution of this work is novel implementation of a diferentiable architecture search system supporting various layers from the recent versions of the TensorFlow library.
Description
Keywords
neuronové sítě, konvoluční neuronové sítě, automatický návrh neuronových sítí, TensorFlow, diferencovatelný návrh architektury, umělá inteligence, strojové učení, hluboké učení, neural networks, convolutional neural networks, network architecture search, TensorFlow, differentiable architecture search, artificial intelligence, machine learning, deep learning
Citation
EICHLER, V. Diferenciovatelný návrh architektury neuronových sítí [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2023.
Document type
Document version
Date of access to the full text
Language of document
cs
Study field
Informační technologie
Comittee
doc. Ing. František Zbořil, Ph.D. (předseda)
doc. Mgr. Adam Rogalewicz, Ph.D. (člen)
Ing. David Bařina, Ph.D. (člen)
doc. Ing. Michal Bidlo, Ph.D. (člen)
doc. Ing. Radek Burget, Ph.D. (člen)
Date of acceptance
2023-06-13
Defence
Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm A.
Result of defence
práce byla úspěšně obhájena
Document licence
Standardní licenční smlouva - přístup k plnému textu bez omezení