Automatická tvorba animovaného videa na základě textového příběhu
Loading...
Date
Authors
Kuchař, Josef
Advisor
Referee
Mark
B
Journal Title
Journal ISSN
Volume Title
Publisher
Vysoké učení technické v Brně. Fakulta informačních technologií
ORCID
Abstract
Cílem této práce je propojit difúzní model pro generování lidského pohybu s difúzním modelem generující video. V řešení jsou použité aktuální metody pro generování videa a pohybu. Generování videa probíhá pomocí generátoru obrázků opatřeného adaptérem pro temporální konzistenci. Práce představuje metodu propojení obou difúzních modelů pomocí sítě ControlNet. Vytvořené řešení umožňuje generovat video z jednoduchého textového popisu, případně detailního scénáře. Program byl otestován v uživatelské studii.
The aim of this work is to link a diffusion model for generating human motion with a diffusion model for generating video. The solution uses current methods for generating video and motion. Video generation is carried out using an image generator equipped with an adapter for temporal consistency. The work introduces a method of connecting both diffusion models using the ControlNet network. The created solution allows for generating video from a simple text description, or a detailed scenario. The program was tested in a user study.
The aim of this work is to link a diffusion model for generating human motion with a diffusion model for generating video. The solution uses current methods for generating video and motion. Video generation is carried out using an image generator equipped with an adapter for temporal consistency. The work introduces a method of connecting both diffusion models using the ControlNet network. The created solution allows for generating video from a simple text description, or a detailed scenario. The program was tested in a user study.
Description
Keywords
neuronové sítě , umělá inteligence , difúzní modely , generování videa , textový příběh , procedurální animace , ControlNet , Stable Diffusion , MDM , Human Motion Diffusion Model , neural networks , artificial intelligence , diffusion models , video generation , textual story , procedural animation , ControlNet , Stable Diffusion , MDM , Human Motion Diffusion Model
Citation
KUCHAŘ, J. Automatická tvorba animovaného videa na základě textového příběhu [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2024.
Document type
Document version
Date of access to the full text
Language of document
cs
Study field
Informační technologie
Comittee
prof. Ing. Adam Herout, Ph.D. (předseda)
doc. Ing. Martin Čadík, Ph.D. (člen)
doc. Ing. Michal Bidlo, Ph.D. (člen)
Ing. Aleš Smrčka, Ph.D. (člen)
Ing. Šárka Květoňová, Ph.D. (člen)
Date of acceptance
2024-06-14
Defence
Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm B.
Result of defence
práce byla úspěšně obhájena