Vizuální lokalizace v přírodě

but.committeeprof. Ing. Lukáš Sekanina, Ph.D. (předseda) dr. Vincent Lepetit (člen) dr. Kevin Köser (člen) prof. Dr. Ing. Jiří Matas (člen) Dr. Torsten Sattler (člen)cs
but.defenceStudent přednesl cíle a výsledky, kterých v rámci řešení disertační práce dosáhl. V rozpravě student fundovaně odpověděl na otázky komise a oponentů. Komise se v závěru jednomyslně usnesla, že student splnil podmínky pro udělení akademického titulu doktor. Komise jednomyslně doporučuje, aby studentovi byla udělena cena za výjimečně kvalitní disertační práci. The student presented the goals and results, which he achieved within the solution of the dissertation. The student has competently answered the questions of the committee members and opponents. The committee has agreed unanimously that the student has fulfilled requirements for being awarded the academic title Ph.D. The committee recommends awarding the thesis the deans prize.cs
but.jazykangličtina (English)
but.programVýpočetní technika a informatikacs
but.resultpráce byla úspěšně obhájenacs
dc.contributor.advisorČadík, Martinen
dc.contributor.authorBrejcha, Janen
dc.contributor.refereeSattler, Torstenen
dc.contributor.refereeMatas, Jiříen
dc.date.accessioned2022-05-31T22:53:39Z
dc.date.available2022-05-31T22:53:39Z
dc.date.createdcs
dc.description.abstractV této práci se zabýváme odhadem pozice a orientace kamery z dané fotografie. Tento problém nazýváme vizuální geo-lokalizace. Konkrétně se zabýváme fotografiemi pořízenými v přírodních horských prostředích. Představujeme podrobný průzkum aktuálního stavu poznání algoritmů, datových sad a přístupů k vyhodnocování problému vizuální geo-lokalizace. Náš průzkum odhalil, že vizuální geo-lokalizace v přírodních prostředích je často řešena pomocí vyhledávání podobností nebo korespondencí mezi vstupní fotografií a terénním modelem. Problém nacházení korespondencí mezi fotografií a terénním modelem nazýváme porovnávání napříč doménami (cross-domain matching). Na základě našeho průzkumu jsme stanovili tři hlavní cíle, jejichž dosažení nám umožňuje překonat aktuální stav poznání vizuální geo-lokalizace v horských prostředích s využitím porovnávání napříč doménami: (I) potřeba nových datových sad které umožní trénovat, vyhodnocovat a porovnávat algoritmy vizuální geo-lokalizace, (II) potřeba ověřit, zda využití různých příznaků - křivek horizontu, hranových map, sémantické segmentace a satelitních snímků pomůže vylepšit algoritmy pro porovnávání napříč doménami, (III) potřeba ilustrovat využitelnost metod vizuální geo-lokalizace pomocí vývoje jejich nových aplikací. V této práci podrobně popisujeme naše výzkumné studie, které objasňují, jakým způsobem jsme postupovali ve výzkumu jednotlivých cílů. Představujeme několik nových datových sad pro účely vyhodnocování, porovnávání a trénování jednotlivých metod. S využitím těchto nových datových sad jsme vyvinuli novou metodu pro zarovnání fotografií s terénním modelem na základě sémantické segmentace kombinované s běžnými hranovými příznaky. Pomocí experimentálního vyhodnocení objasňujeme výhody našeho nového přístupu oproti aktuálnímu stavu poznání. Dále navrhujeme meta algoritmus umožňující automatickou kalibraci více kamer, který je založen na odhadu struktury z pohybu (Structure from Motion) napříč doménami. Tento nový přístup pro automatické zarovnávání fotografií s terénním modelem nám umožňuje natrénovat kompaktní deskriptor klíčových bodů pomocí hlubokého učení. V rámci našeho výzkumu ukazujeme funkčnost tohoto deskriptoru při odhadu externích parametrů kamery (pozice a orientace) pomocí porovnávání vstupní fotografie s terénním modelem. V závěru práce ukazujeme praktickou využitelnost našich metod pro automatickou kalibraci externích parametrů kamery. Navrhujeme nový přístup k prezentaci fotografií, který je vhodný jak pro prezentaci na monitoru či jiné projekční ploše, tak pro virtuální realitu. Pomocí experimentálního vyhodnocení ukazujeme, že naše nová metoda prezentace fotografií pomáhá uživatelům s orientací v neznámých komplexních přírodních scénách.en
dc.description.abstractWe focus our work on camera position and orientation estimation given a query photograph; we call this problem visual geo-localization. Specifically, we focus on photographs captured in natural, mountainous environments. We introduce a thorough review of state-of-the-art computer vision methods, datasets, and evaluation practices for visual geo-localization problems. The survey revealed that researchers usually cast visual geo-localization in natural environments as a similarity or a correspondence search between an input photograph and a terrain model; we call this problem the cross-domain matching. We identified three main goals to improve over the state of the art in visual geo-localization in mountainous environments using cross-domain matching: (I) the need for new datasets for training, validation, and evaluation of cross-domain visual geo-localization algorithms, (II) the need to verify whether the cross-domain matching algorithms may benefit from using different features-horizon lines, edge maps, semantic segmentation, and satellite imagery, (III) the need to illustrate the usefulness of visual geo-localization methods by developing novel applications. In this thesis, we thoroughly describe our research studies to illustrate how we examined particular goals. We introduce several novel datasets for evaluation and training of cross-domain matching methods. These novel datasets allowed us to propose a novel method for cross-domain photo-to-terrain matching using a combination of semantic segments and classic edge-based features. We illustrate the benefits of our novel approach over the state of the art on camera orientation estimation. Furthermore, we propose a meta-algorithm based on a cross-domain Structure from Motion for a weakly supervised acquisition of cameras aligned with the synthetic terrain. This novel cross-domain data acquisition scheme allowed us to train a compact cross-domain keypoint descriptor. We illustrate the descriptor performance by estimating full camera pose by matching the query photograph to the rendered terrain model. Finally, we demonstrate a practical usability of outdoor visual geo-localization by designing a novel application of photography presentation on a computer screen or in virtual reality. Moreover, we illustrate that our novel presentation method helps the user with complex outdoor scene understanding and improves self-localization in unvisited outdoor environments.cs
dc.description.markPcs
dc.identifier.citationBREJCHA, J. Vizuální lokalizace v přírodě [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. .cs
dc.identifier.other139335cs
dc.identifier.urihttp://hdl.handle.net/11012/204606
dc.language.isoencs
dc.publisherVysoké učení technické v Brně. Fakulta informačních technologiícs
dc.rightsStandardní licenční smlouva - přístup k plnému textu bez omezenícs
dc.subjectVizuální geo-lokalizaceen
dc.subjectlokalizace kameryen
dc.subjectodhad rotace kameryen
dc.subjectdigitální elevační modelyen
dc.subjectrenderování terénuen
dc.subjectporovnávání napříč doménamien
dc.subjectporovnávání deskriptorůen
dc.subjectprezentace fotografiíen
dc.subjectvirtuální realitaen
dc.subjectrozšířená realitaen
dc.subjectVisual geo-localizationcs
dc.subjectcamera localizationcs
dc.subjectcamera rotation estimationcs
dc.subjectdigital elevation modelscs
dc.subjectterrain renderingcs
dc.subjectcross-domain matchingcs
dc.subjectdescriptor matchingcs
dc.subjectphotography presentationcs
dc.subjectvirtual realitycs
dc.subjectaugmented realitycs
dc.titleVizuální lokalizace v příroděen
dc.title.alternativeVisual Localization in Natural Environmentscs
dc.typeTextcs
dc.type.driverdoctoralThesisen
dc.type.evskpdizertační prácecs
dcterms.modified2021-10-01-08:27:05cs
eprints.affiliatedInstitution.facultyFakulta informačních technologiícs
sync.item.dbid139335en
sync.item.dbtypeZPen
sync.item.insts2022.06.01 00:53:39en
sync.item.modts2022.06.01 00:13:39en
thesis.disciplineVýpočetní technika a informatikacs
thesis.grantorVysoké učení technické v Brně. Fakulta informačních technologií. Ústav počítačové grafiky a multimédiícs
thesis.levelDoktorskýcs
thesis.namePh.D.cs
Files
Original bundle
Now showing 1 - 5 of 5
Loading...
Thumbnail Image
Name:
final-thesis.pdf
Size:
5.21 MB
Format:
Adobe Portable Document Format
Description:
final-thesis.pdf
Loading...
Thumbnail Image
Name:
Posudek-Vedouci prace-887_s1.pdf
Size:
31.21 KB
Format:
Adobe Portable Document Format
Description:
Posudek-Vedouci prace-887_s1.pdf
Loading...
Thumbnail Image
Name:
Posudek-Oponent prace-887_o1.pdf
Size:
341.39 KB
Format:
Adobe Portable Document Format
Description:
Posudek-Oponent prace-887_o1.pdf
Loading...
Thumbnail Image
Name:
Posudek-Oponent prace-887_o2.pdf
Size:
68.67 KB
Format:
Adobe Portable Document Format
Description:
Posudek-Oponent prace-887_o2.pdf
Loading...
Thumbnail Image
Name:
review_139335.html
Size:
1.64 KB
Format:
Hypertext Markup Language
Description:
review_139335.html
Collections