Automatická geo-lokalizace fotografií

Abstract

Geolokalizácia fotografií je v dnešnej dobe aktuálny problém. V počiatkoch boli pre potreby geolokalizácie využívané ručne vytvorené príznaky, ako napríklad príznaky vytvorené pomocou algoritmu SIFT. V nedávnych časoch sa v tejto oblasti začali skúmať prístupy založené na neurónových sieťach, ktoré dokážu vytvárať presnejšie reprezentácie, avšak sú závislé na veľkom množstve dát. V prípade slabo osídlených alebo ťažko dostupných oblastí, akými sú napríklad horské oblasti, je týchto dát príliš málo pre tréning neurónových sietí. Táto práca využíva umelo vytvorených obrazových modalít pre potrebu geolokalizácie fotografií, keďže umelo vytvorené dáta sú jednoducho dostupné. Model predstavený v tejto práci je inšpirovaný modelom Crosslocate, pričom je jeho pôvodná štruktúra upravená podľa vzoru populárnych architektúr, akými sú napríklad CLIP alebo SimCLR, za použitia neurónových sietí typu Vision Encoder pre potreby spracovania vstupných fotografií a obrazových modalít. Lineárna vrstva je použitá ako projekčná hlava, ktorá transformuje výstup Vision Encoder modelov do rovnakého priestoru príznakov. Ako výsledná lokácia pre dotazovanú fotografiu bude vybraná lokácia tej obrazovej modality, ktorej projekčný vektor bude mať navyššiu mieru podobnosti ku projekčnému vektoru dotazovanej fotografie.

Geo-localization of photographs is a currently an actual problem. At first, hand-crafted features, such as features created by SIFT, were used for the purposes of geo-localization. In recent years, approaches using neural networks were explored, and while such approaches can create more precise representations, they rely on a large number of data. In the case of weakly inhabited areas, such as mountains, the amount of such data is insufficient for training of neural networks. This thesis uses synthetic modalities for the purpose of photograph geo-localization, as synthetic data are easily accessible. The model presented in this work is inspired by Crosslocate, with its original structure modified according to popular architectures such as CLIP or SimCLR, using Vision Encoder neural networks for processing input photos and image modalities. A linear layer is used as a projection head that transforms the output of Vision Encoder models into the same feature space. The location of the image modality, whose projection vector has the highest similarity to the projection vector of the query photo, will be selected as the resulting location for the query photo.