Nástroj pro 3D rekonstrukci z dat z více typů senzorů

Abstract

Realistické 3D modely prostředí jsou užitečné v mnoha oborech, od inspekce přírodních struktur nebo budov, navigace robotů a tvorby map až po filmový průmysl při zaměřování scény nebo pro integraci speciálních efektů. Je běžné při snímání takové scény použít různých typů senzorů, jako například monokulární, stereoskopické nebo sférické kamery nebo 360° laserové skenery, pro dosažení velkého pokrytí scény. Výhoda laserových skenerů a sférických kamer spočívá právě v zachycení celého okolí jako jeden celistvý snímek. Použitím konvenčních monokulárních kamer lze naproti tomu snadno pokrýt zastíněné části scény nebo zachytit detaily. Proces 3D rekonstrukce sestává ze tří kroků: snímání, zpracování dat a registrace a zpřesnění rekonstrukce. Přínos této disertační práce je podrobná analýza metod registrace obrazu ze sférických a planárních kamer a implementace unifikovaného systému sensorů a měření pro 3D rekonstrukci, jež umožňuje rekonstrukci ze všech dostupných dat. Hlavní výhodou navržené unifikované reprezentace je, že umožňuje společně optimalizovat všechny pózy sensorů a bodů scény aplikací nelineárních optimalizačních metod. Tím dosahuje lepší přesnosti rekonstrukce aniž by se výrazně zvýšily výpočetní nároky.Realistic 3D models of the environment are beneficial in many fields, from natural or man-made structure inspection, robotic navigation and map building, to the movie industry, in particular, scene survey and special effects integration to scenes. It is common practice to capture the scene with multiple different types of sensors such as monocular, stereoscopic or spherical cameras or 360-degree laser scanners to achieve large coverage of the scene. The advantage of the laser scanners and spherical cameras is that they capture the full surrounding scene as a consistent seamless image. Using easy to operate and manipulate hand-held conventional cameras, the details of the scene obstructed areas are easily covered. The 3D reconstruction consists of three steps--data acquisition, data processing and registration, and refinement of the reconstruction. The contribution of this thesis is a careful analysis of the image registration from several types of cameras~(planar and spherical), as well as 3D laser measurements to obtain an initial estimation of the sensor position and the 3D structure. They are further refined by a unified representation system capable of integrating multisensor measurements and obtain an accurate 3D reconstruction of the environment. The evaluation of the multisensor 3D reconstruction is performed on multiple synthetic, and real-world datasets. The accuracy comparison with commercial multisensor 3D reconstruction software shows that our proposed solution achieves more accurate results. While the commercial solutions are limited to specific type of sensors, our framework can integrate any types of measurements and constraints.