Nástroj pro sběr a analýzu doménových dat získaných z otevřených zdrojů
Loading...
Date
Authors
Dohnal, Ondřej
Advisor
Referee
Mark
B
Journal Title
Journal ISSN
Volume Title
Publisher
Vysoké učení technické v Brně. Fakulta elektrotechniky a komunikačních technologií
ORCID
Abstract
Tato diplomová práce se zabývá návrhem a implementací softwarového nástroje pro automatizovaný sběr a analýzu doménových dat z veřejně dostupných OSINT (Open Source Intelligence) zdrojů. Cílem bylo vytvořit univerzální nástroj schopný integrovat data z platforem jako VirusTotal, SecurityTrails, crt.sh a Shodan, přičemž důraz byl kladen na validaci, konsolidaci záznamů a podporu výstupních formátů CSV, JSON a YAML. Práce podrobně popisuje architekturu řešení, použité technologie (Python), způsob komunikace s jednotlivými API a testování v simulovaných scénářích, včetně výpadků a limitů služeb. Výsledný nástroj je modulární, rozšiřitelný a kompatibilní s platformou penterep, což umožňuje jeho praktické nasazení v oblasti kybernetické bezpečnosti, forenzní analýzy i výuky. Přínosem práce je jak funkční nástroj, tak přehledné shrnutí technik a možností OSINT v kontextu DNS dat.
This master’s thesis presents the design and implementation of a software tool for the automated collection and analysis of domain data obtained from publicly available OSINT (Open Source Intelligence) sources. The aim was to develop a versatile tool capable of integrating data from platforms such as VirusTotal, SecurityTrails, crt.sh, and Shodan. The solution emphasizes data validation, deduplication, and support for output formats including CSV, JSON, and YAML. The work provides a detailed description of the tool’s architecture, communication with APIs, the Python-based implementation, and testing under various real-world conditions such as API failures and rate limits. The resulting tool is modular, extensible, and compatible with the penterep platform, making it suitable for deployment in cybersecurity, forensic analysis, and educational contexts. The thesis delivers both a functional utility and a structured overview of DNS-related OSINT techniques.
This master’s thesis presents the design and implementation of a software tool for the automated collection and analysis of domain data obtained from publicly available OSINT (Open Source Intelligence) sources. The aim was to develop a versatile tool capable of integrating data from platforms such as VirusTotal, SecurityTrails, crt.sh, and Shodan. The solution emphasizes data validation, deduplication, and support for output formats including CSV, JSON, and YAML. The work provides a detailed description of the tool’s architecture, communication with APIs, the Python-based implementation, and testing under various real-world conditions such as API failures and rate limits. The resulting tool is modular, extensible, and compatible with the penterep platform, making it suitable for deployment in cybersecurity, forensic analysis, and educational contexts. The thesis delivers both a functional utility and a structured overview of DNS-related OSINT techniques.
Description
Keywords
OSINT , DNS , doménová data , VirusTotal , SecurityTrails , CRTsh , Shodan , analýza dat , kybernetická bezpečnost , Python , OSINT , DNS , domain data , VirusTotal , SecurityTrails , CRTsh , Shodan , data analysis , cybersecurity , Python
Citation
DOHNAL, O. Nástroj pro sběr a analýzu doménových dat získaných z otevřených zdrojů [online]. Brno: Vysoké učení technické v Brně. Fakulta elektrotechniky a komunikačních technologií. 2025.
Document type
Document version
Date of access to the full text
Language of document
cs
Study field
bez specializace
Comittee
prof. Ing. Eva Gescheidtová, CSc. (předseda)
doc. Ing. David Kubánek, Ph.D. (místopředseda)
doc. Ing. Leoš Boháč, Ph.D. (člen)
Ing. Pavel Záviška, Ph.D. (člen)
Ing. Pavel Dvořák, Ph.D. (člen)
doc. Ing. Petr Sysel, Ph.D. (člen)
doc. Ing. Vladislav Škorpil, CSc. (člen)
Date of acceptance
2025-06-09
Defence
Student prezentoval výsledky své práce a komise byla seznámena s posudky.
Student obhájil diplomovou práci a odpověděl na otázky členů komise a oponenta.
Otázky:
Proč jste nevyužil WHOIS databázi pro sběr dat? Jak přesně by mohl být nástroj o tuto chybějící část rozšířen?
Jaká další otevřená data se zpravodajskou hodnotou vázající se na vyhledávané domény by bylo možné z použitých zdrojů získat?
V čem vidíte právní problémy OSINT?
Result of defence
práce byla úspěšně obhájena
