HENCLOVÁ, K. Bezpečnostní rizika senzorů v mobilních zařízeních [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2024.
Práce šla řešit různými způsoby, přičemž autorka zvolila netriviální techniku detekce činnosti uživatele pomocí klasifikátoru na bázi strojového učení. Metodiku sběru dat, implementaci klasifikátoru, realizaci útoku, i zhodnocení výsledků v práci pečlivě zpracovala. Výsledky práce ukazují na zneužitelnost senzorového API pomocí útoku, který (dle mých znalostí) dosud nebyl nikým implementován. Poznatky z práce jsou tedy přínosné a rozšiřují stav poznání ve zkoumané oblasti. I přes drobné výhrady ke splnění bodu 5 zadání práci hodnotím jako velmi dobrou (B). Zohledňuji především aktivní přístup, použití netriviálních postupů a angažmá na konferenci Excel. Pozitivně hodnotím také zveřejnění zdrojových kódu a anonymizované datové sady, která může posloužit též dalším výzkumníkům.
| Kritérium | Známka | Body | Slovní hodnocení |
|---|---|---|---|
| Informace k zadání | Cílem práce bylo prozkoumat zranitelnosti senzorového API mobilních zařízení a vybranou zranitelnost demonstrovat pomocí vhodně zvoleného útoku. Autorka implementovala útok na principu detekce činnosti uživatele při využití senzorových dat a strojového učení. Metodiku útoku také prezentovala na konferenci Excel@FIT. Zadání považuji za splněné. Drobnou výhradu mám pouze k bodu 5, kdy autorka zřejmě použila neaktuální verzi nástroje JShelter. V kontextu celého zadání však nejde o nijak zásadní chybu. S ohledem na nutnost nastudovat netriviální problematiku považuji zadání za spíše náročnější. | ||
| Práce s literaturou | Autorka využila doporučené literatury a nemalé množství dalších relevantních zdrojů si samostatně dohledala. | ||
| Aktivita během řešení, konzultace, komunikace | Slečna Henclová byla při řešení aktivní, na schůzky docházela připravena a dodržování dohodnutých termínů nebyl problém. Zejména oceňuji iniciativu v oblasti sběru senzorových dat při oslovení dobrovolníků, také z řad Free Software Foundation (FSF). | ||
| Aktivita při dokončování | Práce byla dokončena v rozumném předstihu a finální verzi jsem připomínkoval. | ||
| Publikační činnost, ocenění | Autorka prezentovala výsledky své práce na konferenci Excel@FIT. Zdrojové kódy "sběrače" dat, tvorby klasifikátoru a samotné stránky pro realizaci útoku autorka zveřejnila na portálu GitHub: https://github.com/Suri-Kat/Security-risks-of-mobile-device-sensors Vytvořenou datovou sadu v anonymizované podobě slečna Henclová zveřejnila přes platformu Zenodo: https://zenodo.org/doi/10.5281/zenodo.11123327 |
The work has some strengths like the work on getting meaningful data and testing different classifications models. However, it looks like it was done in a hurry and the text is not polished. Most notably, the author wrongly evaluated JShelter due to a wrong selection of a suitable version for the selected browser. I interpret the assignment as the main goal was the demonstration of a selected attack and this task was undoubtedly solved.
| Kritérium | Známka | Body | Slovní hodnocení |
|---|---|---|---|
| Náročnost zadání | The goal was to study previously published attacks, reimplement them and evaluate JShelter, a browser extension that is developed at the University with other partners. There was a lot of sources to study, there was the need to understand the topic, and there was the need to show own creativity. | ||
| Rozsah splnění požadavků zadání | The student worked well and completed the majority of the assignment. On top of the assigned goals, the student created an application to collect data from volunteers. However, I have reservations to the point 5 - evaluation of the JShelter extension expressed below. | ||
| Rozsah technické zprávy | |||
| Prezentační úroveň technické zprávy | 75 | At first sight the report is well-structured. However, the text would benefit from clear separation between necessary background and own work. For example, section 7.3 summarizes theory on AI classifiers, yet, it is a part of the implementation chapter. One-page-long chapter 3 is too short and could have been merged with other chapters. The results of the work are not clearly summarized in the abstract and introduction. Some parts of the text would benefit from comprehensibility improvements like the last paragraph in section 2.2. | |
| Formální úprava technické zprávy | 85 | The work is written in good English. The typography and linguistic aspects are good. There are some typos in the text (e.g., p. 10) | |
| Práce s literaturou | 80 | The work is based on a large amount of sources. However, section 5.2 incorrectly describes modification to sensor readings by JShelter. JShelter always returns an artificially generated value, it never depends on actual readings. | |
| Realizační výstup | 75 | I welcome the approach of preparing a web page to collect data from volunteers as well as a good demonstration of the implemented attack. I believe that the results of the work can be used to practically demonstrate the attack. However, I have thee reservations to the achieved results: The collected readings were split into 5 seconds intervals without any justification. The work would benefit from justifying and evaluation the choice. Fig. 8.3 demonstrates the problem. It seems to me that longer evaluation periods would improve the detection. The classification categories are not well-selected. For example, one can stand or sit in the bus, tram, or train. Yet, the author distinguishes body position outside transport but not inside. Also, it is not clear if the terrain like mountainous road, highway, or city affect the sensor reading (it should) and how. The student claims that JShelter does not work. However, during an in-person presentation I revealed that the student tested JShelter for Firefox in a Chromium-based browser. After we installed JShelter for Chromium-based browsers, the extension worked as expected and reported the phone to be lying even when I walked with the phone in my hands for some time. | |
| Využitelnost výsledků | The work is a good starting point for further research. It has some good insights and it prepared important software. |
eVSKP id 153707