ŠMAHEL, M. Metavyhledávání recenzí na českém webu [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2023.
Celkově hodnotím práci z hlediska aktivity studenta a praktických výstupů jako silně nadprůměrnou. Výsledkem je systém, který může být základem pro velmi efektivní shromažďování recenzí ke konkrétním entitám na českém Internetu (například ekvivalent služby Metacritic) a kvalitní porovnání metavyhledávání a zpracování textových dat z webových stránek. Slabší stránkou bylo z mého pohledu strategické plánování práce, student věnoval někdy až přílišnou pozornost detailům, a nedokázal pak dovést celkové vyznění technické zprávy k dokonalosti.
| Kritérium | Známka | Body | Slovní hodnocení |
|---|---|---|---|
| Informace k zadání | Téma umožňovalo relativní volnost v hloubce zpracování jednotlivých částí systém. Student přistoupil k práci velmi svědomitě, podrobně analyzoval a porovnával použitelnost externích nástrojů a rozhraní webových vyhledávačů už v době návrhu systému a vytvořil velmi kvalitní systém pro metavyhledávání recenzí. Zadání bylo splněno a s výsledkem jsem spokojen. | ||
| Práce s literaturou | Student aktivně získával a využíval relevantní studijní materiály, zpracoval kvalitní přehled poznání jak v samotném metavyhledávání, tak v několika podpůrných oblastech, například extrakce hlavního obsahu z webových stránek. | ||
| Aktivita během řešení, konzultace, komunikace | Aktivita studenta při řešení práce byla příkladná, v obou semestrech referoval pravidelně každý týden o svém postupu, zejména v posledních měsících konzultoval jednotlivé plánované kroky i několikrát týdně, na konzultace vždy připravil dlouhý seznam otázek a poznámek k diskusi a byl vždy velmi dobře připraven. | ||
| Aktivita při dokončování | I přes výše uvedený aktivní přístup se dokončování práce nepovedlo zcela dobře rozvrhnout, takže některé kapitoly technické zprávy byly finalizovány až na poslední chvíli. Obecný obsah kapitol byl konzultován dlouho dopředu, nicméně definitivní podoba nikoliv. | ||
| Publikační činnost, ocenění | - |
Z technické zprávy jsem nabyl dojmu, že student byl ze začátku práce více důsledný než ke konci. Zpočátku mi přišla práce zajímavá a velmi dobře zpracovaná, ale přibližně od kapitoly 4.5 se můj celkový dojem zhoršoval. Student udělal dost práce, ale vzhledem k výše uvedeným nedostatkům navrhuji hodnocení stupněm C (79 bodů).
| Kritérium | Známka | Body | Slovní hodnocení |
|---|---|---|---|
| Náročnost zadání | |||
| Rozsah splnění požadavků zadání | Po zvážení situace student (proti 4. bodu zadání) nevyužil existujících programů, o kterých se dozvěděl při plnění 1. bodu zadání. V kapitole 4.1 (str. 31) stručně píše, že se seznámil s existujícími programy pro pravidelné stahování webu, jež výzkumná skupina KnoT (FIT VUT) má. Jejich nevyužití odůvodňuje tím, že většina z nich je již nefunkční, protože webové stránky se neustále vyvíjí a programy jsou tak zastaralé. Chybí mi ale výčet těchto nefunkčních programů. Drobnou výhradu mám ke splnění 2. bodu zadání, kde je uvedeno, že student má prostudovat algoritmy pro extrakci pojmenovaných entit a aspektově-orientovanou analýzu postojů z textu . Tento bod je v technické zprávě splněn pouze částečně, protože o extrakci pojmenovaných entit není v ní žádná zmínka. Práce obsahuje rozšíření o jednoduché webové uživatelské rozhraní. | ||
| Rozsah technické zprávy | Technická zpráva obsahuje od úvodu až po závěr 97 normostran textu (bez obrázků). Když zohledním obrázky je to odhadem o 15 normostran více. Všechny části se mi však zdají být nezbytné, protože reflektují, co student udělal. Měl bych poznámku ke kapitole 4.5, kde se student věnoval srovnání nástrojů pro automatické ovládání webového prohlížeče. Tam jsem nabyl dojmu, že student to porovnání probral zbytečně podrobně. I přes velký rozsah technické zprávy mi některé informace scházely. Na mysli mám hlavně kapitolu 5.5 a v ní podkapitolu „Zjištění, zda webová stránka obsahuje recenzní článek“. Tato podkapitola se mi zdá nedokončená. V jejím posledním odstavci je popsána první fáze, tedy zisk odkazů z vyhledávačů, ale další fáze popsány nejsou. | ||
| Prezentační úroveň technické zprávy | 80 | Práce se z počátku dobře čte, až po kapitolu 5. Kapitola 4.5 již obsahuje pár nedostatků. Například na str. 43 jsou uvedeny zbytečně přesné hodnoty průměru a mediánu doby načtení webové stránky v nanosekundách, přičemž většina hodnot se pohybuje v rozsahu od 2 do 10 sekund. Na totožné straně je také obrázek 4.6 s grafem, který je obtížné přečíst. Některé návrhové a implementační detaily jsem se dozvěděl až v kapitole 6, ve které je popsáno vyhodnocení výsledků. Například o knihovně pro detekci jazyka jsem se dozvěděl až na str. 69 a výběr jazykového modulu pro měření polarity názorů není popsán dříve než na str. 71. Na stejné straně jsou také nešťastně formulovány věty ohledně přepočtu hodnocení polarity názorů z rozsahu <1; 10> na rozsah <1; 5>. | |
| Formální úprava technické zprávy | 85 | Ohledně typografické stránky technické zprávy bych vytkl na str. 47 přerušení poslední věty stranou s obrázky, jež tak byla dokončena až na str. 49. Grafy vytvořené studentem jsou v bitmapovém formátu (domnívám se, že mohly být ve vektorovém formátu). Nákresy vytvořené studentem jsou ve vektorovém formátu. Co se týče jazykové stránky, narazil jsem v technické zprávě jen na dvanáct drobných nedostatků. Většinou se ale jednalo o překlepy a chyby, jež byly pravděpodobně způsobené přepisováním textu. | |
| Práce s literaturou | 80 | Výběr studijních pramenů je vyhovující. Student se na použité zdroje většinou vhodně odkazuje. Rušivá je ale velká hustota odkazů na stejný zdroj, která se vyskytuje v kapitolách 3.4, 3.5 a 3.6. V některých případech je ten samý odkaz na konci každé věty. Chybí mi zdroj pro tvrzení, že jazykový model nlptown/bert-base-multilingual-uncased-sentiment má výrazné zastoupení češtiny (str. 71). Na odkazované webové stránce je totiž uvedeno, že model byl dotrénován na recenzích produktů v šesti jazycích, v jejichž výčtu čeština není. Student má v bibliografii konkrétní kapitoly a strany knih. Bohužel jednou asi zapomněl změnit čísla stran a název kapitoly. Tak zdroj [20] a [21] je duplikátní. Na str. 26 student neuvedl odkaz na zdroj [37] a uvedl pouze autora, ale dříve na str. 23 se na tento zdroj hojně odkazoval. Takže to považuji za drobný nedostatek. | |
| Realizační výstup | 76 | Student vytvořil metavyhledávač českých recenzí s webovým uživatelským rozhraním, jenž ke své činnosti využívá internetové vyhledávače Google, Bing, Seznam a DuckDuckGo. Zdrojový kód dostatečně komentoval a rozdělil do modulů. Dále vytvořil nástroj pro ruční klasifikaci textu extrahovaného z webových stránek, pomocí kterého vytvořil datovou sadu pro dotrénování jazykového modelu severinsimmler/xlm-roberta-longformer-base-16384 . Datová sada čítá přes čtyři sta vzorků. Uvedený jazykový model student v systému využívá k rozlišení, zda se jedná o recenzi či nikoli. Zhodnocení kvality filtrování irelevantních výsledků vyhledávání (kapitola 6.3) student provedl na vzorku 256 webových stránek. Ten obdržel zadáním deseti vyhledávacích dotazů. Zhodnocení kvality analýzy polarity recenzních článků (kapitola 6.4, str. 71) student provedl na vzorku 40 výsledků vyhledávání. Výsledek hodnocení ale s ničím neporovnával. Navíc si nejsem jistý, zda-li student správně převedl hodnocení polarity názorů z rozsahu <1; 10> na rozsah <1; 5>. | |
| Využitelnost výsledků | Student vytvořil systém pro metavyhledávání recenzí. Systém funguje, ale více jak tři minuty trvá získání odpovědi na dotaz. Dále ručně připravil novou datovou sadu z textu extrahovaného z webových stránek, která nyní čítá přes čtyři sta vzorků. Texty klasifikoval do čtyř tříd: recenzní články (35% datové sady), cizojazyčný obsah (8,8%), diskuzní portály (7,1%) a ostatní (48,5%). |
eVSKP id 147901