CIGÁŇ, B. Analýza postojů českých a slovenských uživatelů na základě dat ze sociálních sítí a webových diskusí [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2025.
Činnost studenta nebyla, zejména v prvním semestru, soustavná, nicméně se mu podařilo vytvořit webový systém s intuitivním rozhraním a natrénovat lokální model pro roztřizování uživatelských komentářů. Jako vedoucí hodnotím celkově práci z hlediska aktivity jako průměrnou.
| Kritérium | Známka | Body | Slovní hodnocení |
|---|---|---|---|
| Informace k zadání | Zadání bylo průměrně obtížné, oblast rozpoznávání polarity postojů je dnes běžnou součástí repertoáru moderních metod zpracování jazyka a velké jazykové modely jsou běžně v této oblasti vyhodnocovány. Na druhé straně seskupení uživatelských příspěvků podle vyjadřovaných názorů tak, aby se blížilo intuitivnímu lidskému rozčlenění není tolik zkoumané a vytvoření intuitivní aplikace s přívětivým uživatelským rozhraním představuje stále výzvu. Studentovi se podařilo vytvořit rozumný systém, který i přes drobné nedostatky může sloužit jako základ dalších prací v této oblasti. S dosaženými praktickými výsledky práce jsem tedy spokojen. | ||
| Práce s literaturou | Student v průběhu řešení shormáždil relevantní zdroje, mohl se však více zaměřit na zpracování aktuálních výzkumných článků, zabývajících se přímo vhodnými modely a metodami jejich použití pro extrakci argumentů vyjadřovaných v krátkých uživatelských příspěvcích. | ||
| Aktivita během řešení, konzultace, komunikace | Aktivita během řešení byla průměrná, v prvním semestru spíše slabší, nicméně ve druhém se podařilo skluz dohnat a práci dotáhnout ke zdárnému výsledku. | ||
| Aktivita při dokončování | Některé kapitoly technické zprávy jsem měl možnost připomínkovat, nicméně definitivní obsah práce již nemohl být z časových důvodů konzultován. | ||
| Publikační činnost, ocenění | - |
Byla vytvořena uživatelsky příjemná webová aplikace umožňující analýzu sentimentu a klasifikaci komentářů pomocí velkých jazykových modelů jako je ChatGPT. Autor také natrénoval vlastní model, který umožňuje použít lokální řešení. Textová část a práce na modelech by si zasloužily dodatečné úsilí.
| Kritérium | Známka | Body | Slovní hodnocení |
|---|---|---|---|
| Náročnost zadání | |||
| Rozsah splnění požadavků zadání | Všechny body zadání jsou splněny. | ||
| Rozsah technické zprávy | Technická zpráva je v obvyklém rozmezí a všechny části jsou vzhledem k tématu relevantní. | ||
| Prezentační úroveň technické zprávy | 70 | Práce může být místy hůře pochopitelná pro čtenáře. Občas se v práci vyskytují nejasné termíny, které by byly vhodné dovysvětlit, jako například pozičně orientovaná dopředná síť v sekci 2.2. Dále v sekci 2.2 je v rovnici pro attention použito Q, ale v textu se pro query matici používá D. V sekci o předtrénování modelů je zavádějící výčet strategii, které se běžně používají v této fázi. Schéma na obrázku 3.1 vyobrazuje propojení mezi modulem pro stahování komentářů a API modely, z textu se ovšem zdá, že žádné takové propojení neexistuje. Bylo by vhodné lépe definovat samotnou úlohu a zejména jasněji objasnit výstupy mT5 modelu. Tabulka 5.1 není odkazována z textu. | |
| Formální úprava technické zprávy | 85 | Text je na dobré typografické úrovni. Vytkl bych jen nečíslování rovnic a použití rastrových obrázků pro schémata a grafy. | |
| Práce s literaturou | 70 | Zaznamenal jsem několik chybějících citací. V sekci Schopnosti veľkých jazykových modelov je uvedeno „Avšak štúdie dokázali“, ale není uvedeno, které studie. Modely, jako například ChatGPT nebo mT5 nemají citaci. Dále například není citována metoda LoRA. Mám dojem, že mělo být kladeno větší úsilí na počáteční rešerši, aby například mohl být zvolen některý vhodnější model pro řešenou úlohu. | |
| Realizační výstup | 85 | Student vytvořil uživatelsky přívětivý systém pro stahování komentářů ze sociálních sítí a jejich následnou analýzu. Je vidět, že systému bylo věnováno značné množství práce. Dále autor dotrénoval vlastní model založený na mT5 a experimentoval s velkými jazykovými modely pro analýzu sentimentu a klasifikaci do kategorií. Zde naopak vnímám, že mělo být věnováno více úsilí. | |
| Využitelnost výsledků | Vytvořená webová aplikace nalezne uplatnění při analýze postojů na sociálních sítích. |
eVSKP id 164750