SLÚKA, D. Analýza postojů českých a slovenských uživatelů na základě dat ze sociálních sítí a webových diskusí [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2024.
Celkově hodnotím výsledek spolupráce, aktivitu studenta v obou semestrech, vytvořený systém a odevzdanou zprávu z pozice vedoucího stupněm E. I když student nakonec věnoval práci dostatek času a splnil zadání, není výstup dost kvalitní, aby na něm bylo možné stavět, a student neukazuje, že se plně orientuje v oblasti relevantních metod zpracování přirozeného jazyka.
| Kritérium | Známka | Body | Slovní hodnocení |
|---|---|---|---|
| Informace k zadání | Zadání navazuje na předchozí absolventské práce, záměrem bylo prozkoumat možnosti využití nejmodernějších metod zpracování přirozeného jazyka pro shlukování názorů, vyjadřovaných v příspěvcích na sociálních sítích a vyhodnotit, nakolik je pomocí těchto technik možné zefektivnit práci při analýze postojů veřejnosti k socioekonomickým otázkám. Systém ve výsledné podobě není zcela dotažený a není zcela jasné, zda by mohl být využit jako základ pro další zkoumání v této oblasti. | ||
| Práce s literaturou | Student nebyl při získávání a využívání studijních materiálů dostatečně aktivní, práce se omezila na aplikaci velkých jazykových modelů pouze na uživatelské úrovni a nevedla k hlubšímu pochopení principů jejich fungování. Z hlediska práce s literaturou je práce podprůměrná. | ||
| Aktivita během řešení, konzultace, komunikace | Aktivita studenta vykazovala v rámci obou semestrů značné výkyvy, zpočátku byla velmi nízká, ke konci intenzivnější. Osobní konzultace byly ojedinělé a dlouho nebylo možné vidět postup v konkrétní implementované podobě. | ||
| Aktivita při dokončování | Některé kapitoly technické zprávy jsem měl možnost číst, nicméně moje připomínky se nepodařilo plně zohlednit v odevzdané verzi textu. Definitivní obsah práce nebyl dostatečně konzultován. | ||
| Publikační činnost, ocenění | - |
Student vytvořil funkční systém pro klasifikaci komentářů a vizualizaci výsledků ve webovém uživatelském rozhraní. Technická zpráva se dobře četla, ale obsahovala výše uvedené nedostatky. Z těchto důvodů navrhuji hodnocení stupněm D (60 bodů).
| Kritérium | Známka | Body | Slovní hodnocení |
|---|---|---|---|
| Náročnost zadání | |||
| Rozsah splnění požadavků zadání | |||
| Rozsah technické zprávy | V kapitole 2 s názvem Teoretický prehľad mi chybí popis sociálních sítí Facebook a Reddit. Vzhledem k výslednému systému by bylo dobré zmínit i problém sociálních bublin. | ||
| Prezentační úroveň technické zprávy | 62 | Technická zpráva mi přišla čitelná. Výhradu mám vůči způsobu odkazování na kapitoly a obrázky, protože číslo není uvozeno významem a tak v tištěném textu jej může čtenář špatně pochopit. Např. „HTML 2.1“ místo „HTML (viz kapitola 2.1)“. V kapitole 2.3 s názvem Laravel Framework je pouze pozitivní postoj k frameworku Laravel a jsou popsány pouze jeho výhody. V kapitole 5.5 s názvem Implementácia modulu pre analýzu názorov na str. 33 a 34 je text v 2. os. množného č. Není to zřejmé, ale asi se jedná o šablonu zadání pro ChatGPT. V poznámkách pod čarou jsou často pouze zkratky bez vysvětleného významu, které jsou zároveň hypertextovým odkazem. Odkaz ale není vysázen, tedy v tištěné verzi chybí a taková poznámka pod čarou tak nepřidá žádnou informaci. Obrázky jsou pro návrh uživatelského rozhraní, ale chybí obrázky výsledné aplikace. V textu technické zprávy se objevují nekonzistence: Kategorie, do kterých se pomocí ChatGPT zařazují komentáře, jsou v technické zprávě označeny nekonzistentně jako podkategórie, pod-témy, štítky a značky. Komentáře jsou také někdy označeny jako názory a postoje . | |
| Formální úprava technické zprávy | 70 | Ohledně typografické stránky technické zprávy jsem přišel na několik nedostatků. Často se vyskytují neslabičné předložky na konci řádku a zdrojový kód technické zprávy neobsahuje ani jeden znak tilda (~). Dále bych vytkl časté použití špatného typu uvozovek a časté použití spojovníku místo pomlčky. Technická zpráva je psaná ve slovenském jazyce, a nejsem tedy schopen plně posoudit jazykovou stránku práce. | |
| Práce s literaturou | 59 | Vybrané studijní prameny jsou relevantní. Student uvádí 11 studijních pramenů, z nichž 6 zdrojů jsou webové stránky. Bibliografické citace neodpovídají normě a nemají konzistentní formát. Některé chyby v citacích: V kapitole 2.7 s názvem Transformátory není validní odkaz na zdroj informací. V kapitole Literatúra je možný zdroj nedopatřením připojen ke zdroji [10]. V kapitole 5.2 s názvem Implementácia databázy a modelov chybí zdroj u popisu příkazů sloužících ke správě databáze frameworku Laravel. V kapitole 6.3 s názvem Ohodnotenie analýzy prevedenej systémom , podkapitole Metriky hodnotenia , chybí odkaz na zdroj informací. Na str. 11 chybí zdroj u obrázku 2.2 | |
| Realizační výstup | 60 | Student vytvořil systém s webovým uživatelským rozhraním. V prvním kroku umožňuje uživateli zadat téma a prostřednictvím vyhledávače uživatelem vybrané sociální sítě (Facebook nebo Reddit) vyhledat a stáhnout komentáře k příspěvkům. Stáhne ale komentáře pouze k prvním dvěma až třem příspěvkům, u kterých jsou k dispozici. Následně (v druhém kroku) může uživatel stažené komentáře upravit nebo smazat, pokud mu nevyhovují. Třetím krokem je analýza, kdy téma je rozděleno do sedmi kategorií, z nichž uživatel může definovat šest kategorií a sedmá je Ostatné . Platí, že jeden komentář může patřit do jedné či více kategorií zároveň. V tomto kroku student využívá ChatGPT k návrhu kategorií a pak i k samotné klasifikaci. V posledním (čtvrtém) kroku vizualizuje uživateli výsledek klasifikace do sloupcového grafu se sedmi kategoriemi a jednotlivé komentáře s přiřazenými kategoriemi. Dále si student zvolil tři témata, pro která vyhledal a stáhl komentáře. Pro každé téma zvlášť specifikoval sedm kategorií a každý komentář dle svého uvážení přiřadil do alespoň jedné z nich. Takto vytvořenou datovou sadu využil k vyhodnocení výsledků získaných pomocí ChatGPT. V kapitole 6.2 s názvem Experiment užívateľskej skúsenosti na stránke chybí informace, v jakých jednotkách je uveden čas. Dále chybí informace o tom, jak dlouho trvalo zpracování jednotlivým částem systému. Výtku mám i ke kapitole 6.3, kde není uvedeno, jakým způsobem student vypočítal priemernú presnosť a priemerné pokrytie . Nemohu si tedy být jist správností dosaženého výsledku. Odevzdaný zdrojový kód obsahuje framework Laravel s kostrou aplikace, do které student dopsal zdrojový kód uživatelského rozhraní a skripty pro stahování dat ze sociálních sítí Facebook a Reddit. Komentáře zdrojového kódu jsou někde napsány ve slovenštině a jinde v angličtině. Systém neuchovává informaci o tom, ke kterému příspěvku komentáře patřily, ani neumožňuje klasifikovat samotný příspěvek. | |
| Využitelnost výsledků | Během demonstrace systému nastala chyba při ukládání stažených komentářů v případě, že některé byly prázdné. Systém je tedy ještě třeba vyladit. Datová sada, kterou student vytvořil, obsahuje tři témata. Pro každé téma zvlášť zvolil sedm kategorií a ručně klasifikoval 150 komentářů. Datovou sadu je možné dále rozšířit a využít. |
eVSKP id 155976