MÁLEK, J. Vzdělávání v IT s využitím velkých jazykových modelů [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2025.
Aktivitu studenta během v průběhu semestru považuji za průměrnou, avšak při dokončování a zejména dodatečných závěrečných úpravách práce mohl být aktivnější a důslednější. Navrhuji hodnotit práci stupněm uspokojivě (D) .
| Kritérium | Známka | Body | Slovní hodnocení |
|---|---|---|---|
| Informace k zadání | Cílem práce bylo prozkoumat a uplatnit LLM v systému personalizovaného IT vzdělávání. Jedná se o středně obtížné zadání, které považuji za splněné. | ||
| Práce s literaturou | Použitou literaturu student vyhledal samostatně, literaturu doporučenou v zadání nevyužil. Způsob využití studentem zvolené literatury byl konzultován. | ||
| Aktivita během řešení, konzultace, komunikace | Student od začátku projevoval velký zájem o téma. V první semestru pracoval samostatně a soustředil se na analýzu současného stavu, spíše než na vlastní řešení. Výsledky odevzdané po prvním semestru nebyly dostatečně konkrétní, což bylo u obhajoby semestrálního projektu studentovi vytknuto vedoucím i komisí. V druhém semestru se student více zaměřil na popis vlastního řešení, a přestože pracoval i dále spíše samostatně, svůj postup pravidelně reportoval a průběžné výsledky konzultoval častěji. Při dodatečném dokončování práce v červenci pak proběhla jedna průběžná konzultace a závěrečná kontrola před odevzdáním. | ||
| Aktivita při dokončování | Práce byla dokončena dodatečně v červenci. Některé připomínky vedoucího byly zapracovány (např. k vyhodnocení efektivity dle 3. bodu zadání nebo k prezentaci s vyhodnocením spojených metrik), jiné nebyly dokončeny (např. důkladnější popis architektury v diagramu). | ||
| Publikační činnost, ocenění | Bez publikací či ocenění. |
Pan Málek prostudoval poměrně novou problematiku nasazení velkých jazykových modelů ve vzdělávání a navrhl řešení integrující tyto modely do vzdělávacího portálu, které je technicky kvalitní a dobře použitelné. Výsledné řešení řádně otestoval. Vše zdokumentoval v technické zprávě, ke které mám různé, výše uvedené výhrady, celkově však výsledek považuji za dobrý.
| Kritérium | Známka | Body | Slovní hodnocení |
|---|---|---|---|
| Náročnost zadání | Zadání vyžaduje studium velmi nových technologií a přístupů souvisejících s využitím velkých jazykových modelů ve specifickém prostředí, z technického pohledu však hodnotím tuto problematiku jako průměrně náročnou. | ||
| Rozsah splnění požadavků zadání | Zadání považuji za splněné ve všech bodech. V bodě 3 student nakonec zvolil jiný způsob vyhodnocení, než předpokládá zadání, v technické zprávě je to ale řádně zdůvodněno a nově zvolený přístup považuji za vhodnější. | ||
| Rozsah technické zprávy | Technická zpráva je svým rozsahem spíše na spodní hranici rozmezí obvyklého pro diplomovou práci, klíčové části jsou nicméně dostatečně zdokumentované. | ||
| Prezentační úroveň technické zprávy | 78 | Technická zpráva se poměrně podrobně věnuje problematice využití velkých jazykových modelů ve vzdělávání a jejich integraci do existujících systémů. Pouze samotný princip fungování velkých jazykových modelů mohl být popsán podrobněji, nejedná se ale o hlavní cíl práce. Vlastní technické řešení je dostatečně podrobně a srozumitelně zdokumentováno, stejně jako způsob vyhodnocení a dosažené výsledky. Otázkou zůstává jen původ a význam obrázku 4.1 (str. 50), který by zasloužil bližší vysvětlení. | |
| Formální úprava technické zprávy | 70 | Technická zpráva je psána v anglickém jazyce na výborné úrovni. Z typografického hlediska lze ojediněle narazit na drobné prohřešky, některé obrázky jsou méně kvalitní a v textu se občas objevují podivná prázdná místa (např. str. 29). Mírně větší pozornost mohla být také věnována sazbě ukázek kódu a algoritmů. | |
| Práce s literaturou | 62 | Seznam použité literatury je přiměřeně rozsáhlý a obsahuje převážně kvalitní a relevantní zdroje. V textu práce však nejsou zdroje příliš často citovány, zdroj některých informací tak zůstává nejasný - např. výhody / nevýhody velkých jazykových modelů na str. 8. Také poněkud postrádám relevantní odkazy (např. URL) k většině softwarových projektů a knihoven, které jsou v textu zmiňovány a některé i využity jako součást vlastního řešení. | |
| Realizační výstup | 80 | Realizačním výstupem je zejména technické řešení spočívající v realizaci zapracování vstupních materiálů (výukové materiály, odpovědi na často kladené dotazy) a kontextu uživatele (absolvované kurzy, apod.) do dotazů zpracovávaných velkým jazykovým modelem (tzv. RAG architektura). Toto řešení je po technické stránce velmi dobře zvládnuté a umožňuje generovat užitečné odpovědi na dotazy v lidském jazyce zohledňující stav uživatele a všechny zmíněné podklady. Součástí je i pěkné uživatelské rozhraní zakomponované do webové aplikace vzdělávací agentury. Řešení je plně funkční, připravené k nasazení a při testování generovalo užitečné odpovědi. Pozitivně hodnotím i vyhodnocení výsledků, které bylo sice provedeno na malém vzorku, nicméně použitý přístup považuji v daném kontextu za velmi dobrý. | |
| Využitelnost výsledků | Vytvořené řešení dobře demonstruje možnosti integrace velkých jazykových modelů do existujícího vzdělávacího portálu jak z technického pohledu, tak z pohledu způsobu využití ve vzdělávání. |
eVSKP id 170547