Posudky závěrečné kvalifikační práce

Celkové hodnocení volím jako průměrné, a to především z důvodu jisté odmlky na začátku semestru. Bez tohoto počátečního zpoždění by bylo pravděpodobně dosaženo nadprůměrného výsledku, což by se odrazilo i v mé vyšší závěrečné známce.

Dílčí hodnocení
Kritérium	Známka	Body	Slovní hodnocení
Informace k zadání			Cílem práce je seznámit se s architekturou multiagentního systému FRAg a na jejím základě navrhnout a implementovat testovací úlohy, které budou využitelné pro vyhodnocování výkonnosti různých multiagentních systémů. Student se potřeboval seznámit se systémem FRAg, s realizací prostředí pro multiagentní systémy a dále realizovat několik takových prostředí. Zadání považuji za splněné, i když kdyby byla intenzita práce studenta po celý rok vyvážená, mohlo dojít k vytvoření ještě několika vzorových multiagentních systémů pro vytvořená prostředí.
Práce s literaturou			Student pracoval s literaturou popisující tvorbu prostředí pro multiagentní systémy a také studoval texty k systému FRAg, který vzniká na naší fakultě.
Aktivita během řešení, konzultace, komunikace			Aktivita, jak jsem již napsal mohla být vyváženější. Oceňuji ale snahu od jara tohoto roku na projektu aktivně pracovat a od března do termínu odevzdání byl student aktivní a dostavoval se na konzultace několikrát do měsíce.
Aktivita při dokončování			Zadání bylo do stanoveného termínu naplněno a výsledkem jsou funkční prostředí pro systém FRAg. Finální verzi textu jsem však již nečetl ani neredigoval, neboť byla dokončena v závěrečných dnech před odevzdáním.
Publikační činnost, ocenění			Není mi známa.

Posudek oponenta

Vídeňský, František

Studentem navržený a implementovaný systém pro vytváření testovacích prostředí je funkční a má potenciál dalšího využití. Vzhledem k výhradám ke splnění zadání a k formální i obsahové stránce technické zprávy však práci hodnotím stupněm D.

Dílčí hodnocení
Kritérium	Body	Slovní hodnocení
Náročnost zadání		Cílem bakalářské práce bylo navrhnout a implementovat testovací úlohy pro multiagentní systém FRAg. Náročnost zadání je do značné míry ovlivněna počtem navržených úloh, přičemž jejich konkrétní počet není v zadání specifikován. Student navrhl a implementoval tři úlohy, přičemž pouze pro dvě z nich implementoval agentní nebo multiagentní systém. S ohledem na realizovaný rozsah hodnotím zadání jako průměrně obtížné.
Rozsah splnění požadavků zadání		První tři body zadání považuji za splněné. Čtvrtý bod, který požaduje implementaci multiagentního systému pro každou navrženou úlohu, byl formálně naplněn pouze u jedné z nich. Pátý bod požaduje vytvoření plakátu s prezentací výsledků, který však student neodevzdal. Přestože plakát představuje doplňkový prezentační prvek, jedná se o samostatnou část zadání, která měla být součástí odevzdaných výstupů.
Rozsah technické zprávy		Rozsah technické zprávy je v obvyklém rozsahu.
Prezentační úroveň technické zprávy	55	Kapitoly mají logickou návaznost, nicméně se v textu vyskytuje několik nedostatků. V části o BDI architektuře se objevuje rozdělení přání na krátkodobá a dlouhodobá, které není běžně uváděno v odborné literatuře a dále není nijak vysvětleno. Kapitola 4, nazvaná „Návrh a parametry vhodných prostředí pro evaluaci výkonu agentů“, se soustředí pouze na obecné vlastnosti prostředí a problematice evaluace se nevěnuje. Druhou polovinu kapitoly tvoří popis standardu EIS, který je podle autora využíván systémem FRAg. Toto tvrzení však neodpovídá skutečnosti, protože systém tento standard neimplementuje. Kapitola 6, věnovaná implementovaným prostředím, obsahuje u každého prostředí klasifikaci, která působí nadbytečně a narušuje plynulost textu. V části popisující prostředí výrobní linky jsou zmíněny odměny za jednotlivé akce, které však v následné evaluaci vůbec nefigurují. V experimentu jsou navíc porovnáváni agenti s včasnou a pozdní vazbou proměnných, aniž by byl tento rozdíl blíže vysvětlen. U prostředí Miconic 10 text končí nedokončenou větou. Sekce věnovaná prostředí s názvem Obchod by mohla být vynechána, neboť dané prostředí nebylo implementováno. Kapitola obsahuje nadměrné množství výčtů, které znesnadňují plynulé čtení.
Formální úprava technické zprávy	65	V práci se nevyskytují závažné gramatické chyby, nicméně styl vyjadřování místy neodpovídá standardům odborného textu. Například věta „Agent je nějaký systém, který se nachází v nějakém prostředí“ nebo „Agent samozřejmě není vševědomý". Kapitola 6 a sekce 3.3 postrádají úvodní text, místy nejsou odkazy na obrázky jednoznačné (například „v jeho struktuře 2.4“ na straně 11). U obrázku 2.1 není zdroj uveden přímo v popisku, ale nachází se v textu. Většina převzatých obrázků byla lokalizována do češtiny, avšak některé (například obrázky 2.7 nebo 4.1) zůstaly v anglickém jazyce. Uvádění zdrojů obrázků není jednotné (například obrázek 2.2 oproti obrázku 2.7). Text dále obsahuje zapomenutou poznámku „TODO“ na straně 15 a přetečení textu na straně 30.
Práce s literaturou	50	Použité literární prameny jsou relevantní k tématu práce. Student však ne zcela dodržel zásady citační etiky. U popisu prostředí Miconic 10 zcela chybí odkaz na literaturu, přestože jde o známou testovací doménu. Mezi textem a odkazy na literaturu často chybí mezera a některé citace jsou umístěny až na začátek následující věty (například úvod do sekce 2.3 na straně 8). Za problematické lze považovat zejména citaci zdroje [30] v souvislosti se standardem EIS (strana 25). Tento zdroj však standard EIS nepopisuje. Stejně tak obrázky 4.1, 4.2 a 4.3, jež mají být ze zmíněného zdroje převzaty, se v něm nenacházejí.
Realizační výstup	85	Výstupem práce je systém pro vytváření testovacích prostředí pro multiagentní systémy, implementovaný v jazyce Python. Podporuje dva typy prostředí a obsahuje i doplňkové funkce, jako je vyhodnocování viditelnosti a vykreslení prostředí na standardní výstup. Byla implementována tři prostředí. Dvě z nich jsou vhodná pro testování multiagentních systémů, jedno slouží k vyhodnocování chování jednoho agenta. Pro jedno z multiagentních prostředí nebyl multiagentní systém implementován, byla pouze ověřena funkčnost prostředí pomocí předpřipravené sekvence akcí. Zdrojový kód je logicky strukturovaný, komponenty jsou jasně odděleny a kód je vhodně komentován. Nedostatkem je nedodržení některých standardních Python konvencí, zejména v pojmenování souborů, nepoužívání explicitních importů a dokumentaci funkcí a tříd pomocí řádkových komentářů namísto standardních dokumentačních řetězců.
Využitelnost výsledků		Implementovaná prostředí mohou sloužit jako základ pro rozšiřování testovacích scénářů a ověřování chování agentů v rámci systému FRAg.

Posudky

Posudek vedoucího

Zbořil, František

Posudek oponenta

Vídeňský, František

Otázky