KARABELLY, J. Posilované učení pohybů s předlohou [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2023.
Student pracoval na velmi náročném tématu a své řešení budoval na nejnovějších publikovaných metodách. Dobře pochopil řešenou oblast a použité metody natolik, že dokázal implementovat a vyhodnotit nové rozšíření dané metody. Experimentů mohlo být více a jejich vyhodnocení mohlo možná být důkladnější.
| Kritérium | Známka | Body | Slovní hodnocení |
|---|---|---|---|
| Informace k zadání | Jedná se o velmi náročné téma, které vycházelo přímo ze zájmů studenta. Práce není spojena s výzkumem a projekty na naší fakultě. Cílem bylo trénovat agenta schopného ovládat postavičku ve fyzikálním simulátoru pomocí posilovaného učení s využitím motion capture nahrávek jako vodítka. Tento agent měl být zároveň schopný reagovat na uživatelké vstupy z ovládacího zařízení - tedy například sledovat trasu definovanou uživatelem. Student experimentoval s několika různými přístupy a nakonec si vybral metodu publikovanou v posledním roce, která kombinuje posilované učení a GAN sítě. Tuto metodu rozšířil o jiný typ chybové funkce a ověřil funkčnost a vlastnosti tohoto rozšíření. Dokonce vlastnosti rozšíření ověřil v uživatelské studii. | ||
| Práce s literaturou | Student si aktivně vyhledal potřebné zdroje, dobře je nastudoval a v práci je dobře využil. Zde je potřeba vzít v potaz složitost daného tématu a použitých metod. | ||
| Aktivita během řešení, konzultace, komunikace | Student se velmi zajímal o toto téma, ale na konzultace mohl docházet častěji. Pracoval průběžně. Postup mohl být rychlejší, ale je nutné vzít v úvahu náročnost experimentů. | ||
| Aktivita při dokončování | Student dokončoval některé části práce blízko termínu odevzdání, konečnou podobu práce nekonzultoval. | ||
| Publikační činnost, ocenění |
Zadání a celá řešená problematika jsou nesmírně komplexní a zajímavé. Řešitel patrně vyhledal a pročetl množství složitých vědeckých článků a pořídil z nich impozantní výpisek. Posuzovatelův dojem nicméně je, že si na práci řešitel "vylámal zuby" a že předložená technická zpráva je plná důkazů o zásadním nepochopení problematiky a o triviálních chybách v interpretaci výsledků. Provedené experimenty jsou sporé a nesmyslně interpretované. V dodaných zdrojových kódech se posuzovateli nepodařilo najít žádný kód implementující navrženou metodu WASE a nepodařilo se mu lokalizovat ani jediný řádek kódu, o kterém by se měl dobré důvody domnívat, že byl vytvořen řešitelem.
| Kritérium | Známka | Body | Slovní hodnocení |
|---|---|---|---|
| Náročnost zadání | Téma práce je velice obtížné; kombinuje strojové učení, fyzikální simulaci, práci s nasnímanými pohyby lidských postav. Všechna tato témata jsou náročná, v této práci navíc mají být navzájem zkombinována do sebe. Posuzovatelův (silný) dojem z předloženého textu a zdrojových kódů je, že si řešitel na tématu "vylámal zuby" a ve skutečnosti se mu nepodařilo řešenou problematiku pochopit, natož zvládnout. Posuzovatel nevidí, že by textová zpráva prezentovala skutečné výsledky učení, od jednoduchých po obtížné příklady a skutečné výsledky nevidí ani na přiloženém médiu. Povrchním pohledem text může působit neobyčejně sofistikovaným dojmem, protože je plný složitých matematických vzorců, je psaný vynikající angličtinou a cituje nadstandardní množství velice kvalitních vědeckých zdrojů. Přes toto zdání posuzovatel nevidí skutečné důkazy o tom, že by algoritmy učení nějak fungovaly a že by řešitel skutečně rozuměl tomu, o čem píše. | ||
| Rozsah splnění požadavků zadání | Posuzovatel nevidí skutečné vyhodnocení experimentovaných metod. Posuzovatel ani v práci ani v textu nevidí skutečné výsledky učení, které by byly přesvědčivé. Podle posledního bodu zadání má řešitel demonstrovat svoji práci s pomocí videa. Tím, že podstatou práce je učit sekvence pohybů, animace, bylo by normální, že by v prezentačním videu byly ukázky jednoduchých a složitých pohybů, pohybů s různými účely apod. Namísto toho řešitel naprosto nestandardně a nelogicky komentovaně prochází PDF se svým textem a na závěř přidává dvě "funny videos", které ukazují výstupy fyzikálního "simulátoru" a zobrazovače, který řešitel nevytvořil, pouze použil (a zcela vůbec nepopsal v textu). Tyto dvě ukázky vůbec neslouží k ukázání, jak řešené strojové učení funguje (spíše jak nefunguje!). Žádné další ukázky videí či animací nejsou k práci přiloženy, ani nejsou rozebrány pomocí sekvence snímků v textu. V porovnání s ostatními magisterskými a dokonce i bakalářskými závěrečnými pracemi například tento bod s vytvořením videa je naprosto marný a dokonale špatně pojatý; podobně chybovitě působí na posuzovatele i zbytek díla. | ||
| Rozsah technické zprávy | Text je v obvyklém rozmezí a je napsaný výbornou angličtinou. Posuzovatel má za to, že mnoho textu vlastně nemá přímý vztah k práci. Mnoho podstatných údajů naopak chybí (níže). | ||
| Prezentační úroveň technické zprávy | 40 | Velká část textu je výpisek z literatury, formálně velice propracovaný, plný sofistikované matematiky a přesné terminologie. V mnoha případech text vytváří zdání něčeho, co se nedělo. Obrázek 4.2 působí impozantně – že "framework" pracuje s různými kostrami postav. Posuzovatel ale pak nevidí žádné indicie, že by v diplomové práci řešitel šel nad základní postavu z obr. 6.4. Obrázek 4.3 může vzbuzovat očekávání, jaké pokročilé techniky pohybu se posilovaným učením podaří dosáhnout. Realita je pak ovšem v obr. 6.6 – řešitel trénoval na "šumovitých" "terénech" s maximálními výchylkami 10cm či ±20cm. V kapitole 7 s vyhodnocením pak není patrné vyhodnocení ani na těchto velice základních, až degenerovaných "výškových mapách". Kapitola 7 obsahuje "vyhodnocení", zejména srovnání navržené metody WASE s existující ASE. Obrázek 7.3 není pro posuzovatele dostatečně srozumitelně vysvětlen – nedozvěděl se, co jsou základní pohyby 1 až 13. Při běžném lidském pohybu jsou některé základní pohyby (třeba chůze vpřed) zastoupené výrazně častěji než jiné (třeba salto z místa). Posuzovateli se nepodařilo dozvědět, proč by rovnoměrnost použití základních konceptů pohybu měla svědčit o nadřazenosti jedné z metod. U obrázku 7.4 posuzovatel opět vůbec tápe: text mu neposkytl žádná vodítka, proč by jedny zelené skvrny měly být lepší než druhé zelené skvrny (možná jsou?). Obrázek 7.5 zřejmě zachycuje pro každou z metod jeden běh učení v režimu reinforcement learning. Červený model patrně uvázl v lokálním optimu a kolem kroku 6.2e9 se mu vlivem náhody podařilo "vyskočit" a dosáhnout stejných hodnot jako modrému. Pokud by proces učení byl spuštěn znovu s náhodnou inicializací, mohl by mít smůlu pro změnu modrý model. Obrázek opravdu nepůsobí dojmem, že by šlo o průměr většího počtu experimentů a podle posuzovatelova názoru v žádném případě není možné ho interpretovat, že "modrá křivka je lepší než červená". Taková předložená interpretace ukazuje na úplně zásadní nepochopení toho, s čím řešitel zachází – navzdory velice sofistikovaným odborným textům v předcházejících kapitolách. Obrázek 7.7 se zdá vypovídat úplně jiný příběh než obrázek 7.4, opět se patrně jedná o jeden běh učení s nespecifikovaným nastavením. Opět, řešitel se nepozastavuje nad rozporem mezi pozorováními a činí "závěry", které jsou patrně zcela zavádějící a nepodložené. | |
| Formální úprava technické zprávy | 80 | Po formální stránce je text proveden slušně. Autor si vyhrál se sazbou matematických vzorců, ostatní prvky typografie jsou dobré, ale přece se vyskytují poměrně časté a opakované chyby (odsazování odstavců, mezery, kde nepatří, apod.). Text je psán vynikající angličtinou. | |
| Práce s literaturou | 40 | Práce cituje nadstandardní počet mimořádně sofistikovaných a kvalitních materiálů – vesměs kvalitní vědecké články z nedávné doby. Z nich řešitel pořídil obsáhlý (až moc) výpisek plný vzorců, odvozující složité konstrukty strojového učení. Na straně 30 se ale píše: "Surprisingly, the hardest part of the retargeting process proved to be the compilation of the Python bindings for the FBX library. The problem occurred because the FBX library officially supports only Python 3.7 however required version for this thesis was different. The process required manual updating of different parts of the FBX library without any documentation, which took a few weeks." Konverze (retargetting) datové sady je jednorázová záležitost, která zřejmě nemusí být propojena se zbytkem řešení a může používat jiné verze nejrůznějších knihoven a nástrojů. Možná by práci prospělo studium nástrojů pro práci s virtuálními prostředími (venv), které by snadno umožnily udělat retargetting s dostupným kódem použitého nástroje. Citovat tutoriál práce s v. env. by nepůsobilo efektně, ale práci a jejím výsledkům by to nejspíše výrazně prospělo. Podobně text nijak nepopisuje použitý fyzikální simulátor a zaobrazovací nástroje, nedokumentuje strukturu použitých zdrojových kódů a příkladů a podobně. Opět, popisovat vlastnosti simulátoru a strukturu převzatých kódů by nepůsobilo "efektně vědecky", ale technické zprávě tyto údaje kardinálně chybí. V textu práce jsou krásné obrázky, je patrné, že řešitel produkoval ze simulátoru a zobrazovače i videa, která vypadají impozantně. Je ovšem patrné, že nástroj pro generování obrázků a videí a skripty, které nástroj umí nakonfigurovat a spustit, je existující práce. Textová zpráva nepomáhá identifikovat, do jaké míry jsou vytvořené obrázky a videa dílem řešitele a do jaké míry jsou čistě výstupem použitých nástrojů. I když povrchním pohledem může být seznam literatury opravdu impozantní až ohromující, skutečné potřeby studia, pochopení, zvládnutí nebyly vůbec naplněny. | |
| Realizační výstup | 0 | Řešení je zřejmě odevzdané v souboru wase.zip, který posuzovatel našel v úložišti nextcloud (další soubor patrně obsahuje text technické zprávy a třetí je video). Ve zdrojových kódech se posuzovateli nepodařilo najít žádný, který by byl označený jménem řešitele (řetězec Karabelly se ve zdrojových kódech nepodařilo nikde najít), prakticky všechny soubory začínají "Copyright (c) 2018-2023, NVIDIA Corporation" a i ty, které obdobně nezačínají, nedávají žádné důvody se domnívat, že autorem je řešitel této diplomové práce. Podle textu, zejména kapitoly 7, řešitel měl přijít s metodou WASE, kterou srovnává s existující ASE. Posuzovateli se ve zdrojových kódech nepodařilo najít vůbec žádný výskyt řetězce "WASE" (bez ohledu na velikost písmen). Soubor README.md v kořeni odevzdané složky obsahuje příkazy pro trénování, které se odkazují do složky ase/, ale posuzovatel nedokázal dohledat žádný parametr, který by umožnil ne/použít nově navrženou metodu. Přes nemalé úsilí se posuzovateli nepodařilo najít ve zdrojových kódech (v drtivé většině označených autorstvím NVIDIA) žádný jediný řádek kódu, o kterém by se mohl domnívat, že je dílem řešitele a že je realizací navrhované metody. Možná tam takové řádky existují, ale posuzovatel je nedokázal identifikovat a technická zpráva mu v tom vůbec nepomáhá – k implementaci, struktuře kódů, identifikaci podstatných tříd či modulů, k ničemu, co by pomohlo, se vůbec nevyjadřuje. Práce hovoří o "fyzikální simulaci". V textu nejsou žádné podklady, které by umožňovaly vyhodnotit, jak je simulace provedená a jak dobré jsou výsledky simulace / učení nad nimi. Řešitel nedodal žádná ilustrační videa, ze kterých by bylo možné si dělat závěry. V jediném dodaném videu je sekvence, kdy simulovaná postava je "ostřelovaná" krychlemi. Některé krychle do postavy vrazí a postava vůbec nebo téměř vůbec nereaguje. V závěru sekvence reaguje na jedinou krychli extrémně citlivě, až nepřiměřeně. Postavy ve videu vstávají způsobem, který je fyzikálně neudržitelný – těžiště je mimo podstavu. Posuzovatel má tedy velké pochybnosti, zda se skutečně jedná o "fyzikální simulaci" a text mu k tomu nepodává vůbec žádné informace. | |
| Využitelnost výsledků | Jakých výsledků? |
eVSKP id 146119