KRÁLOVIČ, K. Extrakce vztahů z textu [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2023.
Z hlediska aktivity hodnotím práci a celkový přístup studenta kladně, naplnil očekávání, vytvořil rozumnou datovou sadu a provedl předpokládané experimenty.
| Kritérium | Známka | Body | Slovní hodnocení |
|---|---|---|---|
| Informace k zadání | Zadání bylo obtížnější vzhledem k potřebě nastudovat moderní metody zpracování přirozeného jazyka a využít je k řešení méně prozkoumanému problému extrakce složitých vztahů z textu. Student se tohoto úkolu velmi dobře zhostil a nad rámec zadání vytvořil datovou sadu, zaměřenou na vztahy, které dosud nejsou dostatečně pokryty v existujících výzkumech. I když mohlo být v práci provedeno větší množství experimentů, zejména se zaměřením na jiné směry učení na základě velmi malého množství příkladů vztahů (few-shot learning), práce splnila zadání a s výsledkem jsem spokojen. | ||
| Práce s literaturou | Student aktivně shromažďoval a využíval relevantní studijní materiály a získal základní vhled do oblasti extrakce vztahů z textu pomocí neuronových sítí typu transformer. | ||
| Aktivita během řešení, konzultace, komunikace | Student byl aktivní v rámci obou semestrů, podařilo se mu překonat prvotní problémy, spojené s nedokonalým předzpracováním dat, svůj postup průběžně konzultoval a na pravidelných konzultacích prezentoval postup své práce. | ||
| Aktivita při dokončování | Technická zpráva byla dokončena v určitém předstihu, moje připomínky byly zapracovány, škoda jen, že se nepodařilo obecněji pojednat téma složitosti vyjádření vztahů v textu a učení na základě velmi malého množství příkladů. | ||
| Publikační činnost, ocenění | - |
Přes dobrý začátek obecného teoretického úvodu se kvalita textové práce postupně mírně zhoršovala. Z návrhu práce není úplně jasný přínos studenta při implementaci systému a k replikaci výsledků mám také své výhrady. Nicméně student splnil zadání a navíc vytvořil novou datovou sadu nad níž provedl sadu experimentů. Tato skutečnost měla být lépe vysvětlena a popsána jako hlavní přínos této práce. Vzhledem k tomu navrhuji hodnotit práci známkou C .
| Kritérium | Známka | Body | Slovní hodnocení |
|---|---|---|---|
| Náročnost zadání | Zadání vyžaduje nastudovat, pochopit, použít a vyhodnotit pokročilé techniky ze strojového učení a zpracování přirozeného jazyka. | ||
| Rozsah splnění požadavků zadání | Mám drobné výhrady k rozsahu rešerše existujících přístupů pro few-shot klasifikaci vztahů. | ||
| Rozsah technické zprávy | Rozsah práce je 60 normostran textu doprovázený vyhovujícím počtem obrázků. Všechny části práce shledávám pro práci nezbytné a informačně bohaté s drobnými výhradami. V kapitole 4.3 postrádám rozsáhlejší rešerši přístupů k few-shot klasifikaci s přesahem do jiných domén jako zpracování obrazu. | ||
| Prezentační úroveň technické zprávy | 60 | Práce je logicky členěna do kapitol a podkapitol, i když některé informace jsou podávány v nevhodném pořadí . Např. v kapitole 5.1 je vyžadována znalost MG4J formátu, jehož popis nalezneme až v kapitole 5.2.1. Student spojil návrh a implementaci do jedné kapitoly "Návrh a Implementace", přičemž mám výhrady k tomu jakým způsobem se mísí implementační detaily s návrhem systému. Navíc se většina kapitoly zabývá rešerší existujících nástrojů a formátů a není zřejmý studentův přínos. Z obsahového hlediska mám výhrady k některým tvrzením, které jsou nepřesná, chybná, nedostatečně podpořena, nebo se navzájem vylučují . Příkladem uvedu sekci "Učenie s prenosom" (transfer learning) na straně 19, jako způsob řešení few-shot klasifikace. Samotná odkazovaná literatura se přitom zabývá doménovou adaptací, tedy klasifikací vztahů do stejných tříd, ale mezi entitami z jiné domény. Jako nepřesné tvrzení uvedu popis MLM (masked language modeling) v předtrénování modelu BERT na straně 26. Student uvádí, že 15 % vybraných tokenů je nahrazeno tokenem [MASK], přičemž podle originálního článku je z těchto 15 % vybraných tokenů: 80 % nahrazeno [MASK] tokenem, 10 % nahrazeno jiným slovem než je slovo původní, 10 % je ponecháno beze změny. | |
| Formální úprava technické zprávy | 90 | Práce je napsaná ve slovenském jazyce , tudíž nejsem schopen posoudit její jazykovou správnost. Nicméně práce obsahuje pár zjevných překlepů, typografických chyb a rastrových obrázků ve špatné kvalitě. | |
| Práce s literaturou | 70 | Student se v práci odkazuje na 56 (55) referencí a obsahuje 49 článků z konferencí, časopisů nebo článků v předběžném přístupu ( preprint ). Seznam referencí obsahuje: Duplicitně článek o Word2Vec [35, 36]. 10x referenci na preprint, i když byly články publikovány. [12, 15, 31, 33, …] 6x odkaz na blog, tutoriál, atd. , které by se měly nacházet v poznámce pod čarou, nebo měl být citován originální článek namísto blogu. [1, 14, 17, 45, 47, 48] 1x článek publikovaný v journálu JATIT, který je podle článku z scholarlyoa.com/list-of-standalone-journals/ klasifikován jako pravděpodobně predátorský, a kvalita či přínos je sporný. [16] Ze zvolených referencí lze vidět, že student často nečerpal informace z původních článků, ale zprostředkovaně z blogů nebo jiných článků, které dané informace pouze přebíraly. To lze nejvýrazněji vidět v kapitole o sítích typu transformer např. u Obrázku 2.3, který student převzal z [49], přičemž samotní autoři převzali daný obrázek tak jak je z originálního článku [50]. Kapitola o reprezentaci přirozeného jazyka obsahuje přiměřený počet referencí, ale další teoretické kapitoly by zasloužily přidat reference k některým tvrzením. Nicméně kapitola 5 ,,Návrh a implementace” nutně potřebuje přidat reference/odkazy na zmiňované nástroje a formáty. Podobně tak kapitoly o vyhodnocení. | |
| Realizační výstup | 60 | Vyhodnocení je pro mne v některých místech těžce sledovatelné, jelikož student používá slovenské překlady metrik precision (slov. presnosť) a recall (slov. vyťaženosť) a nejasnou nebo chybnou terminologii, např. výkonnost systému nebo metodika namísto metoda. Mám dokonce podezření, že při základním vyhodnocení modelu na sadě FewRel (strana 34, sekce FewRel , první odstavec) je využita dříve nedefinovaná metrika accuracy přeložena shodně s precision jako ,,presnosť”, poněvadž použitý framework reportuje právě accuracy . Nicméně potom opětovné vyhodnocení popsané v následujícím odstavci nedává smysl, jelikož u multi-class klasifikace je accuracy shodná s metrikou micro-F1 . Navíc se reportované výsledky signifikantně různí (hodnoty v textu vs. tabulka 6.2). Tyto nejasnosti způsobují pochybnosti i u ostatních výsledků v kapitole 6. Kapitola 7 představuje novou datovou sadu těžkých vztahů vytvořenou studentem. Student následně ověřuje 3 hypotézy na této datové sadě. | |
| Využitelnost výsledků | Výstupem práce je systém pro few-shot klasifikaci vztahů v textu, který je kolekcí již existujících prací. Dále byla vytvořena nová datová sada těžkých vztahů obsahující 2 vztahy a ke každému 200 příkladů. Navíc práce popisuje experimenty s výběrem správných podpůrných vzorků pro dosažení lepších výsledků několika modelů. |
eVSKP id 147945