Získávání frekventovaných vzorů z proudu dat

Abstract

Dolování frekventovaných vzorů z databází je již dobře prozkoumanou oblastí. Jak se však ukázalo, tyto algoritmy nejsou příliš vhodné pro zpracování proudu dat. Při dolování frekventovaných množin v proudu dat se musí udržovat kromě jednotlivých množin i jejich historie - a to nejen těch frekventovaných, ale i potenciálně frekventovaných, neboť nefrekventovaná množina se může stát časem frekventovanou. To zvyšuje nároky jak na paměť, tak na výpočetní výkon. Tato práce popisuje dva algoritmy: Lossy Counting a FP-stream. Součástí je také efektivní implementace těchto algoritmů v jazyce C# a jejich porovnání na základě měření.Frequent-pattern mining from databases has been widely studied and frequently observed. Unfortunately, these algorithms are not suitable for data stream processing. In frequent-pattern mining from data streams, it is important to manage sets of items and also their history. There are several reasons for this; it is not just the history of frequent items, but also the history of potentially frequent sets that can become frequent later. This requires more memory and computational power. This thesis describes two algorithms: Lossy Counting and FP-stream. An effective implementation of these algorithms in C# is an integral part of this thesis. In addition, the two algorithms have been compared.