Generating Code from Textual Description of Functionality

Abstract

S pokračujícím nástupem strojového učení a stále větších modelů neuronových sítí, roste i potřeba GPU akcelerovaných zdrojů a algoritmů pro podporu těchto modelů. Vzhledem k tomu, že velké jazykové modely jsou již dnes využívány jako asistenti při programování v moderních programovacích jazycích, mohli by s tímto problémem pomoci. Pokud se tyto modely dokáží naučit i méně známá paradigmata, jako je CUDA, mohly by pomoci s vývojem a udržování těchto systémů. Tato práce zkoumá schopnosti moderních jazykových modelů pro učení se CUDA jako programovacího paradigmatu a také vytvoření nové trenovací sady, určené pro tyto účely.As machine learning and neural network models continue to grow, there is an increasing demand for GPU-accelerated resources and algorithms to support them. Large language models have the potential to assist with this task, as they are already used as coding assistants for popular programming languages. If these models could also learn less commonly used paradigms like CUDA, they could help develop and maintain the necessary systems. This thesis aims to explore the capabilities of modern language models for learning CUDA as a programming paradigm and creating a training corpus specifically for this purpose.