Нейросетевая модель автогенерации тестов для студентов в системе Moodle на основе анализа методических материалов

Abstract

Представлена система автоматизированной генерации тестовых заданий для студентов на основе анализа методических материалов с использованием больших языковых моделей (LLM). Разработана и опробована система, способная автоматически создавать качественные тестовые материалы, сокращая трудозатраты преподавателей и повышая эффективность контроля знаний студентов. Для достижения цели решались следующие задачи: разработка архитектуры системы, включающей модули предобработки текста, генерации вопросов, валидации и фильтрации, а также формирования итогового теста; исследование методов промптинга (точной и структурированной формулировки запросов, определяющих задачу для LLM) и дообучения LLM для генерации и оценки качества тестовых заданий; апробация системы в реальном учебном процессе и оценка ее эффективности. В результате исследования разработаны модульная система, использующая две LLM: основную для генерации вопросов и систему LLM-эксперта для оценки их качества. Показана эффективность методов настройки и дообучения для адаптации LLM к задачам автоматической генерации тестов.

The article presents a system for automated generating of test tasks for students based on the analysis of methodological materials using large language models (LLM). A system capable of automatically generating high-quality test materials has been developed and tested, reducing teachers' labor costs and increasing the efficiency of student knowledge monitoring. To achieve this goal, the following tasks were solved: developing a system architecture that includes modules for text preprocessing, question generation, validation and filtering, and forming a final test; studying the methods of prompting (precise and structured formulation of queries that define a task for LLM) and additional training of LLM for generating and assessing the quality of test items; testing the system in a real educational process and assessing its effectiveness. As a result of the study, a modular system has been developed that uses two LLMs: the main one for generating questions and the LLM expert system for assessing their quality. The effectiveness of the customization and additional training methods for adapting LLM to the tasks of automatic test generation is shown.