Труды КНЦ (Технические науки вып.3/2025(16))

Инициализация. Пользователь дает команду «генерация теста» (или синонимичную команду), после чего система запускает процесс генерации тестовых заданий в соответствии с указанными параметрами (количество вопросов, уровень сложности, тематическая направленность). Происходит обращение к ВБД и семантическая выборка из загруженных материалов фрагментов текста, которые затрагивают разные темы. Алгоритм семантической выборки включает: 1) выделение тем в базе документа, выбранного как контекст для теста; 2) отбор фрагментов таким образом, чтобы обеспечить пропорциональное покрытие тематических разделов; 3) группирование вопросов по сложности; 4) фильтрация фрагментов: исключение вводных фраз и общих рассуждений, а также проверка на наличие релевантных определений и формулировок и т. д. Критерии отбора семантических фрагментов для генерации по ним вопросов включают: 1) семантическое сходство с ключевой темой (определяется через косинусное сходство между векторными представлениями и должно превышать порог 0,7); 2) степень разнообразия вопросов; 3) семантическая независимость смысловых блоков (например, абзацев). Создание пары «Вопрос — ответ» (Q&A). Система генерирует заданное число вопросов разных типов и сложности на основе отобранных семантических фрагментов и специализированных промптов. В итоге получается структурированный список «тема — вопрос — эталонный ответ», который сохраняется в БД. Стоит отметить, что при генерации эталонных ответов система основывается исключительно на загруженном контексте. Процесс формирования вопросов осуществляется с использованием специализированных промптов, которые обеспечивают соответствие заданному стилю и типу вопроса, а также требованиям к сложности вопроса. Пример базового промпта для генерации вопросов показан ниже. Листинг 1. Пример базового промпта для генерации вопросов Сгенерируй {N} вопросов по следующему контексту, соблюдая требования: 1. **Структура**: раздели вопросы по темам, в каждой теме не менее 3 вопросов 2. **Тип вопросов**: только открытые вопросы, требующие анализа текста 3. **Сложность**: Включи вопросы трех уровней: - Базовые (фактологические, 40%) - Средние (понимание взаимосвязей, 40%) - Сложные (анализ и синтез, 20%) 4. **Ответы**: Полные предложения, содержащиеся в тексте дословно или в близкой формулировке 5. **Формат**: Четкое структурирование по темам с нумерацией Пример выполнения: Тема: [Название темы] 1. Вопрос: [формулировка] | Уровень: [базовый/средний/сложный] Ответ: [полный ответ] Для градации вопросов по сложности применяются следующие модификаторы промпта: 1) базовый уровень: «Сформулируй вопрос, проверяющий знание определений и основных понятий»; 2) средний уровень: «Создай вопрос, требующий объяснения причинно-следственных связей»; 3) сложный уровень: «Разработай вопрос, требующий проведение анализа преимуществ/недостатков или сравнение концепций». Процесс валидации качества пары «Вопрос — ответ» включает проверку на соответствие следующим требованиям: 1) наличие точного ответа в исходном тексте; 2) соответствие уровня сложности заявленному; 3) отсутствие дублирования формулировок; 4) соблюдение требуемого формата вывода. Адаптивное тестирование На UML-диаграмме последовательности, представленной на рис. 4, показан процесс адаптивного тестирования пользователя. Труды Кольского научного центра РАН. Серия: Технические науки. 2025. Т. 16, № 3. С. 56-70. Transactions of the Kola Science Centre of RAS. Series: Engineering Sciences. 2025. Vol. 16, No. 3. P. 56-70. © Шестаков А. В., Зуенко А. А., 2025 63