Труды КНЦ (Технические науки вып. 3/2024(15))

В рамках эксперимента был задан 81 запрос. Из всех запросов 31 % (25 запросов) получил оценку «отлично», 44 % (36 запросов) — «средне» и 25 % (20 запросов) — «плохо». Таким образом, в ходе исследования было получено 75 % положительных оценок, что свидетельствует о приемлемом уровне ответов в большинстве запросов к чат-боту. Разберем результаты более детально. Оценка «отлично» и оценка «средне» для запросов к чат-боту наиболее часто ставилась для запросов с формулировкой вопроса с использованием конструкций: «Где...», «Что такое...», «Какие...», «Чем...». Также было выявлено, что чат-бот хорошо работает с вопросами на общие темы, для ответа на которые достаточно «знаний» используемой LLM. Однако в случае вопросов, которые требуют более детального анализа, например, «Что умеет эта программная система?» и «Что нужно для запуска расчета качества?», запросы чаще всего получали оценку «средне». Слабой стороной чат-бота оказались запросы, касающиеся инструкций, т. е. вопросы типа «Как добавить/удалить/изменить.», «Как работает/функционирует.», и «Как п равильно .» . Такие запросы чаще всего получали пользовательскую оценку «плохо». Разработчики чат-бота предполагают, что данный результат во многом обусловлен тем, что необходимая информация представлена в руководстве в виде изображений. При оценке работы чат-бота анализировались комментарии пользователей относительно качества ответов на запросы. Среди замечаний к ответам на разные вопросы отмечался как избыток информации, не относящейся к делу, так и недостаточная информативность ответов. Также была выявлена проблема, обусловленная тем, что в различных разделах справки одинаковые по написанию термины могут нести разную смысловую нагрузку. Проведенный анализ показал, что для повышения качества ответов чат-бота необходимо обеспечить его фокусировку на контексте запроса для более релевантных ответов, а также добавление подробностей в ответы на сложные вопросы для полного понимания пользователем информации по интересуемой процедуре или функции. Эксперименты с табличными данными При работе с нормативными и справочными документами для генерации ответа в качестве контекста нередко требуется использовать данные, размещенные во включенных в документы таблицах. Корректная обработка данных, представленных в таблицах, дает возможность более точно выбирать информацию, необходимую для генерации ответов, касающихся как структуры, так и «внутреннего содержания» ячеек таблиц. Рассмотрим результаты работы чат-бота с таблицей на примере, представляющем фрагмент учебного плана (табл.). На рис. 13 представлен результат тестового «диалога» пользователя с чат-ботом. Труды Кольского научного центра РАН. Серия: Технические науки. 2024. Т. 15, № 3. С. 5-26. Transactions of the Kola Science Centre of RA s . Series: Engineering Sciences. 2024. Vol. 15, No. 3. P. 5-26. Таблица Таблица для тестирования чат-бота Раздел дисциплины Семестр Используемые активные/интерактивные образовательные технологии Количество часов Теория технологии и комплексной механизации 10 Дискуссионные методы. Проблемное обучение 2 л 4 пр Технология и комплексная механизация при сплошных системах разработки Дискуссионные методы. Проблемное обучение 6 пр Технология и комплексная механизация при углубочных системах разработки Проблемное обучение 4 л Перспективное и текущее планирование горных работ. Качество продукции Дискуссионные методы. Проблемное обучение 2 пр Итого: 6 л 12 пр © Олейник А. Г., Федоров А. М., Датьев И. О., Зуенко А. А., Шестаков А. А., Вишняков И. Г., 2024 19