Труды КНЦ. Технические науки. – 2026. - № 1

Тестирование текущ ей версии системы интеллектуального поиска Для тестирования работы системы интеллектуального поиска использовались нормативные документы ФИЦ КНЦ РАН. Для удобства предоставленные документы условно сгруппированы в тематические разделы, например ГО и ЧС, жилищная политика, коллективный договор, положения и т. д., и подгруппы. Это сделано для того, чтобы оценить скорость и качество работы системы в зависимости от количества и разнообразия загруженных документов. Кроме тематики нормативные документы также отличаются форматом. В выборке присутствуют как текстовые, так и графические форматы. Каждый формат требует своего подхода к обработке. Были протестированы три БЯМ: «llama3.1:8b» [Neo4j], «qwen2.5:3b» [Qwen2.5:3b], «phi3:mini» [Phi3]. Наилучшие результаты показала модель «llama3.1:8b», которая находится в открытом доступе. Данная модель с 8 миллиардами параметров хорошо подходит для того, чтобы обрабатывать короткие запросы пользователей и оперативно получать ответы. Она используется для разработки чат-ботов, виртуальных помощников и базовой аналитики. В процессе тестирования было выявлено, что данная модель может одновременно анализировать десятки документов, т. е. из множества документов она способна выделить несколько, относящихся к нужной тематике, и выполнить поиск по ним. Модель способна извлекать информацию из таблиц и формул. Для ускорения и повышения качества поиска в системе реализована типизация пользовательских запросов. Для каждого типа применяются свой промпт и параметры модели. Например, один из типов запросов включает следующие вопросительные слова: «Какие», «Что», «Какой», «Какая», «Какое», «Сколько», «Когда», «Где», «Почему», «Как». Для этого типа запроса были установлены следующие параметры: temperature = 0, top_p = 0.9, m a x t o k e n s = 500, repeat_penalty = 1.1. Промпт для формулировки вопроса к системе с ключевыми словами из этой группы выглядит следующим образом: Л и ст и н г 1. Пример промпта для запросов с фактологическими вопросительными словами ИНСТРУКЦИИ: 1. Найди в контексте ПРЯМОЙ ОТВЕТ на вопрос 2. Если есть точный ответ — приведи его (можно дословно) 3. Если ответа нет — скажи: "В контексте нет информации" 4. Не делай выводов за пределами контекста. Тестирование проводилось на компьютере с процессором Intel Core i9 10900k, оперативной памятью 64 Гб, видеокартой NVIDIA GeForce GTX1650 (4Гб). Один из этапов тестирования используемой БЯМ заключался в том, что системе задавался тот же самый по смыслу вопрос, но в различных формулировках. Ниже приведены примеры вопросов и ответов. В опрос 1: «Какие точные требования к квалификации младшего научного сотрудника?» Вопрос: 2: «Какие требования предъявляются к соискателю на должность младшего научного сотрудника?» На данные вопросы был получен идентичный ответ: «Высшее профессиональное образование и опыт работы по специальности не менее 3 лет. При наличии ученой степени, окончании аспирантуры и прохождении стажировки — без предъявления требований к стажу работы. При наличии рекомендаций советов высших учебных заведений (факультетов) на должность младшего научного сотрудника могут быть назначены в порядке исключения выпускники высших учебных заведений, получившие опыт работы в период обучения». Рассмотрим ситуацию, при которой запрос относится к другому типу с сохранением при этом общей семантики с вопросами 1 и 2. Пусть имеется следующий запрос общего типа: В опрос 3: «Назови точные требования к квалификации младшего научного сотрудника». Ответ: «По контексту, точные требования к квалификации младшего научного сотрудника следующие: высшее профессиональное образование и опыт работы по специальности не менее 5 лет; наличие авторских свидетельств на изобретения или научных трудов; при наличии ученой степени — без предъявления требований к стажу работы. (Источник: полномочие о конкурсной комиссии)» Труды Кольского научного центра РАН. Серия: Технические науки. 2026. Т. 17, № 1. С. 129-142. Transactions of the Kola Science Centre of RAS. Series: Engineering Sciences. 2026. Vol. 17, No. 1. P. 129-142. © Шестаков А. В., Зуенко А. А., Зуенко О. Н., 2026 1 3 9