Труды КНЦ. Технические науки. – 2026. - № 1

М одуль управления системой Ядро системы построено с применением фреймворка LangChain [Langchain Introduction], который координирует выполнение функций, связанных с БЯМ и RAG-технологией. Среди его функций можно выделить следующие: 1) обеспечение связи между модулем загрузки и обработки документов, моделью эмбеддингов, ВБД и языковой моделью и управление потоком данных; 2) реализация разных сценариев работы системы за счет применения специальных цепочек действий (chains) [Chains] (например, загрузка документа, поиск в БД или расчет); 3) анализ истории диалога, что дает возможность учитывать предыдущие взаимодействия пользователя с системой при генерации ответа на запрос данного пользователя в рамках контекста одной сессии, в частности, позволяет задавать уточняющие вопросы без необходимости повторения всей исходной информации. М одуль обработки данны х В модуле обработки данных происходит преобразование исходной неструктурированной информации в векторное представление, в процессе которого реализуются описанные ниже ключевые функции: 1. И зв л е ч ен и е т екст о во го конт ент а с в еб -ст р а н и ц сайт а Ф И Ц К Н Ц РАН . На этом этапе планируется применять специальные инструменты , такие как библиотека Python BeautifulSoup [Beautiful Soup]. Данная библиотека предоставляет инструментарий для парсинга HTML- структуры, позволяющий отделять собственно контент от элементов навигации и оформления. Для повышения эффективности парсинга и дополнительного анализа также планируется применять библиотеку lxm l [Lxm l]. 2. И зв л е ч ен и е инф орм ации и з ф а й ло в (обработ ка докум ент о в). В текущей версии разрабатываемой системы интеллектуального поиска для извлечения и обработки текстов применяется библиотека Unstructured [Instructed integrations]. В Unstructured интегрированы методы оптического распознавания символов (OCR, например, через Tesseract [Tessaract...]) для извлечения текста из сканированных изображений в составе PDF-файлов, а также механизмы для идентификации таблиц в документах и извлечения из них информации в структурированном виде. Еще одним достоинством Unstructured является наличие методов для обработки разных форматов документов, включая PDF, DOCX, PPTX, HTML, EML и др. 3. Разбиение текста на семантические фрагменты (чанки). Для этого в работе применяется метод RecursiveCharacterTextSplitter [Langchain Text...] из библиотеки LangChain, который нацелен на сохранение смысловых границ исходного текста. Метод реализует рекурсивный алгоритм, который последовательно разделяет текст на смысловые единицы, в частности абзацы, предложения, словосочетания и т. п. 4. Векторизация. Чтобы в дальнейшем использовать получившиеся на предыдущих этапах текстовые фрагменты для организации информационного поиска, их необходимо преобразовать в численные векторные представления (эмбеддинги), то есть в формат, подходящий для математической обработки БЯМ. Это необходимо для измерения семантической близости между текстовыми фрагментами путем вычисления расстояния между соответствующими векторами в многомерном пространстве. Для векторизации была использована модель ai-forever/sbert_large_nlu_ru [SBERT] через интерфейс HuggingFaceEmbeddings [Hugging...]. В основе модели лежит архитектура BERT [BERT], которая позволяет обрабатывать тексты на русском языке. При размере около 1.7 ГБ модель предлагает хорошее соотношение качества и требований к вычислительным ресурсам для локального развертывания. 5. Сохранение в векторную базу данны х (ВБД). Далее полученные векторные представления необходимо сохранить в ВБД. В работе была использована открытая СУБД ChromaDB [Try Chroma]. М одуль поиска и и звлечения данны х Модуль поиска и извлечения данных является главным элементом системы, он основан на применении RAG -технологии, с помощью которой осуществляется поиск релевантных текстовых фрагментов в ВБД и последующая передача найденного контекста для генерации ответа на запрос пользователя с использованием БЯМ. Общая схема работы RAG-технологии представлена на рис. 5. Труды Кольского научного центра РАН. Серия: Технические науки. 2026. Т. 17, № 1. С. 129-142. Transactions of the Kola Science Centre of r A s . Series: Engineering Sciences. 2026. Vol. 17, No. 1. P. 129-142. © Шестаков А. В., Зуенко А. А., Зуенко О. Н., 2026 1 3 4