Труды КНЦ вып. 11 (ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ) вып. 8/2020 (11)

- Модели смешанного типа. Практика семантического анализа текстов показывает, что для эффективной трансляции текста в целевую семантическую модель желательно использовать большее количество признаков текста. Это естественным образом приводит к идее использования сразу нескольких моделей текста для оценки его потенциально значимых свойств. 2. Искусственные нейронные сети в задачах семантического анализа текстов ИНС применяются на обеих обозначенных выше стадиях семантического анализа - как для построения модели текста, так и для ее трансляции в целевую семантическую модель (в том числе и для решения обеих задач одновременно). За исключением тривиальных моделей лексического типа, нейронные сети используются для моделирования ЕЯ-текстов во всех его аспектах - грамматическом, статистическом, семантическом. При этом применяются как «традиционные» ИНС прямого распространения, так и глубокие нейронные сети, имеющие большое количество слоев и сложную архитектуру. Наибольшее широко сети прямого распространения применяются при построении статистических языковых моделей, обеспечивающих предсказание слова (или более крупной языковой конструкции) по заданному контексту. С появлением разнообразных архитектур глубоких ИНС нейросетевой подход стал в той или иной степени успешно применяться практически ко всем задачам анализа текста - часте-речевое тегирование, классификация текстов, выделение именованных сущностей, анализ тональности, машинный перевод, выявление семантических ролей и т.д. Далее рассмотрены некоторые наиболее известные подходы к моделированию различных аспектов естественно-языковых текстов на основе нейросетей. Приведенное деление на группы - условно, поскольку многие нейросетевые модели позволяют характеризовать одновременно несколько различных аспектов языка. Кроме того, некоторые виды моделей языка, например модель семантической разметки FrameNet [7], могут быть отнесены как к грамматическим, поскольку разметка ролей осуществляется в соответствии с заданными правилами (по сути, грамматикой), так и к семантическим, поскольку задают интерпретацию текста, способную играть роль целевой семантической модели. Статистическое моделирование ЕЯ-текста В узком практическом смысле задача статистического моделирования языка трактуется как предсказание слова по заданному контексту его использования, более общая постановка задачи заключается в определении совместных вероятностей последовательностей слов в тексте. Современные нейросетевые модели, ориентированные на подобные задачи, основаны на векторном представлении слов (word embeddings). На данной задаче ИНС показывают лучшую эффективность по сравнению со статистическими моделями языка на базе n-грамм: при том же размере обучающего набора дают более точное предсказание, демонстрируют способность к генерализации контекстов схожих слов [8]. Начало быстрого роста популярности нейросетей в применении к статистическому моделированию ЕЯ-текстов связывают с работой [9], основная идея которой заключается в учете схожести слов при обучении модели и улучшении за счет этого ее генерализирующей способности. Схожесть слов определяется на основе дистрибутивной гипотезы [10], путем их векторного представления. В результате экспериментов с предложенной нейросетевой моделью и «классической» моделью на базе N-грамм, авторы делают выводы об эффективности 94