Труды КНЦ (Естественные и гуманитарные науки вып.2/2023(2))

И скусственн ая н ейронн ая сеть Для построения численной модели использована реализация LSTM (Long short-term memory) слоя на языке Python в пакете keras библиотеки TensorFlow (TensorFlow...). Структура LSTM-слоя — «долгая краткосрочная память» — разработана для решения проблемы исчезновения градиента при тренировке нейронных сетей и детально описана в работе (Hochreiter S. et al., 1997). Каждый нейрон (ячейка) LSTM-слоя имеет два состояния (внутреннее и скрытое) и состоит из нескольких блоков: обновления, запоминания, передачи данных в следующую ячейку. Каждая ячейка LSTM имеет по три входа и по три выхода. Выходы: внутреннее состояние ячейки (A) и скрытое состояние ячейки (C), оно же выход нейрона (B). По умолчанию возвращается только выход B (скрытое состояние) ячейки после обработки всех слов входной последовательности. При необходимости можно вернуть промежуточные выходы (скрытые состояния) и внутренние состояния ячеек на всех итерациях. Значения скрытого и внутреннего состояния нейрона и дополнительные входы используются при создании сети из многих нейронов. Общая структура использованной сети представлена на рис. 2. В данном случае использовались две LSTM-сети по 50 нейронов. Труды Кольского научного центра РАН. Серия: Естественные и гуманитарные науки. 2023. Т. 2, № 2. С. 19-24. Transactions of the Kola Science Centre of RAS. Series: Natural Sciences and Humanities. 2023. Vol. 2, No. 2. P. 19-24. Рис. 2. Общая структура использованной ИНС Сеть обучалась по данным за 5 солнечных суток (135 земных дней) предсказывать значения вперед на 27 дней (1 солнечные сутки). Для этого из всего ряда данных сформированы массивы векторов из 135 значений для подачи на вход сети и соответствующие им массивы векторов из 27 истинных следующих за ними значений для подачи на выход сети во время тренировки. Подаваемые на вход значения последовательно кодируются во внутреннем состоянии первой LSTM -сети (см. рис. 2), которое подается на вторую LSTM -сеть, которая предсказывает следующие значения. Эти значения сравнивались с истинными, в процессе обучения минимализировалась метрика «средняя абсолютная ошибка» (MAE — mean absolute error). Р е зультаты обучения и обсуждения Тренировалась сеть на значениях с 01.01.1963 до начала текущего 25 солнечного цикла, проверочная выборка в размере 20 % выделялась из этого массива. Данные с начала текущего цикла (с 2020 г.) оставлены для независимого тестирования. Процесс обучения отражает рис. 3. Приведены значения средней абсолютной ошибки на обучающем и проверочном наборах по мере прохождения эпох обучения. В данном случае имеются в виду нормированные данные, то есть в конце обучения средняя абсолютная ошибка на обучающем наборе составляет менее 6 %. © Козелов Б. В., 2023 21