Труды КНЦ вып.9 (ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ) вып. 9/2019(10)

применяется для экономии ресурсов при необходимости аппаратной реализации уже найденной нейронной сети. Исторически, первой техникой упрощения сети была техника усечения, предложенная в 1989 г. Мозером и Смоленским [4]. Более исследованным подходом к упрощению нейронной сети является техника усечения весов, основанная на оценке значимости весов связей. В отечественной литературе техника усечения весов носит название процедуры контрастирования и впервые была предложена в работе [5]. Для направления упрощения сети методом усечения весов широко известными являются методы оптимального повреждения мозга (Optimal Brain Damage, OBD) [6] и его более позднее развитие - лучший нейрохирург (Optimal Brain Surgeon, OBS) [7]. Современным способом построения нейронных сетей является использование эволюционного подхода к поиску по пространству возможных архитектур. Исторически сложились три методологии эволюционного поиска [8]: эволюционное программирование Фогела, 1966 г., эволюционные стратегии Реченберга, 1973 г. и генетические алгоритмы (ГА) Холланда, 1975 г. [9]. Общую схему поиска архитектуры нейронных сетей с помощью ГА можно представить следующим образом. Информация об архитектуре нейронной сети специальным образом кодируется в генетический код. Затем генерируются поколения, к которым применяются стандартные генетические операции. Оценка каждого индивидуума производится следующим образом: нейронная сеть восстанавливается из генетической строки и производится ее тестирование. Таким образом, конструктивные алгоритмы позволяют быстро создавать сети, но жестко заданные правила построения не позволяют совершать отклонения в пространстве архитектур от некоторой окрестности. Это позволяет говорить о конструктивном подходе, как о подходе, реализующем локальный поиск, и сильно подверженный попаданию в локальные минимумы. Особое место занимают алгоритмы редукции: они позволяют получить неплохие результаты, но предполагают полноту имеющейся модели до начала работы. Иными словами, до начала работы алгоритма уже предполагается наличие некоторой нейронной сети, успешно решающей проблему, для которой делается предположение о возможном ее упрощении. Это условие сильно ограничивает круг возможного применения методов усечения. Эволюционные алгоритмы несомненно реализуют охват всего пространства архитектур и соответственно реализуют глобальный поиск, с большей вероятностью попадания в глобальный минимум. Но подобный способ организации поиска занимает очень много времени [3]. 3. Извлечение правил из обученных нейронных сетей В работах [10, 11] рассмотрены вопросы совместного использования нейросетевых технологий с методами логического вывода и поддержки принятия решений в задачах «интеллектуального» анализа данных. Проведен анализ существующих алгоритмов и методов построения деревьев решений. Особенностью алгоритмов и методов, применимых для решения задач интеллектуального анализа данных, является отсутствие ограничительных рамок априорных предположений о структуре выборки и виде распределений значений 101