Использование нейросетей для анализа звуковой информации


Проблемы, возникающие при обучении слоя Кохонена


Для исследования динамики обучения и свойств слоя Кохонена был создан инструмент «Модель нейросети», в котором моделируется слой Кохонена в двумерном сигнальном пространстве (Рис 16).

Моделирование слоя Кохонена

1. Начальные значения весов    2. Веса после обучения

Рис.16

В инструменте моделируется нейросеть с двумя входами, так что она способна классифицировать входные вектора  в двумерном сигнальном пространстве.  Хотя функционирование такой нейросети и отличается от функционирования нейросети в сигнальном пространстве с гораздо большей размерностью, основные свойства и ключевые моменты данного нейросетевого алгоритма можно исследовать и на такой простой модели. Главное преимущество – это хорошая визуализация динамики обучения нейросети с двумя входами. 

В ходе экспериментов с этой моделью были выявлены следующие проблемы, возникающие при обучении нейросети:

1. выбор начальных значений весов.

Так как в конце обучения вектора весов будут располагаться на единичной окружности, то в начале их также желательно отнормировать на 1.00. В моей модели вектора весов выбираются случайным образом на окружности единичного радиуса (рис. 16.1). 

2. использование всех нейронов.

Если весовой вектор окажется далеко от области входных сигналов, он никогда не даст наилучшего соответствия, всегда будет иметь нулевой выход, следовательно, не будет корректироваться и окажется бесполезным. Оставшихся же нейронов может не хватить для разделения входного пространства сигналов на классы. Для решения этой проблемы предлагается много алгоритмов ([1],[8]). в моей работе применяется правило «желания работать»: если какой либо нейрон долго не находится в активном состоянии, он повышает веса связей до тех пор, пока не станет активным и не начнет подвергаться обучению. Этот метод позволяет также решить проблему тонкой классификации: если образуется группа входных сигналов, расположенных близко друг к другу, с этой  группой ассоциируется и большое число нейронов Кохонена, которые разбивают её на классы (рис. 16.2).


- Начало -  - Назад -  - Вперед -