Использование нейросетей для анализа звуковой информации


Проблемы, возникающие при обучении слоя Кохонена - часть 2


Правило «желания работать» записывается в следующей форме:

                                      wн=wc + a1 ,                                  (9)

где wн  - новое значение веса,

wс – старое значение,

a1  - скорость модификации,

Выбор коэффициента  a1 определяется следующими соображениями:  постоянный рост весов нейронов по правилу (9) компенсируется правилом (7) (активные нейроны стремятся снова вернуться на гиперсферу единичного радиуса), причем за одну итерацию нейросети увеличат свой вес практически все нейроны, а уменьшит только один активный нейрон или нейронный ансамбль. В связи с этим коэффициент a1 в (9) необходимо выбирать значительно меньше коэффициента a в (7), учитывая при этом число нейронов в слое.

3. неоднородное распределение входных векторов в пространстве сигналов и дефицит нейронов.

Очень часто основная часть входных векторов  не распределена равномерно по всей поверхности гиперсферы, а сосредоточена в некоторых небольших областях. При этом лишь небольшое количество весовых векторов будет способно выделить входные вектора, и в этих областях возникнет дефицит нейронов, тогда как в областях, где плотность сигнала намного ниже, число нейронов окажется избыточным.

Для решения этой проблемы можно использовать правило «нахождения центра масс», т.е. небольшое стремление ВСЕХ весовых векторов на начальном этапе обучения к входным векторам. В результате в местах с большой плотностью входного сигнала окажется и много весовых векторов. Это правило записывается так:

                                      wн = wс + a2(xwс).                     (10)

где wн  - новое значение веса,

wс – старое значение,

a2  - скорость модификации,

x – входной вектор

Это правило хорошо работает, если нейроны сгруппированы в одном месте. Если же существует несколько групп нейронов, то это правило не дает нужного результата.

 Ещё одно решение – использовать «отжиг» весовых векторов.  В нашем случае он может быть реализован как добавление небольшого шума при модификации весов, что позволит им перемещаться по поверхности гиперсферы.


- Начало -  - Назад -  - Вперед -