Нейронная сеть в виде скрипта - страница 10

Распишите пожалуйста обозначения в формуле S[j] = Sum(i)(y[i]*w[i,j] - t[j]). Как я понял:

t[j] - вес порога (он умножается на сигнал равный -1)

y[i]*w[i,j] - вход умноженный на свой вес

S[j] - результат до применения логистической функции

А что такое Sum(i)?

Sum[i] это сумма по i. Формулы здесь не умею писать.

t[j] - пороговое значение нейрона

y[i]*w[i,j] - выход пред. слоя умноженный связывающий вес

S[j] - взвешенная сумма до применения логистической функции

Я в принципе так сразу и подумал, что это сумма.

--------------

Дело в том, что порог добавляется не на каждое значение входа а в конце к общей сумме перед подачей на сигмоид. То естьэто порог для всего выхода в целом а не для каждого входа в отдельности.

Такая формула:

S[j]=Sum{y[i]*w[i,j]} - t[j]

Вот как у Юрия

for(i=0;i<NUM_INP;i++) // входной слой
    { 
        sum=0;
        for(j=0;j<NUM_INP;j++) sum+=ipl_W[i,j]*Input[j];
        ipl_Out[i]=Sigmoid(sum+ipl_Threshold[i]);
    }

и в принципе я с этим согласен, так как видел такую запись в литературе.

Тьфу, конечно же Вы правы, я неправильно расставил скобки.

2 TheXpert

Из ваших постов я понял, что вы человек сведущий в НС. Не могли бы вы посоветовать начинающему с чего начать анализировать в НС для ознакомления с принципом ее работы..

И еще хорошее ли дело - использование обратной связи в сетях. Насколько она была эффективна в вашей практике?

Честно говоря, даже не знаю, что сказать. У нас было 2 курса по НС в университете, начинали мы с азов: базовая модель нейрона, классификация сетей, методов обучения и т.д., затем персептрон, линейный и нелинейный, затем Кохонен, Хопфилд, Хемминг, рециркуляционные, рекуррентные сети....

Насчет рекуррентных сетей -- на практике не использовал, ИМХО, ее плюс и одновременно минус в том, что она зависит от предыдущих своих состояний, т.е. по определению подходит для биржи.

НО, опять же ИМХО, я считаю, что аналогичные результаты можно получить персептроном без обратных связей, если обучать по принципу скользящего окна. В этом также есть свой плюс -- метод скользящего окна позволяет оценить устойчивость\стохастичность (см. теория хаоса) полученного прогноза малой кровью, что может существенно помочь в условиях большой волатильности рынка и непредсказуемости результата.

Какова зависимость размерности и "слоистости" сети от количества шаблонов (патернов)?

Саймон Хайкин в своей книге "Нейронные сети" на стр. 282 приводит теорему об универсальности НС с ОДНИМ скрытым слоем. Вот следствие:

А вот, какой смысл Вы вкладываете в словосочетание "размерность сети" я не понял. Это число нейронов в скрытых слоях или число входов НС?

Если число входов, то произведение числа входов на размер обучающей выборки (количество паттернов) должен быть равен квадрату весов НС.

Если это число нейронов в скрытых слоях, то их количество определяется сложностью поставленной задачи и находится экспериментально.

размерность и "слоистость"

1. Размерность - количество нейронов в слое(ях).

2. "Слоистость" - количество слоёв.

3. Из этого вытекает следующий вопрос, измение нейронов в слоях, от слоя к слою?

4. Количество циклов обучения от количества слоёв, размерности и количества шаблонов (патернов) - (оптимально)?

Что такое " измение нейронов в слоях", это процесс модификации синаптических весов нерона (нейронов) во время обучения НС, или поиск оптимальной архитектуры НС путём постепенного изменения числа неронов в слоях во время оптимизации?

Ну, а количество циклов обучения определяется достижением минимума ошибки обобщения и напрямую к числу слоёв (и прочему) не привязывается, хотя и слабо-нелинейно зависит от числа нейронов и количества слоёв. Это зависит от "изрезанности" многомерной поверхности признаков, которую строит НС для поиска её глобального минимума. Если сеть работает правильно, то достаточно 50-100 эпох обучения по методу Обратного Распространения Ошибки. Правда, чтобы было так, придётся изрядно попыхтеть.