Гибридные нейросети. - страница 16

сам желаю знать!

Кгм ... кажется знаю :) Когда я впервые реализовывал RPRop натолкнулся на ситуацию, когда ошибка начинает рости и значение dEdW (градиент) вылетает в +Inf.

Ограничьте кол-во эпох обучения, до скажем 10-15 или введите в код проверку на верхнее значение градиента, у меня там есть такой код:

if (Math::Abs(this->dEdW[j][k][i]) < 10e-25)
{
this->dEdW[j][k][i] = 0;
}

Это значит, что алгоритм попал в область локального минимума или имеем дело с переобучением сети.

я так понял. подать все примеры из обучающего множества расчитывая для каждого dedw накапливаем сумму оного. а потом что делить dedw на кол_во обуч. примеров? так пакетный режим функционирует?

Минус этого алгоритма что он дискретный

Да так, только не путайте локальный градиент для отдельного нейрона и dEdW - локальных градиентов у вас столько сколько нейронов, в dEdW - столько сколько синаптических связей с учетом порога ф-ции.

хм ... а что подразумевается под дискретным? Этот алгоритм ни чем не хуже для ряда задач, чем любой градиентный метод. Он уступает квази-ньютоновским методам или скажем LMA. Но работает быстрее чем simple gradient.

Я про скорость и не говорил)))

Нейронная сеть - понятно. А как вы ее готовите? На каких данных работает? Интервалах?

зарвботал всем спасибо!

Можно поподробней по квази-ньютоновским и LMA.