Как правильно сформировать входные значения для НС. - страница 24

Ересь какая-то... Как связан перерисовывающийся индикатор с интерполяцией и прогнозом на будущее???

Вы просто не совсем понимаете, что именно аппроксимируется. Есть входной вектор X размерностью N и выходной Y, размерностью M. НС устанавливает связь между ними, то есть аппроксимирует зависимость Y = F(X). Y может быть чем угодно, хоть трижды распробудущим, НС это до лампочки, она решает именно задачу аппроксимации F(X) на обучающей выборке.

ПЕРЕРИСОВКА - ОПИУМ ДЛЯ НАРОДА!! ))))

По-моему, имеет место быть непонимание природы состояния НС, которое можно охарактеризовать как "переобученная" и "недообученная". Эти термины относятся к признакам, связывающих длину обучающей выборки, количество свободных параметров (синапсов) данной НС и величину ошибки обобщения на тестовом множестве. Если длина выборки сравнима с количеством подстраиваемых весов (в пределе меньше или равна), то на обучающей выборке мы получим сколь угодно точное совпадение отклика НС на входные вектора, но на тестовой выборке мы поимеем полный бред! Это пример переобученной сети. Если длина обучающей выборки слишком велика (насколько, это отдельный вопрос), то на обучающей выборке мы получим плохое совпадение (в пределе, определим только среднее значение выборки). На тестовой выборке мы получим то же самое - среднее.

Как видно, о числе обучающих эпох нет речи. Более того, для достижения глобального минимума (обучения НС) нам нужно из всех возможных вариантов решения переопределённой системы нелинейных уравнений (то что делает НС), выбрать то, которое даст нам наименьшую совокупную ошибку (худо-бедно будет удовлетворять ВСЕМ уравнениям системы). Этому условию конечно удовлетворяет то решение (найденные веса синапсов), которые стремятся к предельным - полученным при числе обучающих эпох стремящимся в бесконечность.

Поэтому, не стоит путать переобучение или недообучение НС с количеством обучающих эпох - последних всегда должно быть разумно много (сколько конкретно, нужно определять экспериментально).

Я в литературе встречал обсуждение "проблемы раннего останова", но у меня сложилось впечатление о том, что авторы не совсем понимают природу того о чём пишут. Действительно, если взять ситуацию, когда длина обучающей выборки меньше оптимальной, то в процессе тренировки возникнет ситуация, когда ошибка на тестовом множестве сначала будет уменьшаться, а звтем, с дальнейшим увеличением числа обучающих эпох, снова начнёт расти... Ну, это же совсем из другой оперы, Товарищи!

Устраняюсь, раз уж здесь собралось достаточно грандов NN. Мое мнение ничтожно, так как в нервосетях я дилетант.

О соотношении числа входов и степеней свободы я даже и не говорил, предполагая его не ниже 10, рекомендуемых по теории. Я всего лишь сказал о моменте, когда ЦФ на участке верификации проходит через минимум. Это вроде как и у Шумского вполне наглядно описано, если не ошибаюсь.

Гранды по математике тоже не помешают, прошу не устраняться :) . Думаю, остальные присоединятся к просьбе.

Ну и я про то же самое. Просто вместо простонародного термина "устойчивое" был употреблен термин "стационарное". Под обоими терминами подразумевается что статистические (подгоночные) данные близки к вероятностным. Но все, кто сталкивался с финансовыми инструментами прекрасно знают, что статистика к ним неприменима по причине нестационарности.

Просто эмпирически у меня получается что сетку нужно переобучать примерно на треть. Хотя опять же, это зависит от адекватности входов. Не исключено, что других может быть эмпирически получится необходимость обучать только на 10%.

Согласно Хайкину расхождение результатов при полном обучении на обучающей и тестовой выборке может произойти только если количество паттернов недостаточно велико.

Если паттернов достаточно, при полном обучении получаются лучшие результаты на тестовой выборке чем на ранней точке останова, здесь об этом уже упоминалось выше.

Исходя из своего опыта склонен этим результатам верить.

Насчет линейной нейросети -- если получилось с достаточной степенью достоверности получить положительные результаты с помощью оной, вывод может быть только один -- нейросеть нафек не нужна.

Уважаемый, где это я утверждал, что интерполяция связана с будущим? Сходите к оккулисту и читайте внимательно посты, а не разбрасывайтесь выражениями. Я сообщал и еще раз повторяю для особоодаренных, что для будущего необходима экстраполяция.

Мой пост был ответом на пост rip :

------------------ Цитата ------------------------

В чем-то я с вами согласен. Но, архитектура сети играет большую роль... например RBF-сети куда лучше позволяют решать некоторые задачи интерполяции.

Господин Ботаник, нормальные люди имеют свои мозги и свой опыт, а ботаники цитируют других ботаников, поскольку своих мозгов нет и быть не может.

Хайкин скорее всего обучал сеть в стационарной среде, а посему у него такие выводы. В условиях нестационарности сеть может вообще не обучиться, если ей дать слишком большое количество паттернов, поскольку, например, в трейдинге, сегодня паттерн указывает на покупку, а в следующий раз уже на продажу. Потому что любой вход имеет некоторую вероятность ложных сигналов.