Принципы работы с оптимизатором и основные способы избежать подгонки. - страница 10

Итак, мной было уже сказано, что тестер позволяет сдвинуть параметры относительно их экстремума. Что это означает? Допустим, с помощью того же тестера мы определили значения некоторых параметров, при которых прибыль советника максимальна на тестируемом промежутки истории. Рынок в этот промежуток времени полностью известен, и любое его измеряемое свойство будет точно и верно определять его состояние. После нахождения оптимальных параметров, дающих экстремум прибыли с помощью тестера мы делаем сдвиг относительно этого экстремума и смотрим на изменение результата. В будущем произойдет обратная картина: рынок передвиниться от наших экстремумов на некоторую величину, и то, насколько в широком диапозоне прибыльности будет находится этот экстремум будет определять устойчивость всей системы в целом.

Теперь обратимся к конкретному графику:

Истинный интерес представляет группа значений находящихся в совсем ином месте, и генерирующих прибыль меньше экстремума! Тестер же об этом ничего не знает, и если в качестве поиска тестеру будет дана задача искать максимум прибыльности, то будет найден ничего не значащий статистический всплеск. В будущем, даже самое незначительно изменение параметров рынка, приведет к тому, что мы окажемся у подножия этого самого пика! Что бы этого не происходило, мы должны акцентироваться именно на устойчивых диапозонах, а не на конкретных значениях отдельно взятых комбинаций. Найти устойчивый диапозон можно только одним способом: перебирая параметры относительно неподвижного слепка рынка, формируя 2D или 3D карту устойчивости.

Косвено, определить, что мы возможно находимся на экстремуме статистического всплеска а не в зоне устойчивости можно по плавности equity тренда. Нас интуитивно больше привлекает стабильный ровный положительный результат (тренд), чем рваная кривая с итоговым балансом даже выше чем у параметров генерирующий устойчивый рост. Это объясняется фрактальной природой исследуемого процесса. Если процесс в целом неустойчив или случаен, то на любом его отрезке, т.е. масштабе мы будем наблюдать теже неусточивые характеристики: бурные спады сменяющиейся неожиданными подъемами.

Вот достаточно удачная иллюстрация этой мысли. Я специально заставил найти тестер самую прибыльную комбинацию параметров в заведомо бессмысленном (почти рандомном) советнике. Итог: шикарный итоговый баланс, и нечто, напоминающее направленное движение вврех. Замечу, что тест этих же параметров в неоптимизационной выборке (левая половина графика) также был пройден успешно. Это объясняется тем, что сам по себе здвиг во времени не является гарантией устойчивости. Статистический всплеск может продолжатся гораздо дольше чем наше окно поиска и OOS в данном случае просто говорит об этом. Но есть и другие методы тестерных сдвигов, которые позволяют правильно анализировать полученные результаты, но об этом позже.

Напомнило горы и плоскогорья устойчивых значений параметров:

Прога: 3D1V8 - с описанием и моим конкретным примером из отчета оптимизации сова. Для визуализации выбора плоскогорного набора входящих в сов внешних переменных - прекрасный вариант, ИМХО. Сам ее юзаю.

Кста, в тестере МТ5 есть встроенное отображение результатов оптимизации в 3D, ну и в 2D тоже, т.е. даже внешние проги не нужны, чтобы посмотреть на скалы и плоскогорья.

Это хорошо... Я пока не знаю об этом... :-) Знакомство продолжается... Вашу статью прочел - познавательно - благодарю...

В переводе на язык статистики это означает стабильность дисперсии, а ее величина - это просадка. Изменчивость этой дисперсии - это устойчивость ТС.

Почему не пользуемся отработанной идеологией и наработками, а излагаем свои мысли в альпинистских терминах?

Кстати, 3D - это три параметра ТС как я понимаю, а если 4, то что можно увидеть?

3D - это два параметра относительно одной метрики. В качестве метрики может быть любой параметр, например прибыльность, профит фактор, математическое ожидание и т.д.

2D графики тестера - это тоже трехмерное пространство, просто метрика не имеет своей шкалы, и более высокие значения метрики окрашиваются в более насыщенный цвет.

4D - здесь трудности восприятия. Многопараметные советники образуют многомерные пространства. А их не так-то просто визуально анализировать. Я считаю, что надо использовать метод разделения: если есть 4 параметра, строим четыре истинных двухмерных графиков. Ось Y - значение метрики, например прибыльности, значение X - оптимизация параметра. Представленный мною выше график по сути двухмерный, просто я развернул поверхность таким образом, что бы третье измерение (2 оптимизационный параметр) был не виден в перспективе (как 2D чертеж). Анализируем 4 графика, ищем устойчивые группы значений, потом собираем их все вместе и смотрим результат. Метода не совершенна, в частности потому, что параметры влияют друг на друга, и поиск их экстремумов по отдельности, это не одно и тоже, что и поиск устойчивой группы значений для всех параметров одновременно. Зато нет экспоненциального роста перебора и любой самый простенький тестер может справиться с этой задачей. Если есть какие-то предложения, как можно было бы изящно решить эту трудность - милости прошу в студию.

Так как я без специализированного образования в этой области, применяю собственные кустарные поделки. Читать же книги на птичьем языке не умею, в силу отсутствия докторской степени по математике.

За прогу спасибо. Сам искал нечто подобное. Просто мой WealthLab жутко глючная штука и строит графики через раз.

Есть какие-нибудь статистические методы, позволяющие аналитически искать эти устойчивые плоскогорья?

Но все-таки согласитесь, даже имея эти аналитические методы, тестер все равно необходим, что бы хотя бы сформировать то пространство результатов, на котором будут работать эти методы дальше.

Без тестера никуда, так как он дает статистику, которую и следует анализировать

В прошлом - без вопросов. Дисперсия должна быть стабильной. Отклонения от мо дисперсии - дисперсия дисперсии даст меру стабильности.