Возможно уникальная система тестирования якобы прибыльных советников

 

Привет всем,


Хочу поделиться своей историей. Вот уже много лет я пытаюсь торговать на Форексе, сначала как и все в ручную, потом перешел на создание ЕА, благо по профессии программер и особого труда научиться программировать на MQL4 не составило. За все эти годы, начиная с 2006, я так и не дошел до торговли на реальном счету, так как поставил себе задачу сначала проторговать полгода в прибыль на демо и сделать хоть какое-то значимое число сделок для статистики, хотя бы больше 100. В результате, до сих пор этого у меня не получилось. Так вот, за все эти годы я сделал множество автосоветников, многие даже показывали прибыль на тестере, но когда я их переносил на демо, через какое-то время начинали сливать. Так вот моя проблема была в том, что это брало уйму времени, как правило месяцы, пока мой очередной советник протестируется на реальных данных на демо и я начал искать способы ускорить этот процесс. И я подумал, было б неплохо самому генерировать будущие графики цен. Идея была в том, чтобы автоматически сгенерировать возможный график поведения валюты в будущем с соблюдением основных статистических параметров, но, конечно же, не с целью предсказать куда пойдет цена, а с целью создать уникальный график очень похожий на настоящий, с точки зрения волатильности, средних движений цены внутри дня, недели, скачки после выхода новостей и ещё множества параметров, которые я добавлял из года в год и их накопилось больше сотни.


Теперь вместо того, чтобы ждать месяцы пока мой советник протестируется на демо счете, я оптимизировал его на всей доступной истории в тестере, а потом, когда мой очередной Грааль показывал прибыль на тестере, я загружал свои авто-сгенерированные данные в тестер вместо настоящих данных и сразу понимал, что это очередной подогнанный под график сливающий советник.


Чтобы убедиться, что авто-сгенерированный график и реальные данные дают тот же результат я тестировал так же и на демо счете и график слива депо был похож на предсказание тестера.


Так вот хотел посоветоваться с единомышленниками, делает ли кто-то так же? Насколько объективны результаты такого тестирования? Не самообман ли это?

 
Ronen:
...

Чтобы убедиться, что авто-сгенерированный график и реальные данные дают тот же результат я тестировал так же и на демо счете и график слива депо был похож на предсказание тестера.


Так вот хотел посоветоваться с единомышленниками, делает ли кто-то так же? Насколько объективны результаты такого тестирования? Не самообман ли это?

Раз не работает и так, значит советники неудачные получаются, иначе на любом графике вытягивали баланс хотя бы в небольшой, но плюс.

Многие для тестирования берут период графика вне оптимизации, то есть оптимизируют, например, на 80% доступной истории, и потом прогоняют тест на остальных 20% и на произвольных коротких  периодах в пределах всей истории, если советник на всех прогонах показывает положительный результат, то можно и на демо пускать.

Как-то вот так:

Понятно, что на демо такой прибыли не дождаться, но депозит стабильно растёт, скоро пересаживать на реальный депозит буду.

 
evillive:

Раз не работает и так, значит советники неудачные получаются, иначе на любом графике вытягивали баланс хотя бы в небольшой, но плюс.

Многие для тестирования берут период графика вне оптимизации, то есть оптимизируют, например, на 80% доступной истории, и потом прогоняют тест на остальных 20% и на произвольных коротких  периодах в пределах всей истории, если советник на всех прогонах показывает положительный результат, то можно и на демо пускать.

Как-то вот так:

Понятно, что на демо такой прибыли не дождаться, но депозит стабильно растёт, скоро пересаживать на реальный депозит буду.

плохой советник - у вас рост на форварде -  из-за увеличения размера лота (возьмите отдельно форвардный период и на нем сольет)
 

...на 80% доступной истории, и потом прогоняют тест на остальных 20%...

Я тоже так делал, и подгонял под остальные 20%, потом запускал на демо и опять сливалось, до тех пока не начал автогенерировать графики и после этого уже автоподогнать не удавалось, так как даже если на автогенерированном первом графиге показывало прибыль, я делал ещё один график и на нем уже сливало и перекладывая на демо также сливало... Не хватало истории для тестирования, трудно понять, подгон ли это под истоию или чтото стоящее...

 
YOUNGA:
плохой советник - у вас рост на форварде -  из-за увеличения размера лота (возьмите отдельно форвардный период и на нем сольет)

Я как бы отдельно и тестирую потом, не сливает.


Как нетрудно догадаться, слева - оптимизация, справа - форвард с теми же настройками, те же настройки сейчас на демо, но там я сразу на несколько пар торгую, так что отчёты не сравнить.

Да, мартингейл с усреднением, да, есть просадки, которые тестер не покажет, потому и написал, что на демо не так всё красиво. Но депозит в гору.

 
Ronen:

...на 80% доступной истории, и потом прогоняют тест на остальных 20%...

Я тоже так делал, и подгонял под остальные 20%, потом запускал на демо и опять сливалось, до тех пока не начал автогенерировать графики и после этого уже автоподогнать не удавалось, так как даже если на автогенерированном первом графиге показывало прибыль, я делал ещё один график и на нем уже сливало и перекладывая на демо также сливало... Не хватало истории для тестирования, трудно понять, подгон ли это под истоию или чтото стоящее...

По-моему, правильнее было бы тестить не на синтетической последовательности, а на истории другого брокера, иногда у разных брокеров истории ощутимо разные, особенно если ещё и бары со смещением по часовому поясу. Или график самому генерировать, но опять же, на основе реального, только со смещением по времени (как тут, например). Или закачивать тиковую историю и генерировать уже нужный ТФ, с любым временным смещением по часовому поясу (Tickstory Lite так умеет).
 
evillive:
По-моему, правильнее было бы тестить не на синтетической последовательности, а на истории другого брокера, иногда у разных брокеров истории ощутимо разные, особенно если ещё и бары со смещением по часовому поясу. Или график самому генерировать, но опять же, на основе реального, только со смещением по времени (как тут, например). Или закачивать тиковую историю и генерировать уже нужный ТФ, с любым временным смещением по часовому поясу (Tickstory Lite так умеет).
Этот этап я тоже проходил, различные манипуляции с историей, брать в разных местах, склеивать, копировать и тд итп. Результат в принципе похожий, только автогенерирование это гораздо проще, я сейчас просто беру историю скажем за 3 последних месяца, запускаю анализатор, который вытаскивает из неё кучу статистических параметров, и по этим параметрам генерирует новый график, который ни один советник пережить не может :-) Хотя было пару раз, что и автосгенерированный график давал прибыль, но втором автосгенерированном уже снова слив.
 
Ronen:
Этот этап я тоже проходил, различные манипуляции с историей, брать в разных местах, склеивать, копировать и тд итп. Результат в принципе похожий, только автогенерирование это гораздо проще, я сейчас просто беру историю скажем за 3 последних месяца, запускаю анализатор, который вытаскивает из неё кучу статистических параметров, и по этим параметрам генерирует новый график, который ни один советник пережить не может :-) Хотя было пару раз, что и автосгенерированный график давал прибыль, но втором автосгенерированном уже снова слив.

3 месяца это слишком мало для  оптимизации, год-полтора надо, а то и больше только на оптимизацию, а потом можно на 3-х месячном периоде тест прогнать.


Я бы свой советник на таком синтетическом графике не отказался бы потестить, да не умею их готовить, приходится по старинке :)

 
evillive:
3 месяца это слишком мало для тестирования и оптимизации, год-полтора надо, а то и больше только на оптимизацию.
3 месяца реальной истории это чтобы на подобии её создать 3х месячный автосгенерированный график, которого как правило хватает, чтобы увидеть что идет слив, если за 3 месяца не сливает, что бывает крайне редко, я генерирую год или полтора. Просто создать автографик занимает несколько часов пока он там все параметры статистические пересчитает. А оптимизирую я советники на истории обычной, год-полтора, автографик это последний "бастион" на котором всё заканчивается.
 
evillive:

3 месяца это слишком мало для  оптимизации, год-полтора надо, а то и больше только на оптимизацию, а потом можно на 3-х месячном периоде тест прогнать.


Я бы свой советник на таком синтетическом графике не отказался бы потестить, да не умею их готовить, приходится по старинке :)


На самом деле их довольно сложно готовить, я постоянно с годами добавлял туда параметры статистические, чтобы он был похож на реальный и продолжаю добавлять...

Но я не жадный, пиши на мейл ronen(собачка)lelbo(точка)com вышлю автогенерированные полгода по евро.

 
Ronen:
3 месяца реальной истории это чтобы на подобии её создать 3х месячный автосгенерированный график, которого как правило хватает, чтобы увидеть что идет слив, если за 3 месяца не сливает, что бывает крайне редко, я генерирую год или полтора. Просто создать автографик занимает несколько часов пока он там все параметры статистические пересчитает. А оптимизирую я советники на истории обычной, год-полтора, автографик это последний "бастион" на котором всё заканчивается.
Год-полтора мало. Я оптимизирую как минимум с 2010г. Вообще чем больше, тем лучше. После такой оптимизации мои советники работают уже более 2 лет на реале и не сливают. Раз в полгода переоптимизирую.
Причина обращения: