Статистика зависимостей в котировках (теория информации, корреляция и другие методы feature selection) - страница 25

 
Candid:

Я правильно помню что в качестве исходных данных здесь модуль процентных приращений?

Но если так, то это по сути та же волатильность (то есть её монотонная и однозначная функция), можно ожидать что все связанные с волатильностью эффекты будут проявляться и здесь, пусть и в несколько фильтрованном виде. И поскольку эффекты волатильности видимо далеко превосходят по силе все остальные феномены рынка, перспектива разглядеть на их фоне "что-то ещё" выглядит довольно проблематично. Я, повторюсь, считаю более перспективным пытаться последовательно исключать из исходных данных известные, но "бесполезные" эффекты.

Кстати, Алексей (Mathemat), у тебя исходные данные тоже модули?

Добрый день!

returns для всех графиков Форекс я считаю в пунктах (в отличие от фондового рынка).

Второе - знаки сохраняю, т.е. по модулю не беру. Все что Вы видели для D1, M5, H1 - это посчитано на основе returns в пунктах, дискретизировано до 5 символов алфавита, знак изменения цены сохранен.

Последний график для H1 - я возвел в квадрат возвраты, чтобы избавиться от знака.

 
HideYourRichess:

Вообще то, великий Бор, так же как и великий Шеннон, в решении своих задач шли от сути, "физики", к циферкам, в отличии от того что здесь происходит.

Вторая проблема, не возможно объяснить людям, которые хотят верить - то что вера их ложна. Как можно объяснить людям, что метод не применим, так как он рассчитан на стационарность и независимость. Пусть даже независимость в виде цепей Маркова, в любом случае это исключает применимость метода к данным с наличием "памяти" длиннее той которая рассматривается. А нестационарность и зависимость (ещё раз подчёркиваю, зависимость эта то же нестационарна, по этому ни ЦМ, ни условные энтропии не работают) напрямую вытекают из понимания рыночных процессов порождающих поток котировок.

Нет, они шли не от сути а от фактов :)) Это шутка :).

Вы что, требуете от реальных процессов строгой стационарности? Надеюсь что нет. Рассуждаем дальше. Нам нужна закономерность, то есть эффект существующий достаточно продолжительное время. То есть нас интересуют именно стационарные (хотя бы приближённо и хотя бы в течение ограниченного нашей выборкой времени) процессы на рынке. То есть аппарат вполне адекватен цели.

 
alexeymosc:

Добрый день!

returns для всех графиков Форекс я считаю в пунктах (в отличие от фондового рынка).

Второе - знаки сохраняю, т.е. по модулю не беру. Все что Вы видели для D1, M5, H1 - это посчитано на основе returns в пунктах, дискретизировано до 5 символов алфавита, знак изменения цены сохранен.

Последний график для H1 - я возвел в квадрат возвраты, чтобы избавиться от знака.

Наличие знака сильно меняет дело конечно. Просто в Вашей статье функции плотности вероятности приводятся только для положительных значений.
 
Candid:
Наличие знака сильно меняет дело конечно. Просто в Вашей статье функции плотности вероятности приводятся только для положительных значений.

Эти функции не по returns, а по значениям посчитанной взаимной информации, а эта величина не может быть отрицательной.

В статье на Хабре для returns знак также сохранялся, но там я брал процентные приращения. Но это не сильно меняет дело.

Вот - сравните два последних графика для EURUSD H1. В первом знак приращений сохраняется, во втором он опущен. Информативность второй системы закономерно выше. Но и со знаком направления движения информативность не маленькая. Это уже интересно.

 
alexeymosc:
Эти функции не по returns, а по значениям посчитанной взаимной информации, а эта величина не может быть отрицательной.

Да, я уже заметил что ошибся.

В любом случае, если методика чувствует эффекты волатильности даже на знаковых данных это скорее говорит в её пользу, имхо.

 
Candid:

Да, я уже заметил что ошибся.

В любом случае, если методика чувствует эффекты волатильности даже на знаковых данных это скорее говорит в её пользу, имхо.

Я здесь привел реальную табличку расчета внизу - это реальные котировки EURUSD M5: https://www.mql5.com/ru/forum/135430/page22

Состояние 1 - нижний квантиль (сильное движение вниз), состояние 5 - сильное движение вверх. Независимая переменная - return на один шаг назад, то есть, ближайший лаг. Видно, что если значение источника = 1, приемник более склонен принимать значение 1 или 5, но с перекосом в 5.

Если источник принял значение 5, то приемник - либо 1 либо 5 более вероятно, перекос к 1. Эти вещи уменьшают неопределенность состояния приемника. Здесь и волатильность играет роль и перекосы к конкретным значениям. Если выделить волатильность отдельно, останется информативная составляющая для конкретных значений (а не для пар полярных значений 1-5).

Я специально выложил этот скриншот, чтобы стала понятнее суть изысканий. Все основывается на вероятности и функции плотности.

 
joo:
а каким образом осуществляется поиск, не перебором ли?

Перебор - это один из вариантов. Можно попробовать генетический алгоритм поиска с взаимной информацией в качестве фитнес-функции.

Представьте, у Вас есть набор из 100 переменных, они одинаково дискретизированы. Может так получиться, что если перменная 5 принимает значение 3, а переменная 76 принимает значение 1, то вероятность того, что зависимая переменная примет значение 4 равна 75%. Но чтобы отобрать эту пару независимых переменных, нужно замерить взаимную информацию между двумя независимыми и зависимой переменной 100 * 100 - 100 раз. А если мы хотим посмотреть сочетания из трех независимых переменных...

 
Avals:
не надо генерить СБ на основе GARCH. Нужно взять реальный ряд и сгенерить СБ на основе реальной волатильности. Здесь выкладывал скрипт https://forum.mql4.com/ru/41986/page10 который заменяет в оффлайн историю реального инструмента на СБ используя тиковый волюм. Такой СБ будет практически на 100% повторять реальную волу. GARCH и т.д. они не учитывают множество нюансов типа различных цикличностей волы и многие другие. Если с этим рядом СБ и с рядом на основе которого он сгенерирован будут отличия, то это уже интересней :)

Идея хорошая, вот сгенерированный график СБ с едентичной волатильностью с EURUSD. Алексей, будьте добры выполните анализ для него. Посмотрим на различия если они будут.
Файлы:
eurusd_r.zip  499 kb
 
Candid:

Нет, они шли не от сути а от фактов :)) Это шутка :).

Вы что, требуете от реальных процессов строгой стационарности? Надеюсь что нет. Рассуждаем дальше. Нам нужна закономерность, то есть эффект существующий достаточно продолжительное время. То есть нас интересуют именно стационарные (хотя бы приближённо и хотя бы в течение ограниченного нашей выборкой времени) процессы на рынке. То есть аппарат вполне адекватен цели.

Вот именно, надеетесь. По моим прикидкам, процессы которые происходят в разное время на рынке различаются, скажем так, в разы. Не в проценты, на которые вы надеетесь. Вы же тут пытаетесь сравнивать процессы которые идут в одно время с процессом из другого времени - откуда возьмётся стационарность и адекватность методов. Отблески этой нестационарности видны в изменениях волотильности (как циклических, так и спорадических), но и то не полностью.

Вот, вроде бы многие читали лекцию Ширяева о работе Пастухова, и вроде бы когда метр говорит, что "волотильность сама волотильна" должно быть понятно, что всё совсем не просто и нужно внимательно смотреть на то что делаешь. Но нет, опять наблюдаем очередную попытку натягивания на рынок каких то формул.

Короче, делайте чего хотите, это ваше время и ваши потери. Конечно, если в кайф сам процесс изучения циферок - это другое дело, тут только фан от хобби.

 
HideYourRichess:

Вот именно, надеетесь. По моим прикидкам, процессы которые происходят в разное время на рынке различаются, скажем так, в разы. Не в проценты, на которые вы надеетесь.

Во-первых, мы это понимаем. Нестационарность - это данность, с которой приходится мириться, в самом нехорошем случае, расставаясь с кровными.

Во-вторых, делая дискретизацию на 5 квантилей, мы огрубляем ряд данных и шумы поглощаются, хотя бы частично, внутри квантильных диапазонов. Функция плотности становится равномерной.

Причина обращения: