Статистический анализ: методы оценки торговых стратегий

1. Введение

Оценка эффективности торговой стратегии может проводиться на основании двух типов данных:

1) Популяция, т.е. все возможные наблюдения по стратегии, существовавшие в истории;

2) Выборка, т.е. часть популяции, выбранная определенным способом, на основании которой делаются выводы о характеристиках всей популяции;

Так как популяционные данные зачастую недоступны для анализа в виду физической невозможности их сбора и/или неполноты доступной информации, часто выводы о популяции приходится делать на основании выборки.

В данном отчете представлены критерии, по которым можно оценить качество выборки для дальнейшего статистического анализа, а также показаны способы интерпретации данных, полученных на основании выборки. В качестве примера будут рассмотрены выборки по шести торговым стратегиям.

2.1 Теория: Анализ данных по выборке

При анализе выборки можно получить ряд полезных характеристик, которые могут быть использованы в дальнейшей оценке стратегий. Среди данных характеристик:

1) Среднее выборочное число– среднее арифметическое по выборке;

2) Стандартное отклонение – показывает среднеквадратичное отклонение по выборке от среднего выборочного

3) Медиана– указывает значение, делящее выборку на две половины. Данный показатель особенно важен, если в выборке присутствуют крайние величины, которые значительно влияют на среднее выборочное.

4) Коэффициент асимметрии– показывает, в какую сторону смещено распределение данных в выборке. У нормального распределения данный коэффициент равен нулю. Негативные значения указывают на левое смещение (распределение имеет длинный «хвост» в левую сторону), позитивные – на правое смещение («хвост» в правую сторону).

5) Куртосис (также известный как эксцесс) – показатель «веса» хвостов распределения. У нормального распределения куртосис равен 3. Если куртосис меньше 3, то это означает большую концентрацию значений ближе к центру распределения, если больше – данные концентрируются в его хвостах.

Получение данных характеристик необходимо для дальнейшего вычисления показателей по популяции и их оценки.

2.1 Теория: Получение значений для популяции

При работе с выборкой главной задачей стоит выведение наиболее точных показателей для всей популяции. Главными такими показателями являются среднее выборочное значение и стандартное отклонение.

Для выведения показателей можно использовать t тест. При соблюдении необходимых условий, данный тест способен дать приблизительное значение для популяционных среднего арифметического и стандартного отклонения на основании данных из выборки.

Условиями для t теста являются:

1) Рандомизация выборки, т.е. выборка должна включать в себя произвольно выбранные наблюдения;

2) Большая выборка. Выборка должна включать в себя как минимум 30 наблюдений;

3) Выборка должна иметь нормальное или околонормальное распределение;

Однако для условий (1) и (3) в нашем случае действуют некоторые исключения.

Во-первых, рандомизация выборки служит для того, чтобы распределение данных в выборке как можно больше напоминало их распределение в популяции. К примеру, если выборка берется лишь со значениями за определенный год, то средний показатель по этой выборке может значительно отличаться от показателей за 10 лет, так как его поведение может тесно зависеть от событий в определенный временной промежуток. Тем не менее, так как для расчетов мы используем показатели за более длинные промежутки (5 лет и более), данный эффект сглаживается, и, следовательно, приобретает произвольный характер. Иными словами, нет необходимости в рандомизации выборок по торговым сигналам, так как они уже включают в себя наблюдения из разных временных периодов, охватывая значимую часть вариативности в популяции.

Третье условие запрашивает нормальное распределение в выборке. Однако оно нужно лишь для выборок, которые включают в себя малое количество наблюдений. Потребность в нормальном распределении падает, если выборка становится больше. В нашем случае каждая выборка включает сотни (а по некоторым стратегиям – тысячи) наблюдений, так что отклонения от нормального распределения в полученных данных не будет являться серьезной проблемой. Согласно закону больших чисел, с ростом наблюдений в выборке среднее выборочное будет стремиться к среднему популяционному.

При проведении t теста используются две гипотезы: нулевая (H0) и альтернативная (H1).

H0 – Средний показатель по популяции не отличается от 0

H1 – Средний показатель по популяции отличается от 0

В случае, если тест выявляет доказательства в пользу альтернативной гипотезы, то он выдает высчитанный показатель и доверительный интервал для этого показателя. Так как тест выдает приблизительное значение, он допускает погрешность, которая заключается в доверительном интервале на выбранном уровне. К примеру, если анализ показывает, что среднее популяционное равно 2 с доверительном интервалом (1,3) на уровне 99%, то это значит, что мы с уверенностью в 99% можем утверждать, что среднее популяционное находится на промежутке между 1 и 3.

Стоит также отметить, что t тест выдает результат, основываясь на предположении, что популяция имеет нормальное распределение. Незначительность данного аспекта будет продемонстрирована в следующей части отчета.

3. Анализ выборок на практике.

В качестве примера анализа качества выборки были выбраны показатели по прибыльности 6 торговых стратегий в период с 2015 по 2020 год. Таблица внизу показывает общие данные по выборкам для каждой стратегии.

Следующий график показывает распределение для каждой выборки с кривой плотности распределения вероятности [1].

Как можно заметить, распределение значений по каждой стратегии значительно отклоняется от нормального, лишь стратегия H приближенно напоминает нормальное распределение с коэффициентом асимметрии в -0.83 и куртосисом 5.8.

Тем не менее, по всем стратегиям негативный коэффициент асимметрии указывает на распределение, смещенное влево. Такое наблюдается тогда, когда бόльшая часть наблюдений располагается по правую сторону распределения, и небольшая часть экстремально больших значений по левую сторону тянут «хвост» распределения влево, тем самым снижая среднее выборочное.

Уже на основании данной визуализации и данных из Таблицы 1 уже можно предположить, что стратегия А является наиболее прибыльной из всех приведенных, так как она единственная имеет центр распределения в удаленности от нуля при наименьшем стандартном отклонении. Иными словами, результаты данной стратегии теснее распределены вокруг позитивного значения, чем среди всех остальных стратегий, означая бόльшую вероятность прибыльности при ее использовании. Однако проанализируем и оставшиеся стратегии:

1) Стратегия B. Распределение смещено влево, при среднем значении прибыльности в -0.001. При этом медиана больше средневыборочного, указывая на то, что как минимум половина сделок закрывалась с позитивной прибылью. Однако стандартное отклонение по данной стратегии выше, чем по А, указывая на бόльший разброс результатов по данной стратегии, чем у А.

2) Стратегия С. Распределение смещено влево, но при этом оно имеет больше сходств с нормальным, чем А и В, о чем говорят меньшие куртосис и коэффициент асимметрии. Как и в случае с В, среднее выборочное в данной выборке негативное с еще большим стандартным отклонением.

3) Стратегии D и G. Распределение почти аналогично стратегии С.

4) Стратегия H. Распределение похоже на C, D и G, только в этот раз и средневыборочное, и медиана являются негативными. Это говорит нам о том, что в выборке больше половины сделок были совершены с убытком.

Однако полученные данные применимы лишь к тем наблюдениям, что имеются в выборке, в то время как мы заинтересованы в том, чтобы получить приблизительные значения по сделкам за пределами нашей выборки. Для этого используем t тест.

Через t тест были протестированы следующие гипотезы:

H0 – Средняя прибыльность по стратегии равна нулю

H1- Средняя прибыльность по стратегии неравна нулю

При проведении теста был также сконструирован доверительный интервал на уровне 99%. Высчитанные интервалы можно увидеть в крайней правой колонке Таблицы 1.

Тест выявил что из всех стратегий только в случае со стратегией А мы можем утверждать, что среднепопуляционный результат стратегии отличается от нуля в положительную сторону, что подтверждается высчитанным доверительным интервалом, в котором оба конца имеют одинаковый знак (они оба позитивные). В остальных случаях доверительный интервал включает в себя значение 0, т.е. на основании данных мы получаем, что среднепопуляционное значение может быть как позитивным, так и негативным. Иными словами, по стратегиям B, C, D, H и G мы не можем дать строгую оценку. По стратегии А можно сделать следующее заключение: Среднепопуляционное для результатов по стратегии А является позитивным и с вероятностью 99% находится в диапазоне (0.000588659 ;0.018781226).

Как было сказано ранее, предположение о том, что в популяции показатель имеет нормальное распределение не играет важной роли в поставленной задаче. Если популяция в действительности имеет не нормальное распределение, это может сказаться на ширине доверительного интервала по правую сторону, при этом не имея влияния на знак среднепопуляционного значения. Таким образом, вычисленный интервал может не захватить популяционное значение, но только при условии, что оно будет больше вычисленного. То есть, в популяции сделка А может приносить еще больше прибыли, чем нам указывает вычисленный интервал, но точно не меньше. Это связано с тем, что выборочное распределение по стратегии А имеет большую концентрацию наблюдений в правой стороне, и t тест вычисляет интервал путем нормализации выборочного распределения, что может привести к небольшому смещению вычисляемых показателей в меньшую сторону.

4. Методологические нюансы

При более детальном взгляде на данные по каждой стратегии можно заметить, что в них иногда проскальзывают наблюдения, которые заметно отличаются от других (именно они тянут «хвосты» распределения в разные стороны). Иногда для нормализации распределения они удаляются из выборки, однако для этого нужны веские основания. В данном случае наблюдения отличаются от остальных, но при этом не являются чем-то неестественным. Некоторые сделки действительно могут закрываться с убытком в 100%, если рынок был подвержен резкому шоку, и такие ситуации не являются редкостью в финансах. Удаление подобных наблюдений из выборки действительно может ее нормализировать, но также может сделать ее менее репрезентативной в отношении того, как торговая стратегия поведет себя в условиях шока. Иными словами, присутствие подобных критических наблюдений необходимо для более реалистичной оценки стратегии.

В то же время допускается удаление данных, если они были введены в выборку ошибочно (к примеру, за 15 минут сделка показала прибыльность в 100 000%, при внесении данных автор мог потерять точку). Таких наблюдений не было выявлено в исследуемых данных, так что в анализ были включены все исходные наблюдения.

Что касается методологии выявления популяционных характеристик, t тест в любом случае выдает лишь приблизительное значение, особенно если выборка имеет смещенное распределение. Для оценки доверительного интервала для выборок с ненормальным распределением можно использовать более продвинутые полупараметрические модели. Однако использование t теста уже может сказать нам многое о потенциальной эффективности стратегии.

5.1. Оценка эффективности стратегии по выборке: MAE и MFE

При оценке торговой стратегии достаточно важными показателями являются MAE (Maximum Adverse Excursion) и MFE (Maximum Favorable Excursion). MAE показывает максимальное отклонение в сторону убытка, продемонстрированное финансовым инструментом на период существования ордера, в то время как MFE показывает максимальное отклонение в сторону прибыли за этот же период.

Допустим, ордер высылается на открытии первой свечи и закрывается с закрытием 12 свечи, после чего фиксируется прибыль или убыток. Однако та цена, по которой ордер был закрыт, может быть ниже или выше тех значений, которые она достигала в течение 12 свечей.

Рассмотрим следующий пример: Мы размещаем ордер на покупку одной единицы валютной пары на первой свече и закрываем его на 12 свече с прибылью в 5%. Тем не менее, в течение 12 свечей курс по выбранной паре в течение одной свечи вырос на 20% в отношении цены открытия и один раз уходил в просадку на 15% (то есть, сделка становилась убыточной). Таким образом, за 12 свечей прибыльность сделки варьировалась на промежутке (-10%, 20%) и зафиксировалась на уровне 5%. Для данного ордера, MAE будет равен -10% [2], показывая степень рискованности сделки. Чем ниже МАЕ, тем рискованнее торговая стратегия. В то же время, MFE будет равен 20%, указывая на то, какую выгоду упустил трейдер (он бы заработал больше, если бы завершил сделку в тот момент, когда цена достигла пика).

Для хорошей стратегии оба показателя должны быть близкими к нулю. Если средний MAE находится в районе нуля, то это значит, что стратегия минимизирует торговые риски. Если средний MFE находится в районе нуля, то это значит, что стратегия упускает как можно меньше прибыли и трейдер получает из нее наибольшее количество выгоды.

Средние популяционные показатели по MAE и MFE можно приблизительно определить с помощью статистического теста. Для примера была взята стратегия торговли по новостям рынка труда в США. Каждую неделю Министерство труда в США публикует данные по общему количеству заявок на пособие по безработице в стране. Выбранная стратегия подразумевает продажу долларов, когда количество заявок растет по отношению к предыдущему периоду и покупку, когда показатель падает. Для анализа возьмем котировки по выбранным датам за 2015, 2016, 2018, 2019 и 2020 годы [4] с таймфреймом в 15 минут. Входим на рынок за 2 свечи до публикации данных и выходим через 10 свечей. Посчитаем доходность по каждой сделке и также выведем MAE и MFE.

Результаты по доходности представлены в следующей таблице. Прилагаемый график показывает распределение доходностей по выборке.

Как можно увидеть из данных, распределение доходностей центрируется в районе нуля (средневыборочное равно 0.007%), будучи смещенным влево. T тест показал, что доверительный интервал для средней доходности по стратегии включает в себя 0, так что у нас нет оснований полагать, что стратегия в среднем будет приносить прибыль. Иными словами, выборка показывает, что выбранная стратегия не является статистически прибыльной.

При этом можно также оценить степень риска стратегии и то, насколько часто она упускает потенциальную прибыль. Для этого можно высчитать MAE и MFE. Для вычисления MAE и MFE использовались следующие формулы:

Данные для этих показателей приведены в таблице ниже, распределения MAE и MFE показаны на графике. Для графической наглядности показатель MAE используется с отрицательным знаком. В большинстве источников берется значение MAE по модулю.

Как и стоило ожидать, MAE никогда не становится позитивным числом, а MFE – негативным.

Распределение MAE смещено вправо, указывая на то, что большинство значений по сделкам находились ближе к нулю, чем к крайне малым величинам. Средняя просадка по выборке составляла 0.22%, при этом ровно для половины выборки просадка была более, чем 0.14% (красная вертикальная линия на графиках показывает медиану).

Распределение MFE смещено влево, при этом оно имеет меньшее стандартное отклонение, чем MAE. Иными словами, MFE сделок были более тесно распределены вокруг среднего показателя по выборке. Статистика показывает, что в среднем стратегия упускала 0.22% прибыли и больше половины сделок упустили более, чем 0.17%.

Оба показателя демонстрируют значимые отклонения от нормального распределения. Это делает проблематичным применение t теста для оценки среднепопуляционных MAE и MFE. Тем не менее, с его помощью возможно получить приблизительное значение для доверительного интервала, но надежность полученных показателей будет невелика именно в данном случае. Однако t тест может быть применен, если в выборке MFE и MAE будут иметь околонормальное распределение, тогда доверительный интервал будет иметь больший шанс показать истинное значение MFE и MAE для стратегии.

В заключении, показатели MAE и MFE могут оказаться полезными при оценке того, насколько рискованной является торговая стратегия и насколько эффективно она приносит прибыль. Тем не менее, измерение данных величин связано с рядом методологических проблем, которые должны быть решены для эффективного использования MFE и MAE в оценке стратегий.

5.2. Коэффициент E – оценка точки входа в рынок

MAE и MFE также могут быть полезны для оценки точки входа в рынок и выборе точки выхода. Для этого высчитывается коэффициент E (Edge ratio, коэффициент края). Формула данного коэффициента включает себя MAE и MFE:

E ratio = MFE/MAE

Где за MAE берется модуль числа, которое мы получали в разделе 5.1. Данный показатель считается на каждой свече за время активности сделки, и затем просматривается динамика его изменения. Если коэффициент показывает позитивную динамику (т.е., на протяжении сделки он рос), то точка входа была выбрана удачно, и с течением времени рискованность сделки падает. В обратном случае можно утверждать, что точка была выбрана не самым эффективным образом, так как рискованность сделки будет увеличиваться со временем.

Коэффициент E не может быть меньше нуля, но при этом не имеет верхних ограничений. Если он находится на промежутке (0,1), то совершаемая сделка будет иметь более высокий риск. Если коэффициент больше 1, то торговля по сделке идет в нашу пользу.

Посмотрим, как данный способ может быть использован при оценке нашей стратегии. Посчитаем коэффициент E по каждой свече каждой сделки в нашей выборки и выведем средний коэффициент по свечам (итого-12 значений)[3]. Следующий график показывает динамику коэффициента E на основании нашей выборки.

Как можно увидеть на графике, коэффициент превышает единицу на 9 из 12 свечей с особо большими значениями на 1 и 3 свечах. На основании этого можно предположить, что торговая стратегия имеет относительно низкую степень риска при выходе из рынка на данных свечах (на них наблюдается наименьшее значение MAE). Динамика на протяжении всей сделки осциллирующая со схождением в единице к концу рассматриваемого периода. Вероятнее всего, на первых свечах рынок резко реагирует на сигнал и это тянет цену валютной пары в приоритетное для инвестора направление, но спустя время рынок «остужается», что приводит к меньшей амплитуде осцилляций.

Стоит отметить, что данный график был нарисован с использованием средневыборочных значений коэффициента Е. Вероятной остается возможность подсчета среднепопуляционных значений, но даже на основании достаточно большой выборки средневыборочные значения могут рассказать нам многое о динамике и рисках торговой стратегии.

6. Коэффициент Z.

Для оценки взаимосвязи исходов сделок по стратегиям можно использовать коэффициент Z (Z score). Допустим, что в выборке можно заметить закономерность: за каждой прибыльной сделкой следует убыточная. Тогда возникает вопрос – насколько значима данная взаимосвязь?

Для выявления данной взаимосвязи используется принцип, схожий с t тестом. Мы предполагаем, что в обычной ситуации исход сделки (прибыль или убыток) имеет нормальное распределение, т.е. шанс заработать при заключении сделки без определенной стратегии равен 50%. Однако для того, чтобы определить закономерность, мы должны найти достаточные доказательства, что данный шанс при использовании определенной стратегии отличается от 50%, и этим доказательством служит коэффициент Z.

Допустим, у нас есть определенная выборка из завершенных сделок. Сделки оформляются последовательно каждый раз, когда появляется выбранный сигнал. Для получения коэффициента Z мы рассматриваем серии убыточных и прибыльных сделок. Допустим, если три сделки подряд закрываются в плюс, то мы имеем серию прибыльных сделок. Если 2 сделки заключаются в минус, то это серия убыточных сделок. Серией также считается одна сделка, если следующая сделка после нее имеет обратный знак. Данные показатели включаются в формулу расчета коэффициента Z:

Где:

N – общее количество сделок по выборке

R – общее количество последовательностей (выигрышных и проигрышных)

P – 2*(кол-во выигрышных сделок) * (кол-во проигрышных сделок)

Получаемый коэффициент затем сравнивается с таблицей значений, на основании которой делается вывод о значимости и типе взаимосвязи последовательностей в сделке.

Выявленная взаимосвязь может быть трех типов:

1) Положительная. За выигрышной сделкой следует выигрышная, за убыточной – убыточная.

2) Отрицательная. За выигрышной сделкой следует убыточная, за убыточной – выигрышная.

3) Неопределенная. На основании выборки нельзя сказать, есть ли взаимосвязь между сделками.

Попробуем применить данный метод на практике. Возьмем все ту же выборку по торговой стратегии на новостях и посчитаем для нее коэффициент Z. В данной выборке мы находим:

Количество сделок – 186

Количество последовательностей – 93

Число убыточных последовательностей – 47

Число прибыльных последовательностей – 46

Подставим данные числа в формулу выше и получаем коэффициент Z равный 43.81111 [5]. При сравнении данного числа с таблицей 4 мы видим, что у нас есть весомые основания полагать, что при торговле по выбранной стратегии исходы сделок имеют негативную связь – выигрышные сделки чередуются с проигрышными.

6. Выводы

На основании данного анализа можно сделать вывод о том, на какие характеристики выборки стоит обратить внимание при ее оценке и как использовать их для оценки популяционных параметров.

При первичном анализе важную роль играют показатели средневыборочного, медианы, стандартного отклонения и коэффициент смещения. Они помогают определить форму распределения данных в выборке и сформировать первичную гипотезу о показателях в популяции.

При проведении t теста особое внимание стоит уделить полученному доверительному интервалу. Важно, чтобы концы интервала имели одинаковые знаки. Для убыточных стратегий оба знака должны быть негативными, для прибыльных – позитивными. Разные знаки на интервале показывают, что мы не можем с точностью определить убыточность или прибыльность стратегии.

При этом доверительный интервал может не включать в себя истинное популяционное значение. Для того, чтобы определить степень погрешности, нужно сравнить полученный интервал с распределением исходной выборки. Если в выборке данные имеют позитивное среднее значение, малое стандартное отклонение и большой негативный коэффициент асимметрии, то можно сделать вывод, что доверительный интервал или показывает верный набор среднепопуляционных значений, или же завышает его, но в большую сторону. Иными словами, подобный доверительный интервал с большей уверенностью можно использовать для оценки риска модели, нежели для точных прогнозов о ее прибыльности. Мы можем с определенным процентом уверенности сказать, что стратегия в среднем является прибыльной, но не можем дать однозначную оценку того, насколько она прибыльна. Для ответа на подобные вопросы следует использовать полупараметрические тесты с асимметричными доверительными интервалами.

Параметры MFE и MAE могут предоставить информацию о рискованности и заработном потенциале стратегий, но их оценка может оказаться более проблематичной, чем оценка более классических показателей. Из-за своеобразной формы распределения, определение среднепопуляционных MFE и MAE является затруднительным. Но даже показатели по выборке могут быть использованы для анализа стратегий, хоть и с меньшей уверенностью. Для этого достаточно иметь достаточно большую выборку. Также параметры MFE и MAE могут быть использованы для оценки точки входа на рынок и динамики прибыльности стратегии путем вычисления коэффициента Е.

Использование коэффициента Z может оказаться полезным в анализе взаимосвязей между сделками по определенной стратегии и выявлений закономерностей, которые могут помочь более точно сформулировать подход к торговле при ее использовании.

7. Приложение: тестовые расчеты по трем сигналам

В данной секции представлены расчеты по трем торговым сигналам:

1) Изменение количества новостроек в США

2) Изменение количества разрешений на строительство домов

3) Объем продаж розничного сектора без учета продаж автомобилей

По каждому сигналу приведены ключевые статистические величины (среднее выборочное, стандартное отклонение, куртосис, доверительный интервал, средние MAE и MFE по выборке, тестовый показатель Z). Также приведены графики распределений доходности, MAE и MFE.

Графики: изменение количества новостроек в США

Графики: изменение количества разрешений на строительство домов

Графики: объем продаж розничного сектора без учета продаж автомобилей

Комментарии:

[1] Данная кривая помогает приблизительно нарисовать распределение по выборке.

[2] Обычно МАЕ вычисляется в денежном эквиваленте, но для этого нужно знать точные котировки и объем сделки.

[3] В виду того, что для некоторых свечей значение low было все равно выше, чем цена открытой позиции, MAE временами получался с позитивным знаком. В таком случае можно утверждать, что MAE равен нулю, что и было сделано в нашей выборке.

[4] 2017 год был удален из выборки из-за ошибки в котировках, которые хаотично смещали даты и показатели.

[5] В теории число Z может стремиться к бесконечности, так как у распределения непрерывных переменных нет крайне высоких или крайне низких значений. Однако скепсиса к использованию данного метода добавляют дальнейшие результаты.

[6] Полученные показатели вызывают большие сомнения о пригодности данного метода для вразумительного анализа, хоть они и выводились строго по формуле. Справедливости ради стоит отметить, что в интернете не так много литературы по данному вопросу и показатель Z не кажется особо популярным инструментом в инвестиционной оценке.

[7] Так как по данному показателю многие свечи отсутствовали, расчеты с 8 до 32 свечи проводились по меньшей выборке.