5.4 Почему нам нужен тест вне выборки

Резюме

В предыдущем разделе мы показали вам, как читать отчет о результатах тестирования стратегии, сосредоточившись на нескольких важных показателях эффективности. На самом деле, не сложно написать стратегию, которая приносит прибыль в отчете о результатах тестирования. Трудно оценить, будет ли эта стратегия продолжать быть эффективной на реальном рынке в будущем. Поэтому сегодня я объясню тест вне выборки и его важность.

Бактестинг не равен реальному рынку

Многие новички легко убеждаются в своих торговых стратегиях и готовы воплотить свои мысли в жизнь с хорошим отчетом о результатах или кривой фондов.

Я видел много торговых стратегий, и уровень успеха может достигать до 50% при обратном тестировании. Под предпосылкой такого высокого показателя выигрыша, все еще есть более высокое соотношение прибыли и убытка 1:1. Однако, как только эти стратегии внедряются на практике, они все теряют деньги. Есть много причин для этого. Среди этих причин, выборка данных слишком мала, является основной, что приводит к отклонению данных.

Тем не менее, торговля - это такая запутанная вещь, и это очень ясно после, но если мы вернемся к оригиналу, мы все еще чувствуем себя подавленными. Это связано с основной причиной количественной оценки - ограничениями исторических данных. поэтому, если мы используем только ограниченные исторические данные для проверки торговой стратегии, трудно избежать проблемы Вождение в соответствии с взглядом на зеркало заднего вида.

Что такое тест вне выборки?

Как в полной мере использовать ограниченные данные для научного тестирования торговой стратегии, когда данные ограничены? Ответ - метод тестирования вне выборки. Во время обратного тестирования исторические данные делятся на два сегмента в соответствии с временной последовательностью. Предыдущий сегмент данных используется для оптимизации стратегии, называемый тренировочным набором, а последний сегмент данных используется для тестирования вне выборки, называемого тестовым набором.

Если ваша стратегия всегда действительна, то оптимизируйте несколько наборов лучших параметров в данных учебного набора и примените эти наборы параметров к данным тестового набора для повторного тестирования. В идеале результаты бэкстеста должны быть почти такими же, как и в учебных наборах, или разница находится в разумном диапазоне. Тогда можно сказать, что эта стратегия относительно эффективна.

Но если стратегия работает хорошо в набор обучения, но тест набор работает плохо, или меняется много, и когда используются другие параметры остаются прежними, то стратегия может иметь миграцию данных уклон.

Например, предположим, что вы хотите проверить фьючерсные реберы на сырьевые товары. Теперь, когда у реберы есть данные примерно за 10 лет (2009 ~ 2019), вы можете использовать данные с 2009 по 2015 год в качестве учебного набора, с 2015 по 2019 год, используемые в качестве тестового набора. Если лучший параметр, установленный в учебном наборе, составляет (15, 90), (5, 50), (10, 100)... то мы помещаем эти наборы параметров в тестовый набор. Сравнивая эти два отчета о производительности реберы и кривые фонда, определяется, находится ли их разница в разумном диапазоне.

Если вы не используете тест вне выборки, просто напрямую используйте данные с 2009 по 2019 год для тестирования стратегии. Результат может быть хорошим отчетом о производительности бэкстеста из-за чрезмерного соответствия исторических данных, но такие результаты бэкстеста имеют мало значения для реального рынка и не имеют направляющего эффекта, особенно для тех стратегий с большим количеством параметров.

Расширенное испытание вне выборки

Как уже упоминалось выше, при условии отсутствия исторических данных целесообразно разделить данные на две части, чтобы сформировать данные внутри и вне выборки.

Основной принцип рекурсивного тестирования: использовать предыдущие длинные исторические данные для обучения модели, а затем использовать относительно короткие данные для тестирования модели, а затем непрерывно перемещать временное окно для извлечения данных, повторять этапы обучения и тестирования.

• Данные о подготовке: 2000-2001 гг., данные о испытаниях: 2002 г.;

• Данные о подготовке: 2001-2002 гг., данные о испытаниях: 2003 г.;

• Данные о подготовке: 2002-2003 гг., данные о испытаниях: 2004 г.;

• Данные о подготовке: с 2003 по 2004 год, данные о испытаниях: с 2005 года;

• Данные о подготовке: 2004-2005 гг., данные о испытаниях: 2006 г.;

...и так далее...

Наконец, результаты испытаний (2002, 2003, 2004, 2005, 2006...) были статистически проанализированы для всесторонней оценки эффективности стратегии.

Следующая диаграмма может объяснить принцип рекурсивного испытания интуитивно:

На рисунке выше показаны два метода рекурсивного тестирования.

Первый тип: небольшое количество, но многократное испытание

Второй тип: большое количество, но меньше испытаний

В практических приложениях можно выполнять несколько испытаний, изменяя длину данных испытания для определения стабильности модели в ответ на нестационарные данные.

Основной принцип перекрестной проверки: разделить все данные на N частей, использовать N-1 части для обучения каждый раз, и использовать оставшуюся часть для тестирования.

В период с 2000 по 2003 год она делится на четыре части в соответствии с годовым распределением.

• Данные о подготовке: 2001-2003, данные о испытаниях: 2000;

• Данные о подготовке: 2000-2002 гг., данные о испытаниях: 2003 г.;

• Данные о подготовке: 2000, 2001, 2003, данные о испытаниях: 2002;

• Данные о подготовке: 2000, 2002, 2003, данные о испытаниях: 2001;

Как показано на рисунке выше: самое большое преимущество перекрестной проверки заключается в полном использовании ограниченных данных, и каждый данный обучения также является данными теста.

• Когда данные о ценах нестабильны, результаты испытаний модели часто ненадежны. Например, используйте данные 2008 года для обучения и данные 2005 года для тестирования.

• Подобно первому, в тесте перекрестной проверки, если модель обучается с помощью последних данных, а модель тестируется с помощью более старых данных, это само по себе не очень логично.

Кроме того, при тестировании модели количественной стратегии как рекурсивный тест, так и тест перекрестной проверки столкнулись с проблемами перекрытия данных.

При разработке модели торговой стратегии большинство технических индикаторов основаны на исторических данных определенного периода. Например, используя индикаторы тренда для расчета исторических данных за последние 50 дней, но для следующего торгового дня, который снова рассчитывается на основе данных за первые 50 дней торгового дня, данные для расчета двух индикаторов одинаковы в течение 49 дней. Это приведет к очень незначительному изменению индикатора за каждый соседний два дня.

Пересечение данных может иметь следующие последствия:

• Медленное изменение результатов, предсказанных моделью, приводит к медленному изменению позиций, что часто называется гистерезом показателей.

• Из-за последовательной корреляции, вызванной повторными данными, результаты некоторых статистических тестов ненадежны.

Хорошая торговая стратегия должна быть прибыльной в будущем. тестирование вне выборки, помимо объективного обнаружения торговых стратегий, более эффективно для экономии времени для количественных трейдеров.

Если выделить все исторические данные до момента оптимизации параметров и разделить данные на данные в выборке и данные за ее пределами, параметр оптимизируется с использованием данных в выборке, а затем выборка за ее пределами используется для тестирования вне выборки.

Подводя итог

Если у вас есть возможность путешествовать во времени, вам не нужно будет вообще торговать. в конце концов, мы все смертные, мы должны проверить нашу стратегию в исторических данных.

Однако, даже с огромными историческими данными, перед бесконечным и непредсказуемым будущим история крайне скудна. Поэтому торговая система, основанная на истории, со временем рухнет. Потому что история не может исчерпать будущее. Поэтому полная торговая система с положительными ожиданиями должна быть подкреплена ее внутренними принципами и логикой.

Доверяйте, но проверяйте. - Президент Рейган.

Послешкольные занятия

1. Какие явления в реальной жизни являются предрассудками выживших?

2. Используйте платформу FMZ Quant для сравнения обратного теста на входе и выходе из выборки.