The Hidden Risks of Overfitting in Trading Strategies: A Monte Carlo Perspective

5/10

Аннотация

Заметка предлагает практический способ выявлять переобучение торговых стратегий: по историческому ряду PnL(%) генерируют ансамбль Монте-Карло траекторий кумулятивного результата, для каждой считают непрерывную просадку, собирают распределение минимальных просадок и сравнивают худшую историческую пиковую просадку на валидации с левым $\alpha\%$-квантилем этого распределения. Если реальная просадка выходит за квантиль, стратегия подозревается в overfitting. Метод иллюстрируется на шести стратегиях (MA-E/B/X и BR-E/B/X) при $M=1000$, $\alpha=5\%$.

Ключевые слова: переобучение; Монте-Карло; непрерывная просадка; бэктест; PnL(%); квантиль просадок; валидация; риск-менеджмент торговых стратегий.

1. Введение: переобучение в торговых стратегиях

На высокодинамичных и плохо предсказуемых финансовых рынках торговые стратегии всё чаще опираются на продвинутые статистические модели и алгоритмы машинного обучения. Эти инструменты помогают строить сложные торговые решения. Однако именно их сила — способность «подгонять» данные — при неверной постановке превращается в источник серьёзных проблем. Это явление называют переобучением (overfitting).

Переобучение возникает, когда модель слишком плотно подстраивается под исторические данные: вместе с устойчивыми закономерностями она выучивает шум и особенности конкретной выборки. На обучающей выборке такая модель может выглядеть блестяще; на новых данных — проваливаться.

На Рис. 1 в оригинале показан типичный пример: переобученная модель даёт ~250% доходности и малые просадки на train, но на всей валидации уходит в просадку. Она экстраполирует шум, а не истинный тренд, и поэтому ненадёжна для будущих движений рынка. В контексте торговых стратегий overfitting ведёт к завышенным ожиданиям, ошибочным решениям и потенциально крупным потерям. Поэтому важно уметь распознавать и смягчать переобучение.

В этой заметке: (i) кратко разбирается overfitting в торговле; (ii) предлагается подход на базе симуляций Монте-Карло и непрерывных просадок; (iii) метод иллюстрируется кейсом из шести стратегий; (iv) обсуждаются ограничения и направления дальнейших исследований.

2. Идея симуляций Монте-Карло

Симуляции Монте-Карло — класс вычислительных алгоритмов, которые используют случайность для решения задач, в принципе могущих быть детерминированными. Название восходит к казино Монте-Карло в Монако; принцип — многократная случайная выборка.

В торговле Монте-Карло полезны для понимания и управления риском переобучения. Вместо опоры только на одну наблюдаемую эквити-кривую генерируют широкий набор возможных траекторий исходов на основе ряда PnL(%). Анализ этих симулированных путей даёт представление о спектре будущих сценариев — в том числе редких, но тяжёлых по последствиям.

Ключевая интуиция: если «удачный» исторический путь существенно лучше (или, в терминах просадок, мягче), чем типичные перестановки/перевыборки того же ряда доходностей, стратегия, скорее всего, слишком привязана к конкретной последовательности удач на истории, а не к устойчивому edge.

3. Методология

Для контроля риска overfitting используется связка «Монте-Карло + анализ просадок». Первый шаг — по историческому бэктесту стратегии сгенерировать множество серий кумулятивных сумм PnL(%) методом Монте-Карло. Симуляции многократно сэмплируют из исторических исходов, внося случайность и приближая более широкую вселенную возможных путей.

После достаточного числа симуляций для каждого симулированного пути PnL(%) считают непрерывные просадки. Просадка — падение значения стохастического процесса от пика до последующего минимума. Непрерывные просадки отслеживают такие падения на непрерывном интервале и измеряют устойчивые потери, которые стратегия может пережить.

Далее для каждого пути извлекают минимальное значение просадки. Эти минимумы образуют распределение просадок — количественную оценку «худших» сценариев.

По этому распределению находят $\alpha\%$-квантиль: значение, ниже которого лежит $\alpha\%$ минимальных просадок. Квантиль служит ориентиром для оценки поведения стратегии на невидимых данных.

Наконец сравнивают худшую историческую пиковую просадку стратегии (на валидации) с этим $\alpha\%$-квантилем. Если историческая просадка лежит за пределами квантиля (т.е. хуже, чем $\alpha\%$ симулированных минимумов), это сигнал возможного переобучения: стратегия чрезмерно заточена под историю и может хуже работать на новых данных.

Такой каркас даёт автоматизированный инструмент детекции overfitting и помогает заранее готовиться к «неприятным» траекториям рынка.

4. Шаги процедуры

1. Определить исходы PnL. Пусть $P(t)$ — стохастический процесс кумулятивной суммы изменений PnL в процентах в момент $t$ на обучающей выборке, где $t\in\{1,\ldots,N\}$, а $N$ — число наблюдений.
2. Определить процесс просадки. Обозначим $D(t)$ просадку в момент $t$: \[ D(t) = -\bigl(P(T) - P(t)\bigr), \] где $T$ — момент последнего пика PnL(%) до времени $t$. Формально \[ T = \max\bigl\{u < t : P(u)\ge P(u')\ \text{для всех}\ u'\le t\bigr\}. \] Это максимальная потеря от наивысшего значения PnL(%) до момента $t$.
3. Провести симуляции Монте-Карло. Сгенерировать $M$ симуляций на основе исходов процесса $P(t)$. Каждая симуляция $m=1,\ldots,M$ даёт случайную серию кумулятивных сумм PnL(%).
4. Собрать распределение просадок. Для каждой симуляции $m$ вычислить $D_m(t)$ и извлечь минимум процесса $D_m(t)$.
5. Найти худшую историческую просадку. Пусть $D_w$ — худший пик просадки по историческим исходам на валидационной выборке стратегии.
6. Выявить потенциальное переобучение. Если $D_w$ лежит за пределами $\alpha\%$-квантиля распределения просадок (т.е. хуже, чем $\alpha\%$ минимумов из $M$ симуляций), расхождение указывает на возможный overfitting модели.

Схематично правило решения:

# псевдокод детекции overfitting
# P_train  — ряд приростов PnL(%) на train
# Dw       — худшая пиковая просадка на validation
# M, alpha — число симуляций и уровень квантиля

sims_min_dd = []
for m in 1..M:
    path = monte_carlo_cumsum(P_train)   # случайная траектория
    Dd   = continuous_drawdown(path)     # D(t)
    sims_min_dd.append(min(Dd))

q_alpha = quantile(sims_min_dd, alpha)
if Dw хуже q_alpha:   # лежит «за» левым квантилем
    flag = "подозрение на overfitting"
else:
    flag = "просадка согласуется с MC-распределением"

5. Кейс: шесть стратегий MA и BR

Чтобы показать практическую применимость метода, рассмотрим шесть стратегий: MA-E, MA-B, MA-X, BR-E, BR-B и BR-X. Каждая прошла бэктест; метрики и ряды PnL доступны на Рис. 2 оригинала.

На первом этапе для каждой стратегии генерируют $M=1000$ симуляций Монте-Карло при $\alpha=5\%$ по историческим исходам PnL(%) (Рис. 3).

Затем для каждого симулированного пути считают непрерывные просадки (Рис. 4) и собирают минимумы в распределение просадок (Рис. 5).

Далее худшую пиковую просадку на валидации сравнивают с соответствующим квантилем.

5.1. Стратегии без признаков сильного overfitting

Для MA-B, BR-B и BR-X худшая историческая пиковая просадка на валидации лежит внутри левого 95%-квантиля соответствующих распределений (т.е. не выходит за порог $\alpha=5\%$). Это говорит о том, что эти стратегии не выглядят переобученными и имеют меньший риск плохого поведения на невидимых данных — по крайней мере в смысле согласованности валидационной просадки с MC-распределением, построенным по train-PnL.

5.2. Стратегии с признаками overfitting

Для MA-E, MA-X и BR-E худшая пиковая просадка на валидации лежит за пределами левого 95%-квантиля. Это указывает на степень переобучения: стратегии чрезмерно заточены под исторические данные и могут плохо работать на новых наблюдениях.

Практический смысл: даже при «красивой» эквити на train сравнение валидационной $D_w$ с распределением минимумов симулированных просадок помогает отделить стратегии, чьи drawdown-профили правдоподобны при перемешивании train-исходов, от тех, у кого на валидации случилось нечто существенно хуже типичных MC-сценариев — классический симптом подгонки под шум.

6. Ограничения и дальнейшие исследования

Метод на базе Монте-Карло полезен, но не свободен от ограничений.

Качество данных. Точность симуляций зависит от качества и объёма исторических данных. При шумных, коротких или нерепрезентативных рядах выводы могут вводить в заблуждение: MC не «создаёт» информацию, которой нет в исходном распределении PnL(%).

Узкий фокус метрики. Непрерывные просадки полезны, но отражают лишь один аспект эффективности. Overfitting может проявляться и через другие каналы — нестабильность сигналов, деградацию Sharpe, рост оборота, чувствительность к издержкам — которые данный тест напрямую не покрывает.

Сложность модели. Метод явно не учитывает сложность торговой модели (число параметров, глубину поиска гиперпараметров, multiple testing). Излишне сложная модель может идеально сидеть на train и плохо обобщаться; предложенный критерий ловит следствие (аномальную валидационную просадку), но не диагностирует причину в пространстве параметров.

Направления исследований. Имеет смысл изучить другие формы просадки — например, длительность drawdown — и их влияние на оценку overfitting. Полезно также проверить методологию на более широком наборе стратегий и рыночных режимов, чтобы лучше понять применимость и пределы в разных контекстах.

7. Заключение

Переобучение — существенный и часто скрытый риск при разработке и внедрении торговых стратегий. Простой анализ одной исторической кривой часто не выявляет overfitting и завышает оценку устойчивости. В заметке предложен подход на симуляциях Монте-Карло и непрерывных просадках: сравнивая худшую историческую пиковую просадку с левым квантилем MC-распределения минимумов просадок, можно детектировать потенциальное переобучение.

Кейс на шести стратегиях (MA-E/B/X, BR-E/B/X) показывает практическую ценность метода как инструмента риск-менеджмента: MA-B, BR-B и BR-X согласуются с MC-квантилем; MA-E, MA-X и BR-E — нет. Вместе с тем признаны ограничения: зависимость от качества исторических данных и фокус на одном аспекте перформанса. Дальнейшая работа может включать меры сложности модели и альтернативные формы просадки.

Литература

1. Goldberg, L.R. and Mahmoud, O. (2017). Drawdown: From Practice to Theory and Back Again.
2. Glynn, P.W. and Iglehart, D.L. (2013). Stochastic Simulation and Monte Carlo Methods.
3. Taylor, S.J. (2005). Asset Price Dynamics, Volatility, and Prediction.
4. Zhuravel, B. (2023). Continuous-Computational-Simulation. GitHub. github.com/Lourano/Continuous-Computational-Simulation · репозиторий недоступен.

Перевод выполнен с сохранением структуры и выводов оригинальной статьи Medium. Рисунки 1–5 — в оригинале. Оригинал: medium.com/@lourano.x/… · Bohdan Lourano Cranebird · 29 мая 2023.