Veles EducationОбразовательные материалы о трейдинге, автоматизации и криптовалютном рынке

Как анализировать несколько бэктестов и выбрать стабильную стратегию

Как объединять результаты нескольких бэктестов, сравнивать периоды и метрики, чтобы получить объективную оценку торговой стратегии.

29 сентября 2026

Как объединить результаты нескольких бэктестов в одну оценку стратегии

В процессе разработки торгового алгоритма многие сталкиваются с тем, что проверка на одном временном отрезке не показывает полной картины. Качественный бэктест стратегии по индикаторам требует проверки на различных фазах рынка из-за чего неизбежно приводит к накоплению множества отчетов. Как правило, для трейдера, особенно неопытного, дать оценку всем этим полученным данным становится не самой легкой задачей.

Как оценивать несколько бэктестов

Прежде чем читать статью целиком, вот суть подхода в пяти шагах:

Зачем объединять несколько бэктестов

Одиночная проверка часто вводит в заблуждение из-за эффекта случайности. Чтобы понять реальную надежность торговой стратегии, необходимо видеть, как она ведет себя в периоды высокой волатильности, затяжного флэта и направленных трендов, то есть в разные рыночные фазы. По той причине именно анализ нескольких бэктестов позволяет выявить слабые места торговой системы, которые могут быть незаметны на коротком «удачном» отрезке.

Бэктест стратегии на платформе Veles

Объединение данных также помогает избежать ложных ожиданий. Когда вы проводите бэктест трейдинг стратегии на разных инструментах или временных периодах, вы получаете усредненный профиль риска. Что довольно важно для функционирования автоматизированных решений, где устойчивость бота к меняющимся условиям как раз и определяет сохранность капитала.

Почему нельзя сравнивать тесты без нормализации условий

Один из самых частых просчетов – сопоставление отчетов, полученных в разных условиях. Даже если два теста формально посвящены одной стратегии, разница в комиссиях, таймфреймах или типе рынка делает их данные несопоставимыми.

Параметр

Что проверить перед сравнением

Почему важно

Комиссии

Одинаковая ставка maker/taker во всех тестах

Разница в 0.05% на дистанции 500 сделок даёт до 25% расхождения в P&L

Тип рынка

Спот или фьючерс; с плечом или без

Фьючерсный тест с x3 даёт несопоставимые цифры доходности и просадки

Таймфрейм

Одинаковый TF или явное указание разницы

Стратегия на 5m и на 4h — фактически разные алгоритмы

Тип актива

BTC, ETH, альткоин; волатильность разная

Сравнение результатов на BTC и SHIB без нормализации бессмысленно

Тестовый период

Даты начала и конца, наличие бычьего/медвежьего/флэта

Тест только в бычьем 2021 году не показывает реальной устойчивости

Проскальзывание

Заложен ли slippage (хотя бы 0.05–0.1%)

Без учета проскальзывания реальные результаты будут хуже бэктеста

Funding Rate

Учтен ли фандинг при фьючерсных тестах

В трендовых периодах фандинг может съедать 5–15% годовой доходности

Практическое правило: если хотя бы один из параметров таблицы расходится между тестами, зафиксируйте это явно. Указывайте разницу в условиях в примечаниях к сводному отчету, иначе сравнение потеряет смысл, а итоговый вывод о стратегии будет недостоверным.

Обязательные метрики для сводной оценки стратегии

Сводная оценка нескольких бэктестов требует единого фундамента. Ниже перечислены показатели, которые должны присутствовать в отчете по каждому тестовому периоду. Отсутствие хотя бы одного из них – повод дополнить анализ, прежде чем делать выводы о надежности торговой стратегии.

CAGR — среднегодовая доходность

CAGR (Compound Annual Growth Rate) приводит результат теста к единому годовому эквиваленту, что позволяет корректно сравнивать периоды разной длины. Тест на 3 месяца с доходностью 30% и тест на год с доходностью 50% – это разные результаты, и CAGR наглядно показывает эту разницу. Для крипторынка приемлемым ориентиром считается CAGR выше 30–40% при условии контролируемой просадки.

Max Drawdown — максимальная просадка

Max Drawdown показывает максимальное падение капитала от пика до дна за весь тестируемый период. Важно оценивать не только глубину в процентах, но и продолжительность. Если стратегия три месяца не могла выйти из просадки – это сигнал о проблемах с риск-менеджментом. Допустимый порог зависит от риск-профиля, но большинство профессиональных трейдеров устанавливают лимит в 15–25%.

Profit Factor

Profit Factor – отношение суммарной прибыли ко суммарному убытку. Значение выше 1.5 считается хорошим стандартом. При сведении нескольких тестов следите, чтобы этот коэффициент не падал ниже 1.2 ни на одном из тестируемых участков. Систематическое же снижение в конкретных рыночных условиях указывает на уязвимость стратегии.

Win Rate — процент прибыльных сделок

Win Rate полезен не сам по себе, а в паре с profit factor и соотношением R:R. К примеру, стратегия с win rate 35% и profit factor 2.0 вполне устойчива, тогда как win rate 65% при profit factor 1.1 означает, что система едва покрывает убытки. Более информативно сравнивать этот показатель отдельно для бычьего, медвежьего и бокового рынка.

Expectancy — математическое ожидание

Expectancy (математическое ожидание) показывает среднюю прибыль на одну сделку с учётом всей статистики. Рассчитывается по формуле: (Win Rate × средняя прибыль) — (Loss Rate × средний убыток). Положительное матожидание, стабильное на всех тестируемых периодах – один из главных признаков того, что преимущество системы реальное, а не случайное.

Sharpe и Sortino Ratio

Sharpe Ratio оценивает доходность с поправкой на полную волатильность. Sortino Ratio – более точный вариант, ведь он учитывает только нисходящую волатильность (убыточные периоды), игнорируя «хорошую» волатильность вверх. Для трейдинговых ботов Sortino нагляднее, так как штрафует стратегию именно за нежелательные просадки.

Recovery Factor — фактор восстановления

Recovery Factor рассчитывается как отношение чистой прибыли к максимальной просадке. Значение выше 2.0 означает, что стратегия зарабатывает вдвое больше, чем теряет в худшей точке. Этот показатель напрямую связан с устойчивостью кривой капитала и психологическим комфортом при работе на реальном счете.

Сводная таблица оценки стратегии:

Для перевода анализа из теории в прикладной формат удобно использовать скоринговую таблицу.
Каждой метрике присваивается балл от 0 до 3 в зависимости от значения. Максимальный итоговый балл – 24. Стратегия с результатом 18 и выше является кандидатом на запуск, от 12 до 17 требует доработки, ниже 12 – пересмотра логики.

Метрика

Слабо (0 баллов)

Приемлемо (1 балл)

Хорошо (2 балла)

Отлично (3 балла)

CAGR / Доходность

< 10% годовых

10–30%

30–80%

> 80% при стабильном DD

Max Drawdown

> 40%

25–40%

10–25%

< 10%

Profit Factor

< 1.2

1.2–1.5

1.5–2.0

> 2.0

Win Rate

< 35%

35–45%

45–60%

> 60% (при PF > 1.5)

Expectancy (матожидание)

≤ 0

> 0, < 0.3%

0.3–1% от депо

> 1% от депо

Sharpe Ratio

< 0.5

0.5–1.0

1.0–2.0

> 2.0

Sortino Ratio

< 0.7

0.7–1.2

1.2–2.5

> 2.5

Recovery Factor

< 1.0

1.0–2.0

2.0–4.0

> 4.0

Как использовать таблицу: заполните ее отдельно для каждого тестового периода. Если суммарный балл существенно падает на одном из отрезков (например, на медвежьем рынке), то это прямо указывает на уязвимость стратегии в данной фазе цикла. Усредните итоговые баллы по всем периодам и получите оценку.

Как свести данные в одну картину

Наиболее эффективным методом является агрегация данных бэктеста в единую таблицу или сводный график. Профессионалы часто используют подход in sample и out of sample. Сначала стратегия настраивается на одном участке (in sample), а затем проверяется на совершенно новом периоде (out of sample). Если результаты на «незнакомых» данных значительно хуже, то это верный признак того, что произошла переоптимизация стратегии.

Для более глубокой проверки используется walk forward анализ. Данный метод предполагает последовательное смещение окна тестирования и оптимизации. Он дает больше понимания, как анализировать бэктест, чтобы увидеть динамику изменения эффективности системы во времени.
Торговые боты от платформы Veles помогают автоматизировать исполнение выбранных моделей, однако именно качественная сводная аналитика на этапе теста определяет, какие настройки попадут в работу.

Walk-forward, out-of-sample и стресс-тесты

Базовое сравнение отчетов – только первый уровень анализа. Для полноценной проверки устойчивости стратегии применяются три дополнительных метода, которые приближают результаты тестирования к реальной торговле.

Out-of-sample тестирование

Out-of-sample (OOS) – проверка стратегии на данных, которые не использовались при ее настройке. Принцип заключается в делении истории на два блока. Первый (in-sample) используете для подбора параметров, второй (out-of-sample) – для независимой проверки. Если на OOS-участке profit factor и доходность снижаются более чем на 30% по сравнению с in-sample, то вероятность переобучения высока.

Пример: стратегия показала profit factor 2.1 на периоде 2020–2022 (in-sample) и 1.6 на периоде 2023–2024 (out-of-sample). Снижение на 24% – в пределах нормы. Если бы OOS показал 0.9, то стратегию следовало бы пересмотреть.

Walk-forward анализ

Walk-forward анализ предполагает последовательное смещение окна тестирования. Стратегия оптимизируется на одном отрезке, затем проверяется на следующем, окно сдвигается и так по всей доступной истории. Этот метод дает ответ на вопрос, насколько устойчиво алгоритм адаптируется к меняющимся условиям рынка.

Хорошим результатом считается положительный итог на 70% и более тестируемых окон. Если стратегия прибыльна лишь на 40% окон, то ее преимущество нестабильно и, вероятно, зависит от конкретной рыночной фазы. Walk-forward довольно полезен для ботов с динамической сеткой ордеров, где параметры чувствительны к волатильности.

Стресс-тестирование

Стресс-тест – намеренное тестирование стратегии в условиях экстремальной волатильности и аномальных рыночных событий. В криптовалютном рынке ключевые периоды для стресс-теста:

Если стратегия проходит стресс-тест с просадкой в пределах заранее установленного лимита, то она готова к работе в реальных условиях. Если же во время стресс-теста происходит margin call или потеря более 50% депозита, значит параметры риск-менеджмента необходимо пересмотреть до запуска.

Дополнительно рекомендуется провести Monte Carlo симуляцию: случайным образом перемешать порядок сделок из отчета и запустить несколько сотен итераций. Она покажет диапазон возможных исходов и наихудший сценарий для вашего конкретного набора сделок.

Проверка стабильности стратегии

Пожалуй, главным параметром при объединении результатов является стабильность стратегии. Если на одном периоде система показывает доходность 50%, а на другом убыток 40%, то ее нельзя считать надежной. Оптимальная модель должна демонстрировать сопоставимые результаты на всех протестированных участках.

Рыночные циклы на примере графика Биткоина

Проводится также оценка стратегии на разных рынках,например, на BTC и ETH одновременно. Если алгоритм прибылен только на одной монете и убыточен на всех остальных, велика вероятность, что он просто «подогнан» под конкретный график. Подлинная же надежность торговой стратегии подтверждается ее способностью сохранять положительное математическое ожидание в различных рыночных условиях без радикальной смены настроек.

Итоговая оценка стратегии

Финальный этап анализа подразумевает вынесение вердикта о готовности алгоритма к работе с реальным капиталом. На данном этапе во внимание берется не максимальная доходность, которая часто бывает следствием избыточного риска, а именно коэффициент восстановления и стабильность кривой капитала на всех протестированных отрезках. Итоговая оценка стратегии на разных рынках дает возможность понять, обладает ли система реальным преимуществом или ее показатели – результат удачного стечения обстоятельств на конкретном временном интервале.

В процессе вынесения оценки важно сопоставить результаты бэктеста стратегии с реальными торговыми условиями, включая проскальзывания и динамические комиссии. Как мы выяснили ранее, профессиональный подход требует, чтобы система сохраняла положительное математическое ожидание даже при ухудшении условий исполнения на 10–15%. Если даже после таких ситуаций надежность торговой стратегии остается высокой, а просадка не превышает выставленные лимиты, то модель признается пригодной для торговли на реальном рынке.

Завершающим штрихом становится выбор между несколькими вариантами настроек. Трейдер решает, как выбрать лучшую стратегию, отдавая предпочтение той, которая продемонстрировала наиболее плавный рост без резких скачков доходности и аномальных затяжных пауз. Такой взвешенный подход даст больше уверенности, что запущенные боты будут работать предсказуемо, обеспечивая планомерное развитие депозита и психологический комфорт владельца в условиях реальной рыночной волатильности.

Распространенные ошибки при объединении бэктестов

Как проводить тестирование и сравнение бэктестов разобрались. Далее стоит рассмотреть факторы и ошибки новичков, на которые необходимо обращать внимание при проверке торговых стратегий.

  1. Минимизация рыночного шума в результатах
    Проверка на одном коротком отрезке часто будет выдавать желаемое за действительное. Объединяя данные, вы отсеиваете случайные всплески доходности и видите, как алгоритм справляется с естественными колебаниями цены, что подтверждает реальную надежность торговой стратегии.
  2. Оценка работы в различных фазах цикла
    Крипто рынок постоянно меняет свое состояние от агрессивного роста до изнурительного боковика. Именно сравнение периодов бэктеста позволяет убедиться, что система не «сломается», когда на смену тренду придет затяжное затишье или резкая коррекция.
  3. Поиск универсальных параметров
    Если бэктест стратегии по индикаторам показывает прибыль только на одной монете, то велика вероятность случайного совпадения. Проверка на нескольких активах помогает найти те настройки, которые демонстрируют стабильность на всем спектре выбранных пар.
  4. Выявление скрытых рисков
    Один тест может не попасть на период экстремальной волатильности. Анализ нескольких бэктестов помогает обнаружить худший сценарий развития событий, позволяя заранее настроить риск-менеджмент так, чтобы итоговый drawdown оставался в рамках допустимого.
  5. Борьба с переобучением системы
    Трейдеры часто подстраивают индикаторы под прошлые движения цены. Интеграция данных и использование walk forward анализа показывают, сохраняет ли модель свою эффективность на новых, ранее не виданных ею участках графика.
  6. Повышение статистической значимости
    Десять сделок в одном отчете – это больше случайность, а вот пятьсот сделок, собранных из разных периодов, это уже более объективная статистика. Высокий винрейт стратегии, подтвержденный на большой выборке данных, дает психологическую уверенность при работе с реальным капиталом.
  7. Оптимизация кредитного плеча и объемов
    Понимая средние метрики эффективности трейдинга по нескольким тестам, проще рассчитать безопасный размер позиции. Так можно избежать ситуации, когда чрезмерная нагрузка на депозит приводит к ликвидации из-за одной непредвиденной аномалии.
  8. Проверка корреляции активов в портфеле
    Объединение тестов показывает, не дублируют ли монеты движения друг друга. Если все активы в портфеле падают одновременно, то и стабильность стратегии соответственно падает. Поэтому объединение данных помогает вовремя скорректировать список торгуемых пар.
  9. Подготовка к реальным торговым издержкам
    Агрегированные данные позволяют точнее оценить влияние комиссий на дистанции. На коротком тесте расходы на биржу могут казаться незначительными, однако на долгой дистанции они способны существенно снизить ваш profit factor.
  10. Принятие обоснованного решения о запуске
    Итоговая агрегация данных бэктеста дает четкий ответ на вопрос, подходит ли данная модель для автоматизации. Она является одним из финальных фильтров, который отделяет сырые идеи от готовых стратегий, достойных занять место в вашей торговой стратегии.

Чек-лист: когда стратегию можно считать условно устойчивой

Перед запуском стратегии на реальном счете сверьтесь с этим списком. Он объединяет основные критерии из всех разделов статьи и служит финальным фильтром. Если стратегия проходит 8 из 10 пунктов – она готова к торговле с ограниченным риском. Все 10 пунктов – можно переходить к полноценному запуску.

Критерий устойчивости

Почему это важно

Profit Factor ≥ 1.5 на каждом из тестируемых периодов по отдельности

Базовая прибыльность подтверждена не на одном, а на всех отрезках

Max Drawdown не превышает заранее установленный лимит риска (обычно 15–25%)

Просадка вписывается в риск-профиль депозита

Положительное математическое ожидание сохраняется даже с учётом +10–15% к комиссиям

Стратегия устойчива к ухудшению условий исполнения

Out-of-sample результаты не хуже in-sample более чем на 30%

Система не переобучена под исторические данные

Walk-forward тест дал положительный результат хотя бы на 70% окон

Алгоритм адаптируется к смещению рыночных условий

Стратегия прошла стресс-тест (период экстремальной волатильности: март 2020, май 2021, FTX, 11 октября 2025)

Поведение в «чёрных лебедях» известно заранее

Recovery Factor ≥ 2.0 – система способна восстанавливаться быстрее, чем накапливает убытки

Капитал не застревает в просадке надолго

Win Rate соответствует ожиданиям: при низком WR Profit Factor компенсирует это соотношением R:R

Нет скрытой зависимости от редких «случайных» крупных сделок

Sharpe или Sortino Ratio ≥ 1.0 стабильно на всех периодах

Доходность оправдана принятым риском

Нет аномальных месяцев, где прибыль в 3+ раза превышает среднюю – или они объяснены логикой стратегии

Кривая капитала плавная, без случайных всплесков

Данный чек-лист удобно заполнять параллельно со сводной таблицей метрик. Вместе они дают полный ответ на вопрос: стоит ли доверять этой стратегии реальный капитал. В Veles Finance встроены инструменты бэктестирования и статистики, которые позволяют проверить большинство этих критериев прямо на платформе, без дополнительных инструментов и ручных расчетов.

FAQ

Зачем объединять результаты нескольких бэктестов?
Объединение помогает увидеть реальную стабильность стратегии, а не случайно удачный период, а также снижает риск ошибок при принятии торговых решений.

Какие метрики важнее всего при анализе нескольких бэктестов?
В первую очередь учитывают profit factor и drawdown, винрейт стратегии, а также динамику доходности на разных рыночных фазах.

Чем опасна переоптимизация при работе с несколькими бэктестами?
Переоптимизация стратегии искажает картину, создавая видимость высокой прибыльности, которая исчезает при торговле на новых данных.

Зачем использовать in sample и out of sample данные?
Разделение на in sample и out of sample показывает, работает ли стратегия за пределами обучающего периода и сохраняет ли она логику на новом рынке.

Как понять, что стратегия готова к реальной торговле?
Если результаты бэктеста стратегии стабильны на разных периодах и рынках, просадка контролируема, а логика подтверждается тестами, то стратегию можно рассматривать для запуска.