Есть 2 способа проверить, приносит ли прибыль система.
Первым способом является торговля по этой системе в реальном времени, а вторым - ее тестирование. Вы узнаете ее положительные и отрицательные черты и, если тестируете правильно, узнаете, чего можно ожидать при торговле в реальном времени.
Это может звучать упрощенно, но, если при тестировании ваша система не прибыльна, она не будет прибыльной в реальном времени.
Выбор периода тестирования
Период тестирования должен быть достаточно продолжительным для проведения минимум 30 торгов на каждой валютной паре.
Получение менее 30 торгов нарушает одно из основных правил теории выборок, которое гласит, что должно существовать по меньшей мере 30 точек данных для того, чтобы набор данных отвечал нормальному распределению.
Любое число менее 30 произведет статистически ненадежные результаты. Чем больше количество торгов, тем лучше.
Приблизительно достоверность проведенного тестирования можно определить по следующей формуле:
где - количество тестов. Например, при N=25, то есть достоверность результатов равна 80%.
Этапы тестирования
Тестирование системы проходит в три этапа:
1. Предварительное тестирование. На этом этапе тестируется идея, положенная в основу Вашей торговой системы.
2. Оптимизация. На этом этапе происходит подбор наилучших параметров.
3. Окончательное тестирование. Тестирование происходит с учетом выставленных стопов. Размер открываемой позиции определяется с учетом теории управления капиталом.
Оптимально, чтобы периоды тестирования для всех этих этапов были различны.
Тестирование можно проводить двумя способами: - Ручное тестирование; - Компьютерное тестирование.
Определение параметров эффективности торговой системы
По результатам тестирования рассчитываются параметры эффективности используемой торговой системы.
Выделим следующие основные параметры, которые позволяют сделать вывод о применимости той или иной торговой системы либо сравнить между собой несколько систем.
Вот эти параметры:
1. Чистая (итоговая) прибыль Р (в %). 2. Сумма всех прибыльных сделок S(P) 3. Сумма всех убыточных сделок S(L) 4. MIDD (максимальная просадка), drawdown 5. Фактор восстановления RF=P/MIDD 6. Профит-фактор PF=S(P)/S(L) 7. Общее количество совершенных сделок 8. Доля прибыльных сделок (%) 9. Доля убыточных сделок (%)
Часто при создании торговых стратегий трейдеры гонятся за максимальной прибыльностью системы.
Однако важнее бывает не повысить значение ожидаемой прибыльности, а сократить возможный риск, который выражается в максимальной просадке (MIDD). Также имеет значение протяженность этого периода по времени.
Простой, но сравнительно надежный способ оценки эффективности торговой стратегии - определить отношение доходности к максимальной просадке системы на исследуемом периоде, так называемый фактор восстановления (recovery factor). К примеру, если доходность системы 45% годовых, а максимальная просадка вышла 15%, фактор восстановления будет равен 3.
Если сравнивать две системы с различными значениями доходностей и просадок, то лучше будет та система, у которой выше фактор восстановления.
Система, дающая 30% годовых с просадкой 5% будет лучше, чем система с 100% годовых и просадкой в 40%.
Эмпирически установленное граничное значение профит-фактора принято равным 1,6.
Если профит-фактор системы превышает 1,6, то она показывает хорошую эффективность, если менее, то недостаточную.
В последнем случае необходимо проанализировать статистику совершенных торговых операций, выявить сделки, которые максимально повлияли на снижение профит-фактора, и провести целенаправленную модификацию системы.
Параметр «количество сделок» нужен для оценки статистической значимости первых двух параметров. Если сделок будет слишком мало, то тогда результаты тестирования системы вызывают большое сомнение.
Обычно, для получения достоверных результатов достаточно, чтобы в процессе тестирования прошло не менее 30 сделок.
Если ретроспективная результативность удовлетворяет, можно попытаться применить систему на данных реального времени.
При этом целесообразно опробовать ТС сначала на виртуальных, а затем уже на реальных деньгах.
Оптимизация
При построении надежной ТС приходится идти по пути проб и ошибок, постоянно оптимизируя систему.
Оптимизация это поиск наилучшего из возможных решений задачи.
В ТС под решением задачи понимается выработка определенного набора правил торговли, а также ряда системных параметров.
Во всех ТС есть не менее двух правил (правило входа и правило выхода), и несколько параметров.
Правила определяют логику системы и обычно имеют вид команд типа «если - то».
Параметры конкретизируют описанную в правилах логику и могут включать в себя: длины скользящих средних, уровни защитной остановки и цели фиксации прибыли, а также временные параметры компьютерных индикаторов, и многое другое.
Всегда надо отдавать себе отчет в скрытой опасности оптимизации. Любой индикатор или набор индикаторов покажут огромный доход, будучи оптимизированы для получения лучшей комбинации параметров, даже при использовании случайного набора данных.
Компьютер анализирует миллионы комбинаций, поэтому существует очень большая вероятность, что некоторые из них, по крайней мере задним числом, будут делать деньги.
Происходит так называемое «подстраивание под кривую». Поэтому с оптимизацией нужно быть осторожным. Одно из условий правильной оптимизации – небольшое изменение параметров не должно сильно менять результаты теста. Если такое имеет место – это верный признак недееспособности системы.
Основной принцип, которого необходимо придерживаться в ходе оптимизации: количество оптимизируемых параметров не должно быть большим. Рекомендуется использовать до 5 оптимизируемых параметров.
Каждый параметр, добавляющийся к торговой системе, представляет собой потерю степени контроля над конечной отдачей процедуры тестирования.
Чем больше технических исследований или торговых правил вы вводите, тем менее здоровыми и надежными будут результаты.
Чем больше вы стараетесь улучшить систему, тем с меньшей вероятностью она будет работать так же, как при тестировании.
Роберт Причер формулирует это так: "Большинство игроков берут хорошую систему игры и ломают ее, пытаясь сделать совершенной”.
Вывод о пригодности системы или необходимости доработки
Однозначных критериев для определения пригодности системы нет и быть не может.
Каждый решает сам, какая система его устраивает, а какая нет. Можно лишь дать некоторые рекомендации:
- Система определенно должна быть прибыльной и чем больше, тем лучше. Для этого она и создавалась. Минимальная же величина процента годовой прибыльности определяется трейдером.
- Значение профит-фактора должно быть больше 1.6.
- Значение фактора восстановления должно быть больше 2.
- Количество прибыльных сделок должно быть больше, чем количество убыточных (желательно).
После того, как было принято решение о пригодности торговой системы, можно приступать к ее использованию. Рекомендуется в течение некоторого времени понаблюдать за работой новой системы на виртуальном счете.
Если же результаты окажутся удовлетворительными, тогда начинать ее использование на реальном счете.
где - количество тестов.
, то есть достоверность результатов равна 80%.
