O relatório do testador de estratégias do MT5 resume uma única rodada: quantas operações o robô fez, a relação entre o que as operações positivas somaram e o que as negativas tiraram (fator de lucro), o resultado líquido médio por operação (lucro esperado), quanto a conta caiu desde o pico (drawdown) e um Sharpe que o próprio testador calcula. Esses cinco números se leem em um minuto. O que o relatório deixa de fora importa quase mais: ele não diz quantas configurações você testou antes desta, quais custos assumiu, se os dados tinham buracos, nem se alguma parte do período ficou fora da otimização. Este artigo explica cada número, os que são mal interpretados e o que acrescentar antes de confiar no resultado.
O que o relatório traz e de onde ele sai
O relatório é salvo na aba Backtest: clique com o botão direito, Report, HTML ou Open XML (versões antigas: Save as Report). No topo vem o cabeçalho com expert, símbolo, período, parâmetros, depósito inicial e alavancagem; abaixo, os resultados e a curva de saldo e patrimônio.
Tudo descreve uma única rodada, com uma única configuração, sobre um único intervalo de datas. O guia para exportar o relatório do MT5 mostra o arquivo exato passo a passo.
Os cinco números para olhar primeiro
Total de operações: quantas vezes o robô entrou e saiu. Com poucas, os outros números dependem de dois ou três resultados grandes. Anote também quantos anos o período cobre.
Fator de lucro: a soma das operações positivas dividida pela soma das negativas. Lucro esperado (expected payoff): o resultado líquido dividido pelo número de operações, na moeda da conta; cresce com o lote mesmo que a estratégia seja a mesma.
Drawdown: há redução do saldo e do patrimônio, cada uma absoluta, máxima e relativa. Para uma conta real ou um desafio olhe a máxima do patrimônio, que inclui as perdas flutuantes. O quinto, o Sharpe, fica para a próxima seção.
Os números que se leem mal com facilidade
O percentual de operações positivas engana sozinho. Um grid ou um martingale fecha quase tudo no positivo e guarda a perda em uma única operação grande: compare a operação de maior perda com o lucro médio por operação. Se uma negativa apaga dezenas de positivas, o percentual não serve.
O Sharpe do relatório não indica quais retornos usou nem se está anualizado, então não é comparável com um Sharpe calculado sobre retornos diários, como o da calculadora do Rigor. Ele serve para comparar rodadas no mesmo testador, nada mais.
Modo de ticks e qualidade da modelagem
O MT5 tem quatro modos de ticks: cada tick, cada tick com base em ticks reais, OHLC de 1 minuto e só preços de abertura. Sem ticks reais, o testador fabrica o caminho do preço dentro de cada minuto a partir das barras, e os stops são executados sobre esse caminho inventado. Com ticks reais ele preenche com ticks gerados onde faltam; o relatório mostra o total, não quais eram reais.
OHLC de 1 minuto e só abertura servem para explorar, não para o relatório final: eles não veem o preço dentro da barra nem sabem se o stop ou o take profit foi tocado primeiro. Para compartilhar, use ticks reais e anote o modo.
O que o relatório nunca diz
Quantas configurações você testou. O relatório descreve a última rodada; as anteriores ficam no XML de otimização. Com três anos de retornos diários e nenhuma vantagem real, a melhor de 10 configurações mostra um Sharpe de cerca de 0.9 só por sorte; a melhor de 100, 1.5; a melhor de mil, 1.9.
Quais custos assumiu, nem com quais dados. Não há linha de custos: o spread foi o da configuração, a comissão a do servidor da corretora e o slippage só o atraso de execução que você definiu. Ele também não confere barras duplicadas, preços congelados, buracos nem picos.
Se houve fora da amostra. Nada mostra que o período foi dividido: se você escolheu os parâmetros olhando essas mesmas datas, o resultado é dentro da amostra, por melhor que pareça.
O que acrescentar antes de confiar nele
Primeiro, escreva o que o relatório omite: passagens da otimização, modo de ticks, spread e comissão, e datas otimizadas. Exporte o XML de otimização junto com o relatório; o guia da otimização do MT5 explica como.
Segundo, repita a rodada final com ticks reais e com o dobro e o triplo do custo por operação; anote em qual custo o resultado líquido chega a zero. Terceiro, rode-a em datas que você não usou para otimizar e reporte esse resultado à parte, mesmo que seja pior.
Quarto, compare o Sharpe com o que a sorte daria com os seus anos e as suas tentativas: a calculadora do Rigor é gratuita e não pede cadastro. O Rigor lê os dois arquivos e mede, entre outras coisas, a significância do Sharpe, as configurações testadas, o resultado a 1x, 2x e 3x custos e 35 sinais de alerta nos dados, cada um marcado como Medido, Declarado ou Não medido.
Perguntas frequentes
Um Sharpe de 2 no relatório do testador é bom?
Depende de quantas configurações você testou e de quantos anos o período cobre: com dois anos e 500 tentativas, a melhor configuração sem vantagem real mostra cerca de 2.2 só por sorte; com um ano e 200 tentativas, cerca de 2.8.
O que significa Qualidade do histórico 100%?
Que não faltaram barras de um minuto e nenhuma tinha volume 1 com preços diferentes, a única coisa que o MT5 conta como dado incorreto. Não diz se essas barras trazem preços congelados, picos falsos ou duplicatas, nem se os ticks de cada minuto eram reais ou gerados.
Quantas operações o relatório precisa para ser confiável?
O relatório não responde isso: depende dos anos cobertos e das tentativas anteriores, não só da contagem. Com mil tentativas, são necessários cerca de 3.3 anos de dados para que a sorte sozinha fique abaixo de um Sharpe de 1.8. Coloque os seus anos e as suas tentativas na calculadora.