Fiz um robô com IA em 30 minutos: como saber se o backtest é sorte

Declarado · Os trinta minutos do título descrevem uma situação ilustrativa, não um desenvolvimento cronometrado pelo Rigor. Um tópico viral mostra a instrução enviada ao agente, o código e uma curva ascendente. O que costuma desaparecer é o caminho entre essas imagens: instruções descartadas, filtros acrescentados e mudanças de mercado depois de olhar o resultado. Produzir código depressa não produz evidência nova. Antes de interpretar a curva, reconstrua quantas oportunidades o processo teve de encontrar uma coincidência favorável no mesmo passado. A ferramenta não recupera sozinha esse registro.

Conte a busca completa

Sempre que o agente testa uma regra e recebe o resultado, essa informação pode orientar a mudança seguinte. Trocar indicador, saída, horário ou mercado faz parte da busca mesmo quando o arquivo final mantém o nome original. As versões omitidas do tópico também contam. Mensagens do chat não equivalem a configurações: uma instrução pode lançar muitas combinações, enquanto uma correção de sintaxe pode não alterar regra alguma.

Guarde os registros do otimizador, as versões e o critério de escolha. Se parte do percurso estiver ausente, declare essa falta. Uma contagem parcial não deve aparecer como total medido apenas porque é a única disponível.

Compare com uma busca sem habilidade

A calculadora pública recebe Sharpe anual, duração do histórico e quantidade de configurações. Ela compara o resultado declarado com o Sharpe esperado da melhor variante sem habilidade sob suas suposições. Essa referência não descreve uma conta concreta. Também não é a probabilidade de o robô funcionar depois. Ela resume quanto a seleção entre alternativas pode elevar o maior resultado observado.

A tabela usa entradas declaradas e retornos diários com caudas normais. Mantém o Sharpe de entrada ao variar duração e tentativas. Variantes semelhantes não são independentes: mantenha essa limitação visível, sem transformá-la em permissão para apagar configurações que foram testadas. O registro deve explicar o processo de seleção.

Leia a tabela antes de celebrar a curva

A tabela cruza tamanhos de busca com durações do histórico. Cada linha chama novamente a calculadora; nenhuma célula vem de uma captura viral. Aumentar a busca eleva a referência de sorte, enquanto ampliar o histórico costuma reduzir sua dispersão. Isso ajuda a explicar por que uma curva escolhida depois de muitos testes exige mais contexto que uma regra definida antes da análise.

Anos e operações são quantidades diferentes. Muitas entradas concentradas no mesmo episódio podem oferecer pouca diversidade. Examine a cobertura temporal, os intervalos sem atividade e as mudanças de condições, além do total de linhas. O calendário faz parte da interpretação, não apenas da apresentação.

Examine os custos em dobro

Declarado · O teste a 2x é um cenário: dobre as suposições de custos e compare com o cálculo base. Documente comissão, spread, deslizamento e financiamento quando aplicáveis. Evite descontar novamente um custo já incluído nos retornos líquidos. Se houver apenas retornos agregados e as operações ou despesas forem desconhecidas, esse efeito fica Não medido. Uma estimativa conveniente não preenche a falta de evidência.

O Rigor examina a sensibilidade a custos quando o arquivo enviado contém as informações necessárias. Observe a mudança e identifique o que continua sem medição. Um cenário de custos não reproduz todas as condições de execução de uma plataforma, inclusive atrasos em momentos de interrupção.

Sharpe esperado por sorte

Declarado · Suponha 100 variantes independentes e 3 anos de retornos diários, com 252 períodos por ano e Sharpe anual declarado de 1.8. A calculadora situa o Sharpe esperado da melhor variante sem habilidade em 1.47. É uma conta sob suposições de assimetria nula e caudas normais, não uma medição de uma carteira.

Separe desenvolvimento e avaliação

Reserve um período que o agente ainda não tenha visto e defina antes a comparação. Se alterar a estratégia depois de observar esse resultado, o período já influenciou o desenvolvimento. Mantenha isso no registro da busca e explique a mudança. Repetir o ciclo até obter uma curva atraente não recupera a independência perdida. Um trecho intocado limita a informação que volta para a escolha.

Examine também se os preços estavam disponíveis no momento da decisão, como os dados foram ajustados e se o universo conserva instrumentos que desapareceram. Um erro de datas pode dominar qualquer correção estatística. Peça ao agente explicações sobre escolhas e suposições; uma resposta confiante não substitui uma checagem reproduzível dos dados.

Leve a evidência ao leitor público

O leitor público relacionado permite começar por números declarados. A calculadora ajuda a explorar outros tamanhos de busca. Para examinar o histórico, preserve o arquivo original junto com as tentativas conhecidas, a frequência e os custos. Uma imagem do saldo não contém esse registro, e uma narrativa não recupera observações ausentes.

No relatório, Medido identifica cálculos com os arquivos, Declarado identifica o que você informou e Não medido identifica o que não pôde ser avaliado. O primeiro relatório completo gratuito usa o mesmo acesso dos demais artigos. A leitura pode apontar ausências ou fragilidades do backtest; não decide por você nem conecta o robô a uma conta.

Perguntas frequentes

A IA muda como interpretar um backtest?

Ela muda a velocidade de exploração, mas continuam relevantes os dados disponíveis ao decidir, os custos e as variantes descartadas. Se o agente recebeu resultados anteriores, registre esse percurso. O arquivo escolhido sozinho não revela toda a busca nem mostra quais alternativas influenciaram a escolha.

Relacionado

• Leitor de números
• Vantagem ou sorte? Calculadora de Sharpe deflacionado
• Como auditamos