Artigos

Auditoria independente de um backtest: o que uma revisão estatística examina além da réplica

O que uma revisão estatística de um backtest examina, como trata a seleção de variantes e por que uma medição difere de uma declaração.

Uma réplica pergunta se as mesmas regras, dados e premissas reproduzem uma trajetória. Uma auditoria estatística pergunta que evidência essa trajetória contém depois de considerar incerteza, seleção e informação ausente. São trabalhos complementares. Uma réplica pode reproduzir exatamente uma escolha ajustada ao histórico; uma revisão estatística pode identificar fragilidades sem reconstruir a lógica que gerou as operações. O Rigor analisa os arquivos enviados e as declarações que os acompanham. Esse escopo importa quando uma gestora compara pesquisas ou um fornecedor prepara a documentação de um sinal para outra pessoa.

O que significa independente nesta revisão

A independência começa por separar a análise do produto examinado. O Rigor não vende robôs nem sinais, e o preço do relatório não depende da classe obtida. Sua metodologia publica as perguntas, as regras de avaliação e as limitações. Isso permite discutir uma conclusão específica e o arquivo que a sustenta. Não transforma o auditor em observador de todo o processo de pesquisa: testes descartados, alterações anteriores e decisões sem registro podem ficar fora dos materiais enviados. Documentar essas lacunas faz parte da leitura.

Evidência estatística diante do acaso

A primeira análise examina o suporte para o Sharpe observado. O Sharpe probabilístico considera o comprimento da série, a assimetria e a curtose. O relatório também examina dependência temporal e reamostra blocos de retornos por bootstrap estacionário. Os blocos preservam parte da estrutura local que seria perdida ao embaralhar observações isoladas. O resultado continua dependente da amostra recebida e do método. Uma série curta, irregular ou dominada por episódios específicos exige ler a incerteza junto com o número principal. Repetir o cálculo não elimina essa incerteza nem acrescenta observações.

Seleção entre variantes

A pergunta seguinte é quantas oportunidades existiram para encontrar uma curva chamativa. O Sharpe deflacionado compara o resultado com uma referência que aumenta ao considerar mais tentativas. O Rigor usa a maior contagem entre a declaração e a evidência de variantes ou passagens de otimização enviadas. Quando existe uma matriz de variantes, também pode examinar sobreajuste por validação cruzada combinatória. A curva vencedora isolada não descreve as alternativas descartadas nem as decisões que a selecionaram para publicação.

Declarado · Suponha 100 variantes independentes e 3 anos de retornos diários, com 252 períodos por ano e Sharpe anual declarado de 1.8. A calculadora situa o Sharpe esperado da melhor variante sem habilidade em 1.47. É uma conta sob suposições de assimetria nula e caudas normais, não uma medição de uma carteira. A calculadora ilustra a seleção sob suas premissas; não mede uma estratégia do leitor. A independência entre tentativas é uma simplificação: variantes semelhantes podem compartilhar boa parte do comportamento. O exemplo também não reconstrói buscas anteriores que ninguém documentou.

Sensibilidade aos custos

A análise de custos recalcula operações com diferentes níveis de fricção e examina o custo de equilíbrio. Ela exige detalhes das operações e premissas identificáveis. Uma curva líquida isolada não separa comissão, spread e slippage nem estabelece como mudariam com outro volume. Sem as operações, essa seção pode ficar sem medição mesmo quando outras estatísticas estão disponíveis. A distinção importa para a réplica: reproduzir a mesma hipótese de custos estabelece consistência do cálculo, enquanto a sensibilidade a outras hipóteses continua sendo uma pergunta separada. Os rótulos dos custos devem acompanhar as comparações.

Comportamento fora da amostra

O relatório compara o período posterior à data declarada como início fora da amostra com o período anterior. Examina seu Sharpe e a distância entre ambos. A data é uma declaração do cliente; o arquivo sozinho não demonstra que foi escolhida antes de conhecer os resultados. Alterar regras depois de observar aquele período muda sua interpretação mesmo quando as datas continuam intactas. Se falta a data ou algum trecho tem observações insuficientes, o relatório identifica a limitação em vez de construir uma comparação a partir de uma divisão inadequada.

Qualidade dos dados

Outra dimensão procura problemas nos materiais: duplicados, saltos, valores congelados, depósitos e padrões associados a martingale ou grade, entre outros. Uma bandeira exige examinar sua causa e seu contexto; não reconstrói automaticamente o histórico original. A ausência de bandeiras também não estabelece a origem do arquivo. O Rigor lê o material enviado e não confere registros com uma corretora. Preservar a exportação original e explicar transformações ajuda uma gestora a responder a observações específicas sem confundir limpeza estatística com evidência de origem.

Comparação com um benchmark

A revisão compara a série com o benchmark enviado usando excesso de retorno, razão de drawdown e razão de informação. As datas precisam coincidir o suficiente para sustentar a comparação. Escolher uma referência pertinente continua sendo uma decisão de pesquisa que merece documentação: comparar com uma exposição diferente pode responder a outra pergunta. Sem o benchmark ou sem sobreposição suficiente, não se pode deduzir a comparação pelo nome da estratégia. A dimensão registra a informação ausente em vez de substituí-la por uma expectativa sobre o comportamento do modelo.

Medido, declarado e sem dados suficientes

Medido, ou Medido, significa que o relatório calculou o valor a partir do arquivo recebido. Declarado, ou Declarado, identifica algo informado pelo cliente ou pela plataforma que a análise não pode comprovar. Não medido indica informação insuficiente para aquela medição. As etiquetas se aplicam a cada valor: um Sharpe calculado pode aparecer junto de uma contagem de tentativas declarada. Medir uma operação matemática não transforma suas premissas em fatos observados. Ao compartilhar o relatório, preserve as etiquetas e limitações junto das conclusões, inclusive quando uma observação dificulta sustentar a apresentação inicial.

Perguntas frequentes

A revisão reconstrói a estratégia?

Não. Analisa os arquivos recebidos e as declarações associadas. Reconstruir o sinal ou repetir o backtest exige regras, código e dados que esta revisão não reconstrói.

Um valor medido descreve resultados futuros?

Não. Descreve um cálculo sobre o material enviado. Dependências, premissas e informação ausente continuam limitando sua interpretação; o relatório não recomenda comprar, vender ou investir.

Relacionado

Coloque à prova

A calculadora de sorte é grátis e não pede cadastro. Com a sua conta, o primeiro relatório completo também é grátis.