Survivorship Bias é um viés de seleção: os resultados dos casos sobreviventes ou ainda observáveis são apresentados indevidamente como os de todo o grupo original. Estudar a oferta atual não é um erro por si só; importa qual pergunta a seleção deve responder.
Ana abre a lista atual de fundos e compara o desempenho passado. A maioria parece ter ido bem. Mas os fundos encerrados ou incorporados a outros já não aparecem. Se usasse essa lista para julgar todos os que começaram naquela época, faltaria parte da história. A QuantConnect explica esse erro com testes históricos restritos a títulos sobreviventes. Podemos fazer a mesma pergunta diante de uma tabela de projetos de criptomoedas: estudamos o grupo original ou apenas aqueles cujos dados ainda são fáceis de encontrar? [1]
Ana pode usá-la para comparar a oferta atual. Não pode presumir, porém, que teria escolhido exatamente esse grupo no início do período: naquela época, não sabia quem sobreviveria. Aqui, Survivorship Bias encontra Look-ahead Bias, o uso de conhecimento posterior numa decisão anterior. Um teste histórico precisa dos integrantes de cada momento e de regras de entrada e saída. A composição pode mudar, mas com base na informação disponível então, não no resultado conhecido hoje. [1]
Por isso são úteis bases que preservam fundos encerrados, como a base CRSP oferecida pela Morningstar. Baixar mais linhas, porém, não basta para responder à pergunta de Ana. Ela precisa definir o que conta: fundos distintos ou classes de cotas com taxas diferentes? Tratar várias classes do mesmo fundo como fundos independentes pode aumentar seu peso sem querer. Primeiro se define o grupo e a unidade de comparação; depois se examinam os resultados, inclusive dos que deixaram de ser oferecidos. [2]
Ao juntar tabelas, Ana pode perder mais histórico. Um código de negociação pode ter mudado ou ter sido atribuído depois a outro título. Unir apenas por nomes iguais pode misturar coisas diferentes; buscar só o código atual pode omitir registros antigos. A base de ações CRSP usa identificadores permanentes, como PERMNO para um título. Sua função é reconhecer registros do mesmo caso mesmo quando o nome muda. Também é preciso preservar as datas das alterações e a continuidade entre registros. [3]
Um preço ausente não pode ser simplesmente substituído por perda total. O título pode ter sido adquirido, liquidado em dinheiro ou continuado a existir fora da bolsa original. Depende do evento e do que o titular realmente recebeu. LEAN, um motor de simulação de operações, consegue processar uma retirada de negociação. Isso, sozinho, não comprova um preço de venda alcançável no mercado real. Ana não deve apagar a posição nem presumir uma venda pelo último preço exibido. Se desconhece a liquidação, deve declarar a lacuna e mostrar o efeito das hipóteses adotadas. [4]
Uma boa base inicial não garante uma seleção final correta. A QuantConnect informa que seus dados fundamentalistas incluem empresas retiradas da bolsa, mas têm cobertura definida e campos ausentes. Ana pode depois juntar tabelas mantendo apenas casos completos e eliminar discretamente outras empresas. Selecionar pela disponibilidade de um dado necessário pode ser legítimo, desde que corresponda à pergunta e à informação disponível na época. Cada exclusão precisa de motivo, momento e efeito sobre o grupo que possam ser explicados. [5]
Excluir fracassos pode embelezar o passado, mas não existe uma correção universal a subtrair. Empresas bem-sucedidas também podem sair de uma lista após uma aquisição. Importam quem falta, seus resultados e o peso atribuído a cada caso. A média simples dos retornos tampouco é, em geral, o retorno de uma carteira real: valores e datas dos aportes e outros fluxos de caixa importam. Por isso o modelo abaixo usa aportes iniciais iguais no mesmo período. A diferença numérica pertence ao exemplo, não a todos os mercados. [6]
Ana deve conseguir documentar a lista original, as regras de mudança, os casos excluídos e seus valores finais. Após corrigir o procedimento, recalcula o resultado; não apresenta o relatório antigo como corrigido. Também separa simulação retrospectiva de histórico efetivamente acompanhado ao longo do tempo. A S&P Dow Jones Indices classifica como hipotético o histórico anterior ao lançamento de um índice e aponta os efeitos do conhecimento posterior. Corrigir os integrantes não resolve Overfitting, a adaptação excessiva das regras aos dados estudados, nem custos e execução. Um passado descrito com mais honestidade é uma base melhor, não uma garantia de lucro futuro. [6]
Os mesmos resultados, outra lista
Para ter uma visão mais completa, leia este verbete junto com Backtesting, Overfitting, Walk-forward Analysis, Look-ahead Bias, Paper Trading. Também há referências a este verbete em Look-ahead Bias.
01É errado comparar fundos oferecidos hoje?+
Não, se a pergunta é sobre a oferta atual. O problema aparece quando os resultados desse grupo são apresentados como a experiência de todos os fundos disponíveis no passado. Os que foram encerrados não deveriam desaparecer dessa avaliação.
02Devo considerar um caso ausente como perda total?+
Não automaticamente. Nem a ausência de preço nem a retirada da oferta determina o que o titular recebeu. Procure a liquidação real ou explique explicitamente a hipótese do modelo e seu efeito. Não confunda um valor desconhecido com zero nem omita o caso silenciosamente.