602 / 736SURV

Survivorship Bias

幸存者偏差

Survivorship Bias 指评估原始群体时,忽略了后来从可用数据集中消失的单位。今天的赢家或仍活跃基金的历史,可能回答了与当时所有合资格参与者的历史不同的问题。关键在于选择规则、各时点的成员身份,以及消失头寸的结算处理。

Survivorship Bias 是在仅选择幸存或仍可观察到的单位后,将其结果当作更广泛原始总体的结果所造成的偏差。单纯描述一个明确界定的当前群体,并不自动构成错误。

QuantConnect 描述的 Survivorship Bias 是:测试只包含存续到期末的证券,遗漏已经退市的证券。我们的检查从原始集合开始:哪些单位在纳入时符合条件?今天的名单不能证明当时的组成。参与标准必须在结果之前说明,并适用于后来消失的单位。否则,计算出的平均值所回答的问题就变了。 [1]

QuantConnect 明确将回溯使用今天的指数成分与 Look-ahead Bias 联系起来:当时的决策不可能知道今天的组成。因此,我们的审计保存集合成员进入和退出的时间历史,以及其生效规则。仅有当前成员的历史价格是不够的。动态选择时,必须为每个相关决策时点重建当时可得的名单;自动变更成员本身不能证明数据正确。 [1]

据 Morningstar 介绍,CRSP Survivor-Bias-Free US Mutual Fund Database 也保存已不活跃基金的信息。我们的方法推论是:不能用当前可购买基金的概览替代对原始群体的评估。必须说明分析单位,例如基金或其份额类别,并防止同一敞口被无意重复计入。如果目标只是描述当前供给,这种较窄的集合可以合理,但不得把它的收益率当作整个原始群体的结果。 [2]

Morningstar 表示,CRSP 股票数据库包含活跃及不活跃证券,并使用永久标识符追踪其历史。因此,我们的实现规则将工具身份与显示名称分开。更名不能制造虚假的新起点,数据连接也不能误将不同工具拼接在一起。应保留与事件、日期及记录来源的关联。仅仅匹配今天的交易代码,不足以作为长期历史序列的连接键。 [3]

LEAN 文档将退市事件及其处理与一般价格数据分开说明。我们的会计核查要求证明所持头寸、现金及可能的后续结算发生了什么。价格缺失既不代表已证实的零值,也不代表已经按最后可得价格成交。最终结果未知时,应明确标为未知,并说明其影响或情景;不能仅因某个单位的历史比其他单位更早结束,就将整个单位删除。 [4]

QuantConnect 表示,其股票基本面集合包括退市证券,但同时排除某些类别,个别字段也存在缺失值。我们的结论是:数据库的名称本身不能验证后续过滤和表连接是否正确。审计应记录剔除记录的数量、原因和过滤应用的时点。补全缺失数据或过滤掉缺失记录,都不应悄悄产生与研究承诺不同的总体。 [5]

S&P Dow Jones Indices 提醒,回算结果可能含有幸存者或前视偏差,并非真实交易。下方自设的虚构例子保持各单位结果不变,只隔离出选择变化的影响。它不表示市场中典型的误差大小。在其他集合中,成功的单位也可能退出,因此不能预先保证差异方向。必须说明权重、期间及现金流处理;简单平均值与实际投资组合收益率并不自动等价。 [6]

S&P Dow Jones Indices 区分指数推出前的假设历史与实际发布后的结果,并指向成员变更的方法说明。因此,我们的最终记录保存原始总体、参与规则、被剔除单位、期末值来源以及重算结果。修正后的报告必须替换错误报告。消除 Survivorship Bias 本身并不能解决其他 Look-ahead Bias、Overfitting、交易成本或成交可得性问题。即使历史更完整,也不是未来收益的承诺。 [6]

示例示例 · SURV

相同的结果,不同的所选群体

我们自设的虚构模型在同一期间观察四个同时存在的单位 A、B、C 和 D。它们在期初均合资格,每个单位以 100 USD 开始,没有债务、杠杆或外部资金流。其已证实且包含结算的期末价值为 [120, 110, 80, 60] USD;可能产生的成本已经计入这些值。简单收益率为 [20, 10, -20, -40] %。今天的名单只包含 A 和 B,幸存标记为 [1, 1, 0, 0]。C 和 D 已不在名单上,但模型中知道它们的期末价值,并不将其替换为零。整个原始群体的期初价值为 400 USD,期末价值为 370 USD,即结果为 -30 USD、收益率为 -7.5 %。在这里,相等的初始投入使该收益率等于四项收益率的简单平均值。事后选出的 A 和 B 群体期初价值为 200 USD,期末价值为 230 USD,即结果为 30 USD、收益率为 15 %。差异为 22.5 个百分点,而不是一个收益率相对于另一个的百分比增长。图表展示每个单位的收益率,并区分今天名单中仍包含的单位。这不是时间序列,也不是四次重复交易。所选的一对单位并不是一条可执行的规则,不能以当时已知未来是否幸存为前提。这个例子不是基金或 Bitcoin 的历史结果,也不确定其他集合中偏差的大小或方向。

要获得更完整的理解,请将本词条与以下词条结合阅读: Backtesting, Overfitting, Walk-forward Analysis, Look-ahead Bias, Paper Trading. 反向关联还来自: Look-ahead Bias.

01列出目前活跃的基金总是错误的吗?

不是。它可以正确描述当前供给。错误在于将其历史当作整个原始群体的经历,包括后来消失的基金。是否有误取决于问题和选择规则。

02给缺失单位计入全部损失就够了吗?

不够。从名单中剔除或价格缺失,本身都不能证明全部损失。必须说明实际或模型中的结算,承认未知值并解释假设,而不是悄悄遗漏或用零替换。

DOC · 001QuantConnect — Research Guide: Survivorship Bias文档 DOC · 002Morningstar — CRSP Survivor-Bias-Free US Mutual Fund Database文档 DOC · 003Morningstar — CRSP US Stock Databases文档 DOC · 004QuantConnect — US Equity Corporate Actions文档 DOC · 005QuantConnect — Fundamental Universes文档 DOC · 006S&P Dow Jones Indices — Performance Disclosure文档
修订日期: 来源优先 · 非投资建议