7.9 验证指标有效性：IC、分层单调性与样本外检验

造出指标只是第一步。更关键的问题是：这个指标到底有没有预测力？这一篇给你三套验证方法。

一、为什么必须验证#

一个指标「看起来有道理」和「真的有预测力」是两回事。

二、方法一：IC（信息系数）#

概念#

IC = 你的指标与未来实际结果之间的相关系数。这是量化领域最基础的有效性检验。

实现#

import numpy as np
from scipy.stats import spearmanr

def calc_ic(metric_values, future_outcomes):
    """计算信息系数

    metric_values  : 你构造的指标值（如进攻强度实时指数）
    future_outcomes: 对应比赛的实际结果（如净胜球、是否取胜）

    用 Spearman 秩相关：对异常值更鲁棒，且不假设线性关系
    """
    if len(metric_values) != len(future_outcomes) or len(metric_values) < 30:
        return None

    ic, pvalue = spearmanr(metric_values, future_outcomes)
    return {
        'ic': round(float(ic), 4),
        'pvalue': round(float(pvalue), 4),
        'n': len(metric_values),
        'significant': pvalue < 0.05,
    }

关于 IC 的三个要点#

• 样本量至少 30，最好 200 以上，否则 IC 本身就不稳定；
• 必须用「未来」结果：指标在赛前算，结果在赛后取，不能倒过来；
• IC 波动本身也是信息：计算滚动 IC，如果某段时间 IC 持续为负，说明指标失效了。

三、方法二：分层单调性检验#

概念#

把样本按指标值分成若干组，看各组的实际表现是否单调变化。

直觉：如果我的「进攻强度实时指数」真的有效，那实时指数最高的那一组，实际进球应该明显多于实时指数最低的那一组。
而且中间各组应该呈现平滑的单调趋势，而不是杂乱无章。

实现#

import pandas as pd
import numpy as np

def layered_check(df, metric_col, outcome_col, n_layers=5):
    """分层检验：把样本按指标分位分组，比较各组结果

    df: 含指标列与结果列的 DataFrame，每行是一场比赛
    """
    d = df.dropna(subset=[metric_col, outcome_col]).copy()
    if len(d)  0).sum() / len(diffs) if len(diffs) else 0

    return summary, round(float(monotonic_ratio), 3)

# 使用示例
# summary, mono = layered_check(df, 'attack_index', 'goals_scored')
# print(summary)
# print('单调上升比例:', mono)

怎么解读结果#

四、方法三：样本外检验（最重要）#

概念#

用一段时间的数据建模，用之后的数据检验。这是唯一能真实反映未来表现的检验方式。

为什么不能用随机切分#

足球数据有时间顺序，随机切分会造成「数据穿越」。
用 2026 年的数据训练，去预测 2025 年的比赛，这在现实中不可能发生。
必须严格按时间切分：训练集在前，测试集在后。

实现（走步式检验）#

from sklearn.linear_model import Ridge
from sklearn.preprocessing import StandardScaler
from scipy.stats import spearmanr
import numpy as np

def walk_forward_validation(df, feature_cols, target_col, train_weeks=12, test_weeks=2):
    """走步式样本外检验

    思路：用前 12 周训练，预测接下来 2 周；
          然后窗口前移 2 周，重复。
    这样能模拟真实使用场景。
    """
    df = df.sort_values('date').reset_index(drop=True)
    weeks = sorted(df['week'].unique())

    results = []
    i = train_weeks
    while i + test_weeks <= len(weeks):
        train_w = weeks[i - train_weeks:i]
        test_w  = weeks[i:i + test_weeks]

        tr = df[df['week'].isin(train_w)]
        te = df[df['week'].isin(test_w)]
        if len(tr) < 50 or len(te)  0) / len(ics), 3),
    }

怎么解读#

五、三套方法的组合使用#

必须三关全过，指标才算可用。

六、一个容易被忽略的点#

指标失效不是意外，是常态。
市场在适应，球队在变化，任何指标的有效性都会随时间衰减。
所以验证不是做一次就完事，而是要持续监控：定期重算滚动 IC，一旦连续多个周期为负，就需要重新标定。

下一步该看什么#

• 常见的实现陷阱 → 7.10 特征工程避坑
• 搭建完整系统 → 7.11 自建系统架构