7.10 特征工程避坑：过拟合、数据穿越、共线性

这一篇是踩坑清单。下面每一条都是自建系统最常见的失败原因。建议动手前先过一遍。

一、陷阱一：数据穿越（最致命）#

表现#

回测结果异常优秀（IC > 0.15），但一上真实使用就失效。

常见成因#

正确做法#

# ✗ 错误：用全量数据做标准化
# scaler = StandardScaler()
# X_all = scaler.fit_transform(X)          # 泄露了未来信息

# ✓ 正确：只用训练集 fit，测试集只 transform
scaler = StandardScaler()
X_train = scaler.fit_transform(X_train)    # 训练集：fit + transform
X_test  = scaler.transform(X_test)         # 测试集：只 transform

自查方法：如果回测表现好得不像真的（IC > 0.15），几乎可以确定存在数据穿越。
足球数据的真实 IC 通常不会那么高。

二、陷阱二：过拟合#

表现#

训练集表现优秀，样本外表现平平甚至为负。

成因与对策#

# 三重切分：训练 / 验证（调参用）/ 测试（只测一次）
# 训练集：拟合模型
# 验证集：调参、选特征
# 测试集：最终只跑一次，绝不回头调参

# 时间顺序切分（不是随机切分）
n = len(df)
i1, i2 = int(n * 0.6), int(n * 0.8)
train, valid, test = df.iloc[:i1], df.iloc[i1:i2], df.iloc[i2:]

三、陷阱三：多重共线性#

表现#

回归系数剧烈波动，每次重新训练权重差异巨大，无法解释。

成因#

足球特征天然高度相关：

检测#

import pandas as pd

def check_collinearity(df, feature_cols, threshold=0.8):
    """检查特征之间的相关性，标记高相关组合"""
    corr = df[feature_cols].corr().abs()

    high_pairs = []
    for i in range(len(feature_cols)):
        for j in range(i + 1, len(feature_cols)):
            c = corr.iloc[i, j]
            if c >= threshold:
                high_pairs.append({
                    'pair': f'{feature_cols[i]} ↔ {feature_cols[j]}',
                    'corr': round(float(c), 3),
                })

    return sorted(high_pairs, key=lambda x: -x['corr'])

对策#

四、陷阱四：样本偏差#

表现#

模型只在特定类型的比赛上有效，换个联赛就失效。

常见偏差来源#

对策#

• 按联赛分别标定：不同联赛参数不同，不要强行统一；
• 定期重标定：赛季变化、规则变化后需要重新拟合；
• 检查样本分布：确认各类型比赛都有足够样本。

五、陷阱五：幸存者偏差#

表现#

你的指标「看起来很准」，因为你只保留了有效的版本。

典型场景#

你调了 20 组参数，发现第 13 组回测最好，于是采用它。
但你可能只是找到了在历史数据上恰好表现好的参数，而不是真正有效的参数。
这在样本量小时尤其危险。

对策#

• 记录所有尝试，包括失败的参数组合；
• 用样本外数据验证，而不是回测最优值；
• 参数越少越好：每增加一个可调参数，过拟合风险就上升一次。

六、陷阱六：忽略基本面对比基准#

你的模型准确率 58%，听起来不错。但基线是多少？

如果你的模型 58%，而「跟随市场」也有 57%，那你的增量只有 1%。

七、避坑检查清单#

下一步该看什么#

• 搭建完整系统 → 7.11 自建系统架构
• 用回测检验策略 → 7.14 回测验证