17 · 闭环回测与委员会 skill 结论
2026-06-27。复现包 + 原始数据:
experiments/closed-loop-skill-test/。方法论前提:adr/022-backtest-memory-contamination-and-holdout-discipline.md。 ⚠ 本页 2026-06-27 修订过一次 —— 初版结论建立在一个执行 bug 上(见下),已纠正。
一句话结论
委员会的主动交易在这段(2025-2026 牛市)holdout 上跑输 buy-and-hold(修复后基线 alpha ≈ −8%) —— 既「欠配」(现金长期空置)又「牛市里减仓」(卖飞),两头都伤。目前不是 alpha 机器,但这是优化起点不是死刑:真因清楚(欠配+乱减仓)、且可修。绝不要拿回测 alpha 做营销。
⚠ 初版结论的 bug(必须记住)
初版说"委员会会 de-risk(TRIM 16、MaxDD 更低=防御 skill)"——错的。core/paper_trade_simulator.py 的 alloc_cny <= 0 守卫把所有 TRIM(负 alloc)吞成 HOLD → SELL 实际执行 = 0,委员会从没真减过仓。那个"低 MaxDD"只是建仓慢留下的现金缓冲,不是择时。已修(qty_cny = abs(alloc_cny) + 回归测试 tests/test_paper_trade_simulator_trim.py)。
修复前后(基线空桩)
| 修复前(buggy) | 修复后(TRIM 真成交) | |
|---|---|---|
| BUY / SELL 执行 | 2 / 0 | 12 / 6 |
| 总收益 / Sharpe | +41.4% / 1.63 | +21.8% / 1.03 |
| alpha vs 同资产 buy-hold | +11.57%(假象) | −8.06% |
修复前的 +11.57% 是双重假象:① TRIM 被吞→从不卖;② 现金 day1-2 花光、碰巧没买到后来跑输的 NDQ。两者一去,真相是 主动交易跑输持有 8 个百分点。 (闭环版已重烧,见下「闭环 CI」——旧 −2.58% 建立在被吞的 TRIM 上,作废。)
真因(修复后归因)
- 欠配 / 现金拖累:140 次 HOLD + ACCUMULATE 单笔太小(10万本金才投 1200-6300)→ 子弹拖 9 个月才投完,而涨幅都在这窗口。
- 牛市里减仓 = 卖飞:TRIM 真执行后,在上行市卖出反而拉低收益。
去过拟合的优化路线图(经对抗审查)
- R0 修执行 bug —— ✅ 已完成。
- R1 reward 锚 现金→同资产 buy-hold(
core/backtest_reward.py):优化器目前奖励"坐现金避险",换锚才不会把调参往防御型拐。 - R3(仅 vol-target 腿)确定性风险预算 sizing(
cio_parse.pyclamp 前):按波动率把钱铺开,直治欠配/现金空置;OOS 文献最硬、不赌方向。 —— ❌ 已验证失败,不 promote(见下「闭环 CI」)。 - 别碰:R2 动量"禁减仓"硬闸(内核="牛市永远满仓"=伪 skill,且原数据里是 no-op)、R5 crash 阈值(对着已知崩盘调参=snooping)、R6 横截面动量(仅 3 资产=tilt 向黄金)。
- 铁律:每条改动同窗 ≥5 次重跑报 CI + 必须跑赢傻瓜 buy-hold / 傻瓜 DCA,否则是 beta 换皮。
闭环 CI + R3-vol 判定(2026-06-27,DeepSeek-v4-flash,n=5+5)
给委员会真实滚动仓位(修 ADR-022 T3 空桩),±R3-vol 各重烧 5 次:
| 配置 | alpha vs 同资产 buy-hold |
|---|---|
| 闭环 R0-only(看到真实仓位) | −6.04% ± 1.70 |
| 闭环 + R3-vol(vol-target sizing) | −4.88% ± 1.63 |
| 差(vol − no-vol) | +1.16%(t≈1.10, p≈0.30,不显著) |
| 对照:傻瓜 DCA / buy-hold | −1.15% / 0% |
判定:R3-vol 不达铁律(必须显著跑赢傻瓜 DCA −1.15%),不 promote 到 live。 ① +1.16% 增益 n=5 下不显著(区间全重叠);② 即便最好的一跑(−3.44%)也输给 −1.15%; ③ 10 跑 TRIM/SELL 合计 2 次——给了真实仓位委员会仍几乎不减仓,无择时 skill(ADR-022 T3 再确认)。 两个干预(空桩→真实仓位:−8.06%→−6.04%;+vol-target:→−4.88%)都只"减亏",改不了主动委员会在本上行窗口跑输被动的底色。
对产品 / 方法论
- 定位:对外讲"透明、有纪律的风险管理 + 决策可审计",不讲跑赢/alpha。与 README 诚实口径一致。
- 回测纪律:测 skill 必须闭环(喂真实仓位)+ 执行层符号契约(负 alloc=减仓,取量级);空桩 + 吞 TRIM 会同时给出假象。
- 对照专业机构:招行私行同期对黄金 2025Q1 主动降档、美股全程标配——有区分度;我们委员会逐季一律偏多,更钝。
没解决(后续)
- 窗口几乎全上行市 → 减仓 skill 没舞台,盖棺需含真实暴跌的 post-cutoff 窗口(暂无)。
- R1(reward 锚)验证需 Optuna 重训(未做);R3-vol 已判失败。剩余路线图项(见上)未逐一 CI。
- n=5 蒙特卡洛:+1.16% 的 vol 增益不显著;加大 n 也许能定阈,但 alpha 绝对值已确定为负,优先级低。