# HATT v3.5 成员表示训练评估与下一轮计划

日期：2026-09-14  
对象：`20260913-hatt-v35-member-representation-formal`  
状态：12 个训练任务已经完成；周期验证和最终 held-out test 仍在运行

## 1. 本次评估范围

本轮正式实验比较四种候选任务联盟表示。`none` 实际包含候选任务的成员数，本文档称为 `count-only`；`summary` 增加成员载荷、距离、电量和移动能力的固定摘要；`set` 对逐成员特征进行共享编码和排列不变聚合；`tcaa` 使用焦点机器人和候选任务共同查询当前成员。

四个分支使用相同训练预算、环境配置和按 seed 配对的网络初始化。每个任务训练 1500 episode，每 50 episode 使用固定的 32 个 validation seed 评估一次。validation-best 锁定后，使用另外 128 个 seed 测试 validation-best 和 last。

截至本文档生成时：

- 12/12 个训练任务正常退出，return code 均为 0，actor checkpoint 均已生成。
- 周期验证完成 9632/11520 个 episode-level 评估单元，完成率约 83.6%。
- 最终测试完成约 19.9%，完整结果目前只有 `count-only-s1` 和 `summary-s1`。
- 评估队列没有失败任务。

因此，本文档可以评价训练有效性、summary 退化以及已经完成的表示比较。三 seed 最终方法排序要等待评估队列结束。

## 2. 周期验证结果

表中的“末五点”是最后五个 50-episode validation checkpoint 的成功率均值。`set-s3` 当前验证到 episode 1250；`tcaa-s2` 尚未开始周期验证，`tcaa-s3` 当前验证到 episode 300。

| 表示 | seed | 已完成验证点 | validation-best 成功率 | best episode | 最新成功率 | 末五点成功率 | 末五点任务完成率 |
| --- | ---: | ---: | ---: | ---: | ---: | ---: | ---: |
| count-only | 1 | 30/30 | 0.750 | 1251 | 0.625 | 0.581 | 0.934 |
| count-only | 2 | 30/30 | 0.719 | 1450 | 0.688 | 0.656 | 0.958 |
| count-only | 3 | 30/30 | 0.531 | 1050 | 0.375 | 0.450 | 0.898 |
| summary | 1 | 30/30 | 0.031 | 1500 | 0.031 | 0.006 | 0.371 |
| summary | 2 | 30/30 | 0.188 | 100 | 0.000 | 0.000 | 0.373 |
| summary | 3 | 30/30 | 0.063 | 100 | 0.000 | 0.000 | 0.331 |
| set | 1 | 30/30 | 0.813 | 1150 | 0.531 | 0.600 | 0.950 |
| set | 2 | 30/30 | 0.656 | 1500 | 0.656 | 0.500 | 0.924 |
| set | 3 | 25/30 | 0.750 | 1250 | 0.750 | 0.588 | 0.944 |
| tcaa | 1 | 30/30 | 0.656 | 1200 | 0.625 | 0.525 | 0.879 |
| tcaa | 2 | 0/30 | — | — | — | — | — |
| tcaa | 3 | 6/30 | 0.438 | 300 | 0.438 | 0.275 | 0.831 |

三个完整 count-only seed 的均值为：validation-best 成功率 0.667，last 成功率 0.563，末五点成功率 0.563，末五点任务完成率 0.930。这个分支建立了可靠的当前基线。

三个完整 summary seed 的对应均值为 0.094、0.010、0.002 和 0.358。退化跨三个训练 seed 重复，已经构成稳定现象。

set 的两个完整 seed 的 validation-best 均值为 0.734，last 均值为 0.594。第三个 seed 截至 episode 1250 的 best 为 0.750。set 能够稳定学习成功策略，当前结果仍未显示相对 count-only 的一致增益。

tcaa 的训练期指标在三个 seed 上均已进入正常范围。已完成全部周期验证的 seed 1，best 为 0.656，末五点为 0.525；同 seed 的 count-only 分别为 0.750 和 0.581。另两个 seed 的验证尚不足以形成总体判断。

## 3. 已完成的 held-out test

| 表示 | seed | checkpoint | 成功率 | 任务完成率 | 配送比例 | episode reward |
| --- | ---: | --- | ---: | ---: | ---: | ---: |
| count-only | 1 | validation-best | 0.570 | 0.939 | 0.960 | 65.39 |
| count-only | 1 | last | 0.469 | 0.902 | 0.918 | 45.35 |
| summary | 1 | validation-best/last | 0.016 | 0.482 | 0.483 | -8.85 |

`summary-s1` 的 validation-best 与 last 是同一个 episode 1500 checkpoint。128-seed 测试复现了周期验证中的严重退化，因此该现象不来自 32 个 validation seed 的偶然抽样。

## 4. 优化过程

训练日志中没有 NaN、OOM、Traceback 或 RuntimeError。末 100 次 PPO 更新的主要诊断如下：

| 表示 | seed 范围 | 平均 KL 的典型范围 | clip fraction 的典型范围 | context norm 的典型范围 |
| --- | --- | ---: | ---: | ---: |
| count-only | 1–3 | 0.00016–0.00021 | 0.007–0.010 | 0 |
| summary | 1–3 | 0.00175–0.00977 | 0.075–0.112 | 0.58–1.31 |
| set | 1–3 | 0.00016–0.00023 | 0.006–0.011 | 0.30–0.43 |
| tcaa | 1–3 | 0.00022–0.00031 | 0.009–0.013 | 0.39–0.50 |

summary 的策略更新幅度显著高于另外三个分支，熵也在两个 seed 上降到约 1.0–1.1。其末期训练配送比例仍有 0.68–0.74，固定 validation 上的末期配送比例约为 0.33–0.37。该组合说明 summary 分支学到的策略对训练轨迹有效，对独立场景的适用性很差。

当前 summary 将六维物理量编码成 128 维上下文，随后与任务和 AT 消息一起送入同一个非线性融合层。它还在 summary 中再次包含成员数，而融合层已经单独读取成员数。训练后的 summary 输出层权重范数约为 1.70–2.02，高于 set 输出层的 0.92–1.05；summary context norm 也更大。这些是与退化同时出现的结构和优化现象。它们尚未确定因果来源，也不足以把退化解释为“物理摘要缺少成员信息”。

## 5. 当前能够形成的判断

### 5.1 count-only 是有效基线

三个 seed 都学到较高完成率，末期验证均值稳定。候选任务的成员数本身已经给策略提供了有用的联盟状态。

### 5.2 当前 summary 实现存在系统性训练问题

三个 seed 的验证成功率均接近零，独立 128-seed test 已在 seed 1 上复现。该分支需要修复后才能承担“固定维度联盟摘要”的科学对照。直接用本轮结果论证成员集合优于摘要，会把优化稳定性混入表示充分性。

### 5.3 set 可以学习，增益尚不一致

在共同完成的 checkpoint 上，set 相对 count-only 的成功率平均差为：seed 1 约 +0.038，seed 2 约 -0.257；seed 3 截至 episode 1250 约 +0.005，最后五点约 +0.131。结果说明逐成员集合没有造成 summary 式崩溃，也说明当前闭环训练尚未稳定兑现成员信息的增量价值。

### 5.4 tcaa 目前没有显示独立优势

tcaa-s1 全程成功率相对同 seed count-only 平均低约 0.037，末五点低约 0.056。该差距不大，另两个 seed 的验证尚未完成。当前材料支持“TC-AA 能够训练”，尚未支持“任务条件注意力优于集合聚合”。

### 5.5 端到端 PPO 无法单独回答表示必要性

策略结果同时受输入信息、优化难度、探索轨迹和表示注入强度影响。summary 的结果已经展示这种混杂。下一轮工作需要先回答相同状态下的行动后果能否由成员信息预测，再决定继续训练哪种在线策略。

## 6. 是否需要重训本轮任务

本轮 12 个任务无需整体重训。训练产物完整，周期验证有效，三次 attempt 2 都在原 attempt 产生第一个周期 checkpoint 前从头启动，验证结果没有跨 attempt 混合。

summary 的当前模型应保留为“原始拼接式 summary”的结果。修复后的 summary 属于新方法配置，应使用新实验名训练，避免覆盖当前证据。

set-s3 与 tcaa-s2/s3 只需等待现有评估队列完成。最终 test 完成前不启动占用同一评估资源的新正式训练。

## 7. 下一组工作的科学目标

下一组命名建议为：

`HATT v3.5b — state-conditioned coalition consequence and representation test`

它严格沿用既有 v3.5 设计中的三个连续命题：

1. **信息必要性**：任务需求、联盟人数和总载荷相同或接近时，成员组成是否改变留守或转移的真实后果？
2. **表示必要性**：成员集合或任务条件关系是否比固定物理摘要更准确地预测这种后果？
3. **决策有效性**：通过前两项检验的表示接入策略后，是否改善在线联盟重构？

前两个问题决定成员集合和 TC-AA 是否具有研究必要性。第三个问题检验表示价值能否转化成闭环收益。源任务损失、目标任务收益和转移成本继续作为双侧重构价值的组成部分。

## 8. 阶段 A：信息必要性实验

阶段 A 不训练新策略。它先确认当前环境中确实存在摘要无法解释、成员组成可以解释的行动后果差异。

### 8.1 数据对象

从 count-only、set 和 tcaa 的 validation-best/last 策略收集共同决策状态。每个状态固定环境随机源，对焦点机器人执行首次留守和首次转移两条分支，之后恢复同一个冻结策略。保存：

\[
\Delta J=J(\text{transfer})-J(\text{stay}),
\]

同时保存源任务剩余需求或完成时间、目标任务结果、总配送量、任务成功和后续再次重构。

数据需要包含自然轨迹状态及摘要匹配的受控状态。受控状态保持候选任务需求、成员数和总载荷相同或位于窄区间，改变成员的距离、移动能力、电量和载荷分布。这里先比较真实 `ΔJ` 的变化幅度、方向和物理来源。成员组成效应需要超过重复分支 rollout 的噪声，并在不同状态来源和执行阶段保持一致解释。

## 9. 阶段 B：表示必要性训练

阶段 A 成立后，使用已经生成的反事实数据训练小型监督预测器。训练集、验证集和测试集按底层场景划分，同一场景的干预变体留在同一集合。

### 9.1 预测器对照

| 对照 | 输入 |
| --- | --- |
| AT/count | 焦点机器人、候选任务、成员数 |
| audited-summary | AT/count 加经过定义核对和尺度统一的物理摘要 |
| set | AT/count 加逐成员排列不变集合 |
| tcaa | 焦点机器人和候选任务共同查询逐成员集合 |

主要指标采用 `ΔJ` 回归误差、符号正确率、同状态候选动作排序、选择动作后的反事实 regret。不同表示使用相同样本划分、训练预算和参数量级。训练 seed 数量在数据规模和预测噪声测定后固定，不预先用任意成功率阈值代替统计判断。

进入在线训练的条件按配对场景统计：set 需要在独立成员组合上稳定优于 audited-summary；tcaa 需要进一步稳定优于 set。优势应同时出现在后果排序和 regret 上，并保持相同的物理解释。

## 10. 阶段 C：闭环策略训练

阶段 A 和阶段 B 通过后再启动正式 PPO。候选表示按表示必要性结果选择：summary 达到相同水平时采用 summary；set 提供稳定增量时采用 set；tcaa 进一步提供增量时采用 tcaa。

### 10.1 接入方式的工程筛选

当前 summary 退化说明接入方式需要单独校正。下面的有界残差属于工程候选，来源是本次结果诊断，当前材料没有证明它能够解决退化，也不构成论文创新点：

\[
h^0_{ik}=F(h_k,m_{ik}^{AT},0,n_k).
\]

成员表示通过独立、有界、零初始的残差进入候选任务：

\[
h_{ik}=\operatorname{Norm}\left(h^0_{ik}+\alpha\,\tanh(Wu_{ik})\right).
\]

`u` 是 audited-summary、set 或 tcaa 的输出。`α` 使用有界参数化并从零开始；投影 `W` 保持非零初始化，使 `α` 在第一步能够获得梯度。这种接入方式需要与直接拼接、辅助后果预测或预训练接入做小规模比较，选择依据是独立验证和关系输出对 `ΔJ` 的一致性。

audited-summary 先逐项核对定义、尺度、可见性和冗余。删除重复成员数是待检验的实现修订，不预先视为退化根因。日志增加成员分支梯度范数、上下文范数以及该分支对动作 logits 的实际贡献。

### 10.2 工程 pilot

先使用短训练 pilot 比较候选接入方式。pilot 的 episode 数和 seed 数依据当前曲线中退化首次稳定出现的位置确定，并在提交前写入 manifest。每个候选使用相同 checkpoint 频率和 validation seed。

pilot 检查四臂初始动作分布、PPO 更新幅度、独立 validation 趋势、分支梯度和动作影响。通过条件根据本轮 count-only 的配对波动范围与 pilot 置信区间制定，不使用临时指定的绝对成功率门槛。

### 10.3 正式训练

pilot 通过后，正式组保留三个训练 seed、1500 episode、每 50 episode 的 32-seed validation，以及 validation-best/last 的 128-seed held-out test。正式对照数量由阶段 A 决定，最多保留：

- count-only；
- audited-summary；
- 阶段 B 最强的成员集合表示；
- 仅当 tcaa 在阶段 B 超过 set 时加入 tcaa。

若修改后的 count-only 前向和梯度经过逐元素等价测试，可以复用本轮 count-only 三 seed；pilot 仍保留一个同期 count-only 任务检查运行环境。若共同路径发生变化，正式组三个 count-only seed 需要重新训练。

## 11. 决策分支

阶段 A 的结果决定论文和工程方向：

| 结果 | 后续主方法 |
| --- | --- |
| audited-summary 与 set/tcaa 相当 | 状态条件联盟摘要与源—目标双侧重构 |
| set 稳定优于 audited-summary，tcaa 与 set 相当 | 候选任务成员集合表示 |
| tcaa 稳定优于 set | 候选任务条件的成员关系表示 |
| 成员表示能预测后果，闭环 PPO 增益不稳定 | 保留后果预测器，修订多人同时决策和策略接入方式 |
| 各表示都无法预测 `ΔJ` | 检查当前环境中的成员组成效应和 actor 可见信息 |

这套顺序可以防止下一轮继续用总体成功率猜测 AA 的作用，并使最终创新点由可验证的成员后果支持。

## 12. 当前行动建议

1. 继续现有评估队列，补齐 set-s3、tcaa-s2/s3 以及全部 128-seed test。
2. 开始冻结 checkpoint 诊断和阶段 A 的反事实状态库构建。
3. 阶段 A 确认成员组成效应后，提交阶段 B 的表示预测器训练。
4. 根据阶段 B 结果选择在线表示，再比较必要的接入方式。
5. 接入方式通过 pilot 后，锁定下一组正式 PPO sweep。

## 13. 方案来源与新增判断

“信息必要性—表示必要性—决策有效性”的顺序、配对反事实 `ΔJ`、AT/Summary/Set/TC-AA 预测器比较，以及通过筛选后再进入 PPO，均来自 `docs/HATT_V35_AA_RESEARCH_AND_EXPERIMENT_DESIGN_20260913.md`。

有界残差、summary 字段去重和接入 pilot 是依据本次退化提出的工程候选。它们需要验证，不作为既定解释或论文创新点。下一轮的科学结论仍由状态条件后果、成员信息增量、表示增量和源—目标重构效果决定。

## 14. 数据来源

- `runs/20260913-031621_delivcoal_20260913-hatt-v35-member-representation-formal/status.json`
- `runs/20260913-031621_delivcoal_20260913-hatt-v35-member-representation-formal/staged_validation/status.json`
- 四类模型的 TensorBoard event 文件
- `experiments/sweeps/20260913_hatt-v35-member-representation-formal.yaml`
- `algorithms/algorithm/HATTV35Network.py`
- `docs/HATT_V35_AA_RESEARCH_AND_EXPERIMENT_DESIGN_20260913.md`