# AA–AT 双关系注意力的路线取舍与下一版方法设计

日期：2026-09-15

## 判断

v3.5 的 TC-AA 实现可以结束投入。这里结束的是“把候选任务的成员注意力上下文直接拼入策略，再完全依赖 PPO 回报学习其用途”这条实现路线。继续增加注意力头、隐藏维度、训练 seed 或训练时长，缺少实验依据。

AA 所研究的关系问题仍有继续一次的依据。成员组成反事实实验在 96 个配对状态中发现 86 个非零组成效应，并在阈值 0.001 下得到 20 个 stay/transfer 严格排序翻转。相同成员数量无法区分这些状态。由此可以确认成员级信息具有决策相关性。现有实验尚未说明注意力结构能够稳定提取这项信息。

因此，当前结论应写成：**v3.5 的端到端 AA 优化失败；AA 的信息前提成立；下一版必须改变 AA 的学习对象和接入策略的方式。**

## 为什么 v3.5 没有发挥 AA 的作用

v3.5 TC-AA 为每个候选任务生成一个自由的隐藏向量，然后与任务表示、AT 消息和成员数量一起输入动作解码器。注意力门由 PPO 的最终策略损失间接更新，代码中没有规定每个门或每个成员消息应表示何种决策量。128-seed held-out test 中，TC-AA 相对 count-only 的配对 success 差为 `+0.031、-0.117、+0.023`，平均为 `-0.021`。这一结果说明网络能够训练，却没有形成可重复的增益。

独立的监督筛选进一步缩小了原因范围。扩充后的 240 个 case 中，TC-AA 对长时域全局 `ΔJ` 的成员组成效应方向准确率为 52.73%，严格动作翻转联合准确率为 1.67%。Set 的结果接近。长时域 `ΔJ` 同时经过源任务损失、目标完成时间和后续多轮重决策传播，成员关系与标签之间缺少稳定、局部的对应关系。将这个标签直接交给更大的成员编码器，仍然无法建立清楚的监督信号。

环境也限制了 AA 的可见优势。当前配送由 `Agent.deliver(demand)` 按单一载荷量扣减需求；已有四维能力与四维任务需求进入了数据结构和观测，却没有形成需要多种能力共同满足的执行条件。在这种近似可加的配送机制中，成员位置和剩余载荷会影响后果，成员之间的互补关系较弱。一个任务条件的集合编码器已经可能覆盖主要信息，注意力很难仅凭表达能力形成稳定优势。

## 下一版 AA 应估计什么

建议将主方法表述为**任务吸引与联盟交互的 AA–AT 双关系注意力**。反事实校准用于训练其中的 AA 关系分支。该分支对焦点智能体 `i`、候选任务 `k` 和当前成员集合 `C_k` 估计加入边际值：

\[
\widehat M_{i\mid C_k,k}
=\widehat B_{ik}+\widehat\Gamma_{i,C_k,k}.
\]

`B_ik` 表示智能体单独服务任务的基础贡献。`Γ` 表示当前联盟组成对该贡献造成的条件变化。AA 只负责 `Γ`，从而获得一个明确、可单独检验的职责。

对候选联盟中的成员 `j`，短时域关系标签定义为：

\[
\gamma^{*}_{ij\mid C_k,k,H}
= [U_H(C_k\cup\{i\})-U_H(C_k)]
-[U_H((C_k\setminus\{j\})\cup\{i\})-U_H(C_k\setminus\{j\})].
\]

`U_H` 取固定短时域 `H` 内由环境转移直接得到的服务效用，例如优先级加权的需求缺口减少量，再扣除移动、能量和资源消耗。生成标签时固定联盟分配和低层执行规则，阻止后续策略重决策把局部关系信号扩散成长链条。正值表示成员 `j` 提高了 `i` 的加入价值，负值表示冗余或资源冲突。

关系网络采用任务和焦点智能体作为查询，逐成员产生两个量：非负相关权重 `α_ijk` 与有符号关系值 `γ_ijk`。聚合形式可以写成：

\[
\widehat\Gamma_{i,C_k,k}=\sum_{j\in C_k}\alpha_{ijk}\,\widehat\gamma_{ijk}.
\]

`γ_ijk` 同时依赖整个联盟的集合摘要，因此允许同一对成员在不同联盟背景下产生不同作用。这里的注意力权重仅表示当前候选决策需要关注哪些成员；作用方向由有符号关系头给出。该分工避免把注意力权重解释成贡献正负。

输入需要覆盖反事实实验已经确认相关的变量：焦点智能体的剩余资源和位置、候选任务的剩余需求与时限、每个成员的资源和预计到达时间，以及源任务的状态。成员顺序继续保持置换不变。

## 从加入价值扩展到联盟重组

任务切换同时影响目标联盟和源联盟。动作 `i:s→k` 的关系修正值应包含三部分：

\[
\widehat Q_{rel}(i:s\rightarrow k)
=\widehat M^{join}_{i\mid C_k,k}
-\widehat L^{leave}_{i\mid C_s,s}
-\widehat c_{move}(i,s,k).
\]

同一个关系网络分别计算目标任务的加入效应和源任务的退出损失。移动项使用预计到达时间、能量消耗和任务时限。这个分解与“高优先级任务到来后是否值得重组”的评价问题直接对应，也能定位错误来自目标吸引力、源任务代价或移动成本。

## 如何接入 MAPPO

先保留已经能够工作的 count-only 或 task-conditioned set actor，关系估计器作为有界的动作 logit 残差：

\[
\ell(i:s\rightarrow k)
=\ell_{base}(i:s\rightarrow k)
+\lambda(x)\,\operatorname{clip}(\widehat Q_{rel},-q_{max},q_{max}).
\]

残差系数从零初始化，初始策略与基础 actor 完全一致。关系预测达到门槛后再逐步开放 `λ`。PPO 训练期间保留短时域反事实辅助损失，防止关系头在策略优化中失去原有含义。集中式 critic 可以继续使用全局状态；执行时的关系估计只读取智能体可获得的观测。

这种接法解决了 v3.5 的两个直接问题。AA 的输出具备可检查的量纲和方向，策略也无法在训练初期被一个任意隐藏向量大幅扰动。它仍然可能学不到有效关系，所以需要在完整 PPO 前设置停止门槛。

## 环境需要提供可识别的成员关系

建议新增一个最小的能力耦合配送环境，同时保留现有标量配送环境作为对照。任务具有多维剩余需求，联盟在各能力维度上的有效供给共同决定服务进度；某个必要维度供给不足时，其他维度的额外资源无法替代。超过需求的供给不再增加进度。

这一机制可以直接复用现有四维 agent capability 和 task requirement。它使互补与冗余进入环境转移：携带不同能力的两个成员可能共同解锁服务，能力重复的成员可能只增加有限进度。原有标量环境则用于检验关系模块在近似可加条件下是否保持基础性能。

论文中对 AA 的主张应限制为：任务条件注意力为具有能力耦合的联盟提供关系归纳偏置，并在成员构成变化时改善关系估计与重组决策。Deep Sets 具有足够强的表达能力，因此 AA 的优势需要由样本效率、跨联盟规模泛化、关系干预一致性或最终控制收益给出，不能只依据网络结构宣称。

## 进入完整训练前的验证门槛

第一步检查环境中的关系信号。用模拟器枚举短时域加入、移除和成员替换反事实，确认 `Γ` 在多个场景和 seed 下具有足够幅度，并能造成候选动作排序变化。若能力耦合环境仍主要产生接近零的 `Γ`，网络比较没有解释价值。

第二步单独训练关系估计器。比较 count-only、固定统计、任务条件 Deep Sets 和新 AA。测试集按场景、联盟规模和任务需求组合隔离。主要指标使用有符号关系误差、候选动作排序准确率和重组 regret；整体回报预测仅作辅助指标。新 AA 需要在多个训练初始化上稳定优于任务条件 Deep Sets，才能支持注意力的独立贡献。

第三步做冻结策略干预。将已训练的关系残差接到同一个基础 actor，专门评估成员替换、紧急任务插入、关键成员退出和源任务接近完成时的重组。这里观察关系修正是否把错误动作排序改正，以及局部改正是否改善任务时限和全局完成情况。

前三步通过后，再进入配对初始化、配对 training seed 的完整 MAPPO sweep。正式比较至少包含基础 actor、Deep Sets 残差和 AA 残差。模型选择继续使用固定 periodic validation 与 held-out test，由新版 `scripts.sweep` 统一管理。

停止条件应提前固定：若新 AA 在短时域关系预测和冻结策略干预中仍无法稳定超过任务条件 Deep Sets，AA 从论文核心方法中移除。论文仍可保留“成员组成造成固定汇总状态混叠”的环境与分析结果，主方法转向集合价值估计或源—目标重组价值分解。

## 版本取舍

v3.3AA 的全局 AA、v3.5 的自由成员上下文和 fixed summary 分支不再作为下一版主干。可继续使用的部分包括 AT 编码、候选任务动作解码、集中训练分散执行框架、count-only/set 基础 actor、配对初始化和现有 checkpoint 评估协议。

下一版的核心改动应集中在关系估计目标、源—目标价值分解、有界残差接入和能力耦合环境。上述四项构成同一条因果链：环境产生可识别关系，反事实标签明确关系含义，AA估计关系，残差把估计转化为重组动作。任何一项缺失都会回到 v3.5 中“给策略更多成员特征，等待 PPO 自行找到用途”的状态。

## 证据来源

- `analysis/hatt_v35_member_representation_20260915/EVALUATION_SUMMARY.md`
- `analysis/member_composition_counterfactual_20260915/EVALUATION_SUMMARY.md`
- `analysis/member_value_predictor_20260915/EVALUATION_SUMMARY.md`
- `html_logs/hatt_v35_scientific_questions_20260913/SCIENTIFIC_QUESTIONS_AND_CONTRIBUTIONS.md`
- `algorithms/algorithm/HATTV35Network.py`
- `envs/macf/env_core.py`