# AA–AT 对称结构与异质地形环境评估

日期：2026-09-15

## 结论

AA 可以继续作为下一版的核心组成。前一版“反事实校准关系价值估计”的命名弱化了 AA 在方法中的位置，容易被理解成用价值预测器替代注意力。更合适的主方法表述是：**任务吸引与联盟交互的双关系注意力**。反事实校准是训练 AA 的手段。

v3.5 的稠密候选任务成员注意力存在计算和辨识两方面的问题。下一版应回到 AT/AA 两类关系边的对称计算图，保留 v3.3 中“按成员当前 assignment 路由到候选任务”的核心结构，同时改变 AA 的输出语义和训练信号。

UAV/UGV 的物理异质性也应该实装。当前代码中的类型没有决定感知、速度、载荷或路径约束，危险区规划对所有类型相同。类型异质性实装能够使任务吸引值具有真实的可达性和资源差异；它对 AA 的帮助取决于环境是否进一步产生联盟成员之间的互补、冗余或协作信息。

## 新 AA 是否过于理想化

如果在线决策真的针对每个 `焦点智能体 × 候选任务 × 联盟成员` 建立稠密张量，计算量是 `O(A²T)`。v3.5 当前已经这样执行，成员张量形状为 `[B,A,T,N,H]`，chunk 只降低峰值显存，没有改变总计算量。在现有 12 个智能体、约 10 个配送任务的规模下可以运行，规模扩展会很快变重。

每个智能体只属于一个当前联盟。利用这个事实，可以把计算改写为：

1. 对所有 `智能体—任务` 边计算 AT，共 `A×T` 条；
2. 对所有 `焦点智能体—其他智能体` 边计算 AA，共 `A×A` 条；
3. AA 边读取成员当前任务的上下文，并按照该成员的 assignment 用 `scatter` 聚合到相应候选任务。

总复杂度降为 `O(AT+A²)`。对焦点智能体 `i` 和候选任务 `k`，动作关系分数为：

\[
R_{ik}=R^{AT}_{ik}
+\sum_{j:c_j=k}R^{AA}_{ij\mid k}
-L_{i\mid c_i} - C^{move}_{ik}.
\]

这里 `c_j` 是成员 `j` 当前服务的任务。每条 AA 边只计算一次，其结果天然路由到一个候选任务。空联盟的 AA 项为零。

反事实标签也不需要在线模拟。短时域加入、移除或替换轨迹在训练数据生成阶段计算；策略执行时只进行网络前向。因此在线代价可以保持在两类关系图的消息传递范围内。

仍需承认三个限制。成员交互可能包含高阶联盟效应，逐成员加和是一种近似；短时域标签依赖效用定义和时间窗；注意力权重本身不具有唯一的因果解释。下一版应监督 AA 输出的有符号关系分数，并把 attention gate 解释为信息选择强度。论文不能把 gate 数值直接写成成员的真实边际贡献。

## AT 与 AA 如何形成对称关系

两类边可以使用相同的关系算子形式：

\[
R^{AT}_{ik}=f_{AT}(h_i,h_k,e_{ik}),
\]

\[
R^{AA}_{ij\mid k}=f_{AA}(h_i,h_j,h_k,e_{ij},e_{jk}).
\]

两者都执行 query、key、边特征调制、有符号关系输出和消息聚合，参数按关系类型分别学习。AT 衡量智能体自身对任务的直接适配与吸引；AA 衡量该智能体与候选联盟现有成员之间的兼容性修正。

“吸引—排斥”可以用于论文叙述，但需要保持符号含义准确：

- AT 形成任务对智能体的基础吸引；
- AA 形成联盟成员带来的有符号交互场；
- AA 为正时加强吸引，表示能力互补或到达协同；
- AA 为负时形成排斥，表示能力冗余、资源竞争或源任务损失。

因此更严谨的术语是“任务吸引—联盟交互”。正文可以把最终的正负合力解释为吸引与排斥。若预先规定所有 AA 都是负值，能力互补将无法表达，也与计划中的多维能力联盟不一致。

这种结构保留了 v3.3/v3.4 最有辨识度的计算图：AA 边根据成员当前 assignment 路由到任务槽；AT 与 AA 共同改变候选任务分数。下一版新增的部分是有符号标量关系、短时域反事实监督、源任务退出项和函数保持的残差接入。

## 当前 UAV/UGV 异质性的代码事实

`EnvCore` 保存了 `num_uav`、`num_ugv` 以及两种感知范围配置。初始化阶段仍为全部智能体从同一分布采样四维能力，`Agent.type` 独立随机抽取 Drone 或 Vehicle，因此实际数量也不保证等于配置值。

感知半径固定由 `capabilities[0]×50` 得到；移动速度、载荷和电量同样由随机能力分量计算。`uav_perception_rg` 与 `ugv_perception_rg` 没有进入这些公式。所有智能体调用同一个 `fast_path`，绕过同一组危险圆。规划时使用全部危险点，包括尚未发现的危险点。actor 的任务观测在任务被任意智能体发现后对所有智能体共享，其他智能体状态也没有按观察者半径屏蔽。

因此，现有类型标记没有对应稳定的物理角色。论文若描述 UAV 视野大、载荷小、地形通过性高，以及 UGV 载荷大、视野小、受地形约束，当前代码无法支持这些陈述。

## 建议实装的最小异质环境

第一步应保证配置的类型数量真实生效。按 `num_uav` 和 `num_ugv` 创建固定数量的 Drone 与 Vehicle，在 episode 内随机打乱编号，避免编号泄露类型。

两类能力从有重叠的类型条件分布采样。UGV 具有较高载荷、较小感知半径和较低或相近的移动速度；UAV 具有较低载荷、较大感知半径和更高地形通过性。分布需要保留个体差异，避免类型标记完全决定全部能力。

地图中把“地形”和“危险区”区分开：

- 地形区域对 UGV 产生不可通行约束或确定性的速度折减，UAV 可以直接通过；
- 危险区具有被发现前未知、发现后可规划规避的状态；
- 路径规划只能使用当前已知危险区，消除现有的全图危险点泄露；
- UAV 较大的感知范围使其更早发现任务和危险区，发现结果通过共享地图提供给联盟。

建议优先使用确定性的地形速度系数或硬可达性约束。随机“通过概率”会给反事实关系标签增加额外方差，难以区分模型误差和环境随机性。需要研究风险决策时，可以在后续单独加入随机通过机制。

分配策略还需要看到可执行的路径信息。欧氏距离无法表示 UGV 绕行与 UAV 直达的差异。对每个观察者—任务边，应提供当前已知地图下的预计路径长度、ETA 和可达标记，作为 AT edge feature。AA 边则读取成员到其当前任务的 ETA、剩余载荷和类型，使联盟交互能够反映“重载但到达较慢”和“轻载但快速到达”等差异。

## 地形异质性能否直接救 AA

地形约束首先改变单个智能体对任务的适配性，这部分主要由 AT 表达。若任务完成仍是所有成员载荷的简单相加，而且路径彼此独立，AT 加成员数量或集合汇总可能已经足够。

AA 获得清晰优势还需要成员关系改变联合执行结果。当前可采用两个有直接物理含义的来源：

1. 多维任务需求使 UAV/UGV 能力组合产生互补与冗余；
2. 成员的类型相关 ETA 与剩余载荷共同决定候选联盟的完成时间，加入一个成员的价值会随现有成员组成改变。

第一个来源提供能力关系，第二个来源提供时空关系。两者都可以通过环境转移和短时域反事实直接测量。共享侦察信息主要体现 UAV 的探索价值，可能提升整体异质协作，却不一定表现为同一配送联盟内部的 AA 效应，应作为环境完整性和探索实验处理。

## 推荐的 v3.6 主线

方法名称建议使用“AT–AA 双关系吸引—交互网络”或“任务吸引与联盟交互注意力”。核心动作分数由 AT 基础吸引、按 assignment 路由的 AA 有符号修正、源联盟退出损失和移动成本组成。

工程上先实现类型条件能力、地形可达性、已知危险图和 planner-derived ETA。随后生成短时域关系数据，确认新环境中 AA 项确实改变候选排序。只有这个检查通过，才训练有监督 AA 和完整 MAPPO。

这一主线没有废弃 AA。它保留并强化了 AA/AT 双关系结构，同时删除 v3.5 的 `A×T×N` 自由上下文和纯 PPO 间接学习。最终能否将 AA 写成独立创新点，取决于它相对具有相同输入的 task-conditioned Deep Sets 是否取得稳定优势。

## 代码依据

- `algorithms/algorithm/HATTV33AANetwork.py`
- `algorithms/algorithm/HATTV34Network.py`
- `algorithms/algorithm/HATTV35Network.py`
- `envs/macf/env_core.py`
- `analysis/hatt_v35_member_representation_20260915/EVALUATION_SUMMARY.md`
- `analysis/member_composition_counterfactual_20260915/EVALUATION_SUMMARY.md`
- `analysis/member_value_predictor_20260915/EVALUATION_SUMMARY.md`