HATT 动态异构多机器人联盟形成：项目、方法、证据与论文创新说明

文档日期：2026-08-23
适用对象：论文作者、项目协作者、代码代理、首次接触本项目的读者
证据范围：截至 2026-08-23 已完成的代码、原稿、CHANGELOG.yaml、正式训练与评估结果
核心环境：DelivCoal；补充环境：CapCoal；外部环境接口：GymRT2A

1. 文档目的

本文档从零开始说明项目研究内容，并将工程事实与论文主张分开组织。

全文回答五个问题：

1. 项目研究的多机器人问题是什么？
2. 当前环境、动作、观测、奖励和训练流程如何工作？
3. HATT 实际实现了哪些结构，各结构的实验结果如何？
4. 哪些内容可以提炼成论文级方法与创新点？
5. 当前证据能够支持哪些结论，仍缺少哪些外部比较？

文档包含两套核心材料：

• 研究内容总表：完整记录环境、方法、训练、消融、评估和历史探索。
• 论文主张—证据映射表：只保留适合进入摘要、引言、方法和贡献列表的内容。

两套材料不要求逐项对应。环境修复、训练稳定化、失败分支和评估工程具有重要研究价值，其中部分内容适合进入实验、附录或复现说明。论文创新需要形成更集中、更抽象的方法主线。

2. 项目概览

2.1 研究对象

项目研究多智能体联盟形成与多机器人任务分配问题。系统包含异构无人机 UAV 和无人车 UGV。机器人在连续二维地图中执行探索、发现任务、选择任务、形成联盟、配送物资、补给能源和规避危险等行为。

配送任务具有位置、剩余需求、优先级、期限或紧迫度等状态。机器人具有位置、能力、载荷、电量、类型和当前任务等状态。单个机器人可能无法满足任务需求，多个机器人选择同一任务后形成执行联盟。

项目的主要训练框架为 MAPPO/RMAPPO。HATT 为 actor 提供结构化的机器人—任务表示和逐候选任务评分。集中式 critic 在训练阶段使用全局状态，actor 在执行阶段根据其观测独立产生任务动作。

2.2 当前主要研究环境

项目包含两类内部环境和一个外部环境接口：

2.3 项目研究目标

当前研究关注以下问题：

1. 如何在任务逐步发现和机器人资源持续变化的环境中形成在线联盟；
2. 如何为每个候选任务表示其当前联盟及执行状态；
3. 如何在避免显式枚举联盟划分的条件下生成分散任务策略；
4. 如何让探索动作携带足够的执行进展信息；
5. 如何用多种子、独立测试和结构干预区分网络容量、任务编号、联盟上下文和探索状态的作用。

3. DelivCoal 问题与环境

3.1 场景流程

一个 episode 中的主要流程如下：

初始化地图、机器人、隐藏配送任务和危险区域
                 ↓
机器人选择探索区域、配送任务、补给或待命
                 ↓
移动与路径执行，更新能量、载荷和地图覆盖
                 ↓
探索过程中发现新的配送任务或危险区域
                 ↓
任务事件触发高层重新决策
                 ↓
多个机器人选择相同任务并形成当前执行联盟
                 ↓
联盟成员到达任务点并完成物资配送
                 ↓
所有任务完成或达到最大步数后结束 episode

3.2 机器人状态

机器人状态包含：

• 二维位置；
• 多维能力向量；
• 当前任务或联盟编号；
• 当前载荷与初始载荷比例；
• 电池状态；
• UAV/UGV 类型；
• 存活状态。

UAV 与 UGV 在移动、视野、载荷和地形通过能力上存在差异。异构性同时影响探索效率、路径可达性和配送能力。

3.3 任务状态

任务集合包含：

• Delivery：需要机器人运送物资并可能形成多机器人联盟；
• Explore：前往指定区域并增加地图覆盖；
• Resupply：返回补给点恢复资源；
• Idle：保持待命。

配送任务在默认 DelivCoal 设置中初始不可见。任务被发现后，任务位置和状态进入 actor 的任务观测。当前实现使用团队共享的已发现任务状态。

3.4 动作与联盟形成

每个机器人选择一个任务 token：

\[ a_i^t\in\mathcal A_i^t. \]

多个机器人选择同一任务 \(j\) 时，当前任务联盟为：

\[ C_j^t=\{i\mid a_i^t=j\}. \]

该动作语义直接从联合任务选择诱导联盟结构。actor 只需要输出机器人对可用任务的分类分布，无需在每一步显式列举所有机器人子集和联盟划分。

3.5 事件驱动重决策

环境支持多种高层任务重选日程：

• Legacy：沿用原有状态变化和执行条件；
• Always：每个决策机会都允许重选；
• Periodic：按固定周期重选；
• Event：任务发现、任务完成等事件触发重选；
• Urgency：根据未完成任务紧迫度和阈值触发；
• Learned：由可学习 gate 决定保持或重新选择。

当前正式主设置使用 Event。实验显示 Always 容易导致频繁重选和性能下降；Event 可以稳定运行；Event 相对 Legacy 的任务成功优势尚未形成稳定证据；Learned gate 可以改变切换行为，但没有稳定提高任务成功率。

因此，Event 在当前论文结构中适合作为决策协议。各种重选方式适合进入消融和响应—稳定性分析。

3.6 观测结构

Actor 使用 Dict 观测：

ego     当前机器人自身状态
tasks   当前机器人可见的任务候选矩阵
others  其他机器人状态矩阵，对角线自身位置置零

任务观测在不同设置下可以包含：

• 任务位置；
• 剩余需求；
• 期限或紧迫度；
• 优先级；
• 任务类型；
• 对当前机器人的探索目标；
• 到探索目标的路径段长度；
• 候选探索动作的预期新增覆盖；
• 全队剩余未探索比例。

Actor 可以观察其他机器人的状态。任务一旦发现即进入团队共享任务状态。Coverage 使用全队共享的 _explored_cells。因此，当前执行假设包含共享任务信息和共享探索地图。论文需要明确通信或地图融合条件。

3.7 奖励与信用分配

奖励由多种事件组成：

• 发现任务；
• 个体配送；
• 联盟配送；
• 联盟完成任务；
• 距离塑形；
• 补给；
• 任务切换成本；
• 死亡；
• episode 终局结果。

当前 HATT-MAPPO 的性能依赖个体 shaped credit。Team-mean reward 实验显著退化，说明关系结构、可观测状态与个体信用共同决定可学习性。论文实验需要保证所有学习基线使用相同奖励和环境配置。

4. HATT 方法调用链

4.1 关键代码

4.2 从观测到动作的计算流程

ego / others / tasks
        ↓
类型专属 FeatureEncoder
        ↓
focal agent 表示、other agent 表示、task 表示
        ↓
全局 A-A attention（v2 full 可选）
        ↓
按当前任务编号将成员 scatter 到对应任务槽
        ↓
每个任务得到 coalition sum / mean / count
        ↓
任务状态与当前联盟状态融合
        ↓
共享 CandidateEdgeDecoder 逐任务输出 logit
        ↓
available-action mask + categorical softmax
        ↓
每个机器人选择任务，联合动作诱导新联盟

4.3 类型专属编码

HATT 分别编码：

• focal agent；
• other agents；
• tasks。

三类实体投影到相同隐藏维度，但参数独立。任务编号和联盟编号不作为连续语义特征直接进入实体编码器。编号主要用于动作对应、关系特征和联盟成员路由。

4.4 v2 全局机器人关系

HATT v2.0 对 focal agent 和其他机器人计算多头 A-A attention。边特征包括：

• 相对位置；
• 是否处于同一当前联盟。

No-AA 实验显示该分支没有稳定的独立性能收益。注意力熵接近最大值，说明 v2 的全局、任务无关 A-A attention 学成了接近均匀的聚合。

4.5 任务索引联盟聚合

对于候选任务 \(j\)，当前成员集合为 \(C_j^t\)。每个成员先经过 agent encoder：

\[ h_k^t=\phi_A(o_k^t). \]

联盟集合表示为：

\[ \rho(C_j^t)= \left[ \sum_{k\in C_j^t}h_k^t, \frac{1}{|C_j^t|}\sum_{k\in C_j^t}h_k^t, |C_j^t| \right]. \]

实际实现使用 scatter-add 将成员表示送入对应任务槽，并计算 latent sum、mean 和 normalized count。

任务条件表示为：

\[ z_j^t=F_T\left(x_j^t,\rho(C_j^t)\right). \]

其中 \(x_j^t\) 为任务特征。该结构使每个任务候选都携带其当前联盟执行状态。

4.6 共享候选评分

对于机器人 \(i\) 和候选任务 \(j\)，actor 计算：

\[ p_{ij}^t= G_\theta\left(h_i^t,z_j^t,e_{ij}^t\right), \]

其中：

• \(h_i^t\) 为 focal agent 上下文；
• \(z_j^t\) 为任务及当前联盟上下文；
• \(e_{ij}^t\) 为相对位置和当前分配关系等边特征；
• \(G_\theta\) 为所有候选任务共享的评分器。

动作分布为：

\[ \pi_\theta(a_i^t=j)= \frac{\exp(p_{ij}^t)} {\sum_{m\in\mathcal A_i^t}\exp(p_{im}^t)}. \]

这里的 \(p_{ij}^t\) 可以定义为状态依赖的条件联盟偏好。它表示当前机器人在任务 \(j\) 的现有联盟和执行状态下选择该任务的策略偏好。

该 logit 没有精确联盟价值、Shapley value 或边际效用保证。HATT v2.0 也没有显式构造机器人加入前后的反事实联盟。

4.7 探索候选状态

对于探索候选 \(j\)，任务特征可写成：

\[ x_{ij}^{\mathrm{explore}}= \left[ g_{ij}, d_{ij}, \Delta\mathrm{Cov}_{ij}, 1-\mathrm{Cov}^t \right], \]

其中：

• \(g_{ij}\)：机器人 \(i\) 对 sector \(j\) 的可执行目标；
• \(d_{ij}\)：当前位置到目标的路径段长度；
• \(\Delta\mathrm{Cov}_{ij}\)：执行该候选预计增加的覆盖比例；
• \(1-\mathrm{Cov}^t\)：全队剩余未探索比例。

配送候选包含任务需求、期限、优先级和当前联盟状态。探索、配送、补给和待命共同进入候选评分空间。

5. 方法的结构性质

5.1 联盟成员置换不变性

设 \(P_A\) 为任务 \(j\) 当前联盟成员顺序的任意置换。由于 sum、mean 和 count 均为对称聚合：

\[ \rho(P_A C_j^t)=\rho(C_j^t). \]

因此，忽略浮点误差并保持成员特征与 membership 不变时：

\[ p_{ij}^t(P_A C_j^t)=p_{ij}^t(C_j^t). \]

该性质来自网络结构。论文方法章节可以给出简短命题和证明。建议补充一个成员顺序置换测试，与现有任务槽置换实验形成对应。

5.2 任务重标号等变性

设 \(P_T\) 为候选任务槽的一致置换，同时置换：

• 任务特征；
• available-action mask；
• 机器人 membership 到任务槽的路由；
• 输出动作标签。

共享任务编码器、共享候选评分器和任务索引联盟聚合共同给出：

\[ \mathbf p_i(P_T O)=P_T\mathbf p_i(O). \]

Softmax 与置换可交换，因此：

\[ \pi_\theta(P_Ta_i\mid P_TO)= P_T\pi_\theta(a_i\mid O). \]

当前 Deliver 槽置换实验结果一致，Explore 槽置换影响很小，为实现层提供了验证。

当前模型采用固定最大任务槽数和 mask。上述性质适用于该固定候选预算内的一致重标号。它不自动推出任意未见任务规模的零样本泛化。

5.3 候选计算规模

设机器人数量为 \(N\)，任务候选数量为 \(M\)。显式联合任务动作最多包含：

\[ M^N \]

种组合。当前 actor 为每个机器人评价 \(M\) 个任务候选。忽略隐藏维度常数：

• 逐候选任务评分约为 \(O(NM)\)；
• v2 全局 A-A attention 约为 \(O(N^2)\)；
• 主要关系计算约为 \(O(NM+N^2)\)。

该复杂度说明策略前向计算随机器人和任务数量按多项式增长。它不提供全局最优联盟划分保证。

6. 研究内容总表

6.1 已完成研究内容

下表完整记录当前项目已经完成的主要内容。表中“论文角色”用于区分主方法、问题设置、训练条件、实验对照和历史探索。

6.2 2026-06-28 至今阶段改动报告

本节采用两级组织。一级总结每个研究阶段解决的核心问题和形成的阶段结论；二级保留日期、具体改动、有效性与重要性，供实验追溯。重要性采用 10 分制：9–10 分表示直接决定论文结论或正式实验可信度，7–8.5 分表示重要机制、对照或环境修复，5–6.5 分表示辅助研究和工程保障。

6.2.1 阶段总览

6.2.2 阶段 I：问题与原型形成

阶段判断： 这一阶段完成了研究问题落地。主要价值来自环境与决策语义的形成，早期网络版本承担机制探索和诊断工具建设，其短评估数字只用于产生后续假设。

6.2.3 阶段 II：环境语义与状态表征定位

阶段判断： 这一阶段将性能问题分解为环境事件、候选状态、特殊动作和网络信息路径。Coverage progress state 成为最重要的环境端改动；RNN、raw bypass 和原地 reserve 等分支完成了有依据的筛选。

6.2.4 阶段 III：动态重构与主方法筛选

阶段判断： 重构研究确定了 Event 作为稳定且语义清晰的执行协议。参数匹配、五训练 seed 和任务槽置换把主方法优势收敛到结构化候选策略，容量和固定槽位置得到直接控制。

6.2.5 阶段 IV：跨环境与优化路线检验

阶段判断： CapCoal 补充了全任务可见条件下的联盟执行证据；值分解路线与 team-mean reward 实验说明当前性能依赖结构化 actor、MAPPO 更新和个体 shaped credit 的共同作用。

6.2.6 阶段 V：正式证据闭环与结构归因

阶段判断： 这一阶段把早期性能信号转化为可用于投稿的证据链。模型选择、独立测试、训练末期稳定性和组件归因分别评价，HATT 主结果、coverage 作用和 coalition context 作用获得多训练 seed 支持。

6.3 跨阶段形成的研究认识

这段研究演进形成了四项可以直接进入阶段报告的认识：

1. 环境语义与可观测状态决定问题是否可学。事件重决策、有效 sector 目标和 coverage progress state 的价值高于多次网络堆叠。
2. HATT 的稳定优势集中在共享候选评分、任务索引联盟上下文和候选级探索状态。参数匹配与槽位置换已经控制了容量和固定编号两类替代解释。
3. v2 全局 AA、Learned gate、Idle reserve 和 v3.2R member residual 均完成了有效研究筛选；这些分支明确了当前主方法的范围。
4. 评估协议从单次 best 逐步升级到固定 validation、锁定 checkpoint、128-seed held-out 和末期窗口。结论可信度的提升构成阶段工作的核心成果之一。

7. 关键实验结果

7.1 DelivCoal 正式主结果

HATT actor 约262,341个参数，MAPPO-288约250,530个参数，差异约4.5%。当前协议下的性能差异无法由参数量单独解释。

7.2 Coalition context

Validation-best 和末期窗口方向一致，支持任务索引联盟上下文在当前 DelivCoal 协议中的正向作用。

7.3 Coverage 与 geometry

共同训练 seed 的 held-out validation-best：

Geometry 只能解释较小部分收益，coverage progress state 提供主要贡献。当前结论适用于团队共享 coverage 的设置。

7.4 v2 全局 AA

三种口径方向不一致，差异较小。v2 全局、任务无关 AA 的独立增益没有得到支持。

7.5 任务槽置换

• HATT Deliver 槽置换结果一致；
• HATT Explore 槽置换影响很小；
• MAPPO Explore 槽置换 success 从约14.6%下降到约2.6%。

该实验支持 HATT 对任务重标号的结构一致性，并说明扁平 MAPPO 更容易依赖固定槽位置。

7.6 重构机制

• Always reconfiguration 明显降低训练表现；
• Event 和 Legacy 整体较稳定；
• Event 相对 Legacy 的任务成功优势尚未稳定确认；
• Learned gate 可以降低部分切换比例；
• Learned gate 没有稳定改善成功率；
• Force-closed 导致策略坍缩。

这些结果适合形成重构日程的行为分析和方法边界。

7.7 v3.3AA 最新结果

在三训练 seed、128-seed held-out test 中：

• learned AA success 平均约62.5%；
• uniform AA success 平均约54.2%。

该结果提供了 learned typed AA 相对 uniform gate 的初步正向信号。其绝对性能低于 v2.0 主结果；原计划的同 checkpoint learned/uniform/zero 因果干预未随192项正式任务完成。v3.3AA 目前适合进入扩展分析。

8. 文献位置与创新边界

8.1 最接近的工作

8.2 当前可支持的论文主张

现有代码和结果能够支持：

• 当前联盟成员动态状态按候选任务聚合；
• 每个候选任务保持独立的联盟执行上下文；
• 共享评分器逐 agent-task 候选产生条件任务偏好；
• 联盟由多机器人任务选择在线诱导，无需显式枚举联合联盟结构；
• 联盟成员集合表示具有排列不变性；
• 候选策略在一致任务重标号下具有等变结构；
• 探索候选状态与配送候选状态在同一策略空间中评价；
• 上述结构在当前 DelivCoal 协议中获得参数匹配、联盟消融、coverage分解和槽位置换证据。

8.3 当前证据边界

以下主张缺少充分支持：

• 精确联盟价值或边际效用估计；
• Shapley value、Nash stability、core stability 或全局最优性；
• 显式、可解释的吸引—排斥正负关系；
• learned reconfiguration 对任务结果的稳定提升；
• v2 全局 A-A attention 的必要性；
• 任意机器人和任务规模的零样本泛化；
• 完全局部、无通信的分散执行；
• 在公开 MRTA benchmark 上的普遍优势。

8.4 原稿观点与当前实际方法的发表价值比较

原稿提出三条主线：互补—适配异构图对合作与竞争关系进行显式建模；紧迫性感知重构在响应效率与执行稳定性之间进行权衡；在异构救援环境中验证完成率、响应时间、能量效率和可扩展性。三条主线的研究动机完整，理论措辞也较强。当前代码与实验对其中若干关键机制给出了更细致的结果。

从发表角度看，当前实际方法具备更强的可论证性。优势来自三点：方法定义与代码一致；核心组件已有成组消融；成员置换不变性、任务重标号等变性和候选计算规模可以写成明确的结构性质。原稿提供了有价值的问题动机，其中“显式合作—竞争”和“自适应重构收益”需要更多机制与实验支撑，现阶段适合放在背景、讨论或后续研究中。

当前描述需要随实际证据收敛。建议摘要、引言和贡献列表统一使用“联盟条件候选策略”主线，并把理论高度建立在条件偏好定义、集合不变性、任务等变性和复杂度分析上。这样得到的理论陈述范围清晰，也能够与 HeteroMRTA、DCMRTA、SADCHER 和 IAOM 做逐项比较。

9. 论文级方法与创新提炼

9.1 建议的方法名称

中文：

面向动态异构联盟形成的联盟条件候选策略

英文：

Coalition-Conditioned Candidate Policy for Dynamic Heterogeneous Multi-Robot Task Allocation

若论文强调结构性质，可以使用：

Coalition-Conditioned, Task-Equivariant Candidate Policy

建议题目：

HATT: Coalition-Conditioned Equivariant Candidate Policies for Dynamic Heterogeneous Multi-Robot Task Allocation

包含探索场景的题目：

Coalition-Conditioned Equivariant Policies for Coupled Exploration and Dynamic Multi-Robot Task Allocation

9.2 论文研究问题

建议将论文研究问题写成：

在任务逐步发现、机器人资源持续变化、联盟在线形成的执行过程中，如何为每个候选任务构造与其当前联盟状态相对应的策略表示，并在不枚举联合联盟结构的条件下学习任务选择？

9.3 核心方法观点

建议使用以下方法概括：

动态联盟任务分配中的任务选择偏好受到当前机器人、候选任务和该任务当前联盟执行状态共同影响。HATT 为每个候选任务聚合当前承诺成员的动态状态，将联盟表示与任务表示保持索引对齐，并通过共享评分器学习状态依赖的条件联盟偏好。多个机器人根据该策略选择任务，联合动作进一步诱导新的联盟结构。

9.4 预计创新点总表

9.5 建议保留的三项主要贡献

贡献一：动态联盟形成的条件偏好建模

将任务动作诱导的在线联盟形成表示为状态依赖的条件偏好学习问题。机器人针对每个候选任务，联合考虑自身状态、任务状态及该任务当前联盟的动态执行状态，并通过任务选择共同形成联盟结构。

贡献二：联盟条件、任务等变的候选策略

提出一种联盟条件候选策略。该策略使用置换不变的集合聚合构造逐任务联盟状态，将其注入对应任务候选，并利用共享评分器生成任务选择分布。该结构具有联盟成员置换不变性和任务重标号等变性，主要关系计算规模为 \(O(N^2+NM)\)。

贡献三：探索与联盟执行的统一候选表示

面向任务逐步发现的动态环境，为探索候选构造可执行目标、路径段长度、预期新增覆盖和剩余未探索状态，为配送候选构造任务需求和当前联盟执行状态，使信息获取、联盟配送和补给决策能够通过统一候选策略进行评价。

实验贡献可以写成第四项，也可以并入第三项之后：

通过参数匹配、结构消融、任务槽置换、独立 held-out test 和末期 checkpoint 评估，分析候选结构、联盟上下文和探索状态在当前环境中的作用。

10. 研究内容与论文主张的对应关系

11. 论文结构建议

11.1 Introduction

建议按以下逻辑展开：

1. 动态异构 MRTA 中，联盟与任务执行状态持续变化；
2. 机器人的任务偏好受到候选任务当前联盟状态影响；
3. 任务逐步发现进一步引入探索与执行的耦合；
4. 现有方法已覆盖图注意力、动态联盟、意图共享和剩余需求；
5. 本文关注逐候选任务的联盟状态对齐、共享候选策略和探索执行状态；
6. 列出三项主要贡献。

11.2 Related Work

建议分为四类：

1. 传统联盟形成、优化、拍卖和启发式 MRTA；
2. 学习型动态联盟形成与任务修订；
3. 图注意力、Transformer 和异构机器人任务调度；
4. 搜索—救援中的任务发现、意图共享与执行承诺。

相关工作比较表建议使用以下列：

11.3 Problem Formulation

需要定义：

• 机器人集合和任务集合；
• 机器人状态、任务状态和共享信息；
• 动作空间与 \(C_j^t=\{i:a_i^t=j\}\)；
• 事件重决策时刻；
• 团队目标和奖励；
• CTDE 与执行期信息假设。

11.4 Method

建议依次介绍：

1. typed ego/agent/task encoders；
2. task-indexed coalition aggregation；
3. coalition-conditioned task context；
4. shared candidate scorer；
5. exploration candidate state；
6. MAPPO training；
7. member invariance、task equivariance 和计算复杂度。

11.5 Experiments

建议回答六个问题：

1. HATT 是否优于参数匹配 MAPPO；
2. 候选结构和 coalition context 分别提供多少作用；
3. coverage state 和 geometry 的作用如何分解；
4. 方法对任务重标号是否稳定；
5. 训练末期是否保持性能；
6. 在公开 MRTA 环境和不同规模下能否迁移。

11.6 Discussion and Limitations

应主动说明：

• 共享任务和共享 coverage 的通信条件；
• shaped individual credit 的重要性；
• v2 AA 没有稳定贡献；
• learned gate 没有提高任务结果；
• 当前缺少公开环境正式结果；
• 当前策略没有联盟稳定性和全局最优保证。

12. 投稿前最关键的补充

12.1 DelivCoal 近邻结构基线

增加 HeteroMRTA-style task/agent cross-attention actor：

• 使用相同 PPO；
• 使用相同 observation 和 reward；
• 参数量匹配；
• 保留共享 task scorer；
• 移除显式 task-indexed latent coalition aggregation。

该对照用于区分一般 set/cross-attention 和联盟条件候选上下文。

12.2 公开 MRTA 环境

优先级建议：

1. HeteroMRTA；
2. GymRT2A / MARL-MRT2A；
3. DCMRTA。

建议报告：

• success；
• makespan；
• 平均等待时间；
• 能力浪费或需求缺口；
• 推理时间；
• 机器人与任务规模变化；
• 零样本规模泛化。

12.3 规则和优化基线

完整 DelivCoal 含在线搜索，离线优化器与学习策略的信息条件不同。可以在 all-discovered 或 delivery-only 子问题中比较：

• PCFA；
• Greedy；
• OR-Tools；
• CTAS-D。

比较中需要明确任务是否全部可见、是否允许全局信息以及规划时间预算。

12.4 结构性质验证

建议补充两个低成本实验：

1. 联盟成员顺序置换；
2. 不同 \((N,M)\) 下的 actor 推理时间和显存曲线。

这些结果可以直接对应方法章节的置换不变性和复杂度分析。

12.5 Coverage 信息范围

建议至少报告当前使用的 shared coverage 设置，并在局限性中说明。若时间允许，可比较：

• 全队共享 coverage；
• 每个机器人 local-only coverage；
• 通信范围内融合 coverage。

13. 面向新协作者和 Agent 的阅读顺序

首次接触项目时，建议按以下顺序阅读：

1. AGENTS.md：项目架构、运行规范、评估和 CHANGELOG 规则；
2. envs/delivcoal/env_core.py：当前主环境、观测、任务和奖励；
3. algorithms/algorithm/HATTV20Network.py：当前证据最充分的 actor；
4. algorithms/algorithm/gaRMAPPOPolicy.py：网络路由和策略接口；
5. runner/shared/macf_runner.py：rollout、训练和日志；
6. utils/shared_gat_buffer.py：Dict观测如何进入buffer；
7. CHANGELOG.yaml：研究演进、实验结论和失败分支；
8. html_logs/stage_progress_report_20260628_20260822.md：阶段性证据汇总；
9. docs/EVALUATION_PROGRESS_HANDOFF_20260817.md：正式评估协议；
10. docs/HATT_V33AA_EXPERIMENT_DESIGN_20260822.md：v3.3AA设计目标。

处理论文相关任务时应先确认：

• 当前讨论的是 HATT v2.0 主方法还是 v3.x 探索版本；
• 数字来自旧 best/p90/last 评估还是正式 validation-best/held-out 协议；
• 环境使用 shared coverage、local coverage 或 geometry-only；
• 重决策模式为 Legacy、Event、Always、Urgency 或 Learned；
• 结论是否具有多训练 seed 和独立测试支持。

14. 最终建议

14.1 项目层总结

项目已经完成从环境建模、HATT结构、动态重构、奖励信用、训练稳定化到正式评估的大规模研究闭环。DelivCoal 中的 HATT v2.0 在五训练 seed、独立 validation、128-seed held-out test 和末期 checkpoint 评估中持续优于参数匹配 MAPPO。

现有证据最充分的组成包括：

• 逐候选共享任务评分；
• 任务索引联盟上下文；
• 候选级 coverage progress state；
• 对任务槽置换的稳定性；
• 严格的模型选择与 held-out 评估。

现有证据较弱或呈负结果的组成包括：

• v2 全局、任务无关 A-A attention；
• learned reconfiguration gate；
• 原地 Idle reserve；
• v3.2R member residual；
• 跨公开 MRTA 环境的普遍优势。

14.2 论文层总结

建议以“联盟条件候选策略”为论文方法主线。该主线将任务动作、当前联盟和成员执行状态放在同一候选级策略表示中，并通过共享评分器学习状态依赖的条件联盟偏好。

建议最终贡献结构为：

1. 动态联盟形成的条件偏好建模；
2. 联盟条件、任务等变的候选策略；
3. 探索与联盟执行的统一候选状态表示；
4. 参数匹配、结构消融、置换干预和独立 held-out 组成的机制级验证。

从内部方法闭环和实验工作量看，稿件已经接近应用型机器人、自动化和智能系统一区论文的主体规模。最终竞争力仍取决于近邻 cross-attention 基线、公开 MRTA 环境和共享 coverage 假设审计。理论导向更强的期刊还会期待最优性、稳定性、泛化界限或经过正式验证的反事实联盟推理。

15. 主要证据与资料索引

• AGENTS.md
• old_old_logs/Works-中文-Chap1-5-260201.docx
• CHANGELOG.yaml
• algorithms/algorithm/HATTV20Network.py
• algorithms/algorithm/HATTV33AANetwork.py
• envs/delivcoal/env_core.py
• html_logs/stage_progress_report_20260628_20260822.md
• html_logs/hatt_formal_delivcoal_20260818_handoff.md
• docs/PROJECT_RESEARCH_HANDOFF_20260817.md
• docs/EVALUATION_PROGRESS_HANDOFF_20260817.md
• docs/HATT_V33AA_EXPERIMENT_DESIGN_20260822.md
• runs/20260818-0040_hatt-formal-training-sequence/
• runs/20260821-1045_delivcoal_final-window-evaluation/
• runs/20260822-1223_delivcoal_hatt-v33aa-focused/