# 动态异构多机器人联盟重构：新版科学问题与候选创新点

日期：2026-09-13  
用途：论文选题、方法收敛与后续实验决策  
状态：研究主线已经形成；方法创新的最终表述取决于 v3.5 及机制实验

## 1. 当前研究主线

本文研究动态异构多机器人任务执行中的在线联盟形成与重构。任务的剩余需求、时限、成员位置、剩余载荷、电量和当前任务会随执行过程改变。联盟决策需要回答一个直接问题：某个机器人此时加入、留在或离开一个任务联盟，会怎样改变该任务以及整个任务系统的后续结果。

可以把研究链条写成：

\[
\text{任务与成员状态}
\longrightarrow
\text{候选动作的联盟条件后果}
\longrightarrow
\text{成员保留、加入与转移}
\longrightarrow
\text{系统任务结果}.
\]

状态改变后边际贡献随之改变，是任务价值函数的自然性质。论文需要解决的困难集中在三个环节：如何从有限观测和联合回报中识别这种条件作用；当前联盟的固定摘要是否足以支持决策；如何同时衡量目标联盟的加入收益与源联盟的离开损失。

因此，论文主线可以概括为：

> **面向动态异构任务，学习候选机器人相对于具体任务联盟的状态条件作用，并用源任务与目标任务的双侧后果指导在线联盟重构。**

## 2. 数学对象

设任务为 \(k\)，当前联盟为 \(C\)，候选机器人为 \(i\)，当前执行状态为 \(x_t\)。状态可以包含任务剩余需求、优先级或时限、机器人位置、剩余载荷、电量和当前联盟组成。

定义任务级价值

\[
V_k^\pi(C;x_t),
\]

表示在后续执行策略 \(\pi\) 下，联盟 \(C\) 从状态 \(x_t\) 继续执行任务 \(k\) 的预期价值。任务完成、耗时和资源消耗应在论文中给出固定口径；跨任务机会成本与切换代价进入系统级重构价值。

机器人加入联盟的边际贡献为

\[
M_{i\mid C,k}(x_t)
=V_k^\pi(C\cup\{i\};x_t)-V_k^\pi(C;x_t).
\]

机器人独立执行该任务时的基准贡献为

\[
B_{ik}(x_t)
=V_k^\pi(\{i\};x_t)-V_k^\pi(\varnothing;x_t).
\]

当前联盟对该机器人贡献产生的条件作用为

\[
\Gamma_{i,C,k}(x_t)
=M_{i\mid C,k}(x_t)-B_{ik}(x_t),
\]

即

\[
\Gamma_{i,C,k}(x_t)
=V_k^\pi(C\cup\{i\};x_t)
-V_k^\pi(C;x_t)
-V_k^\pi(\{i\};x_t)
+V_k^\pi(\varnothing;x_t).
\]

于是有

\[
M_{i\mid C,k}(x_t)=B_{ik}(x_t)+\Gamma_{i,C,k}(x_t).
\]

这里的边际贡献和离散交互形式来自已有合作博弈理论。本文可以贡献的内容是面向在线联盟重构的估计对象、结构化表示、学习方式和决策机制。

## 3. 新版科学问题

### 3.1 联盟状态的充分表示

第一个问题关注决策所需的信息粒度：

> 在任务剩余需求、联盟人数和总资源相同或接近时，成员级资源分布、位置、移动能力和电量差异是否会系统性改变加入、留守或离开的后果？

若固定维度摘要已经充分，简单联盟摘要更适合作为主方法。若成员组成在摘要匹配后仍能解释后果差异，逐成员集合表示才有明确必要性。这一问题决定 AA 在论文中的地位。

### 3.2 联盟条件作用的可识别学习

第二个问题关注联合回报下的关系识别：

> 如何从局部观测、任务执行轨迹和团队回报中，区分机器人的基础任务贡献 \(B_{ik}\) 与当前联盟带来的条件作用 \(\Gamma_{i,C,k}\)？

普通策略网络可以隐式拟合动作价值，却不会自然产生具有稳定含义的成员关系。一个可解释的关系量需要满足三个条件：它针对具体候选任务和当前成员集合；它随与执行后果有关的状态变化；它的符号或排序与受控反事实结果一致。

### 3.3 重构动作的双侧价值

第三个问题关注任务转移的完整后果：

> 一个机器人从源任务 \(s\) 转移到目标任务 \(k\) 时，如何联合估计目标联盟的加入收益、源联盟的离开损失以及转移成本，并据此决定是否重构？

可将转移的系统级净价值写成

\[
\Delta J_{i:s\rightarrow k}(x_t)
=M^{\mathrm{join}}_{i\mid C_k,k}(x_t)
-L^{\mathrm{leave}}_{i\mid C_s,s}(x_t)
-c_{i,s\rightarrow k}(x_t),
\]

其中 \(L^{\mathrm{leave}}\) 表示机器人离开后源任务的价值损失，\(c\) 包含行程、切换和机会成本。该形式覆盖加入、留守、退出和跨任务转移，并给 source-commitment 实验提供直接评价对象。

### 3.4 部分观测下的关系估计更新

真实物理状态改变可能导致 \(\Gamma\) 改变；新任务被发现或信息逐步获得会修正机器人对它的估计：

\[
\widehat{\Gamma}_{i,C,k}(o_t).
\]

论文应分别讨论物理关系变化和信息更新。当前观测若已包含充分状态，每次决策重新计算关系即可；观测无法恢复必要历史时，再引入记忆结构。

## 4. 研究缺口的边界

动态联盟形成、异构能力匹配、成员边际贡献、任务条件协同、图注意力和高阶联盟价值均有已有研究。单独提出“关系会变化”“使用注意力”“根据优先级重构”难以形成充分区分。

当前可继续检验的缺口是下面这一组合问题：

\[
\boxed{
\begin{aligned}
&\text{从动态执行状态中估计候选机器人相对于当前任务联盟的条件作用，}\\
&\text{保留影响行动后果的成员组成信息，}\\
&\text{同时计算源联盟损失与目标联盟收益，}\\
&\text{并将该估计用于在线联盟形成与重构。}
\end{aligned}}
\]

这一缺口具有研究价值，同时带有明确前提：实验任务需要产生可重复的非加性联盟作用，成员组成需要提供摘要之外的信息，学到的关系需要与反事实后果对应。

## 5. 候选创新点

### 5.1 状态条件的联盟作用分解与估计

面向任务需求、成员资源和联盟组成持续变化的执行过程，显式区分机器人自身的任务贡献与当前联盟带来的条件作用，建立

\[
\widehat M_{i\mid C,k}
=\widehat B_{ik}+\widehat\Gamma_{i,C,k}.
\]

该设计为“关系”赋予任务级反事实含义，使互补、冗余、替代和竞争能够由同一条件作用表示。该创新点需要通过 oracle、强制行动分支或闭环反事实验证其符号和排序。

### 5.2 候选任务条件的成员集合表示

在评价焦点机器人 \(i\) 与候选任务 \(k\) 时，对任务当前成员 \(j\in C_k\setminus\{i\}\) 建立

\[
r_{i,j,k}=g_\theta(z_i,z_j,z_k,e_{i,j,k}),
\]

再以排列不变方式聚合为候选联盟上下文。边特征可以包含成员到任务及焦点机器人的相对位置、剩余载荷、电量和移动能力。

这种结构把智能体关系与具体候选任务绑定，避免用一份全局 AA 表示同时解释所有任务。它是否构成论文创新，取决于以下证据：成员组成在摘要匹配后仍影响真实后果；集合或任务条件关系优于 count-only 和物理摘要；冻结模型干预能够改变相应决策并改善闭环结果。

### 5.3 源—目标双侧的在线重构决策

将目标联盟的加入作用、源联盟的留守价值和执行成本统一为转移净收益。策略对当前任务和候选任务使用一致的任务槽评价，从而共同处理成员加入、保留、退出与转移。

有符号的 \(\widehat\Gamma\) 可以形成促进或抑制某一联盟选择的关系偏置。论文可将其称为“吸引—排斥关系机制”；该术语需要对应显式的有符号输出。非负 attention gate 只能表示权重，不能直接解释成吸引或排斥。

### 5.4 反事实一致性的训练或校准机制

若策略仅靠 PPO 端到端训练无法形成可识别的 \(\widehat\Gamma\)，可以增加任务级后果预测或成对排序目标。监督信号来自同一物理状态下的强制加入、留守、离开和转移分支，学习目标对齐

\[
\operatorname{sign}(\widehat{\Delta J})
\quad\text{与}\quad
\operatorname{sign}(\Delta J).
\]

这一项属于候选方法创新。是否采用取决于 v3.5 的表示实验：若现有策略已经学到稳定关系，辅助目标的必要性较低；若网络具备信息却无法使用，反事实校准可以直接解决可识别性和信用传播问题。

## 6. 创新点的建议组织方式

论文可以采用两层贡献结构。

第一层是理论与建模贡献：定义在线重构所需的状态条件联盟作用，分解基础任务贡献、联盟条件作用和转移净价值。这一层回答“需要估计什么”。

第二层是方法贡献：使用候选任务条件的成员集合关系估计上述作用，并把源—目标双侧后果送入在线联盟决策。这一层回答“如何估计和使用”。

反事实实验协议承担证据功能。它可以作为实验方法贡献或评价框架描述，正文中不宜与核心算法创新并列抬高。

一个较稳妥的 Contributions 草案是：

> **1）状态条件的联盟作用建模。** 针对动态异构任务执行中的在线联盟重构，区分机器人自身的任务贡献与当前联盟带来的条件作用，并以任务、联盟组成和执行状态共同条件化的形式估计成员加入、留守与离开的后果。

> **2）候选任务条件的成员关系表示。** 面向成员组成影响任务后果的场景，对焦点机器人、候选任务及其当前成员建立排列不变的任务条件关系表示，在统一计算图中保留成员资源分布、位置和执行状态。

> **3）源—目标双侧的重构决策。** 联合目标联盟的加入收益、源联盟的离开损失与执行成本形成转移净价值，用同一决策规则支持成员加入、保留、退出和跨任务转移。

第二项目前属于条件成立的候选创新。若最终实验显示物理摘要与成员集合效果相当，论文应采用摘要模型，并把贡献集中在状态条件作用及双侧重构价值上。

## 7. 与 HATT v3.5 的对应

v3.5 当前实现四种受控表示：

| 实验分支 | 实际信息 | 所检验的问题 |
| --- | --- | --- |
| `none` | 成员数 | 联盟规模能否解释大部分作用；论文中应称 `count-only` |
| `summary` | 成员数、总载荷、距离、电量和移动能力摘要 | 固定维度物理摘要是否充分 |
| `set` | 逐成员特征的共享编码与排列不变聚合 | 成员组成是否需要保留 |
| `tcaa` | 焦点机器人和候选任务共同查询其成员 | 任务条件关系是否提供额外决策能力 |

四个分支共享相同参数化与初始策略函数。这个设计使比较对象集中在成员表示的信息粒度与条件方式。v3.5 当前输出的是候选任务上下文，尚未直接输出经过反事实标定的有符号 \(\widehat\Gamma\)。因此，v3.5 可以验证表示必要性；完整的“状态条件作用估计”还需要关系读出或反事实一致性证据。

## 8. 当前证据所支持的研究判断

已有结果支持以下事实：

1. 优先级揭示实验中，训练策略会调整目标任务概率和联盟分配，说明动态任务价值可以进入策略行为。
2. v3.4 的函数保持初始化有效隔离了新增输入与随机起点差异，这一控制原则已经沿用到 v3.5。
3. v3.3AA、v3.4 上下文消融和 source-commitment 结果共同表明，普通 AA gate 或附加任务上下文尚未形成稳定、可定位的关键成员判断。
4. v3.5 已经实现 count-only、物理摘要、集合聚合和任务条件 AA 的同起点训练比较，能够直接检查成员表示层次。

当前证据允许把“状态条件联盟作用”和“表示充分性”确立为科学问题。AA 仍处于候选方法位置。正式论文应根据 v3.5、成员组成配对和闭环反事实结果决定主方法。

## 9. 论文成立所需的证据链

### 9.1 环境中存在可解释的非加性作用

在小规模可计算场景中直接比较 \(V(C\cup\{i\})\)、\(V(C)\)、\(V(\{i\})\) 与 \(V(\varnothing)\)，确认 \(\Gamma\) 的幅度超过执行噪声，并能由能力互补、资源饱和、距离差异或成员冗余解释。

### 9.2 成员组成提供摘要之外的信息

保持任务需求、联盟人数和总载荷相同或位于窄区间，只交换载荷分布、成员距离、移动能力或电量。比较强制行动的 \(\Delta J\)，判断固定摘要是否遗漏决策信息。

### 9.3 模型输出与真实后果一致

使用共享状态库比较模型的动作概率、关系输出或候选分数与强制留守、加入和转移的闭环后果。主要指标是符号一致率、候选排序、后果回归误差以及最优动作识别率。

### 9.4 关系估计改善闭环联盟重构

在高优先级任务到达、源联盟关键成员、可替代成员出现、资源耗尽和任务接近完成等事件下，比较重构时机、源任务损失、目标任务收益和系统级加权结果。常规随机环境结果用于检查总体性能，特殊事件评估用于验证具体机制。

### 9.5 分布外状态保持相同物理解释

改变成员组成、任务密度、资源分布和事件到达方式，检查关系排序与重构决策是否继续符合相同的物理后果。规模变化只能作为其中一个维度，不能替代机制验证。

## 10. 环境对主张的约束

当前 DelivCoal 包含位置、速度、载荷、电量、剩余需求、优先级、时限和多任务并发，可以产生到达时间、资源覆盖和机会成本差异。现有配送过程以标量载荷独立交付为主，成员之间缺少联合搬运、能力阈值、空间干扰和明确资源竞争。环境中的强非加性作用可能有限。

后续环境应优先建立可解释的联盟交互来源，例如任务能力阈值、互补能力组合、并行服务饱和、成员拥挤代价或联合执行约束。每一项交互都应对应明确的任务动力学和 oracle 后果，避免仅通过奖励项制造关系现象。

如果受控实验显示成员组成效应很弱，研究仍可以收敛到“状态条件的联盟摘要与源—目标双侧重构”。如果成员级信息稳定改善后果预测和闭环决策，候选任务条件成员关系可以进入论文主方法。

## 11. 当前最简科学问题与论文主张

科学问题可以压缩为：

> **动态任务执行中，哪些联盟状态足以预测机器人加入、留守和离开的后果；如何从联合执行数据中估计这种任务与联盟条件作用，并据此完成兼顾源任务和目标任务的在线联盟重构？**

在证据完成前，建议采用下列论文主张：

> 本文研究动态异构多机器人任务中的状态条件联盟作用，提出候选任务条件的联盟表示和源—目标双侧重构框架，并通过受控反事实与闭环任务执行检验成员级关系在何种条件下具有决策价值。

## 12. 依据材料

- `论文预备材料_科学问题与创新点_最新审查版.md`
- `docs/HATT_V35_AA_RESEARCH_AND_EXPERIMENT_DESIGN_20260913.md`
- `analysis/hatt_v34_taskctx_20260907/EVALUATION_SUMMARY.md`
- `html_logs/v34_function_preserving_delivcoal_20260909/EVALUATION.md`
- `analysis/source_commitment_20260912/combined/summary.csv`
- `analysis/source_commitment_20260912/ctx_dependency_all/ctx_dependency.csv`
- `analysis/priority_reconfiguration_20260905/EVALUATION_SUMMARY.md`
- `algorithms/algorithm/HATTV33AANetwork.py`
- `algorithms/algorithm/HATTV34Network.py`
- `algorithms/algorithm/HATTV35Network.py`