ICLR 2026 | 复旦大学智能复杂体系实验室研究团队提出一种基于时滞微分方程的新型流匹配生成模型框架

发布者:徐君 发布时间:2026-04-29 浏览次数:13

  2026126日,复旦大学智能复杂体系基础理论与关键技术实验室林伟教授、朱群喜青年研究员团队提出一种基于时滞微分方程的时滞流匹配生成模型框架,旨在解决当前基于常微分方程的流匹配的局限性,进一步增强生成模型的表示能力。该研究成果以“Delay Flow Matching”为题,被人工智能会议 International Conference on Learning Representations(ICLR 2026)接收。复旦大学数学科学学院、智能复杂体系实验室博士生赵伯林以及实验室联合培养的博士生张笑宇(国防科技大学)为该论文的共同第一作者,实验室林伟教授、朱群喜青年研究员和国防科技大学吕欣教授为本文共同通讯作者。

  生成式建模作为机器学习领域的一个核心方向,一直以来受到研究人员的广泛关注,其聚焦于利用神经网络学习不同数据分布间的转化机制,已在图像生成、分子设计、单细胞轨迹推断等跨学科场景形成广泛应用。近年来,基于连续深度神经网络的生成式框架成为研究热点,当前的连续生成模型大多基于常微分方程或随机微分方程实现分布间的传输策略。例如,基于神经常微分方程的连续标准化流(Continuous Normalizing Flows, CNF),利用常微分方程的流映射实现分布间的传输。但是,基于微分方程的生成式方案在模型训练过程中需要进行大量的数值积分,导致存在训练效率低的问题。近期,研究人员提出一种无需数值积分即可训练CNF的方法,称为流匹配(Flow Matching),其通过构建目标条件向量场,设计回归任务实现了对连续生成模型对应的参数化向量场的高效训练。

  然而,当前主流的流匹配框架通常建立在常微分方程之上,常微分方程的固有性质为此类生成框架带来了若干局限性,制约了其建模多样化分布传输策略的能力。首先,由于常微分方程解的唯一性,使得传统流匹配难以准确表示传输过程中存在轨迹相交的策略。其次,在许多真实任务中,初始分布与目标分布之间具有显著异质性。例如,一种类型的单细胞群体可能在发育过程中分化为多种不同的细胞命运,一个简单的初始分布也可能被传输到多个彼此分离的目标子分布。此时,常微分方程流映射的微分同胚性质使其难以稳定、精确地刻画这种“一到多”或“多到多”的异质性分布间传输策略。再次,很多复杂系统的动力学行为本身受延迟反馈机制驱动,其未来演化不仅取决于当前状态,也取决于过去状态,传统流匹配方法缺乏对这类时滞效应的直接刻画能力。

  为解决当前流匹配生成框架的上述局限性,进一步增强生成模型的表示能力,研究团队基于时滞微分方程提出一种新型流匹配生成框架,称为时滞流匹配(Delay Flow Matching,DFM)。与传统方法不同,DFM 在参数化向量场中引入时滞项,将分布之间的连续传输过程建模为由时滞微分方程驱动的概率流。换言之,样本在生成过程中的动力学行为不仅由当前状态决定,也会受到历史状态的影响。这一设计使模型能够利用历史信息刻画更复杂的传输策略,从而更自然地处理轨迹相交、分布异质性以及真实系统中常见的时滞效应。

  具体而言,DFM由四个关键模块组成:第一,利用最优传输、关键点引导的最优传输或独立耦合等分布耦合策略,确定初始分布与目标分布之间的样本配对关系;第二,根据任务特征构造已配对样本间的传输路径,具体可采用线性插值、测地线插值或三次样条插值等方式进行传输路径构建;第三,为每条传输路径设计适配的初始函数,使模型能够在生成过程的初始阶段获得必要的历史信息;第四,为获得时滞微分方程对应的目标概率流及其向量场,借鉴条件流匹配(Conditional Flow Matching, CFM)的思想,通过引入传输路径这一隐变量,将未知且难以计算的目标边缘概率流分解转化为一系列给定路径条件下的条件概率流的期望形式,据此通过易于计算的条件概率流及其对应的条件向量场构建回归训练目标,并通过理论保证该训练目标最终可以得到生成目标边缘概率流的目标边缘向量场。

  在实际使用中,DFM 可以分为两类典型形式。第一类是采用常值初始函数的 DFM(C),适用于轨迹相交和时滞动力学重构等场景。其通过引入历史状态,使原本无法相交的分布传输轨迹可以在相同位置处继续分化到不同目标状态,一个简单示例如图1(a)所示。第二类是采用多样化初始函数的 DFM(D),适用于分布之间具有异质性问题的生成任务。该方法先基于聚类方法将初始分布和目标分布划分为不同子集,再为不同的子集配对分配不同的初始函数,从而引导样本从对应的初始子群体传输到对应的目标子群体,进而缓解分布异质性带来的奇点问题,一个简单示例如图1(b)所示。

  在理论层面上,研究团队证明了引入单个时滞项并配备常值初始函数的时滞流匹配方法能够以任意精度逼近两个分布之间的任意连续传输映射。这一理论结果充分证实了基于时滞微分方程的时滞流匹配方法相较基于常微分方程的流匹配方法具有更强的表示能力,能够以更高精度建模更广泛的分布传输策略。

1ODEsDDEs建模的分布传输策略对比。(a)通过关键点引导的最优传输(Keypoint-guided optimal transport,KPG-OT)配对方案将一个高斯分布映射到其自身,图中两条红色箭头实线连接的是已知的两组初始-目标耦合点对 (关键点对), 在传输过程中需要保证关键点对之间的耦合关系, 其诱导的最优传输映射不可避免地会造成传输过程中的轨迹交叉,使得常微分方程无法维持期望的映射关系,在交叉点处只能重新进行配对;相比之下,具有常值初始函数的时滞微分方程可以基于历史信息实现对关键点引导的配对策略的精确耦合。(b)通过最优传输(Optimal transport,OT)配对策略将[-2,2]间的均匀分布传输至支撑在两个区间[-3,-1]以及[1,3]上的均匀分布:常微分方程会保持集合的连通性,导致不可避免地将0点处的一个小邻域传输至区间[-1,1];时滞微分方程可以通过为区间[-2,0](0,2]分配不同的初始函数,引导其分别传输至两个不同的连通子集,从而实现精确传输。

  为评估时滞流匹配生成框架的性能,研究团队在多个任务上展示了基于时滞微分方程的时滞流匹配方法相较于基于常微分方程的流匹配方法的优势,这些任务包括:从时序快照数据中建模并预测时滞系统的动力学行为,基于单细胞 mRNA 测序快照数据推断细胞分化轨迹,以及图像生成。

  在基于快照数据重构生物自调控系统的时滞动力学任务上,如图2所示,DFM(C) 基于关键点引导的最优传输方法对相邻时刻样本点进行配对,并基于三次样条插值方法构建传输路径,成功捕获了系统阻尼振荡的动力学行为并实现了精确的外推预测,相反基于常微分方程的流匹配方法完全无法建模该时滞动力学行为。

2:基于生物自调控系统时序快照数据集训练的 CFM 与 DFM(C) 的预测轨迹对比。 使用 CFM (a) 与 DFM(C)(b) 在生物自调控数据集上的内插与外推 (内嵌小图) 预测任务上的推断结果。

  在基于快照数据的单细胞轨迹推断任务上,通过为不同的细胞命运构建不同的初始函数,DFM(D)有效缓解了单细胞分化过程中异质性逐渐增强引发的奇点问题,保证了模型推断的细胞分化轨迹始终约束在数据流形上,避免了不具备生物学意义的分化轨迹。如图3所示,在小鼠造血细胞数据集和心肌细胞数据集上的实验结果表明,DFM(D)的轨迹推断结果显著优于基于常微分方程的流匹配方法以及一系列单细胞轨迹推断基准方法。

3:不同方法在单细胞轨迹推断任务上的实验结果。 MIOFlow (b, h),TIGON (c, i),CFM (d, j),DFM(C) (e, k),以及对不同细胞类型聚类采用不同初始函数的 DFM(D) (f, l) 在小鼠造血细胞数据集 (a-f) 和心肌细胞数据集 (g-l) 上推断的细胞分化轨迹对比。 (a) 和 (g) 展示了真实的单细胞快照数据分布。

  在图像生成任务上,在MNIST数据集与CIFAR-10两个经典的图像数据集上验证了DFM相较传统流匹配方法的性能优势。在MNIST数据集上,构建了一个半监督的图像转换任务,目标是将原始手写数字图像转换为其对应的负片,此任务存在传输轨迹交叉问题,使得流匹配方法难以精确完成图像转换任务,而DFM(C) 借助历史信息可以有效实现这一分布传输映射。在CIFAR-10数据集上,构建了双组分高斯混合分布到图像分布的生成任务,该任务具有显著的分布异质性问题,通过为不同的初始分布与目标分布聚类子集构建可自适应学习的多样化初始函数,DFM(D)的图像生成质量相较流匹配方法有明显提升,且这一优势在NFE(Number of function evaluations)较小时尤为显著。

  为进一步评估DFM算法的鲁棒性,研究团队围绕时滞参数选取、初始函数构建方法、聚类数量等模块开展了系统的消融实验。实验结果证明DFM对其中各个模块的选取均具有出色的鲁棒性。

  此外,训练与推理过程的效率也是评判生成模型在实际场景下应用价值的重要指标,为评估DFM的训练与推理效率,研究团队系统对比了时滞流匹配与流匹配的训练时间、推理时间、生成轨迹的曲率以及不同离散步数下的生成质量。 通过详细分析与验证,说明了时滞流匹配的训练代价仅略高于流匹配;而在推理效率方面,当面临存在轨迹相交或分布异质性问题的场景时,时滞流匹配的推理速度往往更快,这是因为其生成的传输路径相比流匹配更接近“直线”形态。

  为了进一步完善时滞流匹配生成框架,还有一系列潜在的研究方向值得在未来进一步研究。当前提出的时滞流匹配模型仅在参数化向量场中引入单个时滞项,其表达能力仍有拓展空间。未来可以探索建立具有多时滞项乃至分布式时滞项的时滞流匹配模型,建立相应的算法设计准则与理论基础。同时,深入分析时滞项数量、分布形式与模型表达能力之间的量化关系,揭示历史信息引入对传输映射建模精度的影响机制,为生成框架在诸多科学问题上的扩展应用提供全面指导。

论文链接:https://openreview.net/forum?id=6lH1XblLpo