近日，研究院智慧医疗与健康团队联合西安交通大学第一附属医院李白芽主任团队、同济大学范睿教授团队，聚焦多模态医学图像融合关键技术难题，创新性提出融合频域分解与多方向并行Mamba的FDPMambaFuse模型，实现CT-MRI、MRI-PET、MRI-SPECT、PA-US等多模态影像的高质量融合。相关成果以“FDPMambaFuse: A Frequency-Domain and Parallel Mamba-Based Model for Multimodal Medical Image Fusion”为题，发表于JCR一区（中科院TOP期刊）《Neural Networks》。
研究背景
在临床精准诊疗场景中，CT、MRI、PET、SPECT、光声（PA）、超声（US）等多模态医学影像各具优势，单一模态影像难以全面呈现解剖结构、功能代谢与病变信息，多模态影像融合成为提升诊断精度、支撑术中导航的核心技术。然而现有融合方法普遍聚焦空间域特征建模，忽略频域信息与方向结构特征，同时存在跨模态互补性建模不足、融合策略单一、临床专用数据集缺失等问题。
成果介绍
针对上述痛点，团队提出FDPMambaFuse频域感知多方向并行Mamba融合模型，首次实现空间-频域-方向三位一体的多模态影像特征建模，在多项权威任务中刷新最优性能，并构建开源临床数据集推动领域发展。
1.频域分解+多方向并行Mamba架构
团队首次将离散小波变换（DWT）频域分解与多方向并行Mamba（MSD-Mamba）结合，通过四分支并行结构沿水平、垂直、对角线、反向四个方向建模长程依赖，高效捕捉医学影像的全局结构与高频细节特征，兼顾模型精度与计算效率。
图1 FDPMambaFuse结构示意图
图2 MSD-Mamba模块结构、Mamba结构及扫描方向示意图
2.多阶段自适应融合机制
设计通道交换与空间自适应注意力双阶段融合策略，先实现跨模态轻量级信息交互，再对肿瘤、血管等关键区域进行智能加权，有效提升融合图像的结构一致性与细节保真度。
图3多阶段自适应特征融合模块结构示意图
3.无监督混合损失函数
提出像素级不确定性损失与梯度结构损失相结合的混合损失方案，无需标注数据即可实现模型训练，自适应强化高可靠模态信息，强力保留解剖边缘与纹理细节。
4.临床专用光声-超声数据集开源
自主构建并公开HIT-MMIF-PAUS光声-超声多模态融合数据集，涵盖线阵、环阵、内窥三套临床主流成像系统，成像对象包含小鼠皮下肿瘤、人体手指与皮肤、小鼠直肠等典型场景，覆盖肿瘤检测、微血管可视化等核心任务。数据集完成精准配准与分辨率统一，同步提供临床专家标注的肿瘤分割数据，填补了该领域临床专用高质量数据空白，为算法研发与验证提供标准化支撑。
FDPMambaFuse在CT-MRI、MRI-PET、MRI-SPECT、PA-US四大主流多模态融合任务中全面超越现有最优方法，信息熵、互信息、平均梯度、结构相似度等核心指标均实现显著提升；同时在脑肿瘤分割、光声-超声肿瘤分割等下游临床任务中，有效提升病变识别精度，具备极强的临床应用潜力。
西安交通大学第一附属医院李白芽主任与研究院智慧医疗与健康团队博士研究生张博恒为论文第一作者，孙明健教授为论文通讯作者。团队博士后刘旸、“苏州专项”博士研究生黄昊睿对论文发表作出重要贡献。该研究得到了国家重点研发计划、国家自然科学基金、山东省高端医疗器械创新共同体、威海先进生物材料与医疗器械山东省实验室等项目支持。
论文链接：https://doi.org/10.1016/j.neunet.2026.108994
文稿：秦杨一，责任编辑：孙铭锌，审核：王艺衡
