VX: shixiaodayyds,备注【即插即用】,添加即插即用模块交流群。
文章目录
- 模块出处
- 模块介绍
- 模块提出的动机(Motivation)
- 适用范围与模块效果
- 模块代码及使用方式
模块出处
Paper:Heterogeneous Mixture of Experts for Remote Sensing Image Super-Resolution
Code:https://github.com/Mr-Bamboo/MFG-HMoE
模块介绍
MFG-HMoE整体架构以及核心组件Heterogeneous Mixture of Experts (HMoE):
核心创新点:
- 双阶段路由机制:分组简化决策:将专家分为 2 组,路由分 “选组→选专家” 两步,决策复杂度从 O (num_experts) 降至 O (2 + group_size),大幅降低路由计算成本,尤其适合专家数量较多的场景。组嵌入增强:为每组添加专属可学习嵌入,辅助门控区分不