动态路由混合专家架构MoEP深度：AI模型首次实现按输入复杂度自动调整计算路径

清华大学人工智能研究院与智谱AI在10月底联合发表了关于MoEP（Mixture-of-Experts Pathways）动态路由架构的研究论文，该架构首次让大语言模型能够根据输入内容的复杂度自动调整计算路径。

现有的混合专家模型（MoE）虽然通过稀疏激活降低了推理成本，但其路由策略是静态的，无论输入是简单的事实查询还是复杂的推理任务，模型都会经过相同的路由决策流程。MoEP改变了这一模式。

MoEP的核心创新在于引入了一个轻量级的难度评估器。在token进入主模型之前，难度评估器会在0.3毫秒内判断当前输入的认知负荷等级，并据此决定激活哪些专家层以及每一层的计算深度。

智谱AI首席科学家唐杰在论文中描述了三级路由策略：对于简单的事实查询和格式转换任务，MoEP仅激活25%的专家层，推理能耗降低68%；对于中等复杂度的分析和总结任务，激活50%的专家层；只有面对多步推理、数学证明和代码架构设计等高复杂度任务时，才会激活全部计算路径。

「这不是简单的早退机制，」唐杰在学术报告中强调。「MoEP的路由决策考虑了输入的语义深度、推理链长度和知识领域跨度三个维度。一个看似简单的问题如果涉及跨领域知识融合，也会被标记为高复杂度。」

在MMLU-Pro和HumanEval等基准测试上，MoEP架构的全量推理性能与同等规模的密集模型持平，但平均推理能耗仅为后者的41%。在面向企业客服和文档处理的实际场景中，能耗节省更为显著，因为这些场景中简单查询占比高达80%。

这一架构对AI推理服务的成本结构可能产生深远影响。目前，大模型推理服务的主要成本来自GPU算力消耗，而MoEP意味着服务商可以在不牺牲服务质量的前提下，将硬件投入降低至原来的40-60%。

不过，MoEP也面临实际部署挑战。难度评估器的准确性直接影响输出质量，如果将复杂问题误判为简单任务，可能导致关键信息丢失。论文报告的误判率为2.1%，在医疗和金融等高风险场景中，这一比例仍需进一步降低。

谷歌DeepMind和Anthropic的研究团队已对MoEP论文发表了评论，认为动态路由是大模型效率优化的重要方向，但强调需要在更广泛的任务类型上验证其鲁棒性。