本站内容为虚构演示,与真实新闻及机构无关;请勿当作事实或专业意见。

全文

FULL TEXT

查看本期期刊
深度AI

分布式推理协作网络ReasonNet发布:1000个小型AI模型协同推理超越单一大模型

柏林工业大学与欧洲AI联盟联合发布ReasonNet分布式推理架构,通过将复杂推理任务分解给1000个专门化小型模型协作完成,在数学推理基准测试中首次超越单一大模型方案。

柏林工业大学机器学习研究所与欧洲AI联盟(EAIL)今天联合发布了ReasonNet——一个全新的分布式推理协作架构。该架构通过将复杂推理任务动态分解给最多1000个专门化的小型AI模型协作完成,在多项数学推理和逻辑推理基准测试中首次超越了单一大模型方案。

从「越大越好」到「分工协作」

过去三年,AI行业的主要竞争方向是构建更大的单一模型。从GPT-4的1.8万亿参数到Gemini Ultra的估计3万亿参数,参数规模的增长曲线近乎垂直。但ReasonNet的团队从一开始就选择了相反的路径。

ReasonNet的首席架构师、柏林工业大学教授卡特琳·鲍尔解释说,人类大脑的推理过程并非由单个超级神经元完成,而是由多个专门化的脑区协作实现。ReasonNet模仿了这一模式,将推理任务分解为多个子任务,分配给在特定领域训练的小型模型。

系统的核心是一个名为「推理调度器」的组件。当收到一个复杂问题时,调度器首先分析问题的结构和所需的推理类型,然后将其分解为子问题,分配给最合适的小型模型。每个小型模型的参数量在70亿到130亿之间,但在其专门领域内的表现可以媲美甚至超越通用大模型。

测试结果

在GSM8K数学推理基准测试中,ReasonNet的准确率达到97.3%,超过了GPT-5的95.8%和Gemini Ultra 2的96.1%。更引人注目的是,在更具挑战性的MATH基准测试中,ReasonNet的准确率为89.7%,比最佳单一模型高出4.2个百分点。

在逻辑推理任务上,ReasonNet的优势更加明显。在LogiQA 2.0测试中,ReasonNet达到91.2%的准确率,而最佳单一模型为86.5%。鲍尔教授将这一优势归因于ReasonNet能够在推理过程中动态调整模型组合,针对不同类型的逻辑步骤调用不同的专门模型。

但ReasonNet并非在所有任务上都占优。在需要大量世界知识的开放域问答任务中,ReasonNet的表现反而不如大模型。鲍尔教授坦承,ReasonNet擅长的是需要多步推理的结构化问题,对于需要广泛知识检索的任务,大模型的海量参数仍然具有优势。

部署成本与延迟

ReasonNet的一个关键优势是部署成本。1000个小型模型的总算力需求约为一个万亿参数模型的30%,推理延迟则与单一大模型持平。这是因为ReasonNet的并行调度机制允许大量子任务同时进行,而单一模型的推理过程本质上是串行的。

柏林工业大学已经与欧洲的多家云计算服务商达成合作,计划在2030年第二季度推出ReasonNet的商业化版本。定价方案尚未公布,但团队表示将采用按推理步骤计费的模式,而非传统的按token计费。

对行业格局的影响

ReasonNet的发布可能对当前「以大为美」的AI行业产生深远影响。如果分布式推理架构能够持续证明其优势,那么拥有海量算力来训练万亿参数模型的公司将面临来自小型专门化模型联盟的竞争压力。

英伟达的首席科学家比尔·达利在社交媒体上评论说,ReasonNet代表了一种「更民主化的AI发展方向」——不需要数十亿美元的训练预算,只需要足够多的专门化小型模型和高效的调度算法。

不过,也有分析师指出ReasonNet的工程复杂度远高于单一模型部署。摩根士丹利的AI行业分析师在一份报告中写道,ReasonNet的运维成本和系统复杂性可能会限制其在中小企业中的采用速度。

论文已在ICML 2030的早期投稿通道中提交,代码和预训练模型将在论文接受后开源。