中国绿网讯 科学智能(AI for Science)领域又迎来里程碑式的“上海时刻”。2月4日晚间,上海人工智能实验室宣布,开源全球首个基于“通专融合”架构的万亿参数科学多模态大模型——Intern(书生)-S1-Pro。这是全球开源社区中参数规模最大的科学模型,其性能表现稳居全球第一梯队,标志着科学智能正从“工具革命”的1.0时代,跨入由“革命性工具”驱动科学发现的2.0时代。
在人工智能(AI)领域,模型的参数规模往往决定了其“脑容量”。此次发布的全新书生科学模型,总参数量达到惊人的1万亿(1T),刷新了行业纪录。然而可贵的是,如此巨大的参数规模,并没有让模型变得过分“笨重”。
据介绍,书生万亿科学大模型采用了创新的混合专家架构(MoE)。形象地说,其内部相当于有512位各领域“顶尖专家”坐镇,每当面对具体的科学问题,系统会精准调用最合适的8位“专家”,一起参与分析决策。这种“按需点将”机制,使这个万亿模型只需要激活大约2%的参数(220亿),就可以从容应对复杂数理逻辑推理。
更精妙的是,书生万亿科学大模型,还通过底层创新,使得模型实现了“物理直觉”的跨越。据介绍,相较于处理语言,AI模型在解决科学问题时会遭遇很多新的挑战。尤其是语言的“字符间距”、或者说“数据密度”相对稳定,但科学领域却绝非如此——天文学家们往往要从洪荒中努力捕捉极其渺茫的信号,而生命科学却往往能在一个实验里采集到百万级的数据。为此,上海人工智能实验室引入“傅里叶位置编码(FoPE)”并重构“时序编码器”,像是为大模型赋予了“双重听觉”——既可以在微观上感知单个音符,又可以在宏观上欣赏整个乐章;亦或者说,这种机制让模型也拥有了“双重视觉”,既可以直击“沙粒之棱角”,也能眺望“沙丘之绵延”。
根据上海人工智能实验室主任、首席科学家周伯文的构想:“通专结合”是实现通用人工智能(AGI)的可行方案。而此次开源的书生万亿科学大模型,实际上就通过一系列底层创新,为这一构想的落地提供了现实的路径。