白小交 发自 凹非寺量子位 | 公众号 QbitAI反差 调教

打败LIama3！Qwen2.5登上全球开源王座。

尔后者仅以五分之一的参数范畴，就在多任务中杰出LIama3 405B。

千般任务弘扬也远超同类别的其他模子。

跟上一代比较，简直完毕了全面晋升，尤其在一般任务、数学和编码方面的才气弘扬显赫。

值得注观点是，这次Qwen不错说是史上最大范畴开源，基础模子径直开释了7个参数型号，其中还有六七个数学、代码模子。

像14B、32B以及轻量级Turbo模子胜过GPT-4o-mini。

除3B和72B模子外，这次扫数开源模子均弃取Apache 2.0许可。

Qwen2.5：0.5B、1.5B、3B、7B、14B、32B和72BQwen2.5-Coder：1.5B、7B和32B（on the way）Qwen2.5-Math：1.5B、7B和72B。

径直一扫数这个词头昏脑眩，还是有网友脱手用上了。

Qwen2.5 72B与LIama3.1 405B水平相等

比较于Qwen2系列，Qwen2.5系列主要有这样几个方面升级。

最初，全面开源。

他们谋略标明，用户关于坐蓐用的10B-30B参数范围以及迁徙端应用的3B范畴的模子有浓厚兴趣兴趣。

因此在原有开源同尺寸（0.5/1.5/7/72B）基础上，还新增了14B、32B以及3B的模子。

同期，通义还推出了Qwen-Plus与Qwen-Turbo版块，不错通过阿里云大模子就业平台的API就业进行体验。

不错看到，超半数模子齐因循128K高下文，最多可生成8K高下文。

在他们的笼统评测中，扫数模子跟上一代比较完毕了才气的跃迁，比如Qwen2.5-32B胜过Qwen2-72B，Qwen2.5-14B胜过Qwen2-57B-A14B。

其次，预检修数据集更大更高质料，从本来7万亿个token扩张到最多18万亿个token。

然后便是多方面的才气增强，比如取得更多学问、数学编码才气以及更妥贴东谈主类偏好。

此外，还有在指示追踪、长文本生成（从1k加多到8K以上token）、结构化数据交融（如表格）和结构化输出身成（尤其是JSON）方面均有显赫晋升。

来望望执行后果反差 调教。

表格交融

生成JSON输出

此外，Qwen2.5模子总体上对系统领导的千般性具有更强的适合才气，增强了聊天机器东谈主的脚色上演完毕和条目设定才气。

那么就来望望具体模子才气若何。

旗舰模子在前文还是看到，它在各个任务齐有较着的跨越。

而像0.5B、1.5B以及3B这样的小模子，性能大要是这样的：

值得注观点是，Qwen2.5-0.5B型号在千般数学和编码任务上的弘扬优于Gemma2-2.6B。

除此除外，Qwen2.5还展现了指示调优之后的模子性能，72B-Instruct在几项要道任务中杰出了更大的Llama-3.1-405B，尤其在数学（MATH：83.1）、编码（LiveCodeBench：55.5）和聊天（Arena-Hard：81.2）方面弘扬出色。

还有像32B-Instruct、14B-Instruct以及Qwen2.5-Turbo，展现了与GPT-4o-mini相等的才气。

Qwen史上最大范畴开源

除了基础模子，这次Qwen还放出了代码和数学专科模子。

Qwen2.5-Coder提供了三种模子大小：1.5B、7B和32B版块（行将推出）。

主要有两点校正：代码检修数据范畴的扩大以及编码才气的增强。

Qwen2.5-Coder在更大范畴的代码数据上进行检修，包括源代码、文本代码基础数据和合成数据，合计5.5万亿个token。

它因循128K高下文，遮蔽92种编程谈话。开源的7B版块以至杰出了DeepSeek-Coder-V2-Lite和Codestral等更大型的模子，成为咫尺最普遍的基础代码模子之一。

而数学模子这边，Qwen2.5-Math主要因循通过CoT和TIR惩处英文和汉文数学问题。

咫尺不提倡将此系列模子用于其他任务。

Qwen2.5-Math这一系列开源了包括基础模子Qwen2.5-Math-1.5B/7B/72B、指示调优模子Qwen2.5-Math-1.5B/7B/72B-Instruct，以及数学奖励模子Qwen2.5-Math-RM-72B。

与Qwen2-Math系列仅因循使用念念维链（CoT）惩处英文数学问题不同，Qwen2.5-Math 系列扩张因循使用念念维链和器具集成推理（TIR）惩处中英文数学问题。

跟上一版块比较，他们主要干了这三件事来完毕基础模子升级。

期骗Qwen2-Math-72B-Instruct模子来合成特殊的高质料数学预检修数据。

从鸠合资源、竹帛和代码中鸠合更多高质料的数学数据，尤其是汉文数据，跨越多个技巧周期。

期骗Qwen2.5系列基础模子进行参数启动化，展现出更普遍的谈话交融、代码生成和文本推理才气。

最终完毕了才气的晋升，比如1.5B/7B/72B在高考数学问答平永别晋升了 3.4、12.2、19.8 分。

好了，以上是Qwen2.5系列一整套号称「史上最大范畴」的开源。

不叫草莓叫猕猴桃

阿里通义开源认真东谈主林俊旸也共享了背后的一些细节。

他最初暗意，在开源Qwen2的那一刻就脱手了Qwen2.5名目。

在这历程中，他们意识到了许多问题和异常。

比如在预检修方面，他们们仅仅专注于提高预检修数据的质料和数目，使用了许多大家练习的要领。

比如文分内类器用于调回高质料数据，LLM 评分器用于对数据进行评分，这样就能在质料和数目之间取得均衡。

还有在创建众人模子的同期，团队还期骗它们生成合成数据。

在后期检修时候，用户的反映来匡助他们一一惩处问题，同期他们也在探索RLHF 要领，尤其是在线学习要领。

关于之后的升级和更新，他暗意受o1启发，觉得应该深刻谋略推理才气。

值得一提的是，在Qwen2.5预热之时，他们团队就泄漏不叫草莓，叫猕猴桃。

好了，当今猕猴桃不错快快用起来了。

参考蚁合：[1]https://x.com/JustinLin610/status/1836461575965938104[2]https://x.com/Alibaba_Qwen/status/1836449414220779584[3]https://qwenlm.github.io/blog/qwen2.5/

[4]https://qwenlm.github.io/blog/qwen2.5-llm/

[5]https://qwenlm.github.io/blog/qwen2.5-coder/

[6]https://qwenlm.github.io/blog/qwen2.5-math/