Claude 3、Grok开源模型、DBRX开源大模型间的大模型华山论剑

金庸小说中的武术界总是有天下第一之争,比如通过华山论剑选出武功最高者。类似地,自从ChatGPT推出以来,人工智能领域也涌现出了一系列大型模型之间的竞争。截至3月份,公认的最强大的语言模型是GPT-4。不过三月初大模型又卷起来啦。

Claude 3

Anthropic发布了最新的Claude 3系列模型,一句话评价:真全面碾压GPT-4!用Anthropic的话说,Claude 3系列模型在推理、数学、编码、多语言理解和视觉方面,都树立了新的行业基准!

这次的Claude 3,更是整了个大的,一次就发了三个模型——Claude 3 Haiku、Claude 3 Sonnet与Claude 3 Opus,能力依次从低到高。以下是Claude 3系列模型与同行在多个能力评估基准上的对比:可以看到,其中Claude 3 Opus模型性能完全碾压GPT-4,以及Gemini 1.0 Ultra。Claude 3 Sonnet在部分基准上,比如GSM8K、MATH等超越了GPT-4。Claude 3 Haiku可以与Gemini 1.0 Pro相抗衡。

有人说Claude 3模型的出场,意味着GPT-4时代的终结。有网友在线蹲GPT-5发布。不过笔者还没有用Claude3,无法做出谁最强的评价。但是乐意看到大模型性能的改进。

Claude和GPT模型之争是闭源大模型之间的对决。同时最强开源大模型之争也是精彩纷呈。

Grok开源模型

马斯克最近一直对OpenAI颇有微词,认为OpenAI违背了开源的宗旨。3月1号,马斯克向旧金山高等法院提起诉讼,以违反合同为由起OpenAI及其CEO Sam Altman。马斯克在诉讼中表示,奥特曼违背了OpenAI成立时的宗旨——开发技术造福人类,而非为了利润。

马斯克一边跟OpenAI进行口水之争,一边自己践行开源的理念。3月中旬马斯克宣布开源自家大模型Grok。

Grok-1.5最显著的改进之一是,它在编码和数学相关任务中的表现。从下图中,与Grok-1相比,可以看出Grok-1.5在数学方面的能力得到大幅提升,GSM

大家知道比较强的开源大模型有:Llama2, Mistral, and Gemma模型。这不Grok也加入开源大家族。这几个开源大模型一直在争谁是最强开源大模型。

DBRX开源大模型

不过3月28日全球最强开源模型,一夜易主!刚刚,超级独角兽Databricks重磅推出1320亿参数的开源模型——DBRX。它采用了细粒度MoE架构,而且每次输入仅使用360亿参数,实现了更快的每秒token吞吐量。这种独特的MoE架构,让DBRX成为开源模型的SOTA,推理速度比LLaMA-2-70B快了2倍!

最重要的是,训练成本直接砍半!只用了1000万美元和3100块H100,Databricks就在2个月内肝出了DBRX。

DBRX在语言理解、编程、数学和逻辑方面轻松击败了开源模型LLaMA2-70B、Mixtral,以及Grok-1。

甚至,DBRX的整体性能超越GPT-3.5。尤其在编程方面,完全击败了GPT-3.5。

DBRX是一种基于Transformer纯解码器的大模型,同样采用下一token预测进行训练。它采用的是细粒度专家混合(MoE)架构,也就是具有更多的专家模型。

不管是闭源大模型还是开源大模型最强之争。笔者很乐意看到他们的进步,希望这些大模型保持对AI安全和伦理警惕之外,也期望带给我们更多的惊喜以及开源贡献。

本站文章通过互联网转载或者由本站编辑人员搜集整理发布,如有侵权,请联系本站删除。

本文链接:https://www.ttxsai.com/news/1722.html

滚动至顶部