知识块 #RADC4V
开源大模型正在缩小与闭源大模型的差距
Robin  |  2024-07-28

MMLU(大规模多任务语言理解)是一种大模型能力的测试基准,旨在通过在零样本和少样本设置中专门评估模型来衡量预训练期间获得的知识。比较类似评估人类学习能力的方式。该基准涵盖了 STEM、人文科学、社会科学等 57 个学科。

Maxime Labonne 针对主流大模型的 MMLU 测试结果显示,以 Meta Llama 为代表的开源大模型正在缩小与闭环大模型的差距。

数据来源 Maxime Labonne
分享链接 http://robin5G.com/RADC4V
延伸阅读
生成式 AI WordPress

生成式 AI 工具在内容营销相关领域已经得到了规模应用。附图来自 WordPress 企业客户的调研,Top 5 工具分别为:(1) ChatGPT、(2) Chatfuel;(3) Brand24;(4) DALL-E;(5) HubSpot SEO。

此类工具通常扮演了 “生产力工具” 角色,而生产力工具的付费意愿通常是不错的。

星巴克 将心注入 | 中信出版社

1989 年为了是否提供脱脂牛奶,星巴克管理层展开激烈的辩论(争论不休),各有各的理由。

CEO 霍华德觉得用了脱脂牛奶就意味着背叛引进意大利浓缩咖啡这一初衷等。

直到有一天,其去咖啡店目睹了一位女性顾客要加脱脂牛奶,但收到店员答复没有之后的无奈和叹气。

霍华德立马决定改变自己的态度,还是赶快试点吧,也别空对空争论不休了 …