知识块 #2505044T6ZRP
大模型的 “小型化过程” 带来的影响
Robin  |  2025-05-04

当前,30 亿参数的 “小模型“ 的性能已经达到最开始 ChatGPT 所使用的 1750 亿参数模型的效果。这得益于更好的压缩技术(distillation 蒸馏、quantization 量化等),以及更高质量的训练数据。

这个小型化过程会带来显著的好处:边缘侧和端侧通常算力是有限的,没办法部署大模型,但小型的模型如果性能够,就可以用的起来。(而边缘和端侧等低延迟特性就可以发挥起来了)。

与此同时,我们也想到了另一个问题,甲方企业 CIO 的难题。通常一个 IT 项目从立项招标到部署应用,起码要耗费几个月,甚至更久的时间。而模型改进(如下图所示)是以月为单位进步的,很可能甲方企业根据标书购买的大模型还没有部署上线,就已经落后,而且落后很多。

大模型时代的 IT 投资保护是一个值得思考的话题。

数据来源 Abdin Translink Capital
分享链接 http://robin5G.com/2505044T6ZRP
延伸阅读
LLM IDC

大模型的部署,可以在公有云,也可以在企业自己的私有化环境。

IDC 咨询公司研究显示,中国大模型公有云市场在 2025H1 的市场表现中,字节跳动的火山引擎获得了接近半数的份额(49.2%),阿里云(27%)和百度(17%)位居二三位。

5G GSMA

根据 GSMA 的研究,一般而言网络运营成本占总运营成本的四分之一。而网络运营成本中,90% 以上都用在了能源消耗上。

能耗管理成为 5G 时代的关键课题。除此之外,数据中心也是超级能耗大户。

GPU Sequoia Capital

红杉资本 David Cahn 提出一个 “AI’s $200B Question 人工智能的 2000 亿美元的问题”,即谁在为英伟达的客户再买单

⑴ 国际市场:基于 GPU 的公司,至少需要新赚 2000 亿,才有能力购买英伟达 500 亿美元的 GPU;

⑵ 红杉资本的测算,至少还差 1250 亿美元;

⑶ ChatGPT 作为付费用户量最牛的 Gen AI 产品,用户留存和活跃度远不如 YouTube,WhatsApp 等传统热门应用;

⑷ “能否淘到金子” 不重要,重要的是 “让大家有淘金的感觉”,只要有共识,各种投资就在;卖最牛铲子商家发大财;

⑸ 站在全体经济角度,总增量有限,而卖铲商赚了很大的增量,自然有其他角色来填补空缺;

BTW:目测中国大陆的类似 ChatGPT...