
8卡不够用、百卡用不起的无语终于有东谈垄断了云开体育
就在刚刚,朝阳在中关村论坛发布了scaleX40的超节点,40卡、箱式、无线缆。参数听起来挺硬核,但让我真实感深嗜的,是在发布会上听到的一句话:作念用户买得起、用得上、用得好的超节点。
这话放在算力圈,其实是有点反知识的。已往两年,全球民风了听百卡集群、万亿参数、千卡互联这些雄伟叙事,仿佛算力越大越光荣。但真实跑业务的东谈主知谈,执行不是那样的。
我缔结一家作念垂直行业大模子的公司,CTO跟我吐槽过无数次,说目下8卡机器跑不动千亿模子,微调一次等一周,batch size皆不敢调大。但往上走,那些动辄上亿的百卡集群,他们买不起也用不起。机房要改良,运维要加东谈主,算下来还不如连续拼凑。
这即是典型的算力真旷地带。而今天朝阳给的谜底,是40卡。
为什么是40?发布会上讲了一个数据,40卡是性能收益的“甜点区”。再往上,边缘效益递减;再往下,千亿模子跑不顺。40卡刚好卡在这个区间里,既能跑通千亿模子训推,又不必砸锅卖铁改机房。
更要道的是,它是个箱子。尺度19英寸机柜就能装,下个月就能委派,无线缆联想让运维从数小时缩到几分钟。对大大量企业来说,这才是真实的需求,别让我折腾,让我速即跑起来。
现场有位IT认真东谈主跟我说,大大量公司预算就那么多,以前要么左迁用8卡拼凑,要么咬咬牙上超预算的决策。目下终于有个中间选项了。
#AI蓄意# #中科朝阳# #scaleX40超节点#云开体育

