商汤科技董事长徐立：端侧应用是大模型“铺开”最核心的关键
每经记者：朱成祥 每经编辑：董兴生
4月24日上午，商汤-W（HK00020，股价0.8港元，市值268亿港元）港股开盘大涨。随后，商汤公告称，于11点15分起短暂停止买卖。暂停交易前，商汤股价上涨31.15%，报0.80港元/股。
4月23日，商汤科技在上海临港AIDC（人工智能计算中心）举办技术交流日活动。在技术交流日上，商汤发布日日新5.0大模型，全面对标GPT-4 Turbo。据悉，该大模型超过10TB tokens训练、覆盖大量合成数据，全新的日日新5.0采用混合专家架构，推理时上下文窗口可以有效到200K左右。
此外，商汤也推出日日新·端侧大模型。商汤科技董事长兼CEO徐立表示：“我们认为，今年是大模型在端侧应用的元年。试想，如果几十亿端侧的设备都在不停地调用大模型，没有任何一个服务器能够‘服务得起’。所以说，端侧应用，其实是大模型铺开最核心的关键。”
据了解，商汤日日新·端侧大语言模型的推理速度达到了业内最快，可在中端平台实现18.3字/s的平均生成速度，旗舰平台达到78.3字/s。
图片来源：每日经济新闻 靳水平 摄
在现场，徐立展示了端侧AI智能体的应用。比如通过语音输入查邮件，且将刚查看的邮件移动到智能手机的文件夹，并发送一个群公告：下午5点开会。
徐立表示：“端侧业务SDK（软件开发工具包）正式发布，大家可以扫码来适配到不同端侧，目前支持高通8系列、7系列芯片，还有匹配天玑的芯片。”
值得注意的是，此前的AI PC普遍对计算机性能要求较高。将大模型部署到PC端，它对算力、存储的要求都很高。如果现在部署到手机端，手机的算力、存储包括带宽是否会不足以支撑端侧小模型？
4月21日，商汤科技首席科学家王晓刚在接受《每日经济新闻》记者采访时表示：“大家要看不同的应用，对于模型的准确率或体验的要求是不一样的。比如大量聊天式的应用，对模型性能的要求也会低一些。如果通过模型作为智能体做各种操作，它对操作的准确性、时效性要求会更高。不同的应用方向、场景对模型的要求是不一样的，对于模型应用要求不是非常高的地方，是可以用端侧模型去做的。”
王晓刚补充表示：“（云端）大模型要求的是一个通用能力，能做很多事情，而手机上的端侧小模型要求是只需要在某些方面的能力做到足够好就可以了。最终，我们的模型不是一个模型，而可能是一组模型。比如在端侧，就用它作为AI智能体执行调用各种APP，执行各种功能，这时候，可以把端上的小模型局限在特定的功能上，把它做到最好。”
除了针对特定的功能，端侧模型的性能也在不断提升，一是数据质量的提升，二是可以通过云端大模型生成数据。
王晓刚表示：“随着整个数据清洗的质量越来越高，将来会有越来越高质量的数据训练端上的模型。另外，因为云端大模型的能力变得很强，它也能帮助我们生成某些方面高质量的数据。用这些数据可以更好地训练小模型，因此，端上小模型的性能也在快速地提升。各种因素综合到一起，还是能保证未来在端上的模型有一个好的应用，满足终端消费者的要求。”
每日经济新闻
上一篇：拆解百年人寿股权变局