傅盛周鸿祎同台泯恩仇，发布单卡可部署的百亿模型 | 最前线
“下面一起聊碰到AI的东西，放心，我来跟他是放心碰撞的，不是怼。”
2024年1月21日，360创始人周鸿祎罕见现身猎户星空的大模型发布会，与猎户星空董事长傅盛，进行了一场隔了16年的同台对谈。
周鸿祎与傅盛同台对谈。图源：直播截图
早年间，傅盛曾是周鸿祎在360的得力干将，其带领团队探索的业务360安全卫士，在2006年的日均安装量已经达到20万。但由于发展理念不合，2008年10月，傅盛辞职离开360，并与雷军合作创办竞品公司金山网络。2011年，360以窃取机密资料为由，与傅盛对簿公堂。
而让双方在公开场合一笑泯恩仇的，则是被周鸿祎视为“这辈子经历PC、互联网、移动互联网之后第四次巨大的机会”的AI大模型。
在圆桌对谈中，傅盛和周鸿祎两人对AI模型层和应用层的创业，有以下观点：
- AI不是操作系统，而是更像当年人人配备的PC，难以被两三家企业垄断；
- 大模型一定会两级分化：一条路是在云端越做越大，另一条路是把大模型做小；
- 训千亿大模型是大公司的活，资金资本消耗太大，但从应用出发去找好的场景把AI技术用好，是很好的机会；
- ToC产品无法用定制去解决，核心在于让每个人感受到独特的价值。今天的大模型做ToC，除了套皮之外想做深不容易；
- AI对原有业务的改进更适合有一定规模的公司，AI原生业务更适合早期的公司；公司要重视组合式的创新，把非AI的部分做到能让AI做起来；
- 因为行业套件还不成熟，真正ToC的AI原生应用还需要一两年。
傅盛提到，未来千亿参数规模的模型将半凋零，百亿规模的模型必将绽放。而猎户星空在模型的布局上，走的也是“把大模型做小”的路子。
此次猎户星空发布的是一款140亿参数的中型规模的大模型Orion-14B，在一张消费级的千元显卡上就能部署，针对的是企业的专业场景。
Orion-14B在NVIDIA RTX 3060显卡上推理速度可达31 Token/s (约每秒50汉字)。图源：猎户星空
与众多国内外200亿参数规模的模型相比，Orion-14B在MMLU、C-Eval、BBH等中英主流测试集上拿下SOTA（最佳模型），并且在700亿参数以下基座模型中，在中文数据集的表现上总分位列榜首。
基于第三方机构OpenCompass独立评测结果。图源：猎户星空
基于第三方机构OpenCompass独立评测结果。图源：猎户星空
对于榜单上的好成绩，猎户星空也表示，Orion-14B没有提前刷基准测试里面的真题，成绩绝对真实。
此外，Orion-14B单次可推理320K的上下文，相当于一次性看完约50页的小说（45万字）。而在针对大模型“记忆力”的权威测试“大海捞针（Needle in A Haystack）”中，Orion-14B对200k Token的召回率是100%。
图源：猎户星空
傅盛并不避讳承认Orion-14B的训练，基于的是8个开源的MoE（专家混合模型）。目前，Orion-14B也已经在GitHub、Hugging Face、ModelScope等平台开源。
同时，傅盛指出，ChatGPT只从公开出版物上获取数据，后果是无法深入解决企业问题。
落地到具体的企业应用场景，模型要解决的问题，一是幻觉和错误，二是缺乏自主性。
针对幻觉和错误问题，猎户星空推出了RAG能力微调模型Orion-14B-RAG。所谓的RAG（检索增强生成），能够从数据源中检索信息来复制大模型生成答案。Orion-14B-RAG对知识边界控制、问答对生成、幻觉控制、结构化数据提取等能力，进行了专项微调，让其能更好配合企业整合自身知识库，构建定制化的应用。
针对构建自主性，猎户星空推出了辅助企业构建AI Agent的插件能力微调模型Orion-14B-Plugin。该插件能够通过Orion-14B-RAG更好理解用户需求，并调用相关的工具解决问题。
图源：猎户星空
附：
Orion-14B技术报告 https://github.com/OrionStarAI/Orion/blob/master/doc/Orion14B_v3.pdf
欢迎交流