阿里前副总裁贾扬清吐槽国产大模型“套壳”,李开复公司回应称有借鉴公开成果
搜狐科技
2023-11-14 18:42:41

原标题:阿里前副总裁贾扬清吐槽国产大模型“套壳”,李开复公司回应称有借鉴公开成果

出品 | 搜狐科技

作者 | 梁昌均

国内大模型再陷“套壳”争议。阿里巴巴前副总裁、知名AI框架大牛贾扬清发朋友圈,感慨做小公司不容易,希望国内企业如果就是开源的模型结构,不要做换名伪装,免得做多余的适配工作。

根据贾扬清的朋友圈,他表示有某海外客户要其公司帮他们适配某国内大厂的新模型,但后来有朋友告知,这个大厂新模型完全就是LLaMA的架构,但为了表示不一样,把代码里面的名字从LLaMA改成了他们的名字,然后换了几个变量名。此外,海外也有工程师直接指出了这一点。

“我们是小公司也不想得罪大佬们,名字我就不说了,不过各位大佬,开源社区不容易,如果你们就是开源的模型结构,求高抬贵手就叫原来的名字吧,免得我们还做一堆工作就为了适配你们改名字。”贾扬清说。

前述消息在业内传开后,国内不少基于开源的LLaMA的国产大模型纷纷躺枪。但贾扬清所说的“大厂”到底是谁并不定论,他还特别声明到不是老东家阿里。LLaMA是Meta在今年开源的系列大模型,参数包括13B、65B等。

不过,业内的怀疑对象指向刚发布首款预训练大模型Yi-34B的零一万物,其是李开复在今年7月入局AI大模型新成立的公司,由李开复牵头创办并担任CEO。

搜狐科技注意到,零一万物开源发布的Yi-34B模型目前在Hugging Face的Open LLM Leaderboard开源大语言模型排行榜排名第一。但此前有开发者在Hugging Face社区的Yi-34B项目讨论区留言称,除了两个张量被重新命名外(input_layernorm 和 post_attention_layernorm),Yi完全使用了LLaMA的架构。

“因为围绕LLaMA架构有大量的投资和工具,所以对张量使用相同的名称是有价值的。开源社区肯定会重新发布Yi,并重新命名张量,以便有一个符合LLaMA架构的版本。我们希望您能考虑在该模型获得大量采用之前,在您的官方模型中采用这一更改,以便它最终能够享受它应得的采用。”该留言称。

对于市场质疑,零一万物方面对搜狐科技回应称,GPT是一个业内公认的成熟架构,LLaMA在GPT上做了总结。零一万物研发大模型的结构设计基于GPT成熟结构,借鉴了行业顶尖水平的公开成果,由于大模型技术发展还在非常初期,与行业主流保持一致的结构,更有利于整体的适配与未来的迭代。同时基于零一万物团队对模型和训练的理解做了大量工作,也在持续探索模型结构层面本质上的突破。

零一万物还表示,模型结构仅是模型训练其中一部分。Yi 开源模型在其他方面的精力,比如数据工程、训练方法、baby sitting(训练过程监测)的技巧、hyperparameter设置、评估方法以及对评估指标的本质理解深度、对模型泛化能力的原理的研究深度、行业顶尖的 AI infra 能力等,投入了大量研发和打底工作,这些工作往往比起基本结构能起到更大的作用跟价值,这些也是零一万物在大模型预训练阶段的核心技术护城河。

“在大量训练实验过程中,由于实验执行的需要对代码做了更名,我们尊重开源社区的反馈,将代码进行更新,也更好的融入Transformer生态。”零一万物称,非常感谢社区的反馈,希望和大家携手共创社区繁荣,Yi Open-source 会尽最大努力持续进步。

对于Hugging Face上提到的留言,零一万物有关负责人也对其作出了回复,称会按照留言的建议,把张量的命名从Yi改为LLaMA,保证准确度和透明度。

“这个命名问题是我们的疏忽。在大量的实验中,我们对代码进行了多次重命名,以满足试验要求,但在推出发行版前没有把名字换回来。”该回应称,零一万物将加强流程,保证这样的失误不会再次发生,并将检查所有代码,确保其它没有问题。

零一万物在11月初正式发布首款预训练大模型 Yi系列模型,包含34B和6B两个版本,其中34B模型版本开源。零一万物当时宣称,根据 Hugging Face 英文开源社区平台和C-Eval中文评测的最新榜单,Yi-34B预训练模型成为全球开源大模型“双料冠军”,这也是迄今为止唯一成功登顶 Hugging Face 全球开源模型排行榜的国产模型。

此前,国内不少大模型都陷入过“套壳”质疑,不少企业正是基于开源模型(特别是LLaMA系列)做微调,包括二次训练等,也有企业直接基于开源模型做应用层的开发,因此研发成本更低,但往往缺乏技术护城河,不被市场看好。

OpenAI CEO Sam Altman此前就表示,“套壳”OpenAI的公司活不长久,因为OpenAI已经在解决模型本身的问题,同时这些仅在成本和速度上与OpenAI一较高下的公司,竞争优势并不会长久且持续,企业必须提供真正独特的价值。

相关内容

热门资讯

玩家实测“wepokerh5可... 亲,wepokerh5这款游戏可以开挂的,确实是有挂的,。但是开挂要下载第三方辅助软件,wepoke...
让我来分享经验“飞飞黄梅棋牌透... 让我来分享经验“飞飞黄梅棋牌透视辅助脚本”![必胜开挂神器]是一款可以让一直输的玩家,快速成为一个“...
玩家实测“WPK俱乐部可以开挂... 玩家实测“WPK俱乐部可以开挂透视嘛”(分享详细辅助教程) WPK俱乐部辅助插件辅助器中分为三种模型...
玩家实测“新版HHPoker可... 自定义新版HHPoker系统规律,只需要输入自己想要的开挂功能,一键便可以生成出微扑克专用辅助器,不...
让我来分享经验“灵珠透视辅助脚... 您好,灵珠这款游戏可以开挂的,确实是有挂的,通过微信【8198015 】很多玩家在这款游戏中打牌都会...
让我来分享经验“顺意透视辅助脚... 您好,顺意这款游戏可以开挂的,确实是有挂的,通过微信【29290261】很多玩家在这款游戏中打牌都会...
让我来分享经验“云鼎透视辅助脚... 无需打开直接搜索微信:云鼎有挂吗本司针对手游进行,选择我们的四大理由:1、软件助手是一款功能更加强大...
让我来分享经验“乐鱼透视辅助脚... 您好,乐鱼这款游戏可以开挂的,确实是有挂的,通过微信【8198015 】很多玩家在这款游戏中打牌都会...
玩家实测“【AAPoKer】可... 玩家实测“【AAPoKer】可以开挂透视嘛”(分享详细辅助教程)里面包含了5中不同的软件透明挂,分别...
让我来分享经验“喜韵透视辅助脚... 您好,喜韵这款游戏可以开挂的,确实是有挂的,通过微信【29290261】很多玩家在这款游戏中打牌都会...
让我来分享经验“领航透视辅助脚... 您好,领航这款游戏可以开挂的,确实是有挂的,通过微信【8198015 】很多玩家在这款游戏中打牌都会...
玩家实测“【新版AAoKer】... 玩家实测“【新版AAoKer】可以开挂透视嘛”(分享详细辅助教程)里面包含了5中不同的软件透明挂,分...
让我来分享经验“星梦透视辅助脚... 您好,星梦这款游戏可以开挂的,确实是有挂的,通过微信【29290261】很多玩家在这款游戏中打牌都会...
玩家实测“《新版WPK德州》可... 玩家实测“《新版WPK德州》可以开挂透视嘛”(分享详细辅助教程)一、《新版WPK德州》AI软件牌型概...
玩家实测“《WPK德州》可以开... 亲,《WPK德州》这款游戏可以开挂的,确实是有挂的,。但是开挂要下载第三方辅助软件,《WPK德州》的...
让我来分享经验“红灯笼透视辅助... 您好,红灯笼这款游戏可以开挂的,确实是有挂的,通过微信【29290261】很多玩家在这款游戏中打牌都...
让我来分享经验“仁怀三缺一透视... 本篇文章给大家谈谈怎样看出仁怀三缺一开挂开挂没,以及仁怀三缺一怎么看出来是开挂对应的知识点,希望对各...
让我来分享经验“湖北茶楼透视辅... 亲,湖北茶楼有的,ai轻松简单,又可以获得无穷的乐趣,湖北茶楼是你和朋友度过闲暇时光的不二选择,赶紧...
让我来分享经验“天盛游戏透视辅... 无需打开直接搜索微信:天盛游戏有挂吗本司针对手游进行,选择我们的四大理由:1、软件助手是一款功能更加...
玩家实测“pokerrrr2可... 亲,pokerrrr2这款游戏可以开挂的,确实是有挂的,。但是开挂要下载第三方辅助软件,pokerr...
让我来分享经验“变形金刚透视辅... 您好,变形金刚这款游戏可以开挂的,确实是有挂的,通过微信【29290261】很多玩家在这款游戏中打牌...
让我来分享经验“金宝联盟透视辅... 无需打开直接搜索微信:金宝联盟有挂吗本司针对手游进行,选择我们的四大理由:1、软件助手是一款功能更加...
玩家实测“WPK德州可以开挂透... 自定义WPK德州系统规律,只需要输入自己想要的开挂功能,一键便可以生成出微扑克专用辅助器,不管你是想...
玩家实测“德扑圈可以开挂透视嘛... 玩家实测“德扑圈可以开挂透视嘛”(分享详细辅助教程)里面包含了5中不同的软件透明挂,分别是德扑圈辅助...
让我来分享经验“微竞东丰麻将透... 您好,微竞东丰麻将这款游戏可以开挂的,确实是有挂的,通过微信【8198015 】很多玩家在这款游戏中...
让我来分享经验“微竞白城麻将透... 亲,微竞白城麻将有的,ai轻松简单,又可以获得无穷的乐趣,微竞白城麻将是你和朋友度过闲暇时光的不二选...
让我来分享经验“决胜山西麻将透... 无需打开直接搜索微信:决胜山西麻将有挂吗本司针对手游进行,选择我们的四大理由:1、软件助手是一款功能...
玩家实测“AGPoKer可以开... 玩家实测“AGPoKer可以开挂透视嘛”(分享详细辅助教程)一、AGPoKerAI软件牌型概率发牌机...
让我来分享经验“微竞斗地主透视... 亲,微竞斗地主有的,ai轻松简单,又可以获得无穷的乐趣,微竞斗地主是你和朋友度过闲暇时光的不二选择,...
让我来分享经验“九州游戏透视辅... 无需打开直接搜索微信:九州游戏有挂吗本司针对手游进行,选择我们的四大理由:1、软件助手是一款功能更加...