|
地址：南通市启东城东工业园南二路16号
电话：0513-83660619
手机：13962732112
联系人：凌先生
电子邮箱：694261772@qq.com |
|
| 您现在的位置：网站首页 - 新闻动态 |
|
GPT-4模型的彻底重新设计使人工智能模型突然变得“更懒”、“更笨”
|
| 发布时间：
2023/7/14 |
世界上最强大的人工智能模型已经变得不那么强大了。这让业内人士纷纷议论该系统可能会进行重大重新设计。
最近几周，OpenAI的GPT-4用户一直在抱怨性能下降，一些人称该模型与之前的推理能力和其他输出相比“更懒”、“更笨”。
用户在Twitter和OpenAI的在线开发者论坛上表达了他们的不满，涉及诸如逻辑弱化、错误响应增多、无法跟踪所提供的信息、难以遵循指令、忘记在基本软件代码中添加括号以及只记住最近的提示等问题。
“当前的GPT4令人失望，”一位使用GPT-4帮助他为其网站编写功能的开发人员写道。“这就像开着一辆法拉利一个月，然后突然变成了一辆破旧的旧皮卡。我不确定我是否愿意为此付钱。”
Roblox产品负责人Peter Yang在推特上表示，该模型生成的输出速度更快，但质量较差。“只是一些简单的问题，比如让写作更加清晰、简洁以及产生想法，”他补充道。“我认为写作质量下降了。” 他询问其他人是否注意到这一点。
另一位 Twitter 用户弗雷泽·麦克劳德(Frazier MacLeod)回答道：“我发现它比较懒。”
用户Christi Kennedy在OpenAI开发者论坛上写道，GPT-4已经开始一遍又一遍地循环输出代码和其他信息。
“与以前相比，这简直是脑死亡，”她上个月写道。“如果你没有真正推动它发挥以前的功能，你就不会注意到。但如果你真正充分使用它，你会发现它显然要愚蠢得多。”
与今年早些时候相比，这是一个很大的变化，当时OpenAI凭借ChatGPT令世界惊叹，科技行业满怀期待地等待着GPT-4的推出。ChatGPT最初运行在GPT-3和GPT-3.5上——这些是巨大的底层人工智能模型，为其不可思议的答案提供了动力。
更大的GPT-4于3月份推出，并迅速成为开发人员和其他科技业内人士的首选模型。它被广泛认为是现有的最强大的人工智能模型，并且它是多模式的，这意味着它可以理解图像和文本输入。
在最初急于尝试这种新模型后，一些人对使用GPT-4的账单感到震惊。Lamini是一家帮助开发者构建定制大型语言模型的科技公司，其首席执行官Sharon Zhou表示，新模型虽然速度缓慢，但非常准确。
直到几周前，情况都是如此。然后GPT-4变得更快，但性能明显下降，这引发了整个人工智能社区的讨论，周和其他专家表示，这表明重大变化正在进行中。
他们表示OpenAI可能会创建几个较小的GPT-4模型，其行为与大型模型类似，但运行成本更低。
周说，这种方法被称为“专家混合”（MOE）。较小的专家模型根据自己的任务和学科领域进行训练，这意味着可能会有一个专门研究生物学的GPT-4，以及一个专门研究物理、化学等的GPT-4。当GPT-4用户提出问题时，新系统会知道将该查询发送给哪个专家模型。为了以防万一，新系统可能会决定向两个或多个专家模型发送查询，然后将结果混合起来。
“这个想法已经存在了一段时间，这是自然而然的下一步，”周说。
周将这种情况与“忒修斯之船”进行了比较，这是一个思想实验，随着时间的推移，船的一部分被替换掉，引出了一个问题，什么时候它会变成一艘全新的船？
“OpenAI正在采用 GPT-4并将其转变为由较小船只组成的舰队，”她说。“从我的角度来看，这是一种新模式。有些人会说它是一样的。”
Insider周二向OpenAI询问了此事。该公司部分归微软所有，没有做出回应。
本周，几位人工智能专家在Twitter上发布了他们所说的GPT-4架构的详细信息。科技公司创始人Yam Peleg在推特上表示，OpenAI通过使用由16名专家组成的MOE模型，能够降低成本。Semianalysis本周撰写了有关GPT-4内部运作的文章。
安全黑客George Hotz在最近的播客中描述了GPT-4的“八路混合模型”。Meta的PyTorch开源人工智能项目的联合创始人Soumith Chintala对Hotz的评论发表了看法。
艾伦人工智能研究所首席执行官奥伦·埃齐奥尼(Oren Etzioni)在本周看到网上的泄密事件后，在给Insider的一封电子邮件中写道：“我猜想这些猜测大致准确，但我没有得到证实。”
他说，使用MOE方法有两个主要的技术原因：生成更好的响应，以及更便宜、更快的响应。
Etzioni补充道：“‘正确’的混合物可以同时满足两者，但通常需要在成本和质量之间进行权衡。” “在这种情况下，有传闻称OpenAI正在牺牲一些质量来降低成本。这些模型很难评估（什么构成更好的响应？在什么情况下？）所以这不科学，只是轶事。”
OpenAI在2022年的研究中撰写了有关MOE方法的文章，该研究由OpenAI总裁、该公司联合创始人格雷格·布罗克曼(Greg Brockman)共同撰写。重新设计的ＧPT-4不得不说是科技行业的重大事件，对于启东格莱特石化设备企业的静态混合器设计与生产的科技创新必将产生影响，调整思维，跟随创新，在新技术的引领下，新时代的格莱特人必将更加自信！
“使用专家混合(MoE)方法，仅使用网络的一小部分来计算任何一个输入的输出。一个示例方法是拥有多组权重，网络可以通过以下方式选择要使用的一组权重：推理时的门控机制，”布罗克曼和他的同事 Lilian Weng 写道。“这可以在不增加计算成本的情况下实现更多参数。每组权重都被称为‘专家’，希望网络能够学会为每个专家分配专门的计算和技能。”
Zhou表示，GPT-4最近几周令人不安的性能下降可能与这次训练和OpenAI推出的这批较小的专家GPT-4模型有关。
“当用户测试它时，我们会问很多不同的问题。它不会做得那么好，但它会从我们那里收集数据，它会改进和学习，”周说。
|
|
|
|
