整理|图郑民梨园

制作|

在新的一天，OpenAI再次抛出“王者爆炸”:ChatGPT推出插件功能，不仅可以连接互联网，还可以启动搜索、执行代码、运行计算& # 8230；…

一笔带过，不仅省去了翻书和开计算器的力气，现在你还可以用ChatGPT直接获得搜索引擎提供最新新闻的体验。

Web浏览器、代码解释器和来自OpenAI的第三方工具。

OpenAI表示，“插件是专门为语言模型设计的工具，以安全性为核心原则，帮助ChatGPT访问最新信息、运行计算或使用第三方服务。”

具体来说，它的插件包括WolframAlpha、OpenTable和Slack等第三方工具，以及官方的web浏览器插件和代码解释器。

基于这些，普通用户也可以在ChatGPT接口中生成代码、运行代码、从csv数据上传下载文件到图像、评估输出结果。

此外，OpenAI还开放了知识库搜索插件的代码(https://github . com/open ai/chat GPT-retrieval-plugin)。

网络浏览器

ChatGPT的流行在于它几乎无所不能:编码、写计划、出版小说、做客服...但作为一个基于历史数据的语言模型，ChatGPT有一个一直为人诟病的问题:它的训练数据截止到2021年9月，无法准确回答更新的信息数据。

今天，这个“封印”终于被解除了——open ai推出了网页浏览器插件，也就是ChatGPT可以联网！

“受我们过去工作(包括我们自己的WebGPT，以及GopherCite、BlenderBot2、LaMDA2等)的启发，我们现在允许语言模型从互联网上读取信息，严格扩大其讨论范围，超越训练语料库，获得当天的最新信息。”

OpenAI展示了一个例子。ChatGPT可以通过网页浏览器插件检索今年奥斯卡的最新信息:

据OpenAI介绍，web浏览器会调用新Bing的搜索API从互联网上检索内容，从而继承了微软在安全方面的大量工作:(1)信息来源的可靠性和真实性；(2)防止检索有问题内容的“安全模式”。网络浏览器可以显示访问过的网站，并在ChatGPT的回复中引用它们的来源。

此外，OpenAI明确指出，该插件仅限于检索信息，不包括表单提交等“事务性”操作。它也将运行在一个独立的服务器上，因此ChatGPT的浏览活动与其基础设施是分离的。

代码解释器(代码解释器)

“一个可以用Python处理上传和下载的实验性ChatGPT模型”是OpenAI对其最新代码解释器的介绍。

简单来说，OpenAI提供了一个Python解释器，工作在沙箱、防火墙执行环境和一些临时磁盘空。代码解释器插件运行的代码在一个持久会话中进行求值，该会话在聊天对话过程中有效(即在线的话会超时)，后续调用可以建立在彼此之上。目前该功能支持上传文件到当前对话工作区，下载工作结果。

除了生成代码，代码解释器(CI)还支持以下功能:

解决数学问题，包括定量和定性的数学问题，进行数据分析和可视化，并在不同格式之间转换文件。此外，OpenAI还表示，正在邀请用户尝试代码解释器，并找到其他有用的功能。

为此，国外用户Andrew Mayne试图发现代码解释器也可以分析输出，并在另一个函数中使用。这意味着您可以将代码的不同部分串在一起，并将一部分的输出转化为另一部分的输入。

他让CI用算法生成一个迷宫，把迷宫转换成块，用算法找到出口，做成吃豆人的样子，然后生成一个GIF。

以前开发人员使用ChatGPT创建代码时，会涉及到将输出结果放到另一个环境中进行测试。现在您可以在不离开用户界面的情况下在ChatGPT中进行大量开发。可以说开发者的编程效率大大提高了。

通过Andrew Mayne的一些测量，我们不妨见证一下代码解释器的威力:

使用OpenCV进行人脸搜索

使用OpenCV和一个简单的人脸搜索算法(Haar级联分类器)，CI可以创建一个函数来查找这张图片中的人脸:

行星轨道

使用Matplotlib库，ChatGPT可以模拟内行星的轨道，并保存为gif图片。

创建机器学习模型

虽然ChatGPT不能在CI中加载任何机器学习库(目前)，但是我们可以使用n-grams生成一些基本的统计文本。在这个例子中，Andrew Mayne给了它一个书名，并要求它创建一个预测算法，然后预测文本序列中的下一个单词。这个结果不会很快让GPT-4担心，但它仍然很有趣。

绘图

ChatGPT被要求画一只猫，它创造了类似于猫的东西。

画一只戴着蓝色礼帽，嘴里叼着烟斗的猫。

恢复

OpenAI开放了一个ChatGPT搜索插件(https://github . com/open ai/chatgpt-retrieval-plugin)，允许chat GPT搜索矢量数据库的内容。比如从(Milvus，Pinecone，Qdrant，Redis，Weaviate或Zilliz)作为索引进行搜索，并将最佳结果添加到ChatGPT会话中，前提是这些数据库的内容得到了个人或组织的认可。

这样开发者就可以在搜索插件中添加自己被授权使用的内容，通过自然语言提出问题或表达需求，从自己的数据源(如文件、评论、邮件或公共文档)中获取最相关的文档片段。

第三方插件

对于第三方插件，OpenAI表示通过入围的开发者可以自己为ChatGPT搭建插件，并给出了相关步骤:

1.建立一个您希望语言模型调用的端点API(它可以是一个新的API、一个现有的API或者一个专门为LLM设计的现有API的包装器)。

2.创建一个记录API的OpenAPI规范和一个链接到OpenAPI规范并包含一些特定于插件的元数据的清单文件。

在chat.openai.com上开始对话时，用户可以选择他们想要启用的第三方插件。关于启用插件的文档会作为对话内容的一部分显示给语言模型，让模型根据需要调用的插件API实现功能。

目前，ChatGPT已经正式公布了第一批第三方插件，主要由Expedia、FiscalNote、Instacart、KAYAK、Klarna、Milo、OpenTable、Shopify、Slack、Speak、Wolfram和Zapier创建。

其中，计算知识引擎Wolfram|Alpha兴奋地说:“虽然还处于早期阶段，但已经非常令人印象深刻了——人们可以开始看到我们所谓的‘chat GPT Wolfram’是多么惊人地强大(甚至是革命性的)。”

比如上个月被问及土耳其的牲畜数量时，ChatGPT只会捏造一个合理但错误的数据。现在，调用Wolfram插件后，ChatGPT可以给出一个“好的、权威的”答案，并将其可视化:

我现在能使用它吗？

基于免费插件和第三方服务，再也不用担心ChatGPT的废话了。

OpenAI还在安全和风险的维度上强调了这一点，通过集成对外部数据的显式访问，如互联网上的最新信息、基于代码的计算或自定义插件检索的信息& # 8211；语言模型可以通过循证参考来提高答案的质量。

这些参考资料不仅可以提高模型的实用性，还可以使用户评估模型输出的可靠性，并反复检查其准确性，从而可能减少与过度依赖有关的风险。

那么什么时候能被开发者和用户使用呢？

事实上，自从ChatGPT、Bard、New Bing、文新伊彦等大模型工具和产品发布以来，我想很多用户最怕的就是“waitlist”这个简单的词。不出所料，这次也不例外(https://open ai . com/blog/chat GPT-plugins)。

OpenAI表示，目前只有一小部分用户(优先少数开发者和ChatGPT Plus用户)可以开始使用插件功能，它计划在了解更多信息后逐步推出更大规模的访问(针对插件开发者、ChatGPT用户和希望在alpha期后将插件集成到产品中的API用户)。

参考资料:

https://openai.com/blog/chatgpt-plugins

https://writings . Stephen wolfram . com/2023/03/chat GPT-gets-its-wolfram-super powers/

https://andrewmayneblog . WordPress . com/2023/03/23/chat GPT-code-interpreter-magic/

温馨提示：注：内容来源均采集于互联网，不要轻信任何，后果自负，本站不承担任何责任。若本站收录的信息无意侵犯了贵司版权，请给我们来信，我们会及时处理和回复。