[返回科技频道首页]·[所有跟帖]·[ 回复本帖 ] ·[热门原创] ·[繁體閱讀]·[版主管理]
OpenAI奉上程序员大礼包,ChatGPT又双叕进化了
送交者: 我在枫林中哭泣[♀☆★★★女中豪杰★★★☆♀] 于 2023-06-14 16:35 已读 4228 次  

我在枫林中哭泣的个人频道

ChatGPT一夜间再次进化,OpenAI一口气推出大量更新。


最核心的是API新增函数调用(Function calling)能力,与网页版的插件类似,API也能使用外部工具了。

这个能力被交到开发者手上,ChatGPT API原本不具备的能力也都能靠各种第三方服务解决了。

有人认为,这是一个杀手级特性,也是自ChatGPT API发布以来最重要的更新。


另外这次关于ChatGPT API的更新每一个都很重磅,不仅能力加量,价格还更低了:

推出新版本gpt-4-0613和gpt-3.5-turbo-0613模型

gpt-3.5-turbo上下文长度增涨400%,从4k增长到16k

gpt-3.5-turbo输入token降价25%

最先进embeddings model降价75%

GPT-4 API大规模开放,直到清空排队列表为止

消息传到了国内后,也有网友认为这是国内大模型面临的重大挑战。


何时使用工具,API自己决定

根据OpenAI官方介绍,函数调用同时支持新版GPT-4和GPT-3.5。

开发者只需要模型描述需要用到的函数,何时调用哪个函数都是模型根据提示词自己决定的,与ChatGPT调用插件的机制一样。

对于具体使用方法,官方给出了三个例子:

第一,聊天机器人调用外部API执行操作或回答问题,如“给某人发邮件”或“今天的天气如何?”。


第二,将自然语言转换为API调用或数据库查询,如“上个月有多少订单?”会自动生成SQL查询语句。


第三,从文本中自动提取结构化数据,如只需要定义好需要的“人名、生日、位置”,再给个网页链接,就可以自动提取一篇维基百科文章中提到的所有人物信息。


这一新功能让广大网友、特别是开发者为之欢呼,表示有了它工作效率将大大提高。


更新版本,更低价格

目前,新版本的模型已经逐步开始迭代。

最新版gpt-4-0613、gpt-3.5-turbo-0613与扩充上下文长度的gpt-4-32k-0613都支持函数调用。

gpt-3.5-turbo-16k不支持函数调用,提供4倍上下文长度,意味着一次请求可支持约20页文本。

旧模型也开始逐步废弃。

使用初始版本gpt-3.5-turbo、gpt-4的应用将于6月27日自动升级到新版本。

需要更多时间过渡的开发者,也可以手动指定继续使用旧版本,但9月13日之后所有旧版本请求将彻底废弃。

说完这个时间线,我们再来看看价格。

升级之后,OpenAI不仅没有让产品涨价,反而下调了价格。

首先是使用量最大的gpt-3.5-turbo(4k token版)。

输入token的价格降低了25%,现在0.0015美元每千token,也就是1美元66.6万token。

而输出token每千token的价格则为0.002美元,也就是1美元50万token。

换算成英语文本的话,大致是1美元700页。

嵌入模型(embeddings model)的价格更是大跳水,直接降低了75%。

每千token只需0.0001美金,也就是1美元一千万token。

此外,新推出的16K token版GPT3.5-Turbo提供了4K版本四倍的处理能力,但价格只有两倍。

输入及输出token的价格分别是0.003和0.004美元每千token。

另外还有少数网友反应,当月账单直接从100刀降到几美分了,目前还不清楚具体什么情况。‍‍‍‍‍‍‍


最后,有需要的话也不要忘记去排队GPT-4 API的测试资格。

OpenAI捕“Chain”,微软在后

不少网友指出,OpenAI新出的“函数调用”基本就是LangChain里“Tools”的翻版。


LangChain是大模型领域最火的开源开发框架,能够把各种大模型能力整合起来快速构建应用程序。

团队最近也刚刚获得1000万美元种子轮融资。

虽然OpenAI的这次更新还不至于直接“杀死”LangChain这个创业项目。

但是开发者们本来需要LangChain才能实现一些功能,现在确实不再需要了。


再看LangChain一方的反应,求生欲也确实很强。

在OpenAI官推发布更新的10分钟之内,LangChain立马宣布“已经在做兼容工作了”。


并且不到一个小时就发布了新版本,支持官方新功能之外,还可以把开发者已经写好的tools转换成OpenAI的functions。


一众网友除了排队感叹这快得离谱的开发速度,还思考起一个无法回避的问题:

对此,OpenAI首席执行官Sam Altman最近刚好做过一次表态。在5月底Humanloop举办的交流会上,Altman曾表示:

现在看来,开发工具似乎不算在避免竞争的范围之内。

而与OpenAI形成竞争关系的除了创业公司,还有一个不可忽视的存在——微软,OpenAI的最大金主,通过Azure云也对外提供OpenAI API服务。

就在最近,有开发者反馈,从OpenAI官方API切换到微软Azure版本后,性能显著提升。


具体来说:

median latency从15秒减少到3秒

95th percentile latency从60秒减少到15秒

平均每秒处理的token数量增加了三倍,从8个增加到24个。

再算上Azure给的一些折扣,甚至比原来还便宜了。


但微软Azure的更新速度一般要比OpenAI慢上几周。

开发阶段快速迭代用OpenAI,大规模部署转去微软Azure,你学到了么?

喜欢我在枫林中哭泣朋友的这个贴子的话, 请点这里投票,“赞”助支持!
[举报反馈]·[ 我在枫林中哭泣的个人频道 ]·[-->>参与评论回复]·[用户前期主贴]·[手机扫描浏览分享]·[返回科技频道首页]
帖子内容是网友自行贴上分享,如果您认为其中内容违规或者侵犯了您的权益,请与我们联系,我们核实后会第一时间删除。

所有跟帖:        ( 主贴楼主有权删除不文明回复,拉黑不受欢迎的用户 )


    用户名:密码:[--注册ID--]

    标 题:

    粗体 斜体 下划线 居中 插入图片插入图片 插入Flash插入Flash动画


         图片上传  Youtube代码器  预览辅助

    打开微信,扫一扫[Scan QR Code]
    进入内容页点击屏幕右上分享按钮

    楼主本栏目热帖推荐:

    >>>>查看更多楼主社区动态...






    [ 留园条例 ] [ 广告服务 ] [ 联系我们 ] [ 个人帐户 ] [ 版主申请 ] [ Contact us ]