传媒中国
adall1 adall2
当前位置:传媒中国 > 产业传媒

斯坦福科学家仅用600美元就克隆了OpenAI的ChatGPT

栏目:产业     编辑:白鸽    时间:2023-03-21 11:42     热搜:科学,美元   阅读量:12942   

如果说复制了一个OpenAI的ChatGPT的成本仅需600美元你会不会感到意外呢?事实上,斯坦福的科学家们真的做到了。

上周,斯坦福大学基础模型研究中心上周宣布,其研究人员使用 OpenAI 的 GPT API 对 Meta 的 LLaMA7B 大型语言模型 进行了“微调”,而且价格非常便宜。

结果就是斯坦福大学研究人员用600美元的成本,复制了OpenAI的GPT-3模型,并给自己的模型起了一个有趣的名字:Alpaca。他们利用了开放AI提供的预训练数据集和一些开源代码,只用了两个月就完成了复制。他们还在网上发布了自己的模型和代码,供其他人使用和改进。

这些科学家在其惊人简单的预算明细中表示,根据研究人员使用专有模型训练Alpaca所花费的时间,他们在 OpenAI 的 API 上投入“不到500美元”,在 LLaMA 上投入“不到100美元”。

虽然GPT-3是一个非常昂贵和复杂的模型,但是它并不是不可复制或独一无二的。复制品Alpaca模型虽然比GPT-3小很多,但是在一些任务上表现得很好,甚至超过了GPT-3。尽管如此,Alpaca确实也有“语言模型的几种常见缺陷,包括幻觉、毒性和刻板印象”。

这也可以当作一个典型的例子,证明了 OpenAI 这样的软件可能是容易复制的。

郑重声明:此文内容为本网站转载企业宣传资讯,目的在于传播更多信息,与本站立场无关。仅供读者参考,并请自行核实相关内容。

来源:TechWeb

相关阅读

adl03
adr1
adr2