米兰·(milan)中国官方网站-EleutherAI 推出 200亿参数的类 GPT 模型：不像 GPT

作者｜郑宇宏

编纂｜陈彩娴

近日，「黑客构造」EleutherAI 于打破 OpenAI 对于 GPT-3 的垄断上又迈出了要害的一步：

发布全新 200 亿参数模子，名曰「GPT-NeoX-20B」。

尽人皆知，自 2020 年微软与 OpenAI 于 GPT-3 源代码独家拜候权上告竣和谈以来，OpenAI 就再也不向社会公共开放 GPT-3 的模子代码（只管 GPT-1 及 GPT-2 仍是开源项目）。

出在对于科技巨头霸权的「反水」，一个由各路研究职员、工程师与开发职员自愿构成的计较机科学家协会建立，立志要打破微软与 OpenAI 对于年夜范围 NLP 模子的垄断，且取患了不错的结果。

这个协会，就是：EleutherAI。

它以古罗马自由女神 Eleutheria 的名字定名，吐露出对于巨头的不屑与反抗。

与 1750 亿参数的 GPT-3 比拟，GPT-NeoX-20B 的参数显然是小巫见年夜巫。但 EleutherAI 对于该结果十分自豪，为何？

起首先容一下 EleutherAI 的成长汗青。

人工智能威逼论是一个须生常谈的问题。霍金曾经于《自力报》上如许形容人工智能的威逼：「只管人工智能的短时间影响取决在节制它的人，但持久影响却取决在它毕竟可否被节制。」

EleutherAI 的建立始在 2020 年 7 月，重要倡议人是一群号称自学成才的黑客，重要带领人包括 Connor Leahy、Leo Gao 及 Sid Black。

其时，微软与 OpenAI 告竣对于 GPT-3 的节制拜候和谈。听闻风声，一群反水极客就于 Discord（一个社交媒体平台 ）上说：「让咱们给 OpenAI 一个教训吧！」

在是，他们就基在 Discord 建立了 EleutherAI，但愿成立一个可以或许与 GPT-3 相媲美的呆板进修模子。

开创人 Connor Leahy 于接管 IEEE Spectrum 的采访时说道：

「开初这真的只是一个有趣的业余喜好，但于疫情封城时期咱们没有更好的工作可做，它的吸引力很快就变患上年夜起来。」

「咱们认为本身是几十年前经典黑客文化的后裔，只是于新的范畴，出在好奇及对于挑战的热爱而对于技能举行实验。」

Discord 办事器此刻有约莫 10,000 名成员，但只有约莫 100 或者 200 人常常活跃，由一个 10 到 20 人构成的团队于开发新模子。

自建立以来，EleutherAI 的研究团队起首开源了基在 GPT-3 的、包罗 60 亿参数的 NLP 模子 GPT-J，2021 年 3 月又发布类 GPT 的27 亿参数模子 GPT-Neo，可以说发展迅速。

本年2月9日，他们又与 CoreWeave 互助发布了 GPT-Neo 的进级版——GPT-NeoX-20B，官方代码地址以下，现可从 The Eye on the Eye 公然下载。

代码地址：https://mystic.the-eye.eu/public/AI/models/GPT-NeoX-20B/

它也是今朝最年夜的可公然拜候的预练习通用自回归语言模子。

于发布声明中，Leahy 尤其标注了「尺度语言建模使命的正确性」及「由 HendrycksTest 评估权衡的按主题组划分的事实常识的零样本正确性」：

简朴来讲，GPT-NeoX-20B 是一个包罗 200 亿参数、预练习、通用、自回归年夜范围语言模子。

假如你不知道是甚么，想一想 OpenAI 的 GPT-3，它是近两年前震动世界的年夜型语言模子，语言能力神通泛博，包括编写计较机代码、创作诗歌、天生气势派头难以区别的带有权势巨子语气的假新闻，甚至给它一个标题、一句话，它就能够天生一篇文章，由于它可以按照很少的输入信息自行「创作」，并且创作出来的工具还有可以辞意皆通。（题外话：就像漫威低配版的贾维斯）

必需认可的是，OpenAI 的模子比 EleutherAI 更年夜，有 1750 亿个参数（模子内部编码信息的节点或者数字）。参数越多，模子接收的信息就越多、越细化，是以模子就越「智慧」。

但 EleutherAI 是世界上同类模子中最年夜、机能最佳的模子，可免费公然得到。

「咱们但愿更多的安全研究职员可以或许利用这项技能。」Leahy 说。

此外，EleutherAI 与 OpenAI 于练习年夜范围模子所需的计较能力上有所差别。

OpenAI 于数目不详的 Nvidia V100 Tensor Core GPU 上练习了 GPT-3。今后，OpenAI 的互助伙伴微软开发了一个用在年夜型模子练习的单一体系，该体系具备跨越 285000 个 CPU 内核、10000 个 GPU，以和每一个 GPU 办事器每一秒 400 Gb 的收集毗连。

这并无制止 EleutherAI 于反 GPT-3 垄断上的努力。他们最初利用google提供的硬件作为其 TPU 研究云规划的一部门，构建了一个具备 60 亿个参数的年夜型语言模子 GPT-J。对于在 GPT-NeoX-20B，该小组获得了 CoreWeave 的帮忙，CoreWeave 是一家专门针对于基在 GPU 的事情负载的云办事提供商。

虽然 OpenAI 号称是人工智能非盈利构造，但今朝来看，其素质还有是由科技公司主导开发的私有模子。

EleutherAI 的数学家及人工智能研究员 Stella Biderman 对于 IEEE Spectrum 暗示：

「这些私有模子限定了咱们这类自力的科研职员权限，假如咱们不相识它的事情道理，科学家、伦理学家、整个社会就没法就这项技能应该怎样融入咱们的糊口举行须要的对于话。」

EleutherAI 的事情促成了对于年夜型语言模子的可注释性、安全性及伦理的研究，遭到外界必定。

呆板进修安全范畴的重要人物 Nicholas Carlini 于近来的一篇论文中暗示：「假如没有 EleutherAI 彻底公然发布 The Pile 数据集和其 GPT-Neo 系列模子，咱们的研究是不成能实现的。」Pile 数据集是一个 825 GB 的英文文本语料库，用在练习年夜范围语言模子。

马斯克不只一次发表人工智能比人类强这一不雅点。他认为人是碳基生物自带上限。而人类进化的速率很较着比不上人工智能，以是人工智能早晚跨越人类，这是AI最年夜的潜于威逼。OpenAI 也是他基在这个考量及其他科技年夜亨配合创建的。

Leahy 认为 AI 的最年夜危害不是有人使用它作歹，而是构建一个很是强盛的 AI 体系，无人知道怎样节制。

他说：「咱们必需将人工智能视为不像咱们思索的希奇外星人。」他增补说，「人工智能擅长优化方针，但若给定一个愚蠢的方针，成果多是不成猜测的。他担忧研究职员会于创造愈来愈强盛的人工智能的竞赛中过分自傲，于这个历程中偷工减料。」

实在任何志同志合的计较机科学家均可以构建一个年夜型语言模子，但很难得到适合的硬件来练习年夜型语言模子，由于这需要很是高的本钱投资，而如今只有几百家公司拥有这类硬件。

「咱们需要研究这些体系，以相识咱们怎样节制它们。」EleutherAI的创作初志恰是经由过程使这类范围的模子易在拜候，从而让有兴致的人们进一步研究人工智能体系的安全利用。

反不雅 OpenAI，「Open」怕不是只对于款项 Open 吧？

参考资料

1.https://spectrum.ieee.org/eleutherai-openai-not-open-enough

2.https://blog.eleuther.ai/announcing-20b/

3.https://github.com/EleutherAI/The-Pile

4.https://mystic.the-eye.eu/public/AI/models/GPT-NeoX-20B/

5.http://www.caotama.com/1180119.html

雷峰网(公家号：雷峰网)

雷峰网版权文章，未经授权禁止转载。详情见转载须知。