OpenAI是什么

Fanly 问答 2022-12-05 08:18:44 阅读(...)

OpenAI是一家非营利性人工智能研究公司,致力于研究人工智能和其他机器学习技术。OpenAI 会和谷歌、苹果、IBM 等知名公司创办的其它一系列项目一道探索先进计算机技术,解决面部识别或语言翻译等问题。

OpenAI 是由马斯克、奥特曼等人 2015 年联合创办的人工智能研究机构,后来马斯克推出,微软以投资 10 亿美元。OpenAI 首先推出千亿级参数的大模型 GP-3,被认为是谷歌旗下人工智能公司 DeepMind 的竞争对手。OpenAI 会和谷歌、苹果、IBM 等知名公司创办的其它一系列项目一道探索先进计算机技术,解决面部识别或语言翻译等问题。2015 年 12 月 12 日,非盈利性的人工智能项目 OpenAI 宣布正式启动。

OpenAI

OpenAI 是一个人工智能研究实验室,由营利组织 OpenAI LP 与母公司非营利组织 OpenAI Inc 所组成,目的是促进和发展友好的人工智能,使人类整体受益。OpenAI 成立于 2015 年底,总部位于旧金山,组织目标是通过与其他机构和研究者的“自由合作”,向公众开放专利和研究成果。

2019 年 3 月 1 日成立 OpenAI LP 子公司,目的为营利所用。2019 年 7 月 22 日微软投资 OpenAI 10 亿美元,双方将携手合作替 Azure 云端平台服务开发人工智能技术。2020 年 6 月 11 日宣布了 GPT-3 语言模型,微软于 2020 年 9 月 22 日取得独家授权。

2020 年 5 月,Open AI 发表了一篇开创性的论文,题为 Language Models Are Few-Shot Learners。 他们展示了 GPT-3 语言模型,它使用了一个具有 1750 亿个参数的神经网络。 GPT-3 使用来自 CommonCrawl、WebText、维基百科和书籍语料库的数据进行训练, 并在各种自然语言处理任务中表现出惊人的性能,包括翻译、问答和完形填空任务。在性能上 GPT-3 也是非常优秀, 超过了很多现有的模型。2020 年 7 月,也就是论文发表两个月后,OpenAI 开放了一个 beta API playground,大家可以通过 API 方式访问 GPT-3 模型。

GPT-3 的几个主要特点

1. 零/单/少样本学习(Zero/one/few-shot learning): 通常,深度学习会针对一组特定的类别进行训练和测试。 如果计算机视觉中对星球大战中的 BB8 , R2D2 , C3PO 进行分类,在测试过程中就只能针对这三个类别进行。 但在零样本学习设置中,系统在测试时,可以使用不在训练内的类别(例如,用曼努达人做测试)。 单/少样本学习(one-shot 和 few-shot) 也是一个道理,在测试时,系统会分别看到一个或几个新的类别。

2. 零/单/少样本任务迁移(Zero/one/few-shot task transfer): 这个整合了 零/单/少样本学习和多任务学习的概念。 新任务(或者显示零个、一个或几个新任务的示例)可以随时执行,而不是在测试时才展示新类。 例如, 输入 “I love you -> 我爱你。 I miss you -> ____。” GPT-3 就可以通过单样本任务迁移 ,把之前没有训练过的英语转中文的任务执行起来

3. Transformers: Transformers 是解决机器翻译问题的框架, 有一个简单的网络结构,基于自注意机制,不依赖于递归和卷积完全。通过并行计算使 Transformer 效率高,需要更少的训练时间。

4. 生成模型(Generative models): 统计学中分类任务有两种模型-判别模型,生成模型。 判别模型对给定的可观察变量和目标变量对的条件概率进行编码:p(y|x)。 生成模型对联合概率进行编码:p(x,y)。 生成模型可以“生成类似于现有数据的新数据”,GPT-3 模型就是应用生成模型来。

5. 多任务学习(Multitask learning): 大多数深度学习系统都是单任务的, 只针对特定的场景。多任务系统克服了这一限制。 他们受过训练,能够针对给定的输入解决不同的任务。 例如我输入一个苹果,他可以帮我翻译成英文的 Apple ,可以找到一张苹果的图片,也可以找到苹果的一些特征等。

6. 半监督学习(Semi-supervised learning): 是以无监督的方式训练具有非常大数据集的模型,然后通过在较小的数据集中使用监督训练来调整模型以适应不同的任务。

由于微软现在还没开放 OpenAI 的 GPT-3 功能 , 现阶段我们只能通过 OpenAI (beta.openai.com) 提供的 API 使用 GPT-3 。(当然你需要有一个美国的电话号码来激活该功能) ,OpenAI 有非常丰富的文档, 以及示例 ,让开发者可以非常快上手使用 API。

GPT-3 功能强大 ,让 AI 应用场景更贴近实际的生活 。 我非常希望微软的 OpenAI Service 能尽快开放 ,让更多的开发者能使用。 还有现在 OpenAI GPT-3 在中文的支持还是非常有限的, 我也寄望微软版本的服务能有更好的中文支持。

0个人收藏 收藏

评论交流

泪雪默认头像 请「登录」后参与评论
  1. 加载中..

相关推荐

  • ChatGPT

    ChatGPT是什么

    ChatGPT是OpenAI训练的对话式大规模语言模型,以对话的方式进行交互。它和之前的另一款模型InstructGPT属于同级模型。ChatGPT具有当代同类产品具备的一些主流特性,特别是多轮对话能力,能够在同一个会话期间内回答上下文相关的后续问题。
  • Abstract smokey wave vector background. Nano dynamic flow with 3d particles

    OpenAI发布Point-E,类似于DALL-E但用于3D建模

    OpenAI 是 Elon Musk 创立的人工智能初创公司,支持流行的 DALL-E 文本到图像生成器,周二宣布发布其最新的图片制作机器 POINT-E,它可以直接从文本提示生成 3D 点云。
  • 机器学习是什么

    机器学习是什么

    机器学习是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。
  • 神经语言模型是什么

    神经语言模型是什么

    神经语言模型(NLM)是一类用来克服维数灾难的语言模型,使用词的分布式表示对自然语言序列建模。不同于基于类的n-gram模型,神经语言模型在能够识别两个相似词,且不丧失将每个词编码为彼此不同的能力。
  • AI 人工智能

    人工智能机器学习和深度学习之间有什么区别

    严格意义上说,人工智能和机器学习没有直接关系,只不过机器学习的方法被大量的应用于解决人工智能的问题而已。机器学习是人工智能的一种实现方式,也是最重要的实现方式。人工智能已经变成了一个很泛泛的学科了。
  • 机器学习 Machine Learning

    没有机器学习就没有人工智能

    机器学习(ML,Machine Learning)技术有可能为企业带来巨大价值。它已经在市场上得到证明,并为几乎所有行业提供越来越多的工具。为了讨论 ML 的当前能力,我们必须首先研究它与人工智能(AI)的关系。