神经语言模型是什么

小嘿 QA 2020-04-21 16:20:44 阅读(...)

神经语言模型(NLM)是一类用来克服维数灾难的语言模型,使用词的分布式表示对自然语言序列建模。不同于基于类的n-gram模型,神经语言模型在能够识别两个相似词,且不丧失将每个词编码为彼此不同的能力。

神经语言模型(Neural Language Model,NLM)是一类用来克服维数灾难的语言模型,它使用词的分布式表示对自然语言序列建模。不同于基于类的 n-gram 模型,神经语言模型在能够识别两个相似的词,并且不丧失将每个词编码为彼此不同的能力。神经语言模型共享一个词(及其上下文)和其他类似词。

神经语言模型是什么

简介

语言模型(language model)定义了自然语言中标记序列的概率分布。根据模型的设计,标记可以是词、字符、甚至是字节。标记总是离散的实体。最早成功的语言模型基于固定长度序列的标记模型,称为 n-gram。一个 n-gram 是一个包含 n 个标记的序列。基于 n-gram 的模型定义一个条件概率——给定前 n−1 个标记后的第 n 个标记的条件概率。神经语言模型是由 Bengio 等人在 2003 年提出的,共享一个词(及其上下文)和其他类似词和上下文之间的统计强度。模型为每个词学习的分布式表示,允许模型处理具有类似共同特征的词来实现这种共享。例如,如果词 dog 和词 cat 映射到具有许多属性的表示,则包含词 cat 的句子可以告知模型对包含词 dog 的句子做出预测,反之亦然。因为这样的属性很多,所以存在许多泛化的方式,可以将信息从每个训练语句传递到指数数量的语义相关语句。维数灾难需要模型泛化到指数多的句子(指数相对句子长度而言) 。该模型通过将每个训练句子与指数数量的类似句子相关联克服这个问题。

词向量与词嵌入

词向量通常指通过语言模型学习得到的词的分布式特征表示,也被称为词编码,可以非稀疏的表示大规模语料中复杂的上下文信息。分布式词向量可以表示为多维空间中的一个点,而具有多个词向量的单词在空间上表示为数个点的集合,也可以看作在一个椭球分布上采集的数个样本。

词嵌入是自然语言处理(NLP)中语言模型与表征学习技术的统称。概念上而言,它是指把一个维数为所有词的数量的高维空间嵌入到一个维数低得多的连续向量空间中,每个单词或词组被映射为实数域上的向量。词嵌入的方法包括人工神经网络、对词语同现矩阵降维、概率模型以及单词所在上下文的显式表示等。在底层输入中,使用词嵌入来表示词组的方法极大提升了 NLP 中语法分析器和文本情感分析等的效果。

0个人收藏 收藏

评论交流

泪雪默认头像 请「登录」后参与评论
  1. 加载中..

相关推荐

  • Google LaMDA

    LaMDA是什么

    对话编程语言模型(LaMDA)是Google所开发的一系列对话神经语言模型。但与大多数其他语言模型不同,LaMDA 接受的是对话训练。在训练过程中,它发现了一些将开放式对话与其他形式的语言区分开来的细微差别。其中一个细微差别是感性。
  • 噪声对比估计是什么

    噪声对比估计是什么

    噪音对比估计(NCE)是一种新的统计模型估计方法,能够用来解决神经网络的复杂计算问题,因此在图像处理和自然语言处理中得到广泛应用。
  • Bing ChatGPT

    微软下一代Bing搜索使用比ChatGPT更强大的语言模型

    微软经常被人遗忘的搜索引擎即将重获新生。正如预期的那样,这家科技巨头周二宣布,它正在与 OpenAI 合作,利用该公司的 AI 技术增强 Bing。
  • Google Bard

    Bard是什么

    Google Bard AI聊天机器人是谷歌开发的一种AI模型,它使用称为“大型语言模型”的深度学习算法来提供文本提示的答案。 该聊天机器人基于LaMDA技术,旨在利用网络信息提供最新答案,使用人类交互进行微调以引导它做出理想的响应。
  • Teams Premium

    微软推出具有OpenAI支持功能的Teams Premium

    紧随其后的消息是微软正在做对 OpenAI 的数十亿美元投资,它将公司的技术整合到更多的产品和服务中。微软已经宣布团队高级版现在广泛可用。
  • OpenAI

    OpenAI是什么

    OpenAI是一家非营利性人工智能研究公司,致力于研究人工智能和其他机器学习技术。OpenAI 会和谷歌、苹果、IBM 等知名公司创办的其它一系列项目一道探索先进计算机技术,解决面部识别或语言翻译等问题。