一种关键词提取方法和提取系统与流程

本发明涉及自然语言处理方法和系统，特别涉及一种关键词提取方法和提取系统。

背景技术：

在对知识库的人工智能构建过程中，需要对以语言为载体的问题进行确定，获取提问问题的具体语义表达的内容含义，即需要准确抽取出用户想要问的最为核心的问题。问题的具体内容通常与问题中具体的关键词汇高度相关。

在现有技术中对语句中的关键词提取通常采用pLSA，LDA，SVD，LSA，TFIDF等技术方案，但各方案在关键词提取上存在缺陷。

TFIDF(词频逆文本频率分析)方案主要适用于区别对文档最有意义的词语，是通过那些在文档中出现频率高、而在整个语料库中的其他文档中出现频率少的词语来实现的。但无法捕捉文档内部与文档间的统计特征，更不能解决同义词/多义词问题，因此精确度不是很高。

LSA(隐性语义分析)与SVD(奇异值分解)方案利用浅语义分析模型，基于奇异值分解技术将一个比较复杂的矩阵转化几个更小、更简单矩阵的乘积，而这些小矩阵描述了矩阵的重要特征，其中的对角线元素为奇异值(特征值的平方根)，用于表示这个特征的重要性程度、表示与特征值相关的特征向量组成的矩阵，用于表示有哪些特征，这类方案其实可以看做是文本关键词的一种降维算法，优点是计算速度快，但准确率不是很高。

pLSA(概率潜在语义分析)及LDA(潜在狄利克雷分布文档主题生成模型)方案是基于概率意义下的关键词抽取方法，需要先验给定主题数目，通过算法对语料抽样，统计出文档对应主题的多项分布和主题上的词语的多项分布。

现有技术方案在关键词汇提取过程中不能有效反映出提问问题的词汇间的相互影响对关键词汇的语义含义影响。

技术实现要素：

有鉴于此，本发明实施例提供了一种关键词提取方法和提取系统，用于解决无法准确获得正确语义表达的关键词汇的技术问题。

本发明实施例的关键词提取方法，包括：

对问题文本进行向量化处理，形成包含关键词的向量特征的问题语料；

利用双向长短时效递归神经网络对问题语料中的关键词进行抽取。

本发明实施例的关键词提取系统，包括：

问题语料量化模块，用于对问题文本进行向量化处理，形成包含关键词的向量特征的问题语料；

问题关键词提取模块，用于利用双向长短时效递归神经网络对问题语料中的关键词进行抽取。

本发明实施例的关键词提取方法和系统，利用BLSTM RNN(双向长短时效递归神经网络)对问题语料的上下文隐含含义进行分析以获得问题预料中的正确语义表达的关键词。将在隐语义状态下的上下文信息的状态表达在BLSTM RNN层中得到识别，通过池化层得到这些语义与词性表达的最主要信息，形成关键词信息。问题语料的形成基于词向量和特定的词性特征数据，较好的将词汇的语义和词性相结合，强化了上下文信息与词性信息的隐形含义，完善了语义表达上的关键信息抽取，从而可以更加准确地提取关键词。

附图说明

图1为本发明一实施例一种关键词提取方法的流程示意图。

图2为本发明一实施例一种关键词提取方法中问题文本向量化的流程示意图。

图3为本发明一实施例一种关键词提取方法中利用双向长短时效循环神经网络进行关键词提取的流程示意图。

图4为本发明一实施例一种关键词提取方法中双向长短时效循环神经网络的结构示意图。

图5为本发明一实施例一种关键词提取方法中双向长短时效循环神经网络的记忆模块示意图。

图6为本发明一实施例一种关键词提取系统的架构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图纸中的步骤编号仅用于作为该步骤的附图标记，不表示执行顺序。

图1为本发明关键词提取方法一实施例的流程示意图。如图1所示包括：

步骤100：对问题文本进行向量化处理，形成包含关键词的向量特征的问题语料；

步骤200：利用BLSTM RNN(双向长短时效递归神经网络)对问题语料中的关键词进行抽取。

本实施例的关键词提取方法，将问题文本向量化，在向量化的语料中体现相应语料的频率特征、词性特征、类别特征等语料的隐性或显性特定属性。向量特征数据通过BLSTM RNN进行计算，体现了关键词与上下文的隐性内在联系，可以大幅提高问题文本中具有上下文关联的关键词的提取精度。

本发明一种关键词提取方法一实施例中包括问题文本的词汇特征的量化过程和问题文本的词汇特征的融合过程。

图2为本发明一种关键词提取方法一实施例中问题文本向量化的流程示意图。如图2所示，其中的词汇特征的量化过程包括：

步骤110：将问题文本分割形成语句的文本词汇。

问题文本分割可以包括分句、分词、过滤，分句包括按标点将问题文本进行语句分割，分词包括对语句进行分割形成词汇并保留词汇的顺序，过滤包括消除无效的文本格式，以及消除敏感词汇。

现有技术包括多种分词方法，主要有最大匹配方法和Viterbi(维特比)方法。

最大匹配方法是指以词典为依据，取词典中最长单词为首次扫描串，在词典中进行扫描(为提升扫描效率，还可以根据字数多少设计多个字典，然后根据字数分别从不同字典中进行扫描)。例如：词典中最长词为“中华人民共和国”共7个汉字，则最大匹配起始字数为7个汉字。然后逐字递减，在对应的词典中进行查找。

按照扫描方向的不同，串匹配分词方法可以分为正向匹配和逆向匹配；按照不同长度优先匹配的情况，可以分为最大(最长)匹配和最小(最短)匹配；按照是否与词性标注过程相结合，又可以分为单纯分词方法和分词与标注相结合的一体化方法。常用的几种机械分词方法如下：

1)正向最大匹配法(由左到右的方向)；

2)逆向最大匹配法(由右到左的方向)；

3)最少切分(使每一句中切出的词数最小)。

还可以将上述各种方法相互组合，例如，可以将正向最大匹配方法和逆向最大匹配方法结合起来构成双向匹配法。

而Viterbi(维特比)方法解决的是HMM(隐马尔科夫模型)经典问题中最优状态序列的选择问题。词性标注问题映射到隐马尔科夫模型可以表述为：模型中状态(词性)的数目为词性符号的个数N；从每个状态可能输出的不同符号(单词)的数目为词汇的个数M。假设在统计意义上每个词性的概率分布只与上一个词的词性有关(即词性的二元语法)，而每个单词的概率分布只与其词性相关。

步骤120：将每个语句的文本词汇进行词性标注，形成相应的词性特征数据。

词性是指以词的特点为根据，来划分词类。现代汉语的词可以分为两类12种词性。一类是实词：名词、动词、形容词、数词、量词和代词。一类是虚词：副词、介词、连词、助词、叹词和拟声词。

现有技术中已有较为成熟的词性标注算法，包括HanLP算法和Jieba(结巴)算法，以上两种算法都提供开源的软件包，实际使用中，直接进行调用即可。本发明中，给每个词性分别随机分配一个数值标记，例如将名词、动词、形容词、数词、量词、代词、副词、介词、连词、助词、叹词和拟声词分别分配1、2、3、4、5、6、7、8、9、10、11、12作为各自的(离散)数值标记，那么，本发明中词性数值为3的那些词的词性即为形容词，其他数值标记代表的词性以此类推。

词性特征数据采用二维矩阵形式[词汇样本序号，文本词汇的词性标注]，利用离散数值记载每个词性标注。

在本发明一实施例中，具体包括：

获取词性类型表，将词性类型表中的类型离散化为相应的数值；

对每个语句的文本词汇进行标注，标记文本词汇的词性数值；

形成[词汇样本序号，文本词汇的词性数值]的二维矩阵形式的词性特征数据。

步骤130：将每个语句的文本词汇进行命名实体识别标注，形成相应的命名实体识别特征数据。

命名实体可以是人名、机构名、地名以及其他所有以名称为标识的实体，也包括数字、日期、货币、地址、百分比等等。

命名实体识别包括但不限于实体边界识别和确定实体类别。命名实体识别特征数据采用二维矩阵形式[词汇样本序号，文本词汇的命名实体识别标注]，利用离散数值记载每个命名实体标注。

在本发明一实施例中，具体包括：

采用以下一种命名实体的标注方法进行标注：

标注方法1：

获取类别词典，将词典类型和词典中的实体离散化为相应的数值；

对每个语句的文本词汇进行标注，标记文本词汇的命名实体数值；

形成[词汇样本序号，文本词汇的命名实体数值]的二维矩阵形式的命名实体特征数据。

标注方法2：

获取类别词典，将词典类型和词典中的实体离散化为相应的数值；

获取词性类型表，将词性类型表中的类型离散化为相应的数值；

根据文本词汇的词性确定命名实体，标记文本词汇的命名实体数值；

形成[词汇样本序号，文本词汇的命名实体数值]的二维矩阵形式的命名实体特征数据。

根据文本词汇的词性确定命名实体，是利用词性特征对文本词汇的位置约束提高命名实体的准确性和标记效率，可以有效识别词性类型表未涵盖的命名实体。

步骤140：利用词频统计，形成文本词汇的统计特征数据。

在词频统计过程中，将文本词汇的词频统计信息进行分桶操作，形成离散区间，词频统计信息通过离散区间进行离散化。统计特征数据采用二维矩阵形式[词汇样本序号，文本词汇的统计特征数据]，利用离散数值记载每个统计特征。

本发明为文本词汇加入统计信息。统计信息是指通过数学方法得出一个词出现的频率的大小，通常情况下，词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。

可以使用TF-IDF算法来为词加入统计信息，TF-IDF算法的主要思想是：如果词W在一篇文档D中出现的频率高，并且在其他文档中很少出现，则认为词W具有很好的区分能力，适合用来把文档D和其他文章区分开来。得到的统计信息本身就是数值表达，所以不需要像前述的词性标注那样再进行数值化的操作。

在本发明一实施例中，具体包括：

采用以下一种词频(TF)统计：

以问题文本中一个文本词汇的出现次数，和/或该文本词汇在问题文本中的出现次数与所有文本词汇总数的比值作为词频(TF)。

以所有语句数量(问题文本中的所有语句数量为定值)与一个文本词汇在所有语句中的出现次数的对数值作为逆文档频率(IDF)。

以一个文本词汇的词频(TF)与逆文档频率(IDF)的乘积作为该文本词汇的统计特征数据；

形成所有文本词汇的统计特征数据(TF-IDF)；

对所有文本词汇的统计特征数据分桶处理，通过形成离散区间，进行离散化。

步骤150：根据文本词汇的特征数据，将文本词汇索引化。

作为一个实施例，可以采用文本词汇的词频特征数据的数值形成文本词汇的索引值。

利用索引值形成相应文本词汇的词汇样本序号，将索引值应用于词性特征数据、命名实体识别特征数据和统计特征数据的二维矩阵的形式。使得通过文本词汇的索引值可以获得任一文本词汇的各特征数据。

在另外一个实施例中，提供词索引关系库，包括了词到索引的映射关系，索引化操作包括：将文本词汇和词索引关系库中的词进行匹配度运算，将匹配度最高的词索引关系库中的词对应的索引作为文本词汇的索引。

此处的索引化过程，为词汇添加了语义信息。通常词索引关系库可以选用例如搜狗词库之类的包含有几乎所有中文词的词库，可以首先随机索引化搜狗词库中的词，为每一个搜狗词库中的词分配一个索引数值，这样就完成了词索引关系库的构建。

随后，将文本中的词汇与词库中的词进行语义匹配度运算，将匹配度最高的词的索引作为文本中的词汇的索引。那么，文本中的相同的词都在词索引关系库中对应了同样的匹配度最高的词，进而拥有相同的索引数值。采用此方法可以使得相同的词拥有相同的索引数值，进而可以认为词的索引数值越接近则语义越接近。也就完成了从语言文字表达语义到数值表达语义的操作。

步骤160：将文本词汇通过向量化训练模型向量化，形成相应的词向量。

文本词汇通过词向量(Word Embedding)技术形成词向量矩阵。

可以采用多维度(例如128维度的)隐语义空间模型进行训练形成。文本词汇的词向量采用三维矩阵形式[文本词汇的索引值，词表序号，词向量维度数据]，其中词表序号为隐语义空间模型中的文本词汇的序列号。

在每个文本词汇的词向量维度数据上还可以增加相应的词频的统计特征数据和词性特征数据形成130维度的词向量。

可以将每个文本词汇的词向量维度数据等效为一个长度为128或130维度的一维向量，可以表示为(1，128)或(1，130)。

文本词汇的词向量作为问题语料，与相应的统计特征数据和词性特征数据等特征数据同步输入双向长短时效循环神经网络，最终形成融合了语义，词性，TFIDF值的向量。

本实施例的关键词提取方法，在文本词汇的向量化过程中，利用隐语义空间模型保留了文本词汇间的潜在联系信息，在隐语义空间中可以表示一些人们很难利用观察手段得出的维度表示，进一步将隐语义空间中的维度特征数据与词性特征融合可以得到隐语义状态下词性和词向量的结合表达。形成的词向量的低维度表达方式，可以有效降低运算资源消耗，去除不必要的数据冗余和信息噪声。

图3为本发明一种关键词提取方法一实施例中利用双向长短时效循环神经网络关键词提取的流程示意图。如图3所示，包括：

步骤210：利用问题语料形成BLSTM RNN层的输入层。

BLSTM RNN层可以是由BLSTM节点构成的单层结构，也可以是单层结构叠加形成。为单层结构叠加形成时，底层BLSTM节点的输入对应输入层的相应输出。

BLSTM RNN层的输入层还可以包括与词向量相应的特征数据。

步骤220：利用BLSTM RNN层进行问题语料的向量运算。

步骤230：利用池化层形成BLSTM RNN层的输出层。

BLSTM RNN层为单层结构叠加形成时，顶层BLSTM节点的输出对应池化层的相应输入。

池化层采用Max pooling方法，调整变长度问题文本的长度同一，将不同维度的向量规约到相同的一个维度上。本实施例中可以规约到128维度。通过Max pooling方法对各BLSTM节点的输出向量数据进行最优值提取。

本发明一种关键词提取方法一实施例中还包括：

步骤240：利用SoftMax层连接池化层，形成关键词的分类抽取。

池化层的节点输出连接SoftMax层的相应输入。

SoftMax层通过向量数据的概率分布提取相关的关键词。

为防止SoftMax层连接池化层出现过拟合，本发明一实施例采用BatchNormalization处理或者Dropout处理进行池化层与SoftMax层的连接限制。

本实施例的关键词提取方法将在隐语义状态下的上下文信息的状态表达在BLSTM RNN层中得到识别，通过池化层得到这些语义与词性表达的最主要信息，形成关键词信息。本实施例的关键词提取方法较好的将词汇的语义和词性相结合，优化了上下文信息与词性信息的隐形含义判别，完成了语义表达上的关键信息抽取。

图4为本发明一种关键词提取方法一实施例中双向长短时效循环神经网络的结构示意图。如图4所示，由词向量和词性特征数据形成双向长短时效循环神经网络的输入层，双向长短时效循环神经网络由两层对应的BLSTM节点构成，在双向长短时效循环神经网络的输出端包括顺序连接的池化层和SoftMax层。

图5为本发明一实施例一种关键词提取方法中双向长短时效循环神经网络的记忆模块示意图。如图5所示，it、ft和ot分别为input gate、forget gate和output gate，分别控制每次迭代的输入、遗忘和输出比例；

ht-1表示上一时刻的输出；

c_int：t时刻的输入；

Ct：t时刻的单元状态；

Ct-1：t-1时刻的单元状态；

最终输出t时刻的隐语义空间下的状态ht，而ht又反向输出给上一时刻的Cell，这样就通过双向的LSTM来得到上下文信息。

图6为本发明一实施例的关键词提取系统架构示意图。如图6所示，包括：

问题语料量化模块300，用于对问题文本进行向量化处理，形成包含关键词的向量特征的问题语料；

问题关键词提取模块400，用于利用BLSTM RNN对问题语料中的关键词进行抽取。

在本发明一实施例的关键词提取系统中，问题语料量化模块300包括：

文本分割单元310，用于将问题文本分割形成语句的文本词汇；

词汇词性量化单元320，用于将每个语句的文本词汇进行词性标注，形成相应的词性特征数据；

词汇命名实体量化单元330，用于将每个语句的文本词汇进行命名实体识别标注，形成相应的命名实体识别特征数据；

词汇词频量化单元340，用于利用词频统计，形成文本词汇的统计特征数据；

索引化单元350，用于根据文本词汇的特征数据，将文本词汇索引化；

词汇向量化单元360，用于将文本词汇通过向量化训练模型向量化，生成相应的词向量，形成问题语料。

在本发明一实施例中，文本分割单元310可以包括：

语句分割子单元311，用于按标点将问题文本进行语句分割；

分词子单元312，用于利用最大匹配算法或Viterbi算法进行分词，并保留文本词汇顺序；

过滤子单元313，用于过滤文本词汇的无效文本格式以及消除敏感词汇。

在本发明一实施例中，词汇词性量化单元320可以包括：

词性类型表获取子单元321，用于将词性类型表中的类型离散化为相应的数值；

词性标注子单元322，用于对每个语句的文本词汇进行标注，标记文本词汇的词性数值。

在本发明一实施例中，词汇命名实体量化单元330可以包括：

类别词典获取子单元331，用于将词典类型和词典中的实体离散化为相应的数值；

第一命名实体标记子单元332，用于对每个语句的文本词汇进行标注，标记文本词汇的命名实体数值。

在本发明另一实施例中，词汇命名实体量化单元330可以包括：

类别词典获取子单元331，用于将词典类型和词典中的实体离散化为相应的数值；

第二命名实体标记子单元333，用于获取词性类型表，将词性类型表中的类型离散化为相应的数值；

命名实体特征数据生成子单元334，用于根据文本词汇的词性确定命名实体，标记文本词汇的命名实体数值。

在本发明一实施例中，词汇词频量化单元340可以包括：

词频统计子单元341，用于将文本词汇的词频统计信息进行分桶操作，形成离散区间，词频统计信息通过离散区间进行离散化。

在本发明一实施例中，索引化单元350可以包括：

索引建立子单元351，用于采用文本词汇的词频特征数据的数值进行形成文本词汇的索引值；

索引应用子单元352，用于将索引值作为特征数据的词汇样本序号。

在本发明另一实施例中，索引化单元350可以包括：

词索引关系库子单元353，用于提供词索引关系库，包括词到索引的映射关系；

索引匹配子单元354，用于将所述文本词汇和所述词索引关系库中的词执行匹配度运算，将与所述文本词汇具有最高匹配度的词索引关系库中的词所对应的索引作为所述文本词汇的索引。

在本发明一种关键词提取系统一实施例中，问题关键词提取模块400包括：

神经网络输入层单元410，用于利用问题语料形成BLSTM RNN层的输入层；

神经网络运算单元420，用于利用BLSTM RNN层进行问题语料的向量运算；

神经网络池化单元430，用于利用池化层形成BLSTM RNN层的输出层；

神经网络输出分类单元440，用于利用SoftMax层连接池化层，形成关键词的分类抽取。

本发明实施例中关键词提取系统的具体实现和有益效果可参见关键词提取方法的具体实现和有益效果，在此不再赘述。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换等，均应包含在本发明的保护范围之内。