预处理模块主要包括分句、分词、词性标注、命名实体识别、句法分析以及名词短语的抽取。预处理的好坏直接影响到后面待消解项识别、特征抽取以及指代消解模型的精度。中文自然语言处理与英文自然语言处理的最大区别就是中文需要分词, 然而中文分词一直是一个悬而未决的问题。分词的不准确将导致后续处理出现错误累积, 因此为了测试模型的消解能力将待消解项分为自动生成的实体表达(AutoMention)以及标准的实体表达(GoldMention)两种。在AutoMention中采用的分词工具(http:∥nlp.stanford.edu/software/segmenter.shtm)、词性标注工具(http://nlp.stanford.edu/software/tagger.shtml)、命名体识别工具(http:∥nlp.stanford.edu/software/CRF-NER.shtml)和句法分析树工具(http:∥nlp.stanford.edu/software/lex-parser.shtml)均由斯坦福大学自然语言处理小组所提供, GoldMention为直接从标注语料中读取待消解项。分词后, 分别对分好词的文本进行词性标注以及命名实体识别。在分词结果的基础上, 采用斯坦福大学提供的句法分析树工具进行句法分析, 并根据相应的语言学规则抽取出候选待消解项。

孔芳等^[8]详细地分析了中文待消解项识别模块的作用, 并指出待消解项识别层的准确率的高低很大程度上影响着中文指代消解的精度。本文在测评中也发现, 丢失待消解项比错分指代链更影响测评结果。基于上述结论, 在指代消解模块前增加待消解项识别层, 该层主要分为扩充阶段和过滤阶段两大步骤, 如图2所示。

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 待消解项识别层流程图Fig.2 The flowchart of mention detection sieve

(1)扩充阶段:由于指代消解主要的消解对象是代词、名词短语、嵌套名词短语。因此简单地通过词性标注以及命名体识别很难准确地抽取出所有的待消解项。该阶段通过斯坦福句法分析树对句子进行句法分析, 并选取文本中所有的命名实体以及抽取句法分析树中所有的NP、NN、NR节点作为候选待消解项。当名词的词性标注为EN时, 也将其作为候选先行语, 并通过机器翻译系统(http:∥fanyi.baidu.com/auto/zh/)将其翻译成对应的中文名词短语。

(2)过滤阶段:该阶段主要是在保证召回率不大幅下降的同时尽量使待消解项识别模块的正确率提高。因此主要通过以下几层过滤得到待消解项集合:①停用词过滤。由于扩充阶段抽取的名词短语中包含大量的无意义的抽象名词, 例如:精神、行为、科技、原因、风雨、歪理邪说、校园安全等。这些名词或者名词短语在文本中没有指向任何实体, 因此首先通过设置的一个停用词表删除上述抽象的名词或者名词短语; ②时间、数词、金钱过滤。删除包含百分号、数词、时间的名词或者名词短语, 例如:“ 20%、1000公里、明天、昨天晚上、30万元等” ; ③重复词过滤。如果两个名词或者名词短语之间存在着相同的中心词, 且二者在前文中出现过则二者保留, 否则删除字符串较短的名词或者名词短语。

基于改进的层次过滤的中文指代消解模型一共有6层, 如表1所示。以下将主要介绍各个层次过滤模块。

表1

Table 1

表1(Table 1)

表1 中文指代消解模型中的层次顺序 Table 1 Sequence of sieves for Chinese anaphora resolution 层次 处理数据类型 特 征 1 名词短语 字符串匹配 2 名词短语 实体表达宽松字符串匹配|实体宽松字符串匹配 3 名词短语 严格中心词匹配|宽松中心词匹配 4 名词短语 同位语|缩略语 5 名词短语 HowNet语义相似度计算|Web语义相似度计算 6 代词 单复数一致& 性别一致& 生命度& NER标签

表1 中文指代消解模型中的层次顺序 Table 1 Sequence of sieves for Chinese anaphora resolution

(1)字符串匹配层(String match sieve):篇章中, 当实体表达字符串完全相同时被认为是描述同一实体。因此当照应语m_j与先行语m_k的字符串完全匹配, 则判断二者可以聚成一条指代链。

例如:“ 布什总统” 与“ 布什总统” , 这两个字符串是完全匹配, 则认为二者存在指代关系。从最终的测评结果可知, MentionWise测评以及BLANC测评的准确率可以达到90.7%和90.3%。

(2)宽松字符串匹配层(Relaxed string match):如果照应语m_j与先行语m_k之间满足以下关系时可以聚成一条指代链。

实体表达宽松字符串匹配:当照应语 mj与先行语mk之间的字符串存在词包含关系时则二者可以聚成一条指代链。例如:“ 一批总值150亿人民币以上的新型喷气式战斗机和运输机” 和“ 战斗机” 。

宽松字符串匹配:当照应语 mj和先行语mk所在的聚类体中任何一个实体表达存在字符串匹配或者宽松字符串匹配, 则二者可以聚成一条指代链。例如:{弗拉基米尔· 弗拉基米罗维奇· 普京、俄罗斯总统}与{普京}。

(3)中心词匹配(Head match sieve):如果照应语 mj与先行语mk之间满足以下关系时可以聚成一条指代链。本文根据中文语言学规则选取名词短语中最后一个名词做为中心词。

严格中心词匹配:当照应语 mj与先行语mk的中心词字符串完全匹配, 则二者可以聚成一条指代链。但是存在一种例外, 当mj是一个组合词语, 而mk只是其中一个基本词语, 则二者可以不能聚成一条指代链。例如:“ 战斗机和轰炸机” 与“ 轰炸机” 二者不符合中心词匹配, 因此二者不存在指代关系。该层可以删除部分由待消解项识别层所引入的重复名词短语。

宽松中心词匹配:当照应语 mj中心词和先行语mk中心词所在的聚类体中任何一个实体表达存在严格的中心词匹配, 则二者可以聚成一条指代链。

(4)准确的结构匹配(Precise constructs sieve):当照应语 mj与先行语mk之间满足以下规则, 则二者将聚成一条指代链。

同位语:当照应语 mj和先行语mk出现在同一位置上, 且两个名词中有一个为人名时, 则认为二者存在同位语关系且指向同一实体, 二者可以聚成一条指代链, 例如:“ 俄罗斯总统” 和“ 普京” 。

缩略语:当照应语 mj和先行语mk存在缩略关系, 则二者可以聚成一条指代链。在此主要关注人名缩略语关系、国家名缩略语关系以及机构名缩略语关系。例如:“ 弗拉基米尔· 弗拉基米罗维奇· 普京” 和“ 普京” 、“ 俄罗斯” 和“ 俄国” 、“ 俄” 等、“ 朝鲜中央通信社” 和“ 朝中社” 。

(5)语义匹配层(Semantic match sieves):语义匹配层是通过语义相似度来描述先行语与照应语之间是否存在指代关系。本层通过中文本地语义知识库HowNet以及Web语义知识两个方面来衡量照应语与先行语之间的语义相似性。当照应语 mj和先行语mk所在的聚类体中任何一个实体表达存在语义相似关系, 则二者可以聚成一条指代链。

基于HowNet语义相似度计算:通过刘群等^[9]提出的基于Hownet词义相似度计算方法来计算两个名词短语之间的相似性, 具体公式如式(1)所示:

Sim(x, y)=αd+α1

基于Hownet的语义相似度的计算归根到底是计算两个词的概念相似度。而在知网中通过计算两个词的义元相似度来衡量两个概念的相似度。对于两个词语x和y,其相似度记为Sim(x,y)其中d为x和y的义元在义元其中d为x和y的义元在义元层次体系中的距离。其中α表示相似度为0.5的义元距离,该参数是一个可调节的参数。当Sim(x,y）值大于阈值0.5时可以聚成一条指代链, 例如:中国和中华人民共和国之间的相似度为1.0。

基于Web语义相似度计算:由于HowNet语义知识库的大小存在一定的局限性, 因此通过引入Web语义知识来解决上述问题。Web语义知识通过搜索引擎索引待消解项, 通过索引出的网页信息来计算待消解项之间的语义相似度^[10], 具体公式如式(2)所示:

Sim(x, y)=max(logf(x), logf(y))-logf(x, y)logN-min(logf(x), logf(y))2

式中: f(x)、f(y)分别代表待消解项x和y为目标索引词, 搜索引擎所返回的匹配x和y的网页数目; f(x, y)则表示搜索引擎返回同时匹配这两个待消解项的网页数目; N表示搜索引擎能搜到的所有网页数目; N在这里粗略地选取为1013。Sim(x, y)的值越低表示待消解项之间语义相似度越高。

(6)代词层(Pronouns Sieves):前面几个层次主要关注的是名词或者名词短语消解, 本层主要从以下几个方面考虑代词消解。当代词和名词短语聚类体满足下述关系时, 则二者聚成一条指代链。

单复数一致:单复数属性分为单数和复数两种类型。名词短语中含有“ 们、一大群、许多、每个” 等词, 或者表示并列关系的名词短语归入复数类别, 其余的归入单数类别。

性别一致:性别属性分为男性、女性以及中性三种类型。该类属性通过以下规则判断性别属性。若名词前后存在性别指示词时, 则通过该类词判断名词性别, 例如:先生、女士、阁下、同志等。若存在代词信息时, 则通过该类信息判断性别, 例如:他、她、它等。若名词为人名时, 通过收集的中文人名性别列表, 统计出人名最后一个字为何种性别的概率值, 并以此判断人名性别。

生命度:根据待消解项是否属性有生命, 把待消解项分成了有生命的和无生命两大类。

NER标签:根据斯坦福NER标注, 把实体表达分为组织、地点、人名、杂项4大类型。

实验采用的测评数据为ACE2005中文语料, 该语料包含三个子语料, 分别是BNEWS(网络对话)、NWIRE(新闻广播)、Weblogs(博客)。表2为ACE2005中文语料统计表格, 在BNEWS、NWIRE、Weblogs子语料中分别随机抽取80篇、80篇、40篇作为模型测评语料。

表2

Table 2

表2(Table 2)

表2 ACE2005中文语料统计表 Table 2 Statistical table of ACE2005 Chinese corpus 数据集 语料数 实体 实体表达 实体表达/实体 BNEWS 298 6248 13501 2.16 NWIRE 238 6552 14341 2.19 Weblogs 97 2614 6479 2.48 SUM 633 15414 34321 2.23

表2 ACE2005中文语料统计表 Table 2 Statistical table of ACE2005 Chinese corpus

将Zhang等^[7]提出的中文层次过滤模型以及Soon等^[4]提出的实体表达对模型作为实验对比的基准系统。

(1)中文层次过滤模型。文献[7]将该系统分为待消解项层、篇章处理层、准确字符串层、宽松字符串层、准确的结构层、中心词匹配层、合适的中心词匹配层、代词层。

(2)实体表达对模型。该模型的主要思想是把每个照应语 mi和与之具有指代关系且距离最近的mj作为训练模型的正例, 照应语mi和先行语中间的词mj+1, mj+2, …, mi-1作为负例4。通过上述训练语料训练出一个基于SVM的二元分类模型, 该模型估计待消解项之间< π, ∂i> 指向同一实体的概率。如式(3)所示。选择每一个mj最近的且存在指代关系的实体表达作为先行语。如果没有先行语, 则自己成为一条单独的指代链。

Pc(COREF|< π, ∂i> )=exp(∑i=1nλifi(< π, ∂i> , COREF))∑cexp∑i=1nλifi(< π, ∂i> , c)3

式中: P_c (COREF|π,∂_i>)表示实体表达对π,∂_i 存在替代关系的概率。

在ACE2005三个子语料中随机抽取200篇作为测试语料。中文原始文本经过预处理后, 待消解项识别层的测评结果如表3所示。其中P(Precision)值代表正确率, 它反映的是指代消解模型的准确程度; R(Recall)值代表召回率, 它反映的是指代消解模型的完备性; F值反映了指代消解模型的准确度和完备性的综合评估值。ACE2005语料中存在一定数量的嵌套名词短语, 例如:“ 负责策划这次艺术节活动的台北市文化局” 、“ 南京西路建成圆环” 等。本文在句法分析树上抽取待消解项, 而不是简单地基于词性标注以及命名体识别抽取待消解项。测评结果表明, 本文所提出的待消解项识别层在ACE2005三种语料上F平均值达到79.6%, 要高于Zhang所提出的待消解项层约7%, 如表3所示。

表3

Table 3

表3(Table 3)

表3 待消解项识别层性能表 Table 3 The results of mention detection sieve 待消解项识别 语料 P/% R/% F/% Our sieve BNEWS 78.1 85.3 81.5 Our sieve NWIRE 80.5 83.1 81.8 Our sieve Weblogs 73.8 77.3 75.5 Our sieve All_avg 77.4 81.9 79.6 Zhang All_avg 71.3 74.4 72.8

表3 待消解项识别层性能表 Table 3 The results of mention detection sieve

指代消解阶段的测评结果采用5种国际上最常使用的测评方式进行, 分别为MUC^[11]、BCUBED^[12]、CEAFE^[13]、MentionWise^[14]、BLANC^[15]。根据上述5种测评方法得出F值的平均值来比较模型的优劣, 即表4和表5中的Avg_F值。该值为模型在5种不同角度测评的平均值, 体现了模型的总体性能。Base1、Base2分别表示Zhang所提出的中文层次过滤模型以及Soon提出的实体表达对模型; our表示改进的层次过滤模型。具体实验结果如表4所示。

表4

Table 4

表4(Table 4)

表4 模型与baseline系统的对比实验结果(%) Table 4 Comparison of our model with the baseline models System ACE2005中文语料 MUC BCUBED CEAFE MentionWise BLANG Avg_F P R F P R F P R F P R F P R F F AutoMention Base1 62.8 62.6 62.7 70.3 66.2 68.1 64.5 56.8 60.6 47.9 46.4 47.1 67.6 64.7 66.1 61.3 Base2 55.7 51.4 53.4 74.1 63.3 68.2 52.6 63.4 57.4 49.2 39.4 43.7 67.6 56.1 61.9 56.9 Our 62.1 69.7 65.6 78.3 71.8 74.9 68.3 59.1 63.3 54.6 49.2 51.7 68.3 71.6 69.9 65.1 GoldMention Basel 78.5 76.1 77.3 82.3 78.4 80.3 77.9 68.7 73.0 59.7 55.3 57.4 77.5 74.2 75.8 72.6 Base2 73.6 63.5 68.1 81.3 73.5 77.2 63.3 75.7 68.9 57.6 46.5 51.4 79.2 68.1 73.2 67.8 Our 75.4 80.1 77.6 81.7 85.6 83.6 78.4 73.3 75.8 64.4 68.2 66.2 80.7 82.1 81.4 77.1

表4 模型与baseline系统的对比实验结果(%) Table 4 Comparison of our model with the baseline models

表5

Table 5

表5(Table 5)

表5 模型中各层叠加的测评结果(%) Table 5 Results of sieves accumulation in the model Seives ACE2005中文语料 MUC BCUBED CEAFE MentionWise BLANG Avg_F P R F P R F P R F P R F P R F F +{1} 90.2 50.1 64.4 97.3 70.5 81.7 63.3 87.6 73.4 90.7 36.5 52.1 90.3 68.1 77.6 69.8 +{1, 2} 77.7 66.5 71.6 88.5 77.3 82.5 69.7 78.7 72.9 73.1 51.6 60.5 83.9 74.8 79.1 73.2 +{1, 2, 3} 73.6 73.2 73.4 83.2 81.6 82.4 73.1 73.6 73.3 65.3 60.8 62.9 80.4 78.8 79.6 74.3 +{1, 2, 3, 4} 73.9 74.5 74.1 83.0 82.7 82.8 74.2 74.7 74.4 65.1 62.7 63.9 79.3 79.9 79.6 74.9 +{1, 2, 3, 4, 5} 74.3 75.2 74.7 82.5 83.4 83.0 76.3 73.9 75.1 64.9 64.6 64.8 79.5 81.1 80.3 75.7 +{1, 2, 3, 4, 5, 6} 75.4 80.1 77.6 81.7 85.6 83.6 78.4 73.3 75.8 64.4 68.2 66.2 80.7 82.1 81.4 77.1

表5 模型中各层叠加的测评结果(%) Table 5 Results of sieves accumulation in the model

从表4可知, 在没有预处理叠加错误的影响下, 基于改进的层次过滤模型和两类基准系统的Avg_F值能分别达到77.1%、72.6%和67.8%。通过自动化处理获取待消解项以及属性信息, 基于改进的层次过滤模型和两类基准系统的Avg_F值分别只有65.1%、61.1%和56.9%。AutoMention和Golden-Mention之间的F平均值存在11%的差距。产生这种差距的原因主要有以下几个方面:①各种基础的中文自然语言处理技术不成熟, 例如:在分词中把实体表达“ 文化局局长” 和“ 龙映台” 分成了“ 文化局/n 长龙/n 映/v 台/q” 。这样的错误在分词过程中比比皆是, 严重影响后续的处理。由于中文的歧义较多, 在词性标注以及命名实体识别时也存在多种不同的错误。经过一系列的基础处理以后, 错误不断叠加扩大, 以至于待消解项识别不准确以及特征抽取出现错误, 最终导致指代消解模型的错误划分。②中心词的选择, 根据中文语言学规则选取名词短语的最后一个名词作为中心词, 这样大部分是对的, 但是在ACE2005语料中也存在大约8%的待消解项的中心词不是最后一个词。③候选待消解项抽取的方法是在句法分析树上抽取出所有包含NP、NN、NR节点作为候选待消解项。这样做虽然最大程度地提高了召回率, 但是也引入大量的非待消解项, 尤其是存在大量重复中心词的名词短语。上述重复性短语给后续的待消解项过滤阶段带来很大的噪音, 进而影响后续的指代消解模型的精度。④在Weblogs语料中存在一定数量的英文的待消解项, 上述待消解项存在词与词之间没有空格导致机器无法正确翻译该词语, 例如:“ councilonfinancialservices” 。另外, 引入的机器翻译系统也存在一定程度的错误翻译, 例如:“ Inter” 被机器翻译系统翻译成“ 国际米兰” 。

为了进行有效的比较, 将Zhang所提出的中文层次过滤模型以及基于SVM实现Soon提出的实体表达对模型做为基准系统。为了保证系统之间的公平比较, 三种系统消解的待消解项完全一致。从表4可以清晰看出, 所提出的系统无论在AutoMention还是在GoldenMention上Avg_F值要分别高于Zhang提出的中文层次过滤模型和Soon提出的实体表达对模型约4%和9%。

为了探讨各层在指代消解模型中的作用, 采用逐层叠加的模式进行分析和探讨各层对模型的贡献, 如表5所示。从表5可以清晰看出, 模型中的各个层次在测评中作用均比较明显。从表4和表5可以得出, 修改的待消解项识别层以及新增加的语义匹配层使得模型的Avg_F值分别增高了4%、0.8%。Web语义知识在一定程度上提高了模型的指代消解精度且很好地弥补了中文语义知识库不全面的缺陷。