条件随机场可被定义为一个无向图模型,最早由Lafferty和McCallum在2001年提出^{[ 11]}。如 图1所示,它是由一个点序列所表示的随机变量 Y、由边表示的条件依赖关系以及条件 X所组成,随机变量只与其相邻元素有条件依赖关系,因此,随机变量服从马尔可夫(Markov)属性,并形成一个线性(Markov)马尔可夫链。

图1

Fig.1

	Figure Option ViewDownloadNew Window
	图1 CRF无向图链式结构Fig.1 Graphical structure of CRF

给定输入序列 X后,标记序列 Y的条件概率可被定义为:

p(Y|X)=exp∑i=1n∑m=1Mλmfm(Yi-1,Yi,X,i)Z(X)1

式中: f是整体特征向量, f中每一个元素是任意的特征选择函数 f_m, m∈[1, M], M为特征函数的数量; λ是权值向量,通过模型训练获得相应的估计值; Z( X)是归一化因子,是所有可能的标签序列 S的总和:

Z(X)=∑Sexp∑i=1n∑m=1Mλmfm(Yi-1,Yi,X,i)2

对于输入序列 X,最有可能的输出标记序列 Y为:

Y=argmaxYp(Y|X)(3)

层叠条件随机场模型的整体框架是一个“转移学习”的过程,即将一个复杂任务分为几个相对简单的子任务,每一个子任务对应于层叠条件随机场模型中某一层。模型从“旧的”子任务中学习,然后将结果传递给有更具体要求的新建任务,这一转移过程可实现更少的数据传输,减少信息冗余^{[ 15]}。层叠条件随机场模型如 图2所示。

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 层叠条件随机场模型Fig.2 Cascaded conditional random fields model

在层叠条件随机场模型中,高层模型的输入变量不仅包含观察值,还包含来自低层模型的识别结果,从而为高层条件随机场模型的识别提供决策支持。而低层模型所产生的错误可以经过适当的过滤和调整,再将结果传递到高层模型,可以避免错误的传播和扩散^{[ 16]}。

病历文本中的疾病名称和临床症状对疾病的预防与诊断起着重要作用,因此本文将对这两类命名实体进行识别研究。在翻阅了大量的病历并进行分析后,发现:①大多数的疾病名称都是由身体部位名称与基本疾病名称组合而成,如:“脑梗塞”是由“脑”与“梗塞”组成。②大多数的临床症状都是由身体部位名称与形容词或动词等具有固定词性的词组成,如“四肢无力”是由身体部位“四肢”与形容词“无力”组成。基于以上特点,本文低层模型仅以观察值为条件,进行身体基本部位或组成和基本疾病名称两类简单命名实体的识别,将识别的结果传递到高层模型,同时加入一个自定义的组合特征,它由词性和实体特征组合而成,与字符特征、词边界及上下文特征共同作为高层模型的特征集,这样高层模型的输入变量将不仅包含观察值,而且包含了来自低层模型的识别结果,从而为高层条件随机场模型对复杂疾病名称及临床症状的识别提供了决策支持,本文提出的基于层叠条件随机场模型的中文病历命名实体识别框架如 图3所示。

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 中文病历命名实体识别框架Fig.3 Recognition framework of named entity in Chinese medical records

2.2.1 第一层CRF模型特征集选取

在本文的层叠条件随机场模型中,第一层CRF模型的观测序列以单独的一个字为token,每个病历文本都由token序列表示。每个标记直接依赖于与其对应的当前token以及窗口内相邻的其他token。这一层使用由字符特征、词边界特征以及窗口长度为5的上下文特征组合而成的特征集,具体描述如下:

(1)字符特征:本文所指的字符,包括汉字、标点符号、外文字母和数字等。

(2)词边界特征:采用BIOES编码模式来表示词边界特征(B—开始,I—内部,E—结束,O—非实体,S—单字实体),相对于BIO编码模式,BIOES编码模式能够表示更多的信息,识别效果优于BIO编码模式^{[ 17]}。

(3)上下文特征:上下文特征是指窗口长度内token之间的相互依赖关系。在第一层CRF模型中,窗口长度设定为5,显示了窗口内相邻的5个token之间的依赖关系。

2.2.2 第二层CRF特征集选取

在第二层CRF模型中,依据中文病历中命名实体的构词特点,自定义了一种组合特征,即由词性和实体特征组成,与字符特征、词边界特征、上下文特征共同组成第二层CRF模型的特征集,具体描述如下:

(1)组合特征:该特征由词性特征与实体特征组合而成,可表示出疾病名称与临床症状的内部依赖关系,即构词特点。其中实体特征为第一层CRF模型识别后的输出结果,词性特征由中科院ICTCLAS分词器得出。

例如,在“因/p 脑/S-BC 梗/B-BD 塞/E-BD 致/a 肢/B-BC 体/E-BC 活/v 动/v 笨/a 拙/a”中,BC(身体部位)与BD(基本疾病名称)即为实体特征;p(介词)、v(动词)及a(形容词)即为词性特征,在本文模型中,实体特征与词性特征不作为独立特征存在,而是捆绑为一个整体特征,即组合特征。

(2)上下文特征:第二层CRF模型的窗口长度选择为7,显示了窗口内相邻的7个token之间的依赖关系。

本文选用中科院的ICTCLAS分词器作为分词工具,由于它不是专门面向医学领域的分词工具,缺乏专业词汇,因此我们对其进行扩展,将ICD-10' International Classification of Disease,10th Revision和ICD-9-CM² The International Classification of Diseases,9thRevision,Clinical Modification中的术语添入其中。随机抽取来自临床医院脑血管科室的65份电子病历,构建一个共计81453个字符的语料库。分词后对病历中实体类别标识情况如 表1所示。

表1

Table 1

表1(Table 1)

表1 本文所识别的命名实体类别 Table 1 Named entity types we recognized 层数 命名实体 标识符号 举例 第一层 身体部位 BC 脑、肝、上肢 基本疾病名称 BD 梗塞、硬化 第二层 疾病名称 D 脑梗塞、脑血栓 临床症状 P 眼震、四肢麻木

表1 本文所识别的命名实体类别 Table 1 Named entity types we recognized

本文将一维特征模板表达为 Fn, Sn,其中字母 F, S分别对应于标注语料中的第1、2列,数字0表示当前token,非零数字表示与当前token相对的行数。 表2给出了本文实验中的一组模板文件。

表2

Table 2

表2(Table 2)

表2 部分特征模板的设计 Table 2 Template design 第一层特征 Fn( n=-2, -1,0,1,2) 第二层特征 Fn(n=-3,-2,-1,0,1,2,3)

表2 部分特征模板的设计 Table 2 Template design

本文将多维特征模板表述为 Fn-1 /Fn, Sn-1 /Sn/Sn+1等形式,其中前者表示特征模板中第一列相邻token之间的二元特征联合,后者表示第二列相邻token之间的三元特征联合。

本文利用中科院ICTCLAS2011(http://www.ictclas.org/)分词器进行分词,使用CRF++0.53(来自http://crfpp.googlecode.com/svn/trunk/doc/index.html)开源工具对模型进行训练和测试,利用conlleval.pl(来自http://www.cnts.ua.ac.be/conll2000/chunking/output.html)程序进行评测。开放测试部分实验结果如 表3、 表4、 表5所示。

由 表3可以看出:①语料库可以标注为单字和词两种形式,这是由于对于同样多的训练语料,粒度较词小的字,可以得到更多的语料数,这对于召回率的提高有很大帮助,并且可以得到更多反映实体结构的特征,能够解决部分数据稀疏的问题,因此本文实验采用字粒度形式。②使用本文自定义组合特征的识别效果要优于普通的特征组合。这是由于本文自定义组合特征能更直接地表示出存在歧义的实体内部结构的不同,从而能够进行准确识别。自定义组合特征避免了分开使用词性特征与实体特征造成的特征信息冗余与识别混淆。如 表4所示:“头痛”,词性特征标注为“a a”,实体特征标注为“T O”,而自定义组合特征标注为“T a”;“正常”,词性标注为“a a”,实体特征为“O O”,而自定义组合特征标注为“a a”,可以看出加入自定义组合特征的方法后, F值提高了3%,而相对于单层CRF模型,则显著提高了7%。

表3

Table 3

表3(Table 3)

表3 不同条件下的识别效果对比 Table 3 Comparison of recognition effect under different conditions 准确率/% 召回率/% F值/% 本文模型 99.13 95.00 97.02 词粒度 95.74 70.31 81.08 普通特征组合 96.72 92.19 94.40 单层CRF模型 96.43 84.38 90.00

表3 不同条件下的识别效果对比 Table 3 Comparison of recognition effect under different conditions

表4

Table 4

表4(Table 4)

表4 自定义组合特征与普通特征组合的标注 Table 4 Labels of custom combination features and common features combination 文本 普通特征组合 自定义组合特征 … 头 a T T 痛 a O a … 正 a O a 常 a O a …

表4 自定义组合特征与普通特征组合的标注 Table 4 Labels of custom combination features and common features combination

表5

Table 5

表5(Table 5)

表5 不同窗口长度识别效果对比 Table 5 Comparison of recognition effect with different window lengths 窗口长度 准确率/% 召回率/% F值/% 5 90.38 80.34 85.07 7 99.13 95.00 97.02 9 99.08 90.00 94.32

表5 不同窗口长度识别效果对比 Table 5 Comparison of recognition effect with different window lengths

由于病历文本中的疾病名称的长度基本为2-7,临床症状的长度基本为2-9,当上下文窗口长度为7时,既可以避免上下文依赖不足,又可以避免过长的窗口长度造成特征冗余,识别结果最优(见 表5),因此,本文实验中窗口长度设置为7。

在实验中,还发现,使用本文模型,即使训练文本中未出现的实体在测试中也可以被准确识别,这也是多数模型难以提供的信息。例如,训练样本中的“脑血栓”被标记为D,而“心梗塞”在训练样本中并未出现,但由于它与“脑血栓”构词模式相同,因此本文模型利用自定义组合特征,在测试文件中依然可以准确识别出“心梗塞”为D;但并不会将所有具有相同构词模式的词都标记为相同实体,例如“鼻唇沟浅”是由身体基本部位“鼻唇沟”与形容词“浅”所组成,被标记为P,而“腰间盘突出”同样也是由身体基本部位与形容词所组成的实体,但并没有被同样标记为P,而是根据上下文特征被准确地标记为D,这些方面都体现出了本文模型特有的优越性。