精灵王
- 注册日期2018-09-13
- 发帖数160
- QQ3234520070
- 火币360枚
- 粉丝0
- 关注0
|
阅读：6025回复：0
基于结构化感知机的词性标注与命名实体识别框架
楼主#
更多
发布于：2019-04-08 14:49
 | |  |  |
上周就关于《结构化感知机标注框架的内容》已经分享了一篇《分词工具hanlp基于感知机的中文分词框架》，本篇接上一篇内容，继续分享词性标注与命名实体识别框架的内容。
词性标注
训练
词性标注是分词后紧接着的一个任务，训练语料同上，接口如下：
命令行
java -cp hanlp.jar com.hankcs.hanlp.model.perceptron.Main -task POS -train -reference data/test/pku98/199801.txt -model data/test/perceptron/pos.bin
API
public void testTrain() throws Exception
{
PerceptronTrainer trainer = new POSTrainer();
trainer.train("data/test/pku98/199801.txt", Config.POS_MODEL_FILE);
}
测试
词性标注器接受的输入不再是纯文本，而是分词后的单词数组或列表：
public void testLoad() throws Exception
{
PerceptronPOSTagger tagger = new PerceptronPOSTagger(Config.POS_MODEL_FILE);
System.out.println(Arrays.toString(tagger.tag("中国 交响乐团 谭利华 在 布达拉宫 广场 演出".split(" "))));
}
正常情况下输出每个单词的词性：
[ns, n, nr, p, ns, n, v]
关于如何组合分词器和词性标注器，使其同时进行分词与词性标注，请参考接下来的章节。
命名实体识别
目前本系统默认支持人名（nr），地名（ns），机构名（nt）三种命名实体的识别，用户可以重载NERTrainer的createTagSet来支持任意NER类型。
训练
命名实体识别是词性标注的后续任务，训练语料依然同上，接口如下：
命令行
java -cp hanlp.jar com.hankcs.hanlp.model.perceptron.Main -task NER -train -reference data/test/pku98/199801.txt -model data/test/perceptron/ner.bin
API
public void testTrain() throws Exception
{
PerceptronTrainer trainer = new NERTrainer();
trainer.train("data/test/pku98/199801.txt", Config.NER_MODEL_FILE);
}
自定义NER类型
重载NERTrainer的createTagSet来支持自己的NER类型。当然，用户提供的语料必须满足2014人民日报格式。
PerceptronTrainer trainer = new NERTrainer()
{
@Override
protected TagSet createTagSet()
{
NERTagSet tagSet = new NERTagSet();
tagSet.nerLabels.add("YourNER1");
tagSet.nerLabels.add("YourNER2");
tagSet.nerLabels.add("YourNER3");
return tagSet;
}
};
测试
命名实体识别器的输入不再是纯文本，而是分词结果与词性标注结果：
public void testTag() throws Exception
{
PerceptionNERecognizer recognizer = new PerceptionNERecognizer(Config.NER_MODEL_FILE);
System.out.println(Arrays.toString(recognizer.recognize("吴忠市 乳制品 公司 谭利华 来到 布达拉宫 广场".split(" "), "ns n n nr p ns n".split(" "))));
}
正常情况下输出：
[B-nt, M-nt, E-nt, S, O, S, O]
7个标签代表上述7个词语所属的命名实体成分。
| |  | |  |
|
