hadoop小学生
精灵王
精灵王
  • 注册日期2018-09-13
  • 发帖数160
  • QQ3234520070
  • 火币360枚
  • 粉丝0
  • 关注0
阅读:3550回复:0

HanLP-分类模块的分词器介绍

楼主#
更多 发布于:2019-06-14 11:02
最近发现一个很勤快的大神在分享他的一些实操经验,看了一些他自己关于hanlp方面的文章,写的挺好的!转载过来分享给大家!以下为分享原文(无意义的内容已经做了删除)

如下图所示,HanLP的分类模块中单独封装了适用分类的分词器,当然这些分词器都是对HanLP提供的分词器的封装。分类模块中提供的分词器都在tokenizer包中。包括:
BigramTokenizer这是一个2gram分词器,也就是把连续的2字认为是一个词
BlankTokenizer这是一个空白符分词器,以文本中的空白符作为词语间隔
HanLPTokenizer这是一个实词分词器,也就是只保留实词,它是分类模块的默认分词器

图片:图1.jpg


如果需要修改分类模块的分词器,需要在加载文本数据之前,设置分词器,示例代码如下:

IDataSet trainingCorpus = new FileDataSet().                          // FileDataSet省内存,可加载大规模数据集
           setTokenizer(new HanLPTokenizer()).                               // 支持不同的ITokenizer,详见源码中的文档
           load(CORPUS_FOLDER, "UTF-8", 0.9);               // 前90%作为训练集
       IClassifier classifier = new NaiveBayesClassifier();
       classifier.train(trainingCorpus);

还需要注意的是,这三种分词器其实都不太适合做情感分类的分词器,如果想用标准分词器作为情感分类的分词器,则用户需要自定义一个分词器类,该类需要实现ITokenizer接口并封装标准分词器。(如果直接调用setTokenizer方法传递下图hanlp分词器包中的分词器实例,则会报错)

图片:图2.jpg




喜欢0 评分0
DKHadoop用着还不错!
游客

返回顶部