hadoop小学生
精灵王
精灵王
  • 注册日期2018-09-13
  • 发帖数160
  • QQ3234520070
  • 火币360枚
  • 粉丝0
  • 关注0
阅读:4371回复:0

HanLP-实词分词器详解

楼主#
更多 发布于:2019-05-27 10:36
在进行文本分类(非情感分类)时,我们经常只保留实词(名、动、形)等词,为了文本分类的分词方便,hanlp专门提供了实词分词器类NotionalTokenizer,同时在分类数据集加载处理时,默认使用了NotionalTokenizer分词器。

HanLPjava版代码库中可以查看下边的文件中的函数

1、AbstractDataSet.java文件中的AbstractDataSet方法
2、HanLPTokenizer.java文件中的segment方法
3、NotionalTokenizer.java文件中的segment方法

简单说明一下NotionalTokenizer类实现

1、初始化了一个维特比分词器实例(最短路径方法,用viterbi思想实现)
2、CoreStopWordDictionary类的shouldInclude方法对维特比分词结果进行过滤,该方法只保留属于名词、动词、副词、形容词并且不在停用词表中的词。详见CoreStopWordDictionary.java文件中的shouldInclude(Term)方法。
对于pyhanlp的调用方法可以参考
# # -*- coding:utf-8 -*-
# Author:wancong
# Date: 2018-04-30
from pyhanlp import *
def demo_notional_tokenizer():
   """ 演示自动去除停用词、自动断句的分词器
   >>> demo_notional_tokenizer()
   [小区/n, 居民/n, 反对/v, 喂养/v, 流浪猫/nz, 居民/n, 赞成/v, 喂养/v, 小宝贝/nz]
   [小区/n, 居民/n, 反对/v, 喂养/v, 流浪猫/nz]
   [居民/n, 赞成/v, 喂养/v, 小宝贝/nz]
   """
   Term =JClass("com.hankcs.hanlp.seg.common.Term")
   NotionalTokenizer = JClass("com.hankcs.hanlp.tokenizer.NotionalTokenizer")

  text = "小区居民有的反对喂养流浪猫,而有的居民却赞成喂养这些小宝贝"
   print(NotionalTokenizer.segment(text))
   for sentence in NotionalTokenizer.seg2sentence(text):
       print(sentence)

if __name__ == "__main__":
   import doctest
doctest.testmod(verbose=True)

喜欢0 评分0
DKHadoop用着还不错!
游客

返回顶部