hadoop小学生： java分词工具hanlp介绍

前几天（6月28日），在第23届中国国际软件博览会上，hanlp这款自然语言处理工具荣获了“2019年第二十三届中国国际软件博览会优秀产品”。 HanLP是由一系列模型预算法组成的工具包，结合深度神经网络的分布式自然语言处理，具有功能完...

2019-07-03 10:51 来自版块 - 网络技术

hadoop小学生： 基于hanlp的es分词插件

摘要：elasticsearch是使用比较广泛的分布式搜索引擎，es提供了一个的单字分词工具，还有一个分词插件ik使用比较广泛，hanlp是一个自然语言处理包，能更好的根据上下文的语义，人名，地名，组织机构名等来切分词 Elasticsearch ...

2019-07-01 11:24 来自版块 - 网络技术

hadoop小学生： pyhanlp 繁简转换之拼音转换与字符正则化

繁简转换 HanLP几乎实现了所有我们需要的繁简转换方式，并且已经封装到了HanLP中，使得我们可以轻松的使用，而分词器中已经默认支持多种繁简格式或者混合。这里我们不再做过多描述。 ·说明 · HanLP能够识别简繁分歧词，比如打印机=印...

2019-06-28 10:06 来自版块 - 网络技术

hadoop小学生： Ansj与hanlp分词工具对比

一、Ansj 1、利用DicAnalysis可以自定义词库： 2、但是自定义词库存在局限性，导致有些情况无效： 比如：“不好用“的正常分词结果：“不好，用”。 （1）当自定义词库”好用“时，词库无效，分词结果不变。 （2）当自定...

2019-06-21 13:59 来自版块 - 网络技术

hadoop小学生： Hanlp配置自定义词典遇到的问题与解决方法

本文是整理了部分网友在配置hanlp自定义词典时遇到的一小部分问题，同时针对这些问题，也提供另一些解决的方案以及思路。这里分享给大家学习参考。 要使用hanlp加载自定义词典可以通过修改配置文件hanlp.properties来实现。 要注意的点...

2019-06-17 10:16 来自版块 - 网络技术

hadoop小学生： HanLP-分类模块的分词器介绍

最近发现一个很勤快的大神在分享他的一些实操经验，看了一些他自己关于hanlp方面的文章，写的挺好的！转载过来分享给大家！以下为分享原文（无意义的内容已经做了删除） 如下图所示，HanLP的分类模块中单独封装了适用分类的分词器，当然这些分词器都是对H...

2019-06-14 11:02 来自版块 - 网络技术

hadoop小学生： elasticsearch教程--中文分词器作用和使用

概述 本文都是基于elasticsearch安装教程 中的elasticsearch安装目录(/opt/environment/elasticsearch-6.4.0)为范例 环境准备 ·全新最小化安装的centos 7.5 ·ela...

2019-06-12 10:25 来自版块 - 网络技术

hadoop小学生： HanLP-最短路径分词

今天介绍的内容是最短路径分词。最近换回了thinkpad x1，原因是mac的13.3寸的屏幕看代码实在是不方便，也可能是人老了吧，^_^。等把HanLP词法分析介绍结束后，还是会换回macbook pro的。个人有强迫症，只要看或写Java或C/C...

2019-06-05 11:16 来自版块 - 网络技术

hadoop小学生： 部分常用分词工具使用整理

以下分词工具均能在Python环境中直接调用（排名不分先后）。 1、jieba（结巴分词） 免费使用 2、HanLP（汉语言处理包） 免费使用 3、SnowNLP（中文的类库） 免费使用 4、FoolNLTK（中文处理工具包） 免费使用 5...

2019-05-29 09:55 来自版块 - 网络技术

hadoop小学生： HanLP-实词分词器详解

在进行文本分类（非情感分类）时，我们经常只保留实词（名、动、形）等词，为了文本分类的分词方便，HanLP专门提供了实词分词器类NotionalTokenizer，同时在分类数据集加载处理时，默认使用了NotionalTokenizer分词器。 在H...

2019-05-27 10:36 来自版块 - 网络技术