hadoop小学生： java分词工具hanlp介绍

前几天（6月28日），在第23届中国国际软件博览会上，hanlp这款自然语言处理工具荣获了“2019年第二十三届中国国际软件博览会优秀产品”。 HanLP是由一系列模型预算法组成的工具包，结合深度神经网络的分布式自然语言处理，具有功能完...

2019-07-03 10:51 来自版块 - 网络技术

hadoop小学生： 基于hanlp的es分词插件

摘要：elasticsearch是使用比较广泛的分布式搜索引擎，es提供了一个的单字分词工具，还有一个分词插件ik使用比较广泛，hanlp是一个自然语言处理包，能更好的根据上下文的语义，人名，地名，组织机构名等来切分词 Elasticsearch ...

2019-07-01 11:24 来自版块 - 网络技术

hadoop小学生： pyhanlp 繁简转换之拼音转换与字符正则化

繁简转换 HanLP几乎实现了所有我们需要的繁简转换方式，并且已经封装到了HanLP中，使得我们可以轻松的使用，而分词器中已经默认支持多种繁简格式或者混合。这里我们不再做过多描述。 ·说明 · HanLP能够识别简繁分歧词，比如打印机=印...

2019-06-28 10:06 来自版块 - 网络技术

hadoop小学生： 中文分词工具之基于字标注法的分词

基于字标注法的分词 中文分词字标注通常有2-tag,4-tag和6-tag这几种方法，其中4-tag方法最为常用。标注集是依据汉字（其中也有少量的非汉字字符）在汉语词中的位置设计的。 1. 2-tag法 2-tag是一种最简单的标注方法,标注...

2019-06-26 10:52 来自版块 - 网络技术

hadoop小学生： 自然语言处理工具中的中文分词器介绍

中文分词是中文文本处理的一个基础步骤，也是中文人机自然语言交互的基础模块，不同于英文的是，中文句子中没有词的界限，因此在进行中文自然语言处理时，通常需要先进行分词，分词效果将直接影响词性，句法树等模块的效果，当然分词只是一个工具，场景不同，要求也不同...

2019-06-24 10:37 来自版块 - 网络技术

hadoop小学生： Ansj与hanlp分词工具对比

一、Ansj 1、利用DicAnalysis可以自定义词库： 2、但是自定义词库存在局限性，导致有些情况无效： 比如：“不好用“的正常分词结果：“不好，用”。 （1）当自定义词库”好用“时，词库无效，分词结果不变。 （2）当自定...

2019-06-21 13:59 来自版块 - 网络技术

hadoop小学生： python使用jieba实现中文文档分词和去停用词

分词工具的选择： 现在对于中文分词，分词工具有很多种，比如说：jieba分词、thulac、SnowNLP等。在这篇文档中，笔者使用的jieba分词，并且基于python3环境，选择jieba分词的理由是其比较简单易学，容易上手，并且分...

2019-06-19 10:34 来自版块 - 网络技术

hadoop小学生： HanLP-分类模块的分词器介绍

最近发现一个很勤快的大神在分享他的一些实操经验，看了一些他自己关于hanlp方面的文章，写的挺好的！转载过来分享给大家！以下为分享原文（无意义的内容已经做了删除） 如下图所示，HanLP的分类模块中单独封装了适用分类的分词器，当然这些分词器都是对H...

2019-06-14 11:02 来自版块 - 网络技术

hadoop小学生： elasticsearch教程--中文分词器作用和使用

概述 本文都是基于elasticsearch安装教程 中的elasticsearch安装目录(/opt/environment/elasticsearch-6.4.0)为范例 环境准备 ·全新最小化安装的centos 7.5 ·ela...

2019-06-12 10:25 来自版块 - 网络技术

hadoop小学生： HanLP-最短路径分词

今天介绍的内容是最短路径分词。最近换回了thinkpad x1，原因是mac的13.3寸的屏幕看代码实在是不方便，也可能是人老了吧，^_^。等把HanLP词法分析介绍结束后，还是会换回macbook pro的。个人有强迫症，只要看或写Java或C/C...

2019-06-05 11:16 来自版块 - 网络技术