hadoop小学生： hanlp自然语言处理包的人名识别代码解析

HanLP发射矩阵词典nr.txt中收录单字姓氏393个。袁义达在《中国的三大姓氏是如何统计出来的》文献中指出：当代中国100个常见姓氏中，集中了全国人口的87%，根据这一数据我们只保留nr.txt中的100个常见词语的姓氏角色，其他词语去掉其姓氏角...

2019-08-02 10:00 来自版块 - 网络技术

hadoop小学生： 基于hanlp的es分词插件

摘要：elasticsearch是使用比较广泛的分布式搜索引擎，es提供了一个的单字分词工具，还有一个分词插件ik使用比较广泛，hanlp是一个自然语言处理包，能更好的根据上下文的语义，人名，地名，组织机构名等来切分词 Elasticsearch ...

2019-07-01 11:24 来自版块 - 网络技术

hadoop小学生： pyhanlp 繁简转换之拼音转换与字符正则化

繁简转换 HanLP几乎实现了所有我们需要的繁简转换方式，并且已经封装到了HanLP中，使得我们可以轻松的使用，而分词器中已经默认支持多种繁简格式或者混合。这里我们不再做过多描述。 ·说明 · HanLP能够识别简繁分歧词，比如打印机=印...

2019-06-28 10:06 来自版块 - 网络技术

hadoop小学生： Ansj与hanlp分词工具对比

一、Ansj 1、利用DicAnalysis可以自定义词库： 2、但是自定义词库存在局限性，导致有些情况无效： 比如：“不好用“的正常分词结果：“不好，用”。 （1）当自定义词库”好用“时，词库无效，分词结果不变。 （2）当自定...

2019-06-21 13:59 来自版块 - 网络技术

hadoop小学生： Hanlp配置自定义词典遇到的问题与解决方法

本文是整理了部分网友在配置hanlp自定义词典时遇到的一小部分问题，同时针对这些问题，也提供另一些解决的方案以及思路。这里分享给大家学习参考。 要使用hanlp加载自定义词典可以通过修改配置文件hanlp.properties来实现。 要注意的点...

2019-06-17 10:16 来自版块 - 网络技术

hadoop小学生： elasticsearch教程--中文分词器作用和使用

概述 本文都是基于elasticsearch安装教程 中的elasticsearch安装目录(/opt/environment/elasticsearch-6.4.0)为范例 环境准备 ·全新最小化安装的centos 7.5 ·ela...

2019-06-12 10:25 来自版块 - 网络技术

hadoop小学生： Spark中分布式使用HanLP（1.7.0)分词示例

HanLP分词，如README中所说，如果没有特殊需求，可以通过maven配置，如果要添加自定义词典，需要下载“依赖jar包和用户字典". 分享某大神的示例经验: 是直接"java xf hanlp-1.6.8-sources.jar" 解压源码...

2019-05-08 10:04 来自版块 - 网络技术

hadoop小学生： HanLP 自然语言处理 for nodejs

支持中文分词（N-最短路分词、CRF分词、索引分词、用户自定义词典、词性标注），命名实体识别（中国人名、音译人名、日本人名、地名、实体机构名识别），关键词提取，自动摘要，短语提取，拼音转换，简繁转换，文本推荐，依存句法分析（MaxEnt依存句法分析、...

2019-04-24 13:10 来自版块 - 网络技术

hadoop小学生： HanLP Analysis for Elasticsearch

基于 HanLP 的 Elasticsearch 中文分词插件，核心功能： 兼容 ES 5.x-7.x； 内置词典，无需额外配置即可使用； 支持用户自定义词典； 支持远程词典热更新（待开发）； 内置多种分词模式，适合不同场景； ...

2019-04-22 14:52 来自版块 - 网络技术

hadoop小学生： pyhanlp:hanlp的python接口

HanLP的Python接口，支持自动下载与升级HanLP，兼容py2、py3。 安装 pip install pyhanlp 使用命令hanlp来验证安装，如因网络等原因自动安装失败，可参考手动配置或Windows指南。 命令...

2019-04-12 11:16 来自版块 - 网络技术