hadoop小学生： Eclipse myeclipse下配置HanLP的教程

一、说明 博主的配置 1：window10 2：myeclipse 3：jdk1.8 备注：文章分享自贾继康的博客，博客使用的hanlp是1.6.8的版本。大家可以去下载最新的1.7版本了，也比较推荐使用最新的这个版本！ 二、资源获取 ...

2019-05-24 10:46 来自版块 - 网络技术

hadoop小学生： HanLP-停用词表的使用示例

停用词表的修改 停用词表在“pyhanlp\static\data\dictionary”路径下的“stopwords.txt”文件中，CoreStopWordDictionary.apply方法支持去除停用词。如果需要修改停用词表，则直接编辑文件...

2019-05-22 11:25 来自版块 - 网络技术

hadoop小学生： 自然语言处理工具hanlp定制用户词条

关于hanlp的文章已经分享过很多，似乎好像大部分以理论性的居多。最近有在整理一些hanlp应用项目中的文章，待整理完成后会陆续分享出来。本篇分享的依然是由baiziyu 分享的一篇文章，感兴趣的可以在知乎上关注下他的专栏，写的还是挺好的！ 以下为...

2019-05-20 10:12 来自版块 - 网络技术

hadoop小学生： 自然语言处理工具pyhanlp分词与词性标注

Pyhanlp分词与词性标注的相关内容记得此前是有分享过的。可能时间太久记不太清楚了。以下文章是分享自“baiziyu”所写（小部分内容有修改），供大家学习参考之用。 简介 pyhanlp是HanLP的Python接口。因此后续所有关于pyhan...

2019-05-18 10:28 来自版块 - 网络技术

hadoop小学生： 自然语言处理工具hanlp 1.7.3版本更新内容一览

HanLP 1.7.3 发布了。HanLP 是由一系列模型与算法组成的 Java 工具包，目标是普及自然语言处理在生产环境中的应用。HanLP 具备功能完善、性能高效、架构清晰、语料时新、可自定义的特点。 在提供丰富功能的同时，HanLP 内...

2019-05-10 10:34 来自版块 - 网络技术

hadoop小学生： Spark中分布式使用HanLP（1.7.0)分词示例

HanLP分词，如README中所说，如果没有特殊需求，可以通过maven配置，如果要添加自定义词典，需要下载“依赖jar包和用户字典". 分享某大神的示例经验: 是直接"java xf hanlp-1.6.8-sources.jar" 解压源码...

2019-05-08 10:04 来自版块 - 网络技术

hadoop小学生： java中利用hanlp比较两个文本相似度的步骤

使用 HanLP - 汉语言处理包 来处理，他能处理很多事情，如分词、调用分词器、命名实体识别、人名识别、地名识别、词性识别、篇章理解、关键词提取、简繁拼音转换、拼音转换、根据输入智能推荐、自定义分词器 使用很简单，只要引入hanlp.jar包，...

2019-05-06 10:50 来自版块 - 网络技术

hadoop小学生： 如何在java中去除中文文本的停用词

1. 整体思路 第一步：先将中文文本进行分词，这里使用的HanLP-汉语言处理包进行中文文本分词。 第二步：使用停用词表，去除分好的词中的停用词。 2. 中文文本分词环境配置 使用的HanLP-汉语言处理包进行中文文本分词。 ·H...

2019-04-30 09:32 来自版块 - 网络技术

hadoop小学生： hanlp 加载远程词库示例

说明 ·目前的实现方式是以远程词库的内容重新构建CustomDictionary.trie,demo主要是为了实现同步远程词库，对性能暂不作考虑,对性能要求要以CustomDictionary.dat为基础实现 按hanlp作者述 trie后期可...

2019-04-26 11:12 来自版块 - 网络技术

hadoop小学生： HanLP 自然语言处理 for nodejs

支持中文分词（N-最短路分词、CRF分词、索引分词、用户自定义词典、词性标注），命名实体识别（中国人名、音译人名、日本人名、地名、实体机构名识别），关键词提取，自动摘要，短语提取，拼音转换，简繁转换，文本推荐，依存句法分析（MaxEnt依存句法分析、...

2019-04-24 13:10 来自版块 - 网络技术