hadoop小学生： Java利用hanlp完成语句相似度分析的案例详解

分享一篇hanlp分词工具使用的小案例，即利用hanlp分词工具分析两个中文语句的相似度的案例。供大家一起学习参考！ 在做考试系统需求时，后台题库系统提供录入题目的功能。在录入题目的时候，由于题目来源广泛，且参与录入题目的人有多位，因此容易...

2019-02-23 10:05 来自版块 - 网络技术

hadoop小学生： pyhanlp文本分类与情感分析

语料库 本文语料库特指文本分类语料库，对应IDataSet接口。而文本分类语料库包含两个概念：文档和类目。一个文档只属于一个类目，一个类目可能含有多个文档。比如搜狗文本分类语料库迷你版.zip，下载前请先阅读搜狗实验室数据使用许可协议。 用Map...

2019-02-20 15:28 来自版块 - 网络技术

hadoop小学生： 自然语言处理工具hanlp关键词提取图解TextRank算法

看一个博主（亚当-adam）的关于hanlp关键词提取算法TextRank的文章，还是非常好的一篇实操经验分享，分享一下给各位需要的朋友一起学习一下！ TextRank是在Google的PageRank算法启发下，针对文本里的句子设计的权重算法，...

2019-02-20 10:52 来自版块 - 网络技术

hadoop小学生： Hanlp分词之CRF中文词法分析详解

这是另一套基于CRF的词法分析系统，类似感知机词法分析器，提供了完善的训练与分析接口。 CRF的效果比感知机稍好一些，然而训练速度较慢，也不支持在线学习。 默认模型训练自OpenCorpus/pku98/199801.txt，随hanlp ...

2019-02-18 15:20 来自版块 - 网络技术

hadoop小学生： NLP自然语言处理中的hanlp分词实例

本篇分享的依然是关于hanlp的分词使用，文章内容分享自 gladosAI 的博客，本篇文章中提出了一个问题，hanlp分词影响了实验判断结果。为何会如此，不妨一起学习一下 gladosAI 的这篇文章。 学习内容 在之前的实验中得到了不在词向...

2019-02-18 10:17 来自版块 - 网络技术

hadoop小学生： 中文自然语言处理工具hanlp隐马角色标注详解

本文旨在介绍如何利用HanLP训练分词模型，包括语料格式、语料预处理、训练接口、输出格式等。 目前HanLP内置的训练接口是针对一阶HMM-NGram设计的，另外附带了通用的语料加载工具，可以通过少量代码导出供其他训练工具使用的特定格式（如CRF...

2019-02-13 15:01 来自版块 - 网络技术

hadoop小学生： 自然语言处理工具python调用hanlp中文实体识别

Hanlp作为一款重要的中文分词工具，在GitHub的用户量已经非常之高，应该可以看得出来大家对于hanlp这款分词工具还是很认可的。本篇继续分享一篇关于hanlp的使用实例即Python调用hanlp进行中文实体识别。 想要在python中调用h...

2019-02-13 10:20 来自版块 - 网络技术

hadoop小学生： 自然语言处理工具hanlp自定义词汇添加图解

过程分析 1.添加新词需要确定无缓存文件，否则无法使用成功，因为词典会优先加载缓存文件 2.再确认缓存文件不在时，打开本地词典按照格式添加自定义词汇。 3.调用分词函数重新生成缓存文件，这时会报一个找不到缓存文件的异常，不用管，因为加载...

2019-01-27 10:13 来自版块 - 网络技术

hadoop小学生： 在Hanlp词典手动添加未登录词的方式介绍

在使用Hanlp词典进行分词的时候，会出现分词不准的情况，原因是内置词典中并没有收录当前这个词，也就是我们所说的未登录词，只要把这个词加入到内置词典中就可以解决类似问题，如何操作呢，下面我们来看一下： 一，在Hanlp词典中添加未登录词 ...

2019-01-25 10:39 来自版块 - 网络技术

hadoop小学生： spark集群使用hanlp进行分布式分词操作说明

本篇分享一个使用hanlp分词的操作小案例，即在spark集群中使用hanlp完成分布式分词的操作，文章整理自【qq_33872191】的博客，感谢分享！以下为全文： 分两步： 第一步：实现hankcs.hanlp/corpus.io.II...

2019-01-21 10:37 来自版块 - 网络技术