hadoop小学生： Java利用hanlp完成语句相似度分析的案例详解

分享一篇hanlp分词工具使用的小案例，即利用hanlp分词工具分析两个中文语句的相似度的案例。供大家一起学习参考！ 在做考试系统需求时，后台题库系统提供录入题目的功能。在录入题目的时候，由于题目来源广泛，且参与录入题目的人有多位，因此容易...

2019-02-23 10:05 来自版块 - 网络技术

hadoop小学生： pyhanlp文本分类与情感分析

语料库 本文语料库特指文本分类语料库，对应IDataSet接口。而文本分类语料库包含两个概念：文档和类目。一个文档只属于一个类目，一个类目可能含有多个文档。比如搜狗文本分类语料库迷你版.zip，下载前请先阅读搜狗实验室数据使用许可协议。 用Map...

2019-02-20 15:28 来自版块 - 网络技术

hadoop小学生： Hanlp分词之CRF中文词法分析详解

这是另一套基于CRF的词法分析系统，类似感知机词法分析器，提供了完善的训练与分析接口。 CRF的效果比感知机稍好一些，然而训练速度较慢，也不支持在线学习。 默认模型训练自OpenCorpus/pku98/199801.txt，随hanlp ...

2019-02-18 15:20 来自版块 - 网络技术

hadoop小学生： NLP自然语言处理中的hanlp分词实例

本篇分享的依然是关于hanlp的分词使用，文章内容分享自 gladosAI 的博客，本篇文章中提出了一个问题，hanlp分词影响了实验判断结果。为何会如此，不妨一起学习一下 gladosAI 的这篇文章。 学习内容 在之前的实验中得到了不在词向...

2019-02-18 10:17 来自版块 - 网络技术

hadoop小学生： 中文自然语言处理工具HanLP源码包的下载使用记录

这篇文章主要分享的是hanlp自然语言处理源码的下载，数据集的下载，以及将让源代码中的demo能够跑通。Hanlp安装包的下载以及安装其实之前就已经有过分享了。本篇文章主要还是备忘之用，同时算是给新手朋友的一些参考吧！ 不过在此之前先推荐两...

2019-02-15 10:26 来自版块 - 网络技术

hadoop小学生： 自然语言处理工具hanlp自定义词汇添加图解

过程分析 1.添加新词需要确定无缓存文件，否则无法使用成功，因为词典会优先加载缓存文件 2.再确认缓存文件不在时，打开本地词典按照格式添加自定义词汇。 3.调用分词函数重新生成缓存文件，这时会报一个找不到缓存文件的异常，不用管，因为加载...

2019-01-27 10:13 来自版块 - 网络技术

hadoop小学生： 如何使用Hanlp加载大字典

问题 因为需要加载一个 近 1G 的字典到Hanlp中，一开始使用了CustomDictionay.add() 方法来一条条的加载，果然到了中间，维护DoubleArraTre 的成本太高，添加一个节点，都会很长时间，本来时间长一点没有关系...

2019-01-23 10:26 来自版块 - 网络技术

hadoop小学生： 自然语言处理hanlp的入门基础

此文整理的基础是建立在hanlp较早版本的基础上的，虽然hanlp的最新1.7版本已经发布，但对于入门来说差别不大！分享一篇比较早的“旧文”给需要的朋友！ 安装HanLP HanLP将数据与程序分离，给予用户自定义的自由。 HanLP由三部...

2019-01-18 11:29 来自版块 - 网络技术

hadoop小学生： pyhanlp 中文词性标注与分词简介

pyhanlp实现的分词器有很多，同时pyhanlp获取hanlp中分词器也有两种方式 第一种是直接从封装好的hanlp类中获取，这种获取方式一共可以获取五种分词器，而现在默认的就是第一种维特比分词器 1.维特比 (viterbi)：效...

2019-01-07 13:12 来自版块 - 网络技术

hadoop小学生： HanLP的自定义词典使用方式与注意事项介绍

【环境】python 2.7 方法一：使用pyhanlp，具体方法如下： pip install pyhanlp # 安装pyhanlp 进入python安装包路径，如 /usr/lib/python2.7/site-pa...

2019-01-02 11:00 来自版块 - 网络技术