hadoop小学生： Spring Boot中对自然语言处理工具包hanlp的调用详解

概 述 HanLP 是基于 Java开发的 NLP工具包，由一系列模型与算法组成，目标是普及自然语言处理在生产环境中的应用。而且 HanLP具备功能完善、性能高效、架构清晰、语料时新、可自定义的特点，因此十分好上手，本文就结合 Spring Boo...

2018-11-21 11:39 来自版块 - 网络技术

hadoop小学生： pyhanlp 停用词与用户自定义词典功能详解

hanlp的词典模式 之前我们看了hanlp的词性标注，现在我们就要使用自定义词典与停用词功能了，首先关于HanLP的词性标注方式具体请看HanLP词性标注集。 其核心词典形式如下： 自定义词典 自定义词典有多种添加模式，首先是展示的...

2018-11-16 10:29 来自版块 - 网络技术

hadoop小学生： Hanlp分词实例：Java实现TFIDF算法

算法介绍 最近要做领域概念的提取，TFIDF作为一个很经典的算法可以作为其中的一步处理。 关于TFIDF算法的介绍可以参考这篇博客http://www.ruanyifeng.com/blog/2013/03/tf-idf.html。 计算公式比...

2018-11-14 10:11 来自版块 - 网络技术

hadoop小学生： Spark应用HanLP对中文语料进行文本挖掘--聚类详解教程

软件：IDEA2014、Maven、HanLP、JDK； 用到的知识：HanLP、Spark TF-IDF、Spark kmeans、Spark mapPartition; 用到的数据集：http://www.threedweb.cn/threa...

2018-11-12 11:24 来自版块 - 网络技术

hadoop小学生： 自然语言处理之：搭建基于HanLP的开发环境

环境搭建比FNLP的简单，具体参考：https://github.com/hankcs/HanLP 各个版本的下载：https://github.com/hankcs/HanLP/releases 完毕后有一个报错： 字符类型对应表加载失败: ...

2018-11-09 10:17 来自版块 - 网络技术

hadoop小学生： hanlp源码解析之中文分词算法详解

词图 词图指的是句子中所有词可能构成的图。如果一个词A的下一个词可能是B的话，那么A和B之间具有一条路径E(A,B)。一个词可能有多个后续，同时也可能有多个前驱，它们构成的图我称作词图。 需要稀疏2维矩阵模型，以一个词的起始位置作为行，终...

2018-11-07 10:58 来自版块 - 网络技术

hadoop小学生： HanLP 关键词提取算法分析详解

?参考论文：《TextRank: Bringing Order into Texts》 ?TextRank算法提取关键词的Java实现 ?TextRank算法自动摘要的Java实现这篇文章中作者大概解释了一下TextRank公式 1. 论文 ...

2018-11-05 10:47 来自版块 - 网络技术

hadoop小学生： HanLP用户自定义词典源码分析详解

1. 官方文档及参考链接 l 关于词典问题Issue，首先参考：FAQ l 自定义词典其实是基于规则的分词，它的用法参考这个issue l 如果有些数量词、字母词需要分词，可参考:P2P和C2C这种词没有分出来，希望加到主词库 l 关于词性标...

2018-11-02 11:07 来自版块 - 网络技术

hadoop小学生： Python中调用自然语言处理工具HanLP手记

HanLP方法封装类： 1. # -*- coding:utf-8 -*- 2. # Filename: main.py 3. 4.from jpype import * 5. 5.startJVM(getDefaultJVMPath(...

2018-10-31 11:06 来自版块 - 网络技术

hadoop小学生： HanLP中的人名识别分析详解

在看源码之前，先看几遍论文《基于角色标注的中国人名自动识别研究》 关于命名识别的一些问题，可参考下列一些issue: ??名字识别的问题 #387 ??机构名识别错误 ??关于层叠HMM中文实体识别的过程 HanLP参考博客： 词性标注 ...

2018-10-29 11:37 来自版块 - 网络技术