hadoop小学生： ubuntu下pycharm调用Hanlp实践分享

ubuntu下pycharm调用Hanlp实践分享 前几天看了大快的举办的大数据论坛峰会的现场直播，惊喜的是hanlp2.0版本发布。Hanlp2.0版本将会支持任意多的语种，感觉还是挺好的！不过更多关于hanlp2.0的信息，可能还需要过一段时间...

2018-12-14 10:37 来自版块 - 网络技术

hadoop小学生： 在Python中调用Java扩展包HanLP测试记录

最近在研究中文分词及自然语言相关的内容，关注到JAVA环境下的HanLP，HanLP是一个致力于向生产环境普及NLP技术的开源Java工具包，支持中文分词（N-最短路分词、CRF分词、索引分词、用户自定义词典、词性标注），命名实体识别（中国人名、...

2018-12-12 16:35 来自版块 - 网络技术

hadoop小学生： 配置Hanlp自然语言处理进阶

中文分词 中文分词中有众多分词工具，如结巴、hanlp、盘古分词器、庖丁解牛分词等；其中庖丁解牛分词仅仅支持java，分词是HanLP最基础的功能，HanLP实现了许多种分词算法，每个分词器都支持特定的配置。接下来我将介绍如何配置Hanlp来开启自...

2018-12-07 11:55 来自版块 - 网络技术

hadoop小学生： Hanlp在java中文分词中的使用介绍

项目结构 该项目中，.jar和data文件夹和.properties需要从官网/github下载，data文件夹下载 项目配置 修改hanlp.properties: 1 #/Test/src/hanlp.propertie...

2018-11-30 13:52 来自版块 - 网络技术

hadoop小学生： 目前常用的自然语言处理开源项目/开发包大汇总

中文主要有：NLTK，FoolNLTK，HanLP（java版本），pyhanlp（python版本），Ansj，THULAC，结巴分词，FNLP，哈工大LTP，中科院ICTCLAS分词，GATE，SnowNLP，东北大学NiuTrans，NLPIR...

2018-11-26 10:50 来自版块 - 网络技术

hadoop小学生： pyhanlp 停用词与用户自定义词典功能详解

hanlp的词典模式 之前我们看了hanlp的词性标注，现在我们就要使用自定义词典与停用词功能了，首先关于HanLP的词性标注方式具体请看HanLP词性标注集。 其核心词典形式如下： 自定义词典 自定义词典有多种添加模式，首先是展示的...

2018-11-16 10:29 来自版块 - 网络技术

hadoop小学生： Spark应用HanLP对中文语料进行文本挖掘--聚类详解教程

软件：IDEA2014、Maven、HanLP、JDK； 用到的知识：HanLP、Spark TF-IDF、Spark kmeans、Spark mapPartition; 用到的数据集：http://www.threedweb.cn/threa...

2018-11-12 11:24 来自版块 - 网络技术

hadoop小学生： hanlp源码解析之中文分词算法详解

词图 词图指的是句子中所有词可能构成的图。如果一个词A的下一个词可能是B的话，那么A和B之间具有一条路径E(A,B)。一个词可能有多个后续，同时也可能有多个前驱，它们构成的图我称作词图。 需要稀疏2维矩阵模型，以一个词的起始位置作为行，终...

2018-11-07 10:58 来自版块 - 网络技术

hadoop小学生： Python中调用自然语言处理工具HanLP手记

HanLP方法封装类： 1. # -*- coding:utf-8 -*- 2. # Filename: main.py 3. 4.from jpype import * 5. 5.startJVM(getDefaultJVMPath(...

2018-10-31 11:06 来自版块 - 网络技术

hadoop小学生： HanLP中的人名识别分析详解

在看源码之前，先看几遍论文《基于角色标注的中国人名自动识别研究》 关于命名识别的一些问题，可参考下列一些issue: ??名字识别的问题 #387 ??机构名识别错误 ??关于层叠HMM中文实体识别的过程 HanLP参考博客： 词性标注 ...

2018-10-29 11:37 来自版块 - 网络技术