hadoop小学生： 汉语言处理工具pyhanlp的简繁转换

繁简转换 HanLP几乎实现了所有我们需要的繁简转换方式，并且已经封装到了HanLP中，使得我们可以轻松的使用，而分词器中已经默认支持多种繁简格式或者混合。这里我们不再做过多描述。 说明： ·HanLP能够识别简繁分歧词，比如打印机=印表機。许...

2019-03-29 10:34 来自版块 - 网络技术

hadoop小学生： Hanlp中N最短路径分词详细介绍

N-最短路径 是中科院分词工具NLPIR进行分词用到的一个重要算法，张华平、刘群老师在论文《基于N-最短路径方法的中文词语粗分模型》中做了比较详细的介绍。该算法算法基本思想很简单，就是给定一待处理字串，根据词典，找出词典中所有可能的词，构造出字串的一...

2019-03-25 13:56 来自版块 - 网络技术

hadoop小学生： Hanlp1.7版本的新增功能一览

Hanlp1.7版本在去年下半年的时候就随大快的DKH1.6版本同时发布了，截至目前1.7大版本也更新到了1.7.1了。本篇分别就1.7.0和1.7.1中新增的功能做一个简单的汇总介绍。 HanLP 是由一系列模型与算法组成的 Java 工具...

2019-03-22 09:52 来自版块 - 网络技术

hadoop小学生： 如何在hanlp词典中手动添加未登录词

我们在使用hanlp词典进行分词的时候，难免会出现分词不准确的情况，原因是由于内置词典中并没有收录当前的这个词，也就是我们所说的未登录词，只要把这个词加入到内置词典中就可以解决类似问题，如何操作，下面我们就看一下具体的步骤 1、找到hanlp...

2019-03-18 15:10 来自版块 - 网络技术

hadoop小学生： Hanlp自然语言处理中的词典格式说明

使用过hanlp的都知道hanlp中有许多词典，它们的格式都是非常相似的，形式都是文本文档，随时可以修改。本篇文章详细介绍了hanlp中的词典格式，以满足用户自定义的需要。 基本格式 词典分为词频词性词典和词频词典。 1、词频词性词典（...

2019-03-15 11:13 来自版块 - 网络技术

hadoop小学生： 中文分词算法工具hanlp源码解析

词图 词图指的是句子中所有词可能构成的图。如果一个词A的下一个词可能是B的话，那么A和B之间具有一条路径E(A,B)。一个词可能有多个后续，同时也可能有多个前驱，它们构成的图我称作词图。 需要稀疏2维矩阵模型，以一个词的起始位置作为行，终止位置作...

2019-03-13 13:21 来自版块 - 网络技术

hadoop小学生： Hanlp分词1.7版本在Spark中分布式使用记录

新发布1.7.0版本的hanlp自然语言处理工具包差不多已经有半年时间了，最近也是一直在整理这个新版本hanlp分词工具的相关内容。不过按照当前的整理进度，还需要一段时间再给大家详细分享整理的内容。昨天正好看到的这篇关于关于1.7.0版本hanlp分...

2019-03-11 15:27 来自版块 - 网络技术

hadoop小学生： Window离线环境下如何安装pyhanlp

Hanlp在离线环境下的安装我是没有尝试过的，分享SunJW_2017的这篇文章就是关于如何在离线环境下安装hanlp的。我们可以一起来学习一下！ HanLP是一款优秀的中文自然语言处理工具，可以实现包括分词、词性标注、实体识别在内容诸多功能，详情...

2019-03-08 10:51 来自版块 - 网络技术

hadoop小学生： 开源自然语言处理工具包hanlp中CRF分词实现详解

CRF简介 CRF是序列标注场景中常用的模型，比HMM能利用更多的特征，比MEMM更能抵抗标记偏置的问题。 CRF训练 这类耗时的任务，还是交给了用C++实现的CRF++。关于CRF++输出的CRF模型，请参考《CRF++模型格式说明》。...

2019-02-27 11:39 来自版块 - 网络技术

hadoop小学生： hanlp和jieba等六大中文分工具的测试对比

本篇文章测试的哈工大LTP、中科院计算所NLPIR、清华大学THULAC和jieba、FoolNLTK、HanLP这六大中文分词工具是由 水...琥珀 完成的。相关测试的文章之前也看到过一些，但本篇阐述的可以说是比较详细的了。这里就分享一下给各位朋...

2019-02-26 14:41 来自版块 - 网络技术