hadoop小学生： HanLP 自然语言处理 for nodejs

支持中文分词（N-最短路分词、CRF分词、索引分词、用户自定义词典、词性标注），命名实体识别（中国人名、音译人名、日本人名、地名、实体机构名识别），关键词提取，自动摘要，短语提取，拼音转换，简繁转换，文本推荐，依存句法分析（MaxEnt依存句法分析、...

2019-04-24 13:10 来自版块 - 网络技术

hadoop小学生： Hanlp自然语言处理工具之词法分析器

本章是接前两篇《分词工具Hanlp基于感知机的中文分词框架》和《基于结构化感知机的词性标注与命名实体识别框架》的。本系统将同时进行中文分词、词性标注与命名实体识别3个任务的子系统称为“词法分析器”。 加载 对应的类为PerceptronL...

2019-04-10 11:09 来自版块 - 网络技术

hadoop小学生： Hanlp1.7版本的新增功能一览

Hanlp1.7版本在去年下半年的时候就随大快的DKH1.6版本同时发布了，截至目前1.7大版本也更新到了1.7.1了。本篇分别就1.7.0和1.7.1中新增的功能做一个简单的汇总介绍。 HanLP 是由一系列模型与算法组成的 Java 工具...

2019-03-22 09:52 来自版块 - 网络技术

hadoop小学生： Hanlp汉字转拼音使用python调用详解

1、hanlp简介 HanLP是一系列模型与算法组成的NLP工具包，由大快搜索主导并完全开源，目标是普及自然语言处理在生产环境中的应用。HanLP具备功能完善、性能高效、架构清晰、语料时新、可自定义的特点。 开源网址：HanLP: Han...

2019-03-20 11:37 来自版块 - 网络技术

hadoop小学生： Hanlp自然语言处理中的词典格式说明

使用过hanlp的都知道hanlp中有许多词典，它们的格式都是非常相似的，形式都是文本文档，随时可以修改。本篇文章详细介绍了hanlp中的词典格式，以满足用户自定义的需要。 基本格式 词典分为词频词性词典和词频词典。 1、词频词性词典（...

2019-03-15 11:13 来自版块 - 网络技术

hadoop小学生： Hanlp分词1.7版本在Spark中分布式使用记录

新发布1.7.0版本的hanlp自然语言处理工具包差不多已经有半年时间了，最近也是一直在整理这个新版本hanlp分词工具的相关内容。不过按照当前的整理进度，还需要一段时间再给大家详细分享整理的内容。昨天正好看到的这篇关于关于1.7.0版本hanlp分...

2019-03-11 15:27 来自版块 - 网络技术

hadoop小学生： Window离线环境下如何安装pyhanlp

Hanlp在离线环境下的安装我是没有尝试过的，分享SunJW_2017的这篇文章就是关于如何在离线环境下安装hanlp的。我们可以一起来学习一下！ HanLP是一款优秀的中文自然语言处理工具，可以实现包括分词、词性标注、实体识别在内容诸多功能，详情...

2019-03-08 10:51 来自版块 - 网络技术

hadoop小学生： 如何编译运行HanLP自然语言处理包

master分支 对于master分支，编译方法如下: git clone https://github.com/hankcs/HanLP.git mvn install -DskipTests ·由于目前一些test不够规范，使用了...

2019-03-06 13:02 来自版块 - 网络技术

hadoop小学生： 开源自然语言处理工具包hanlp中CRF分词实现详解

CRF简介 CRF是序列标注场景中常用的模型，比HMM能利用更多的特征，比MEMM更能抵抗标记偏置的问题。 CRF训练 这类耗时的任务，还是交给了用C++实现的CRF++。关于CRF++输出的CRF模型，请参考《CRF++模型格式说明》。...

2019-02-27 11:39 来自版块 - 网络技术

hadoop小学生： 自然语言处理工具hanlp关键词提取图解TextRank算法

看一个博主（亚当-adam）的关于hanlp关键词提取算法TextRank的文章，还是非常好的一篇实操经验分享，分享一下给各位需要的朋友一起学习一下！ TextRank是在Google的PageRank算法启发下，针对文本里的句子设计的权重算法，...

2019-02-20 10:52 来自版块 - 网络技术