hadoop小学生： pyhanlp 繁简转换之拼音转换与字符正则化

繁简转换 HanLP几乎实现了所有我们需要的繁简转换方式，并且已经封装到了HanLP中，使得我们可以轻松的使用，而分词器中已经默认支持多种繁简格式或者混合。这里我们不再做过多描述。 ·说明 · HanLP能够识别简繁分歧词，比如打印机=印...

2019-06-28 10:06 来自版块 - 网络技术

hadoop小学生： 部分常用分词工具使用整理

以下分词工具均能在Python环境中直接调用（排名不分先后）。 1、jieba（结巴分词） 免费使用 2、HanLP（汉语言处理包） 免费使用 3、SnowNLP（中文的类库） 免费使用 4、FoolNLTK（中文处理工具包） 免费使用 5...

2019-05-29 09:55 来自版块 - 网络技术

hadoop小学生： HanLP-实词分词器详解

在进行文本分类（非情感分类）时，我们经常只保留实词（名、动、形）等词，为了文本分类的分词方便，HanLP专门提供了实词分词器类NotionalTokenizer，同时在分类数据集加载处理时，默认使用了NotionalTokenizer分词器。 在H...

2019-05-27 10:36 来自版块 - 网络技术

hadoop小学生： HanLP-停用词表的使用示例

停用词表的修改 停用词表在“pyhanlp\static\data\dictionary”路径下的“stopwords.txt”文件中，CoreStopWordDictionary.apply方法支持去除停用词。如果需要修改停用词表，则直接编辑文件...

2019-05-22 11:25 来自版块 - 网络技术

hadoop小学生： 自然语言处理工具hanlp定制用户词条

关于hanlp的文章已经分享过很多，似乎好像大部分以理论性的居多。最近有在整理一些hanlp应用项目中的文章，待整理完成后会陆续分享出来。本篇分享的依然是由baiziyu 分享的一篇文章，感兴趣的可以在知乎上关注下他的专栏，写的还是挺好的！ 以下为...

2019-05-20 10:12 来自版块 - 网络技术

hadoop小学生： 自然语言处理工具pyhanlp分词与词性标注

Pyhanlp分词与词性标注的相关内容记得此前是有分享过的。可能时间太久记不太清楚了。以下文章是分享自“baiziyu”所写（小部分内容有修改），供大家学习参考之用。 简介 pyhanlp是HanLP的Python接口。因此后续所有关于pyhan...

2019-05-18 10:28 来自版块 - 网络技术

hadoop小学生： pyhanlp:hanlp的python接口

HanLP的Python接口，支持自动下载与升级HanLP，兼容py2、py3。 安装 pip install pyhanlp 使用命令hanlp来验证安装，如因网络等原因自动安装失败，可参考手动配置或Windows指南。 命令...

2019-04-12 11:16 来自版块 - 网络技术

hadoop小学生： 汉语言处理工具pyhanlp的拼音转换与字符正则化

汉字转拼音 HanLP中的汉字转拼音功能也十分的强大。 说明： l HanLP不仅支持基础的汉字转拼音，还支持声母、韵母、音调、音标和输入法首字母首声母功能。 l HanLP能够识别多音字，也能给繁体中文注拼音。 l 最重要的是，HanLP...

2019-03-29 13:32 来自版块 - 网络技术

hadoop小学生： 汉语言处理工具pyhanlp的简繁转换

繁简转换 HanLP几乎实现了所有我们需要的繁简转换方式，并且已经封装到了HanLP中，使得我们可以轻松的使用，而分词器中已经默认支持多种繁简格式或者混合。这里我们不再做过多描述。 说明： ·HanLP能够识别简繁分歧词，比如打印机=印表機。许...

2019-03-29 10:34 来自版块 - 网络技术

hadoop小学生： Hanlp汉字转拼音使用python调用详解

1、hanlp简介 HanLP是一系列模型与算法组成的NLP工具包，由大快搜索主导并完全开源，目标是普及自然语言处理在生产环境中的应用。HanLP具备功能完善、性能高效、架构清晰、语料时新、可自定义的特点。 开源网址：HanLP: Han...

2019-03-20 11:37 来自版块 - 网络技术