hadoop小学生： pyhanlp 共性分析与短语提取内容详解

简介 HanLP中的词语提取是基于互信息与信息熵。想要计算互信息与信息熵有限要做的是 文本分词进行共性分析。在作者的原文中，有几个问题，为了便于说明，这里首先给出短语提取的原理。在文末在给出pyhanlp的调用代码。 共性分析 互信息mi，左熵...

2019-01-04 10:40 来自版块 - 网络技术

hadoop小学生： hanlp汉语自然语言处理入门基础知识介绍

自然语言处理定义： 自然语言处理是一门计算机科学、人工智能以及语言学的交叉学科。虽然语言只是人工智能的一部分（人工智能还包括计算机视觉等），但它是非常独特的一部分。这个星球上有许多生物拥有超过人类的视觉系统，但只有人类才拥有这么高级的语言。...

2019-01-02 14:31 来自版块 - 网络技术

hadoop小学生： HanLP的自定义词典使用方式与注意事项介绍

【环境】python 2.7 方法一：使用pyhanlp，具体方法如下： pip install pyhanlp # 安装pyhanlp 进入python安装包路径，如 /usr/lib/python2.7/site-pa...

2019-01-02 11:00 来自版块 - 网络技术

hadoop小学生： 简单有效的多标准中文分词详解

本文介绍一种简洁优雅的多标准中文分词方案，可联合多个不同标准的语料库训练单个模型，同时输出多标准的分词结果。通过不同语料库之间的迁移学习提升模型的性能，在10个语料库上的联合试验结果优于绝大部分单独训练的模型。模型参数和超参数全部共享，复杂度不随语料...

2018-12-28 15:16 来自版块 - 网络技术

hadoop小学生： python调用hanlp分词包手记

python调用hanlp分词包手记 Hanlp作为一款重要的分词工具，本月初的时候看到大快搜索发布了hanlp的1.7版本，新增了文本聚类、流水线分词等功能。关于hanlp1.7版本的新功能，后面有使用的到时候在给大家分享。本篇分享一个在pyt...

2018-12-26 13:01 来自版块 - 网络技术

hadoop小学生： pyhanlp 两种依存句法分类器

依存句法分析器 在HanLP中一共有两种句法分析器 ·依存句法分析 （1）基于神经网络的高性能依存句法分析器 （2）MaxEnt依存句法分析 基于神经网络的高性能依存句法分析器 HanLP中的基于神经网络的高性能依存句法分析器参考的是14...

2018-12-21 11:44 来自版块 - 网络技术

hadoop小学生： hanlp在Python环境中的安装失败后的解决方法

Hanlp是由一系列模型与算法组成的javag工具包，目标是普及自然语言处理再生环境中的应用。有很多人在安装hanlp的时候会遇到安装失败的情况，下面就是某大神的分享的在python环境中安装失败的解决方法，大家可以借鉴学习以下！ 由于要使用ha...

2018-12-19 10:51 来自版块 - 网络技术

hadoop小学生： pyhanlp用户自定义词典添加实例说明

pyhanlp是python版封装的的HanLP，项目地址：https://github.com/hankcs/pyhanlp 经过测试，HanLP比nltk在中文分词和实体识别方面都更好用. 如何向pyhanlp添加自定义的词典？以p...

2018-12-17 13:21 来自版块 - 网络技术

hadoop小学生： ubuntu下pycharm调用Hanlp实践分享

ubuntu下pycharm调用Hanlp实践分享 前几天看了大快的举办的大数据论坛峰会的现场直播，惊喜的是hanlp2.0版本发布。Hanlp2.0版本将会支持任意多的语种，感觉还是挺好的！不过更多关于hanlp2.0的信息，可能还需要过一段时间...

2018-12-14 10:37 来自版块 - 网络技术

hadoop小学生： 在Python中调用Java扩展包HanLP测试记录

最近在研究中文分词及自然语言相关的内容，关注到JAVA环境下的HanLP，HanLP是一个致力于向生产环境普及NLP技术的开源Java工具包，支持中文分词（N-最短路分词、CRF分词、索引分词、用户自定义词典、词性标注），命名实体识别（中国人名、...

2018-12-12 16:35 来自版块 - 网络技术