hadoop小学生： NLP自然语言处理中的hanlp分词实例

本篇分享的依然是关于hanlp的分词使用，文章内容分享自 gladosAI 的博客，本篇文章中提出了一个问题，hanlp分词影响了实验判断结果。为何会如此，不妨一起学习一下 gladosAI 的这篇文章。 学习内容 在之前的实验中得到了不在词向...

2019-02-18 10:17 来自版块 - 网络技术

hadoop小学生： Pyhanlp自然语言处理中的新词识别

新词发现 本“新词发现”模块基于信息熵和互信息两种算法，可以在无语料的情况下提取一段长文本中的词语，并支持过滤掉系统中已存在的“旧词”，得到新词列表。 调用方法 静态方法 一句话静态调用接口已经封装到HanLP中： /** ...

2019-02-15 15:27 来自版块 - 网络技术

hadoop小学生： 中文自然语言处理工具HanLP源码包的下载使用记录

这篇文章主要分享的是hanlp自然语言处理源码的下载，数据集的下载，以及将让源代码中的demo能够跑通。Hanlp安装包的下载以及安装其实之前就已经有过分享了。本篇文章主要还是备忘之用，同时算是给新手朋友的一些参考吧！ 不过在此之前先推荐两...

2019-02-15 10:26 来自版块 - 网络技术

hadoop小学生： 中文自然语言处理工具hanlp隐马角色标注详解

本文旨在介绍如何利用HanLP训练分词模型，包括语料格式、语料预处理、训练接口、输出格式等。 目前HanLP内置的训练接口是针对一阶HMM-NGram设计的，另外附带了通用的语料加载工具，可以通过少量代码导出供其他训练工具使用的特定格式（如CRF...

2019-02-13 15:01 来自版块 - 网络技术

hadoop小学生： 自然语言处理工具python调用hanlp中文实体识别

Hanlp作为一款重要的中文分词工具，在GitHub的用户量已经非常之高，应该可以看得出来大家对于hanlp这款分词工具还是很认可的。本篇继续分享一篇关于hanlp的使用实例即Python调用hanlp进行中文实体识别。 想要在python中调用h...

2019-02-13 10:20 来自版块 - 网络技术

hadoop小学生： 自然语言处理工具hanlp自定义词汇添加图解

过程分析 1.添加新词需要确定无缓存文件，否则无法使用成功，因为词典会优先加载缓存文件 2.再确认缓存文件不在时，打开本地词典按照格式添加自定义词汇。 3.调用分词函数重新生成缓存文件，这时会报一个找不到缓存文件的异常，不用管，因为加载...

2019-01-27 10:13 来自版块 - 网络技术

hadoop小学生： 自然语言处理hanlp的入门基础

此文整理的基础是建立在hanlp较早版本的基础上的，虽然hanlp的最新1.7版本已经发布，但对于入门来说差别不大！分享一篇比较早的“旧文”给需要的朋友！ 安装HanLP HanLP将数据与程序分离，给予用户自定义的自由。 HanLP由三部...

2019-01-18 11:29 来自版块 - 网络技术

hadoop小学生： HanLP分词命名实体提取详解

HanLP分词命名实体提取详解 分享一篇大神的关于hanlp分词命名实体提取的经验文章，文章中分享的内容略有一段时间（使用的hanlp版本比较老），最新一版的hanlp已经出来了，也可以去看看新版的hanlp在这方面有何提升！ 文本挖掘是抽取有效...

2019-01-11 14:14 来自版块 - 网络技术

hadoop小学生： hanlp汉语自然语言处理入门基础知识介绍

自然语言处理定义： 自然语言处理是一门计算机科学、人工智能以及语言学的交叉学科。虽然语言只是人工智能的一部分（人工智能还包括计算机视觉等），但它是非常独特的一部分。这个星球上有许多生物拥有超过人类的视觉系统，但只有人类才拥有这么高级的语言。...

2019-01-02 14:31 来自版块 - 网络技术

hadoop小学生： 简单有效的多标准中文分词详解

本文介绍一种简洁优雅的多标准中文分词方案，可联合多个不同标准的语料库训练单个模型，同时输出多标准的分词结果。通过不同语料库之间的迁移学习提升模型的性能，在10个语料库上的联合试验结果优于绝大部分单独训练的模型。模型参数和超参数全部共享，复杂度不随语料...

2018-12-28 15:16 来自版块 - 网络技术