hadoop小学生： 自然语言处理之：搭建基于HanLP的开发环境

环境搭建比FNLP的简单，具体参考：https://github.com/hankcs/HanLP 各个版本的下载：https://github.com/hankcs/HanLP/releases 完毕后有一个报错： 字符类型对应表加载失败: ...

2018-11-09 10:17 来自版块 - 网络技术

hadoop小学生： HanLP用户自定义词典源码分析详解

1. 官方文档及参考链接 l 关于词典问题Issue，首先参考：FAQ l 自定义词典其实是基于规则的分词，它的用法参考这个issue l 如果有些数量词、字母词需要分词，可参考:P2P和C2C这种词没有分出来，希望加到主词库 l 关于词性标...

2018-11-02 11:07 来自版块 - 网络技术

hadoop小学生： Python中调用自然语言处理工具HanLP手记

HanLP方法封装类： 1. # -*- coding:utf-8 -*- 2. # Filename: main.py 3. 4.from jpype import * 5. 5.startJVM(getDefaultJVMPath(...

2018-10-31 11:06 来自版块 - 网络技术

hadoop小学生： 自然语言处理中的分词问题总结

众所周知，英文是以词为单位的，词和词之间是靠空格隔开，而中文是以字为单位，句子中所有的字连起来才能描述一个意思。把中文的汉字序列切分成有意义的词，就是中文分词，有些人也称为切词。本文转载自明略研究院的技术经理牟小峰老师讲授的语言处理中的分词问题。 ...

2018-10-26 13:50 来自版块 - 网络技术

hadoop小学生： 智慧政务大数据统一平台解决方案

从事大数据行业的朋友应该都知道大数据已经上升到了国家战略高度，2015年8月31日，国务院印发了《促进大数据发展行动纲要》。旨在通过建立“用数据说话、用数据决策、用数据管理、用数据创新”的管理机制，实现基于数据的科学决策。 目前，我国每年善生并被存...

2018-10-23 15:48 来自版块 - 网络技术

hadoop小学生： DKHadoop大数据开发框架的构成模块

大数据也不是近几年才出现的新东西，只是最近几年才真正意义上变得热门、火爆！而这要得益于互联网信息技术的快速发展，网络改变世界、改变生活，大数据技术的应用让这样的改变更为深刻。关注大数据或者是互联网方面新闻的人应该知道，大数据已经上升到了国家战略的高度...

2018-10-19 15:05 来自版块 - 网络技术

hadoop小学生： DKHadoop大数据平台架构详解

大数据的时代已经来了，信息的爆炸式增长使得越来越多的行业面临这大量数据需要存储和分析的挑战。Hadoop作为一个开源的分布式并行处理平台，以其高拓展、高效率、高可靠等优点越来越受到欢迎。这同时也带动了hadoop商业版的发行。这里就通过大快DKhad...

2018-10-17 15:08 来自版块 - 网络技术

hadoop小学生： 依存句法分析器的简单实现

生成式句法分析指的是，生成一系列依存句法树，从它们中用特定算法挑出概率最大那一棵。句法分析中，生成模型的构建主要使用三类信息：词性信息、词汇信息和结构信息。前二类很好理解，而结构信息需要特殊语法标记，不做考虑。 本文主要利用了词汇+词性生成联合概率...

2018-10-17 13:16 来自版块 - 网络技术