hadoop小学生： 大快搜索黑科技亮相2019（第四届）大数据产业生态大会

深耕核心技术·赋能数字化转型 图1：2019（第四届）大数据产业生态大会 8月1日，以“激活数据价值 释放数据原力”为主题的“2019（第四届）大数据产业生态大会”在北京拉开序幕。北京大学教授、工业和信息化部原副部长杨学山，工业和信息化部信息...

2019-08-07 16:53 来自版块 - 网络技术

hadoop小学生： python调用hanlp进行命名实体识别

本文分享自 6丁一的猫 的博客，主要是python调用hanlp进行命名实体识别的方法介绍。以下为分享的全文。 1、python与jdk版本位数一致 2、pip install jpype1（python3.5） 3、类库hanl...

2019-07-15 09:57 来自版块 - 网络技术

hadoop小学生： java分词工具hanlp介绍

前几天（6月28日），在第23届中国国际软件博览会上，hanlp这款自然语言处理工具荣获了“2019年第二十三届中国国际软件博览会优秀产品”。 HanLP是由一系列模型预算法组成的工具包，结合深度神经网络的分布式自然语言处理，具有功能完...

2019-07-03 10:51 来自版块 - 网络技术

hadoop小学生： 中文分词工具之基于字标注法的分词

基于字标注法的分词 中文分词字标注通常有2-tag,4-tag和6-tag这几种方法，其中4-tag方法最为常用。标注集是依据汉字（其中也有少量的非汉字字符）在汉语词中的位置设计的。 1. 2-tag法 2-tag是一种最简单的标注方法,标注...

2019-06-26 10:52 来自版块 - 网络技术

hadoop小学生： 自然语言处理工具中的中文分词器介绍

中文分词是中文文本处理的一个基础步骤，也是中文人机自然语言交互的基础模块，不同于英文的是，中文句子中没有词的界限，因此在进行中文自然语言处理时，通常需要先进行分词，分词效果将直接影响词性，句法树等模块的效果，当然分词只是一个工具，场景不同，要求也不同...

2019-06-24 10:37 来自版块 - 网络技术

hadoop小学生： python使用jieba实现中文文档分词和去停用词

分词工具的选择： 现在对于中文分词，分词工具有很多种，比如说：jieba分词、thulac、SnowNLP等。在这篇文档中，笔者使用的jieba分词，并且基于python3环境，选择jieba分词的理由是其比较简单易学，容易上手，并且分...

2019-06-19 10:34 来自版块 - 网络技术

hadoop小学生： elasticsearch教程--中文分词器作用和使用

概述 本文都是基于elasticsearch安装教程 中的elasticsearch安装目录(/opt/environment/elasticsearch-6.4.0)为范例 环境准备 ·全新最小化安装的centos 7.5 ·ela...

2019-06-12 10:25 来自版块 - 网络技术

hadoop小学生： 史上最全中文分词工具整理

一．中文分词 二．准确率评测： THULAC：与代表性分词软件的性能对比 我们选择LTP-3.2.0 、ICTCLAS(2015版) 、jieba(C++版)等国内具代表性的分词软件与THULAC做性能比较。我们选择Windows作为测试...

2019-06-03 10:53 来自版块 - 网络技术

hadoop小学生： NLP自然语言处理中英文分词工具集锦与基本使用介绍

一、中文分词工具 （1）Jieba （2）snowNLP分词工具 （3）thulac分词工具 （4）pynlpir 分词工具 （5）StanfordCoreNLP分词工具 1.from stanfordcorenlp...

2019-05-31 11:31 来自版块 - 网络技术

hadoop小学生： 部分常用分词工具使用整理

以下分词工具均能在Python环境中直接调用（排名不分先后）。 1、jieba（结巴分词） 免费使用 2、HanLP（汉语言处理包） 免费使用 3、SnowNLP（中文的类库） 免费使用 4、FoolNLTK（中文处理工具包） 免费使用 5...

2019-05-29 09:55 来自版块 - 网络技术