4场进球彩赛程什么意思 足球4场进球 4场进球彩过滤软件 4场进球彩怎么叫中奖 河北体彩4场进球samplingid126 湖南体彩足彩4场进球samplingid123 河北体彩4场进球samplingid103 4场进球360 4场进球的玩法 4场进球彩18078期开奖 4场进球彩开奖历史 4场进球彩预测方法 2017年12月4场进球 4场进球奖金 4场进球最新开奖
张飞软硬开源基于STM32 BLDC直流无刷电机驱动器开发视频套件,??戳此立抢??

工业大数据挖掘的利器——Spark MLlib

格物汇之前刊发的《工业大数据处理领域的“网红”——Apache Spark》中提到,在“中国制造2025”的技术路线图中,工业大数据是作为重要突破点来规划的,而在未来的十年,以数据为核心构建的智能化体系会成为支撑智能制造和工业互联网的核心动力。Apache Spark 作为新一代轻量级大数据快速处理平台,集成了大数据相关的各种能力,是理解大数据的首选。Spark有一个机器学习组件是专门用于解决海量数据如何进行高效数据挖掘的问题,那就是SparkMLlib组件。今天的格物汇就给大家详细介绍一下Spark MLlib。

Spark MLlip 天生适?#31995;?#20195;计算

在介绍Spark MLlib 这个组件前,我们先了解一下机器学习的定义。在维基百科中对机器学习给出如下定义:

机器学习是一门人工智能的科学,该领域的主要?#33455;?#23545;象是人工智能,特别是如何在经验学习中改善具体算法的性能。

机器学习是对能通过经验自动改进的计算机算法的?#33455;俊?/p>

机器学习是用数据或以往的经验,以此优化计算机程序的性能标准。

很明显,机器学习的重点之一就是“经验”,对于计算机而言,经验就是需要进行多次迭代计算得到的,Spark 的基于内存的计算模式天生就擅长迭代计算,多个步骤计算直接在内存中完成,只有在必要时才会操作磁盘和网络,所以说Spark正是机器学习的理想的平台。在Spark官方首页中展示了Logistic Regression算法在Spark和Hadoop中运行的性能比较,如图下图所示。

Spark MLlib 算法以及功能

MLlib由一些通用的学习算法以及工具组成,其中包括分类、回归、聚类、协同过滤、降维等,同时还包括底层的优化原语和高层的管道API。具体主要包含以下内容:

>>>>

回归(Regression)

线性回归(Linear)

广义线性回归(Generalized Linear)

决策树(Decision Tree)

随机森林(Random Forest)

梯度提升树(Gradient-boosted Tree)

Survival

Isotonic

>>>>

分类(Classification)

  逻辑回归(Logistic,二分类和多酚类)

决策树(Decision Tree)

随机森林(Random Forest)

梯度提升树(Gradient-boosted Tree)

多层反馈(Multilayer Perceptron)

支持向量机(Linear support vector machine)

One-vs-All

朴素贝?#31471;梗∟aive Bayes)

>>>>

聚类(Clustering)

  K-means

隐含狄利克雷分布(LDA)

BisectingK-means

高斯混合模型(Gaussian Mixture Model)

  协同过滤(Collaborative Filtering)

>>>>

特征工程(Featurization)

特征工程(Featurization)

特征提取

转换

降维(Dimensionality reduction)

筛选(Selection)

>>>>

管道(Pipelines)

组合管道(Composing Pipelines)

构建、评估和调优(Tuning)机器学习管道

>>>>

持久化(Persistence)

保存算法,模型和管道到持久化存储器,以备后续使用

从持久化存储器载入算法、模型和管道

>>>>

实用工具(Utilities)

线性代数(Linear algebra)

统计

数据处理

其他

综上可见,Spark在机器学习上发展还是比较快的,目前已经支持了主流的统计?#31361;?#22120;学习算法。

Spark MLlib API 变迁

Spark MLlib 组件从Spark 1.2版本以后就出现了两套机器学习API:

spark.mllib基于RDD的机器学习API,是Spark最开始的机器学习API,在Spark1.0以前的版本就已经存在的了。

spark.ml提供了基于DataFrame 高层次的API,引入了PipLine,可以向用户提供一个基于DataFrame的机器学习流式API套件。

Spark 2.0 版本开始,spark mllib就进入了维护模式,不再进行更新,后续等spark.ml API 足够成熟并足以取代spark.mllib 的时候就弃用。

那为什么Spark要将基于RDD的API 切换成基于DataFrame的API呢?原因有以下三点:

首先相比spark.mllib,spark.ml的API更加通用和灵活,对用户更加友好,并且spark.ml在DataFrame上的抽象级别更高,数据与操作的耦合度更低;

spark.ml中无论是什么模型,都提供了统一的算法操作接口,例如模型训练就调用fit方法,不行spark.mllib中不同模?#31361;?#26377;各种各样的trainXXX;

受scikit-learn 的Pipline概念启发,spark.ml引入pipeline, 跟sklearn,这样可以把很多操作(算法/特征提取/特征转换)以管道的?#38382;?#20018;起来,使得工作流变得更加容易。

如今工业互联网飞速发展,企业内部往往存储着TB级别甚至更大的数据,面对海量数据的难以进行有效快速的进行数据挖掘等难题,Spark提供了MLlib 这个组件,通过利用了Spark 的内存计算和适?#31995;?#20195;?#22270;?#31639;的优势,并且提供用户友好的API,使用户能够轻松快速的应对海量数据挖掘的问题,加快工业大数据的价值变现。作为TCL集团孵化的创新型科技公司,格创东智正在致力于深度融?#20064;?#25324;Spark在内的大数据、人工智能、云计算等前沿技术与制造行业经验,打造行业领先的“制造x”工业互联网平台。随着未来Spark社区在AI领域的不断发力,相信Spark MLlib组件的表现会越来越出色。

本文作者:格创东智大数据工程师黄欢(转载请注明作者及来源)

收藏 人收藏
分享:

评论

相关推荐

Spark基础及源码分析视频

    本视频面向拥有Java语言基础的同学,以Java语言为蓝本,深入浅出的讲解scala语言的语
发表于 09-26 00:00 ? 36115次 阅读
Spark基础及源码分析视频

守住工业互联网安全底线

2018年被业界称为工业互联网“元年?#20445;?#30001;于工业互联网能解决工业中的痛点问题,从而提升生产效率,使其....
发表于 04-24 16:19 ? 57次 阅读
守住工业互联网安全底线

王明芬拜访清华产研院并交流德国工业战略2030

清华大学全球产业?#33455;?#38498;依托清华大学经济管理学院建设,紧紧围绕国家重大发展战略,高度贴近产业发展?#23548;?...
的头像 电子发烧友网工程师 发表于 04-24 16:02 ? 59次 阅读
王明芬拜访清华产研院并交流德国工业战略2030

深入工业互联网领域的的第一知识入口

2010年,我已看出苗头,在电信经济专家委向工信部各局长提出预言,互联网企业市?#21040;?#25972;体超越运营商,人....
的头像 电子发烧友网工程师 发表于 04-24 15:57 ? 152次 阅读
深入工业互联网领域的的第一知识入口

智能制造的基础——数字化

中国制造业大而不强,说到底是:研发不强
的头像 电子发烧友网工程师 发表于 04-24 11:22 ? 171次 阅读
智能制造的基础——数字化

5G将赋能传统产业特别是制造业转型升级

他指出,5G将带动以集成电路为代表的高科技行业率先突破;5G将赋能传统产业,特别是制造业转型升级。 ....
发表于 04-24 08:43 ? 28次 阅读
5G将赋能传统产业特别是制造业转型升级

我国光伏发电设备发展现?#20174;?#36235;?#21697;?#26512;的详细资料说明

近年来,我国光伏发电应用规模和范围迅速扩大,光伏设备的技术水平显著提升,各类先进技术得到了快速发展,....
发表于 04-24 08:00 ? 11次 阅读
我国光伏发电设备发展现?#20174;?#36235;?#21697;?#26512;的详细资料说明

Spark运行架构与源码解析

Spark 源码解析  DAGScheduler中的DAG划分与提交...
发表于 04-24 06:32 ? 3次 阅读
Spark运行架构与源码解析

山东诺伯特:加速动能转换,助力中国制造

中国机器人峰会已经成功举办了5届,而诺伯特也成立了五年有余。可以说,诺伯特和中国机器人峰会都乘着中国....
的头像 电子发烧友网工程师 发表于 04-23 17:15 ? 470次 阅读
山东诺伯特:加速动能转换,助力中国制造

5G正进入“百行万业”,谁先崛起?

5G将?#30772;?#26032;一轮数字经济浪?#20445;?#24341;爆智能网联汽车、工业互联网、虚拟现实、移动医?#39057;?#26032;兴产业,成为下一个....
的头像 黄海峰的通信生活 发表于 04-23 15:28 ? 187次 阅读
5G正进入“百行万业”,谁先崛起?

Spark Network Common的实现

Spark为何使用Netty通信框架替代Akka
发表于 04-23 13:15 ? 6次 阅读
Spark Network Common的实现

清华三创大赛中呈现的IoT相关机会点,进行简要回顾

这届全球总决赛覆盖范围广、各阶段参赛项目质量高、知名投资机构参与多。决赛的102支清华校友团队分为种....
的头像 传感器技术 发表于 04-23 11:25 ? 407次 阅读
清华三创大赛中呈现的IoT相关机会点,进行简要回顾

数?#33268;?#29983;技术的应用价值,数?#33268;?#29983;可以应用到哪些方面?

目前洛克希德·马丁公司视它为未来国防工业6大顶尖技术之首,美国GE公司已为每个引擎、每个?#26032;幀?#27599;台核....
的头像 OFweek工控 发表于 04-23 10:02 ? 212次 阅读
数?#33268;?#29983;技术的应用价值,数?#33268;?#29983;可以应用到哪些方面?

工业机器人主要专利保护区域近二十年申请趋势

从中国区域专利申请的类型来看,发明申请专利为56191件,约占总申请量的50.5%;实用新型专利为5....
的头像 OFweek工控 发表于 04-23 09:59 ? 426次 阅读
工业机器人主要专利保护区域近二十年申请趋势

拒绝雾里看花,工业互联网是不是“伪风口”

这个被质疑的“伪风口?#20445;?#24102;来的将是春药般的速效还是春天的万物?#27492;眨?/div>
的头像 工控头条 发表于 04-23 09:21 ? 204次 阅读
拒绝雾里看花,工业互联网是不是“伪风口”

?#30828;?#19994;链的视角详细阐述了科技对制造业五大生产?#26041;?#30340;全面提升和重构

伴随着社会经济中的生产方式、消费方式发生的重大改变,企业的内在组织形态也开始发生了转变。企业开?#21363;?#20869;....
的头像 工业4俱乐部 发表于 04-22 18:02 ? 753次 阅读
?#30828;?#19994;链的视角详细阐述了科技对制造业五大生产?#26041;?#30340;全面提升和重构

前?#36824;?#24037;业软件专家加入开源工业互联网联盟专家组

谢孟军是Gopher China社区创始人,著名开源框架beego开发者,知名Go语言专家,畅销图书....
的头像 电子发烧友网工程师 发表于 04-22 16:53 ? 392次 阅读
前?#36824;?#24037;业软件专家加入开源工业互联网联盟专家组

工业互联网给传统汽车插上网联和智能的“两翼”

近年来,通过开展工业互联网探索?#23548;?#27773;车制造?#26041;?#27491;加快迎来由自动化向数字化、网络化、智能化的又一次跃....
的头像 电子发烧友网工程师 发表于 04-22 16:09 ? 460次 阅读
工业互联网给传统汽车插上网联和智能的“两翼”

开放发展与安全保障同步?#24179;?助推安全理念根植于产业发展

当前,全球范围内新一轮科技革命和产业变革逐渐兴起,互联网、大数据、人工智能与实体经济深度融合,技术驱....
的头像 电子发烧友网工程师 发表于 04-22 10:28 ? 220次 阅读
开放发展与安全保障同步?#24179;?助推安全理念根植于产业发展

智能制造的意义是什么

报告首先分析了“数据+算力+算法”这一智能制造的核心技术体系的构成。首先,数据是智能经济的基础,是智....
发表于 04-22 08:38 ? 95次 阅读
智能制造的意义是什么

你了解中国工业机器人系统集成行业的发展情况吗

工业机器人系统集成应用处于机器人产业链的下游应用端,为终端行业应用?#31361;?#25552;供自动化生产解决方案,并负责....
的头像 电子发烧友网工程师 发表于 04-20 09:53 ? 305次 阅读
你了解中国工业机器人系统集成行业的发展情况吗

我国工业机器人零部件已基本实现了国产化将成为制造业的主角

随着技术和产品的发展成熟,工业机器人开始迅速蔓延到多个领域中。而电子制造业正在成为继汽车工业之后,工....
发表于 04-20 09:12 ? 326次 阅读
我国工业机器人零部件已基本实现了国产化将成为制造业的主角

智能+将推动我国制造业高质量发展焕发经济新动能

“智能+”的重点领域是制造业。制造业是实体经济的主体,是技术创新的主战场,也是供给侧结构性改革的重要....
发表于 04-19 08:46 ? 66次 阅读
智能+将推动我国制造业高质量发展焕发经济新动能

中国制造业究竟发展的怎么样了

广州?#35759;技?#22242;有限公司董事长刘伟介绍,佳都是做人工智能的,与200多家企业有业务往来。今年以来,大家明....
发表于 04-19 08:43 ? 133次 阅读
中国制造业究竟发展的怎么样了

5G在智能制造中?#24515;?#20123;典型应用

制造业在国家层面乃至整个人类社会扮演着至关重要的角色,智能制造已然成为全球化课题和国家级战略课题,很....
发表于 04-19 08:39 ? 72次 阅读
5G在智能制造中?#24515;?#20123;典型应用

我国工业互联网平台发展的机遇与挑战

今年的政府工作报告提出,打造工业互联网平台,拓展“智能+?#20445;?#20026;制造业转型升级赋能。
的头像 ?#26412;?#31185;技政策法规宣讲团 发表于 04-18 16:59 ? 712次 阅读
我国工业互联网平台发展的机遇与挑战

国家发展改革委会发布了最新的《产业结构调整指导目录(2019年本,征求意见稿)》

智能制造方面,鼓励铅蓄电池全自动、智能化装配流水线;锂离子电池自动化、智能化生产成套制造装备;碱性锌....
的头像 高工锂电 发表于 04-18 15:18 ? 548次 阅读
国家发展改革委会发布了最新的《产业结构调整指导目录(2019年本,征求意见稿)》

正运动:在运动控制领域中做最好用的运动控制器,这是我们的发展使命和追求

正运动于2013年正式成立。谈及公司的成立背景,胡明权表示,随着劳动力成本的?#25112;?#22686;高,智能制造是一个....
的头像 工控头条 发表于 04-18 11:32 ? 303次 阅读
正运动:在运动控制领域中做最好用的运动控制器,这是我们的发展使命和追求

零点公司:对工业通迅未来发展的看法,并透露了零点自动化近两年的布局

零点自动化成立于2003年,凭借16年深耕自动化控制工业通讯技术经验,其网关、协议转换器、IO模块、....
的头像 工控头条 发表于 04-18 11:20 ? 387次 阅读
零点公司:对工业通迅未来发展的看法,并透露了零点自动化近两年的布局

伊玛:专注核心技术,?#26131;级?#20301;做有特色的传感器

据了解,基于?#31361;?#30340;需求,伊玛从未停?#26500;?#30740;发的步伐。伊玛拥有专业的研发团队,围绕自身核心技术展开,不断....
的头像 工控头条 发表于 04-18 11:18 ? 516次 阅读
伊玛:专注核心技术,?#26131;级?#20301;做有特色的传感器

工信?#31354;?#23792;对未来ICT技术网络产业发展提出了三点建议

2019年伴随5G商业部署步伐加快,以SDN/NFV/AI为代表的新型ICT技术,整体步入了务实发展....
发表于 04-18 08:53 ? 64次 阅读
工信?#31354;?#23792;对未来ICT技术网络产业发展提出了三点建议

英特尔领先技术助力工业企业,迈入智能制造新时代

当前,物联网技术正驱动着各个行业的转型升级。
的头像 知IN 发表于 04-17 15:05 ? 365次 阅读
英特尔领先技术助力工业企业,迈入智能制造新时代

工业互联网企业华瑞新智公司近日获得深创投3000万元A轮融资

华瑞新智创始人表示,本轮融?#39318;式?#23558;用于产?#36153;?#21457;、团队扩张以及市场开拓。
的头像 联动原素 发表于 04-17 14:40 ? 284次 阅读
工业互联网企业华瑞新智公司近日获得深创投3000万元A轮融资

当5G的大幕徐徐展开,未来我们的生活将会发生怎样的改变?

5G 为智能制造提供宽带、可靠和安全的连接. 近些年 Wi-Fi、蓝牙和 WirelessHART ....
的头像 资治通信 发表于 04-16 15:53 ? 303次 阅读
当5G的大幕徐徐展开,未来我们的生活将会发生怎样的改变?

中兴通讯将参与打造更多5G行业应用案例,为5G正式商用未雨绸缪

?#29992;?#20307;报道可以看到,中兴通讯近来?#30452;?#19982;运营商和行业合作伙伴联合打造了5G智慧场馆、5G智慧机场、5G....
的头像 C114通信网 发表于 04-16 15:07 ? 576次 阅读
中兴通讯将参与打造更多5G行业应用案例,为5G正式商用未雨绸缪

快讯:机器人?#30452;跘pple II 实现人工智能驱动取代“艰苦”编程

据外媒报道,这个刚出生的小男孩看?#20808;?#19982;其他婴儿并无二致,但他却是世界上首个利用机器人辅助手术、诞生于....
的头像 机器人大讲堂 发表于 04-16 10:54 ? 387次 阅读
快讯:机器人?#30452;跘pple II 实现人工智能驱动取代“艰苦”编程

工业互联网将重塑数?#33268;?#29983;闭环

互联网、大数据、人工智能等新一代信息技术迅速发展,对推动制造业数字化、网络化、智能化进程起到关键作用....
发表于 04-15 09:13 ? 87次 阅读
工业互联网将重塑数?#33268;?#29983;闭环

5G对于智能制造有什么样的意义

制造业在国家层面乃至整个人类社会扮演着至关重要的角色,智能制造已然成为全球化课题和国家级战略课题,很....
发表于 04-15 09:10 ? 110次 阅读
5G对于智能制造有什么样的意义

2019年中美高端装备制造产业竞争态?#21697;?#26512;

机器人、重大成套设备制造(深海石油钻探设备制造、石油钻采专用设备制造、矿山机械制造、拖拉机等等); ....
发表于 04-15 09:07 ? 235次 阅读
2019年中美高端装备制造产业竞争态?#21697;?#26512;

智能制造的八大典型模式介绍

智能制造推动以来,很多企业都做了?#36816;?#24050;经形成了相对成熟的一系列框架结构。那么,智能制造八大典型模式....
发表于 04-15 09:03 ? 160次 阅读
智能制造的八大典型模式介绍

中国智能制造的现状及未来发展趋势

智能制造是一种可以让企业在研发、生产、管理、服务等方面变得更加“聪明”的生产方法,制造业企业要从自身....
发表于 04-15 09:01 ? 270次 阅读
中国智能制造的现状及未来发展趋势

国内企业在部署云计算的过程中还存在哪些问题

随着物联网、云计算、大数据等前沿技术的兴起,这一切无疑已经发生了巨大的改变。 云计算技术的出现,给企....
发表于 04-15 08:55 ? 89次 阅读
国内企业在部署云计算的过程中还存在哪些问题

未来工业软件的十大趋?#21697;?#26512;

随着数字技术的发展,工业似乎正在进入一个平台青春期的朦胧前夜。而最开始作为工具的工业软件,则逐渐成为....
发表于 04-15 08:52 ? 225次 阅读
未来工业软件的十大趋?#21697;?#26512;

制造业升级之路虽然前路漫漫但?#31449;?#26410;来可期

2008年金融危机过后,美国呼吁“制造业回归”并制定一系列发展战略,到如今全球工业互联网的浪潮之大,....
发表于 04-15 08:42 ? 114次 阅读
制造业升级之路虽然前路漫漫但?#31449;?#26410;来可期

中国首条5G智能制造生产线在湖北武汉正式启动

据了解,湖北移动基于5G的工业互联网“5G无线 5G边?#23548;?#31639; 移动?#30772;?#21488;”组网模式,目前已在中国信科....
的头像 芯智讯 发表于 04-12 14:49 ? 645次 阅读
中国首条5G智能制造生产线在湖北武汉正式启动

智能制造的“何为”与“为何”

智能物流仓储系统尽管不直?#30828;?#19982;产品的生产,但作为整个智能制造系统中的重要子系统,其组成架构也与之类似....
的头像 深圳创新设计?#33455;?#38498; 发表于 04-12 13:55 ? 3386次 阅读
智能制造的“何为”与“为何”

全国首条5G智能制造生产线启动

发布会上,全国首条5G智能制造生产线启动。据悉,这是湖北省首个基于5G的工业互联网示范应用。该工厂项....
的头像 机器人技术与应用 发表于 04-12 12:47 ? 1032次 阅读
全国首条5G智能制造生产线启动

从“工业互联网”到5G光模块市场和技术

从“工业互联网”到5G在刚刚过去的两会期间,一个?#36824;?#27867;关注的概念——“工业互联网”于今年首次被写入政府工作报告。“工业互联...
发表于 03-22 16:02 ? 199次 阅读
从“工业互联网”到5G光模块市场和技术

word count词频和TopK统计

Spark学习?#22987;?二)算子综?#20064;?#20363;实战
发表于 03-21 11:09 ? 47次 阅读
word count词频和TopK统计

Hanlp分词1.7版本在Spark中分布式使用记录

新发布1.7.0版本的hanlp自然语言处理工具包差不多已经有半年时间了,最近也是一直在整理这个新版本hanlp分词工具的相关内容。不过...
发表于 03-11 15:38 ? 200次 阅读
Hanlp分词1.7版本在Spark中分布式使用记录

采用VMware和CentOS及Hadoop的Spark安装和配置

5 基于 Mac 平台 VMware 虚拟机的 Spark 安装 (5)
发表于 03-08 16:35 ? 82次 阅读
采用VMware和CentOS及Hadoop的Spark安装和配置

2019人工智能博览会用AI技术联通未来世界

                           &nb...
发表于 02-18 15:10 ? 476次 阅读
2019人工智能博览会用AI技术联通未来世界

spark集群使用hanlp进行分布式分词操作说明

本篇分享一个使用hanlp分词的操作小案例,即在spark集群中使用hanlp完成分布式分词的操作,文章整理自【qq_33872191】的博客,感...
发表于 01-21 10:45 ? 199次 阅读
spark集群使用hanlp进行分布式分词操作说明

智能工厂、数字化工厂与智能制造的区别

智能工厂作为工业智能化发展的重要?#23548;?#27169;式,已经引发行业的广泛关注。到底什么是智能工厂?智能工厂的核心架构是怎样的?能为企...
发表于 01-09 15:46 ? 348次 阅读
智能工厂、数字化工厂与智能制造的区别

UWB高精度厘米级定位方案

中国古代人类为了不让自?#22909;?#22833;在茫茫大自然中,白天用太阳辨别方向,日出为东,?#31456;?#20026;西,中午太阳在?#24076;?#22812;间则用北斗七星来辨别...
发表于 12-14 17:44 ? 934次 阅读
UWB高精度厘米级定位方案
14086期4场进球开奖
4场进球彩赛程什么意思 足球4场进球 4场进球彩过滤软件 4场进球彩怎么叫中奖 河北体彩4场进球samplingid126 湖南体彩足彩4场进球samplingid123 河北体彩4场进球samplingid103 4场进球360 4场进球的玩法 4场进球彩18078期开奖 4场进球彩开奖历史 4场进球彩预测方法 2017年12月4场进球 4场进球奖金 4场进球最新开奖