4场进球彩赛程什么意思 足球4场进球 4场进球彩过滤软件 4场进球彩怎么叫中奖 河北体彩4场进球samplingid126 湖南体彩足彩4场进球samplingid123 河北体彩4场进球samplingid103 4场进球360 4场进球的玩法 4场进球彩18078期开奖 4场进球彩开奖历史 4场进球彩预测方法 2017年12月4场进球 4场进球奖金 4场进球最新开奖
【四旋翼飞行器】76小时吃透四轴算法!?#39134;?#26368;强软硬结合实战项目,??戳此立抢??

工业大数据挖掘的利器——Spark MLlib

格物汇之前刊发的《工业大数据处理领域的“网红?#34180;狝pache Spark》中提到,在“中国制造2025”的技术路线图中,工业大数据是作为重要突破点来规划的,而在未来的十年,以数据为核心构建的智能化体系会成为支撑智能制造和工业互联网的核心动力。Apache Spark 作为新一代轻量级大数据快速处理平台,集成了大数据相关的各种能力,是理解大数据的首选。Spark有一个机器学习组件是专门用于解决海量数据如何进行高效数据挖掘的问题,那就是SparkMLlib组件。今天的格物汇就给大家详细介绍一下Spark MLlib。

Spark MLlip 天生适?#31995;?#20195;计算

在介绍Spark MLlib 这个组件前,我们先了解一下机器学习的定义。在维基百科中对机器学习给出如下定义:

机器学习是一门人工智能的科学,该领域的主要?#33455;?#23545;象是人工智能,特别是如何在经验学习中改善具体算法的性能。

机器学习是对能通过经验自动改进的计算机算法的?#33455;俊?/p>

机器学习是用数据或以往的经验,以此优化计算机程序的性能标准。

很明显,机器学习的重点之一就是“经验?#20445;?#23545;于计算机而言,经验就是需要进行多次迭代计算得到的,Spark 的基于内存的计算模式天生就擅长迭代计算,多个步骤计算直接在内存中完成,只有在必要时才会操作磁盘和网络,所以说Spark正是机器学习的理想的平台。在Spark官方首页中展示了Logistic Regression算法在Spark和Hadoop中运行的性能比较,如图下图所示。

Spark MLlib 算法以及功能

MLlib由一些通用的学习算法以及工具组成,其中包括分类、回归、聚类、协同过滤、降维等,同时还包括底层的优化原语和高层的管道API。具体主要包含以下内容:

>>>>

回归(Regression)

线性回归(Linear

广义线性回归(Generalized Linear)

决策树(Decision Tree)

随机森林(Random Forest)

梯度提升树(Gradient-boosted Tree)

Survival

Isotonic

>>>>

分类(Classification)

? 逻辑回归(Logistic,二分类和多酚类)

决策树(Decision Tree)

随机森林(Random Forest)

梯度提升树(Gradient-boosted Tree)

多层反馈(Multilayer Perceptron)

支持向量机(Linear support vector machine)

One-vs-All

朴素贝?#31471;梗∟aive Bayes)

>>>>

聚类(Clustering)

? K-means

隐含狄利克雷分布(LDA)

BisectingK-means

高斯混合模型(Gaussian Mixture Model)

? 协同过滤(Collaborative Filtering)

>>>>

特征工程(Featurization)

特征工程(Featurization)

特征提取

转换

降维(Dimensionality reduction)

筛选(Selection)

>>>>

管道(Pipelines)

组合管道(Composing Pipelines)

构建、评估和调优(Tuning)机器学习管道

>>>>

持久化(Persistence)

保存算法,模型和管道到持久化存储器,以备后续使用

从持久化存储器载入算法、模型和管道

>>>>

实用工具(Utilities)

线性代数(Linear algebra)

统计

数据处理

其他

综上可见,Spark在机器学习上发展还是比较快的,目前已经支持了主流的统计?#31361;?#22120;学习算法。

Spark MLlib API 变迁

Spark MLlib 组件从Spark 1.2版本以后就出现了两套机器学习API:

spark.mllib基于RDD的机器学习API,是Spark最开始的机器学习API,在Spark1.0以前的版本就已经存在的了。

spark.ml提供了基于DataFrame 高层次的API,引入了PipLine,可以向用户提供一个基于DataFrame的机器学习流式API套件。

Spark 2.0 版?#31350;?#22987;,spark mllib就进入了维护模式,不再进行更新,后续等spark.ml API 足够成熟并足以取代spark.mllib 的时候就弃用。

那为什么Spark要将基于RDD的API 切换成基于DataFrame的API呢?原因有以下三点:

首先相比spark.mllib,spark.ml的API更加通用和灵活,对用户更加友好,并且spark.ml在DataFrame上的抽象级别更高,数据与操作的耦合度更低;

spark.ml中无论是什么模型,都提供了统一的算法操作接口,例如模型训练就调用fit方法,不行spark.mllib中不同模?#31361;?#26377;各种各样的trainXXX;

受scikit-learn 的Pipline概念启发,spark.ml引入pipeline, 跟sklearn,这样可以把很多操作(算法/特征提取/特征转换)以管道的?#38382;?#20018;起来,使得工作流变得更加容易。

如今工业互联网飞速发展,企业内部往往存储着TB级别甚至更大的数据,面对海量数据的难以进行有效快速的进行数据挖掘等难题,Spark提供了MLlib 这个组件,通过利用了Spark 的内存计算和适?#31995;?#20195;?#22270;?#31639;的优势,并且提供用户友好的API,使用户能够轻松快速的应对海量数据挖掘的问题,加快工业大数据的价值变现。作为TCL集团孵化的创新型科技公司,格创东智正在致力于深度融?#20064;?#25324;Spark在内的大数据、人工智能、云计算等前沿技术与制造行业经验,打造行业领先的“制造x”工业互联网平台。随着未来Spark社区在AI领域的不断发力,相信Spark MLlib组件的表现会越来越出色。

本文作者:格创东智大数据工程师黄欢(转载请注明作者及来源)

收藏 人收藏
分享:

评论

相关推荐

剖析智能制造关于“轻与重”的?#23548;?#20013;的误区

智能制造无疑是建设制造强国重中之重的核心策略。但还有很多制造企业存在不少关于“轻与重”的认识与?#23548;?#20013;....
的头像 工业IoT 发表于 02-20 10:33 ? 4次 阅读
剖析智能制造关于“轻与重”的?#23548;?#20013;的误区

黄群慧:“中国制造强国战略需要调整吗?”

黄群慧表示,理解中国制造2025的规划需要从三个方面的核心内涵看,一个是目标,我国把国外制造强国分成....
的头像 电子发烧友网工程师 发表于 02-20 10:23 ? 19次 阅读
黄群慧:“中国制造强国战略需要调整吗?”

探析机器视觉在智能制造中的应用

工业4.0离不开智能制造,智能制造离不开机器视觉。2015年我国机器视觉市场全球占比8.3%,增速超....
的头像 机器人前沿 发表于 02-20 10:05 ? 28次 阅读
探析机器视觉在智能制造中的应用

2019年河北省信息通信行业要着重抓好七方面工作

河北省电信业务总量、电信业务收入和固定?#20160;?#25237;?#21490;?#21035;居全国第7位、第10位和第8位。移动电话基站数、4....
发表于 02-20 08:54 ? 2次 阅读
2019年河北省信息通信行业要着重抓好七方面工作

第四次工业革命速度展开 深入实施工业互联网创新发展战略

当前,世界经济正处在动能转换的换挡期。西方一些发达国家正在积极推动第四次工业革命,旨在以制造业的数字....
的头像 电子发烧友网工程师 发表于 02-20 08:52 ? 130次 阅读
第四次工业革命速度展开 深入实施工业互联网创新发展战略

“2018物联之星-中国物联网产业年度评选”结果正式揭晓

机智云,全球领先的物联网开发和?#21697;?#21153;平台,全栈(综合)物联网平台服务领导者,国家高新技术企业,新型研....
的头像 机智云物联网 发表于 02-19 14:44 ? 301次 阅读
“2018物联之星-中国物联网产业年度评选”结果正式揭晓

魏德?#20934;?#34892;德国工业4.0发展理念 引领智能联接新技术

万物互联、万物智能的时代已来临,不论工业还是商业,对智能联接创新技术、产品的需求日益旺盛。魏德米勒凭....
发表于 02-19 12:40 ? 40次 阅读
魏德?#20934;?#34892;德国工业4.0发展理念 引领智能联接新技术

企业需要解决关键技术差距 解决旧技术需与新技术互动

企业可藉由获得员工支持并提供再培训来确保自动化的成功部署。自动化的引入将改变整个商业模型,并可能影响....
发表于 02-19 12:37 ? 75次 阅读
企业需要解决关键技术差距 解决旧技术需与新技术互动

智能制造领域关于“轻与重”的八大认识误区

当前,我国正在大力?#24179;?#21046;造强国建设,智能制造无疑是重中之重的核心策略。在政府的积极?#24179;?#21644;企业内生动力....
的头像 工业4俱乐部 发表于 02-19 11:22 ? 416次 阅读
智能制造领域关于“轻与重”的八大认识误区

工业互联网落地需要考虑哪些问题

对于工业而言,还处于数据价值发展的早期阶段,还需要行业专家参与,而行业不同,痛点不同,专家能力发挥的....
的头像 许?#28010;? 发表于 02-19 10:12 ? 189次 阅读
工业互联网落地需要考虑哪些问题

OPPO投建智能制造中心 打造成为东莞未来发展新引擎

2月15日上午十点,东莞滨海湾新区交椅湾近80万㎡“巨无霸”工业用地挂牌出让。仅一?#30452;?#20215;,该地块就被....
的头像 CINNO 发表于 02-19 09:45 ? 212次 阅读
OPPO投建智能制造中心 打造成为东莞未来发展新引擎

深度分析智能制造在中国制造业中的部署及特点

德勤深度分析智能制造在中国制造业中的部署及特点,预测智能制造落地前景,并为相关企业提出三大策略。
的头像 电子发烧友网工程师 发表于 02-19 09:09 ? 630次 阅读
深度分析智能制造在中国制造业中的部署及特点

AGV机器人助力现代工厂将逐步走向智能制造模式

随着人力成本的逐步上涨,制造业的利润越来越薄。加上全球市场竞争激烈化的影响,工厂必需寻找更多低成本的....
的头像 机器人创新生态 发表于 02-18 16:27 ? 300次 阅读
AGV机器人助力现代工厂将逐步走向智能制造模式

2019人工智能博览会用AI技术联通未来世界

                           &nb...
发表于 02-18 15:10 ? 126次 阅读
2019人工智能博览会用AI技术联通未来世界

工业互联网在中国的发展与机遇

“工业互联网”由GE(美国通用电气公司)研发部门在2012年提出,GE前CEO伊梅尔特坚信它是工业的....
的头像 物联网之声 发表于 02-18 14:01 ? 291次 阅读
工业互联网在中国的发展与机遇

深度盘点二手工业机器人行业现状

二手工业机器人行业现状在推行智能制造的今天,国内外很多企业都想加速工业自动化的发展。
的头像 机器人创新生态 发表于 02-18 10:31 ? 287次 阅读
深度盘点二手工业机器人行业现状

工业互联网到底该姓工还是该姓网

工业互联网还处于工具完?#24179;?#27573;,工业互联网平台、边?#23548;?#31639;平台还在不?#31995;?#20195;,所以现在还是与网相关的技术更....
的头像 许?#28010;? 发表于 02-18 09:42 ? 286次 阅读
工业互联网到底该姓工还是该姓网

在智能制造装备市场中高端机床的发展趋?#24179;?#20250;如何

装备制造业作为国民经济和国防建设提供生产技术装备的制造业,是制造业的核心组成部分,也是国民经济发展的....
发表于 02-17 10:40 ? 88次 阅读
在智能制造装备市场中高端机床的发展趋?#24179;?#20250;如何

?#23548;?#23558;在安徽滁州建设千万台级智能?#19994;?#21046;造基地

从单纯的?#19994;?#20225;业到以科技创新驱动的平台型公?#31350;导言?#20197;中国改革开放之后的第一家中外合资电子企业的身份成....
发表于 02-16 11:29 ? 264次 阅读
?#23548;?#23558;在安徽滁州建设千万台级智能?#19994;?#21046;造基地

LED行业寒冬将于2019年来临,?#39029;中?#26102;间长

中游封装端方面,器件价格下滑严重,市场需求临近一个饱和点。虽然市场总量缓增,但是大厂份额提升,封装行....
的头像 高工LED 发表于 02-15 15:59 ? 534次 阅读
LED行业寒冬将于2019年来临,?#39029;中?#26102;间长

世界先进制造领域2018年发展态势,世界先进制造领域2019年趋势展望

工业互联网布局?#20013;平?#21161;力实现智能化生产。富士康积极打造工业互联网平台BEACON,推动互联网、大....
的头像 全球技术地图 发表于 02-15 15:08 ? 477次 阅读
世界先进制造领域2018年发展态势,世界先进制造领域2019年趋势展望

制造企业如何?#24179;?#25968;字化转型

数字化转型(Digital Transformation)?#23548;?#19978;就是企业真正实现Digitaliza....
发表于 02-15 08:41 ? 162次 阅读
制造企业如何?#24179;?#25968;字化转型

物联网技术在工业领域中正在推动IO-Link系统的快速发展

近年来,物联网技术在工业领域中快速发展,新一代基于以太网技术的自动化产品得到了广泛的应用。根据市场研....
发表于 02-15 08:38 ? 149次 阅读
物联网技术在工业领域中正在推动IO-Link系统的快速发展

锂电池企业出现重大质量事故,申请2年内不再受理

另外,相较而言,《规范条件》中还新增了智能制造和绿色制造的相关规定。在智能制造方面,鼓励企业加强顶层....
的头像 中国电源 发表于 02-14 14:19 ? 486次 阅读
锂电池企业出现重大质量事故,申请2年内不再受理

“智造”新征程 | 金升阳蝉联年度运动控制优秀器件奖

由中国传动网、中国运动控制产业联?#35828;?#32852;合发起的2018年智能制造&中国运动控制行业发展高峰论坛暨颁奖....
的头像 人间烟火123 发表于 02-14 11:33 ? 946次 阅读
“智造”新征程 | 金升阳蝉联年度运动控制优秀器件奖

富士康中国工厂裁员与美国建厂有关?营收入下滑,转型成为富士康的选择?

2019年1月,富士康公布了相关的业绩数据,2018年12月其营收为201.2亿美元,同比下滑8.3....
的头像 OFweek工控 发表于 02-14 10:22 ? 414次 阅读
富士康中国工厂裁员与美国建厂有关?营收入下滑,转型成为富士康的选择?

智慧工厂和工业物联网对12个产业的累计GDP影响

麦肯锡全球?#33455;?#38498;最新预测,到2025年智慧工厂带来的经济影响价?#21040;?#36798;每年1.2万亿美元至3.7万亿美....
的头像 OFweek工控 发表于 02-14 09:06 ? 621次 阅读
智慧工厂和工业物联网对12个产业的累计GDP影响

中天科技正在推动光通信产业链毛利水平的进一步提升

公告显示,2018年,中天科技践行“全球配置经济增长空间”的发展战略,以“高端化、精细化、智能化”为....
发表于 02-14 09:04 ? 88次 阅读
中天科技正在推动光通信产业链毛利水平的进一步提升

大族激光黄祥虎:后?#22266;?#26102;代锂电装备企业的破局之道

通过对于动力电池企业的长期?#31361;?#36319;踪,黄祥虎发现,?#31361;?#23545;于生产设备的诉求集中在四个层面,一是降低成本,....
的头像 高工锂电 发表于 02-13 15:59 ? 631次 阅读
大族激光黄祥虎:后?#22266;?#26102;代锂电装备企业的破局之道

锐科激光的激光器产品已经批量应用于国内主流激光设备厂家

目前,锐科激光应用于动力电池领域的产品有1000W、2000W、3000W、4000W、6000W连....
的头像 高工锂电 发表于 02-13 15:34 ? 674次 阅读
锐科激光的激光器产品已经批量应用于国内主流激光设备厂家

智能制造是电池企业降低成本、碾压竞争对手的必由之路

具体而言,先导智能在提供智能装备的同时,LeadMES以模块化方式为制造企业提供?#26632;?#24335;的信息化整体解....
的头像 高工锂电 发表于 02-13 15:11 ? 528次 阅读
智能制造是电池企业降低成本、碾压竞争对手的必由之路

科创板即将实操,工业互联网企业迎来新机遇

日前,中国证监会发布《关于在上海证券交易所设立科创板并试点注册制的实施意见》(以?#24405;?#31216;《实施意见》)。同时就《
的头像 格创东智 发表于 02-13 09:17 ? 630次 阅读
科创板即将实操,工业互联网企业迎来新机遇

中国制造业和人工智能将实现共享共赢的未来

当中国发展进入新时代,中国也进入由科技和创新驱动的新一轮发展阶段,而人工智能将成为中国新时代科技创新....
发表于 02-12 08:38 ? 99次 阅读
中国制造业和人工智能将实现共享共赢的未来

工业大数据将成为智能制造和工业互联网的核心动力

在"中国制造2025"的技术路线图中,工业大数据是作为重要突破点来规划的,而在未来的十年,以数据为核....
发表于 02-11 09:18 ? 170次 阅读
工业大数据将成为智能制造和工业互联网的核心动力

中国制造业正在借助新技术实现转型升级

工业互联网一直以来都备受关注,它根植于高速发展的互联网技术,应用于工业、制造业领域,并为第二产业的转....
发表于 02-11 09:06 ? 171次 阅读
中国制造业正在借助新技术实现转型升级

什么是智能制造发展的前瞻性

新一代信息技术快速发展并与制造技术深度融合,正在引发制造业制造模式、制造流程、制造手段和生态系?#36710;?#37325;....
发表于 02-11 08:54 ? 69次 阅读
什么是智能制造发展的前瞻性

智能制造模式的要素条件?#24515;?#20123;

1.?#23548;?工厂的总体设计、工艺流程及布局均已建立数字化模型,并进?#24515;?#25311;仿真,实现规划、生产、运营全流....
发表于 02-11 08:48 ? 111次 阅读
智能制造模式的要素条件?#24515;?#20123;

分享三个最具有代表性的丰田车厂

丰田是世界十大汽车工业公司之一,日本最大的汽车公司,公司早期以制造纺织机械为主,创始人丰田喜一郎19....
的头像 工业机器人 发表于 01-30 14:31 ? 695次 阅读
分享三个最具有代表性的丰田车厂

?#26412;?#22823;学邹月娴:《智能制造之深圳优?#26420;?#21457;展机遇》的主题演讲

2015年,中国提出《中国制造2025》战略,中国制造涉及10个关键领域,包括新一代信息技术、高档数....
的头像 深圳市机器人协会 发表于 01-30 09:52 ? 904次 阅读
?#26412;?#22823;学邹月娴:《智能制造之深圳优?#26420;?#21457;展机遇》的主题演讲

广东GDP全国第一 智能制造锋芒初露

作为我国第一经济大省,广东省2018年的优异成绩在意料之中。自改革开放以来,广东凭借着优越的地理位置....
的头像 OFweek工控 发表于 01-29 11:21 ? 1010次 阅读
广东GDP全国第一 智能制造锋芒初露

回顾2018自动化及智能制造市场状况

2018年,中国制造业整体保持正增长,但分化明显,?#20064;?#24180;一路高歌快速增长,下半年断崖式下跌,经济下行....
的头像 智能制造 发表于 01-29 10:05 ? 948次 阅读
回顾2018自动化及智能制造市场状况

宗申首条按照工业4.0标?#21363;?#36896;的全智能生产线

1011智能制造装配生产线作为宗申发动机生产体系的最新成?#20445;?#21069;瞻应用“工业4.0”的设计理念和智能科....
的头像 电子发烧友网工程师 发表于 01-28 16:43 ? 1422次 阅读
宗申首条按照工业4.0标?#21363;?#36896;的全智能生产线

中京电子携手深圳捷讯加快推动智能制造

2019年1月22日,中京电子与深圳捷讯智能系统有限公司签署《PCB智能新工厂规划设计项目合作协议》....
的头像 电子发烧友网工程师 发表于 01-28 16:30 ? 894次 阅读
中京电子携手深圳捷讯加快推动智能制造

洲明拟22亿布局MiniLED投建智能制造基地

22日晚间,洲明科技(下称“公司?#20445;?#21457;布公告宣?#25216;?#21010;投资22亿元建设中山智能制造基地项目。
的头像 电子发烧友网工程师 发表于 01-28 14:34 ? 697次 阅读
洲明拟22亿布局MiniLED投建智能制造基地

机器换人加剧就业极化 工程师成为热门岗位

偌大的?#23548;?#37324;,狭长的生产线上,没有肩并肩站立的工人,取而代之的是高大的机械?#30452;邸!?#20182;们”整齐划一,高....
的头像 电子发烧友网工程师 发表于 01-27 10:01 ? 656次 阅读
机器换人加剧就业极化 工程师成为热门岗位

spark集群使用hanlp进行分布式分词操作说明

本篇分享一个使用hanlp分词的操作小案例,即在spark集群中使用hanlp完成分布式分词的操作,文章整理自【qq_33872191】的博客,感...
发表于 01-21 10:45 ? 124次 阅读
spark集群使用hanlp进行分布式分词操作说明

智能工厂、数字化工厂与智能制造的区别

智能工厂作为工业智能化发展的重要?#23548;?#27169;式,已经引发行业的广泛关注。到底什么是智能工厂?智能工厂的核心架构是怎样的?能为企...
发表于 01-09 15:46 ? 207次 阅读
智能工厂、数字化工厂与智能制造的区别

UWB高精度厘米级定位方案

中国古代人类为了不让自?#22909;?#22833;在茫茫大自然中,白天用太阳辨别方向,日出为东,?#31456;?#20026;西,中午太阳在南;夜间则用北斗七星来辨别...
发表于 12-14 17:44 ? 565次 阅读
UWB高精度厘米级定位方案

智能制造专家李明支招包装行业智能制造发展之路

12月12日下午,2018珠三角印刷包装智能技术交流会暨中山市印刷包装协会会员大会成功举办。广东省包装技术协会会长?#30772;?#27946;、中山市...
发表于 12-14 16:03 ? 283次 阅读
智能制造专家李明支招包装行业智能制造发展之路

hadoop和spark的区别

学习hadoop已经有很长一?#38382;?#38388;了,好像是二三?#36335;?#30340;时候朋友给了一个国产Hadoop发行版下载地址,因为还是在学习阶段就下载了一个...
发表于 11-30 15:51 ? 406次 阅读
hadoop和spark的区别

智能制造对产业发展的有什么颠覆性意义?

智能制造是什么 当前,全球制造业正加快迈向数字化、智能化时代,智能制造对制造业竞争力的影响越来越大。 智能制造就是面向产...
发表于 11-15 10:50 ? 419次 阅读
智能制造对产业发展的有什么颠覆性意义?

Spark应用HanLP对中文语料进行文本挖掘 聚类详解?#22363;?/a>

软件:IDEA2014、Maven、HanLP、JDK;用到的知识:HanLP、Spark TF-IDF、Spark kmeans、Spark mapPartit...
发表于 11-12 11:06 ? 453次 阅读
Spark应用HanLP对中文语料进行文本挖掘 聚类详解?#22363;? />    </a>
</div><div class=

智能制造大环境下,传感器增量市场在?#27169;?/a>

据了解,2017年全球传感器市场规模超过2000亿美元,预计2018年这一规模将达到2500亿美元左右。 始于1950年的传感器经过半个多...
发表于 10-26 11:31 ? 395次 阅读
智能制造大环境下,传感器增量市场在?#27169;? />    </a>
</div><div class=

深圳卫视关于华南国际智能制造博览会的报道

深圳卫视关于华南国际智能制造博览会的报道,望友出现在34到37秒之间。望友这次展会上借助自身软件实时显示了生产过程中数据在机...
发表于 10-18 13:27 ? 559次 阅读
深圳卫视关于华南国际智能制造博览会的报道
14086期4场进球开奖
4场进球彩赛程什么意思 足球4场进球 4场进球彩过滤软件 4场进球彩怎么叫中奖 河北体彩4场进球samplingid126 湖南体彩足彩4场进球samplingid123 河北体彩4场进球samplingid103 4场进球360 4场进球的玩法 4场进球彩18078期开奖 4场进球彩开奖历史 4场进球彩预测方法 2017年12月4场进球 4场进球奖金 4场进球最新开奖