4场进球彩赛程什么意思 足球4场进球 4场进球彩过滤软件 4场进球彩怎么叫中奖 河北体彩4场进球samplingid126 湖南体彩足彩4场进球samplingid123 河北体彩4场进球samplingid103 4场进球360 4场进球的玩法 4场进球彩18078期开奖 4场进球彩开奖历史 4场进球彩预测方法 2017年12月4场进球 4场进球奖金 4场进球最新开奖
張飛軟硬開源基于STM32 BLDC直流無刷電機驅動器開發視頻套件,??戳此立搶??

工業大數據挖掘的利器——Spark MLlib

格物匯之前刊發的《工業大數據處理領域的“網紅”——Apache Spark》中提到,在“中國制造2025”的技術路線圖中,工業大數據是作為重要突破點來規劃的,而在未來的十年,以數據為核心構建的智能化體系會成為支撐智能制造和工業互聯網的核心動力。Apache Spark 作為新一代輕量級大數據快速處理平臺,集成了大數據相關的各種能力,是理解大數據的首選。Spark有一個機器學習組件是專門用于解決海量數據如何進行高效數據挖掘的問題,那就是SparkMLlib組件。今天的格物匯就給大家詳細介紹一下Spark MLlib。

Spark MLlip 天生適合迭代計算

在介紹Spark MLlib 這個組件前,我們先了解一下機器學習的定義。在維基百科中對機器學習給出如下定義:

機器學習是一門人工智能的科學,該領域的主要研究對象是人工智能,特別是如何在經驗學習中改善具體算法的性能。

機器學習是對能通過經驗自動改進的計算機算法的研究。

機器學習是用數據或以往的經驗,以此優化計算機程序的性能標準。

很明顯,機器學習的重點之一就是“經驗”,對于計算機而言,經驗就是需要進行多次迭代計算得到的,Spark 的基于內存的計算模式天生就擅長迭代計算,多個步驟計算直接在內存中完成,只有在必要時才會操作磁盤和網絡,所以說Spark正是機器學習的理想的平臺。在Spark官方首頁中展示了Logistic Regression算法在Spark和Hadoop中運行的性能比較,如圖下圖所示。

Spark MLlib 算法以及功能

MLlib由一些通用的學習算法以及工具組成,其中包括分類、回歸、聚類、協同過濾、降維等,同時還包括底層的優化原語和高層的管道API。具體主要包含以下內容:

>>>>

回歸(Regression)

線性回歸(Linear

廣義線性回歸(Generalized Linear)

決策樹(Decision Tree)

隨機森林(Random Forest)

梯度提升樹(Gradient-boosted Tree)

Survival

Isotonic

>>>>

分類(Classification)

? 邏輯回歸(Logistic,二分類和多酚類)

決策樹(Decision Tree)

隨機森林(Random Forest)

梯度提升樹(Gradient-boosted Tree)

多層反饋(Multilayer Perceptron)

支持向量機(Linear support vector machine)

One-vs-All

樸素貝葉斯(Naive Bayes)

>>>>

聚類(Clustering)

? K-means

隱含狄利克雷分布(LDA)

BisectingK-means

高斯混合模型(Gaussian Mixture Model)

? 協同過濾(Collaborative Filtering)

>>>>

特征工程(Featurization)

特征工程(Featurization)

特征提取

轉換

降維(Dimensionality reduction)

篩選(Selection)

>>>>

管道(Pipelines)

組合管道(Composing Pipelines)

構建、評估和調優(Tuning)機器學習管道

>>>>

持久化(Persistence)

保存算法,模型和管道到持久化存儲器,以備后續使用

從持久化存儲器載入算法、模型和管道

>>>>

實用工具(Utilities)

線性代數(Linear algebra)

統計

數據處理

其他

綜上可見,Spark在機器學習上發展還是比較快的,目前已經支持了主流的統計和機器學習算法。

Spark MLlib API 變遷

Spark MLlib 組件從Spark 1.2版本以后就出現了兩套機器學習API:

spark.mllib基于RDD的機器學習API,是Spark最開始的機器學習API,在Spark1.0以前的版本就已經存在的了。

spark.ml提供了基于DataFrame 高層次的API,引入了PipLine,可以向用戶提供一個基于DataFrame的機器學習流式API套件

Spark 2.0 版本開始,spark mllib就進入了維護模式,不再進行更新,后續等spark.ml API 足夠成熟并足以取代spark.mllib 的時候就棄用。

那為什么Spark要將基于RDD的API 切換成基于DataFrame的API呢?原因有以下三點:

首先相比spark.mllib,spark.ml的API更加通用和靈活,對用戶更加友好,并且spark.ml在DataFrame上的抽象級別更高,數據與操作的耦合度更低;

spark.ml中無論是什么模型,都提供了統一的算法操作接口,例如模型訓練就調用fit方法,不行spark.mllib中不同模型會有各種各樣的trainXXX;

受scikit-learn 的Pipline概念啟發,spark.ml引入pipeline, 跟sklearn,這樣可以把很多操作(算法/特征提取/特征轉換)以管道的形式串起來,使得工作流變得更加容易。

如今工業互聯網飛速發展,企業內部往往存儲著TB級別甚至更大的數據,面對海量數據的難以進行有效快速的進行數據挖掘等難題,Spark提供了MLlib 這個組件,通過利用了Spark 的內存計算和適合迭代型計算的優勢,并且提供用戶友好的API,使用戶能夠輕松快速的應對海量數據挖掘的問題,加快工業大數據的價值變現。作為TCL集團孵化的創新型科技公司,格創東智正在致力于深度融合包括Spark在內的大數據、人工智能、云計算等前沿技術與制造行業經驗,打造行業領先的“制造x”工業互聯網平臺。隨著未來Spark社區在AI領域的不斷發力,相信Spark MLlib組件的表現會越來越出色。

本文作者:格創東智大數據工程師黃歡(轉載請注明作者及來源)

收藏 人收藏
分享:

評論

相關推薦

Spark基礎及源碼分析視頻

    本視頻面向擁有Java語言基礎的同學,以Java語言為藍本,深入淺出的講解scala語言的語
發表于 09-26 00:00 ? 36115次 閱讀
Spark基礎及源碼分析視頻

我國工業機器人產業將迎來快速增長

今年上半年我國的工業機器人市場在行業連續多年高速增長的情況下出現了回落,如汽車、3C等行業在有所下降....
發表于 08-21 15:55 ? 22次 閱讀
我國工業機器人產業將迎來快速增長

智能制造為中國制造業高質量發展提供歷史性的機遇

“變”,就是機遇。新一代人工智能技術與先進制造技術深度融合所形成的新一代智能制造技術,成為了新一輪工....
發表于 08-21 15:29 ? 21次 閱讀
智能制造為中國制造業高質量發展提供歷史性的機遇

傳統制造業企業要推行智能制造必須要有針對性的進行改善

讓我們把視線轉向國內。目前,我國制造業正處于發展的關鍵時期,大規模的機器換人趨勢已經顯現。由物聯網、....
發表于 08-21 15:25 ? 7次 閱讀
傳統制造業企業要推行智能制造必須要有針對性的進行改善

服務型制造業已經成為了我國整個制造業產業發展的一大趨勢

正如工信部一位負責人在書面講話中所指出的那樣,當今世界正面臨著百年未有之大變局,中國經濟正由高速增長....
發表于 08-21 15:19 ? 19次 閱讀
服務型制造業已經成為了我國整個制造業產業發展的一大趨勢

Spark的History服務實現步驟

Spark配置History服務
發表于 08-21 14:23 ? 14次 閱讀
Spark的History服務實現步驟

安徽人工智能產業如何打造?多位省政協委員給出答案

省政協委員,合肥市政協主席韓冰認為,我省人工智能產業發展是由智能語音、機器人等單點技術帶動,由此造成....
的頭像 倩倩 發表于 08-21 11:27 ? 215次 閱讀
安徽人工智能產業如何打造?多位省政協委員給出答案

世界人工智能大會的最高榮譽“SAIL獎”全球品牌推廣宣布啟動

據了解,論壇主辦單位普陀區近年來積極抓住人工智能產業發展的重大契機,不斷推進和布局人工智能產業。積極....
的頭像 倩倩 發表于 08-21 11:24 ? 103次 閱讀
世界人工智能大會的最高榮譽“SAIL獎”全球品牌推廣宣布啟動

機器人將帶來中國建筑業發展的一個新風口

為了突破瓶頸,全球建筑行業已紛紛將目光聚焦到機器人身上。全自動砌磚機器人“哈德良”原型由澳大利亞工程....
發表于 08-21 09:46 ? 21次 閱讀
機器人將帶來中國建筑業發展的一個新風口

國內首個工控安全設備認證出爐 天地和興工控防火墻HX-SFW通過IPv6認證

天地和興工控防火墻HX-SFW是專為工業環境打造的一款邊界安全防護產品,適用于IPv4和IPv6環境....
發表于 08-21 08:44 ? 30次 閱讀
國內首個工控安全設備認證出爐  天地和興工控防火墻HX-SFW通過IPv6認證

工業控制領域中視覺系統的應用

隨著制造業的大發展,工業機器人產業市場也在逐步的擴大,越來越多的企業的生產離不開工業機器人,作為企業....
發表于 08-20 17:23 ? 17次 閱讀
工業控制領域中視覺系統的應用

全球機器人的市場規模逐年擴大

近年來,全球機器人產業在基礎技術、市場規模、企業智能化轉型方面持續提升。2018年全球市場規模達到2....
發表于 08-20 15:19 ? 30次 閱讀
全球機器人的市場規模逐年擴大

人工智能融入市民日常生活,多個人工智能項目落地福州

從第一代的人工智能對話機器人到今年的第七代產品,“小冰”已發展成以情感計算為核心的完整人工智能框架。....
的頭像 倩倩 發表于 08-20 14:23 ? 145次 閱讀
人工智能融入市民日常生活,多個人工智能項目落地福州

中興通訊與奇瑞汽車將共同研究基于5G技術的應用場景

近日,中興通訊與奇瑞汽車在安徽蕪湖簽署戰略合作協議,雙方將共同研究基于5G的車聯網、智能制造、智慧園....
的頭像 電子發燒友網工程師 發表于 08-20 11:53 ? 86次 閱讀
中興通訊與奇瑞汽車將共同研究基于5G技術的應用場景

5G技術下工業自動化控制的新模式

作為新一代移動通信技術,5G技術切合了傳統制造企業智能制造轉型對無線網絡的應用需求,能滿足工業環境下....
發表于 08-20 11:32 ? 57次 閱讀
5G技術下工業自動化控制的新模式

徐匯區在上海人工智能產業布局中扮演什么樣的角色?

上海市人工智能產業規劃在空間布局上以“人型”為主,主要分布在8個區域、11個行業。其中。徐匯區主要發....
的頭像 倩倩 發表于 08-20 11:16 ? 194次 閱讀
徐匯區在上海人工智能產業布局中扮演什么樣的角色?

工信部楊宇燕對維護網絡安全工作問題提出了三點思考

楊宇燕指出,維護網絡安全是全社會的共同責任,需要政府、企業、社會組織、廣大網民共同參與,齊心協力,攻....
發表于 08-20 09:19 ? 26次 閱讀
工信部楊宇燕對維護網絡安全工作問題提出了三點思考

5G的安全是一把雙刃劍安全問題已經日益嚴峻

隨著5G時代,萬物互聯時代到來,新形勢下的安全問題也日益嚴峻。“5G的安全是一把雙刃劍”鄔賀銓指出,....
發表于 08-20 08:36 ? 97次 閱讀
5G的安全是一把雙刃劍安全問題已經日益嚴峻

全球制造業自動化控制效率已得到大幅的提升

報道稱,美國制造業使用機器人的比例在過去20年里提升了兩倍多,世界其他地方也翻了一番,取代了某些類別....
發表于 08-19 17:24 ? 95次 閱讀
全球制造業自動化控制效率已得到大幅的提升

2022年全球智能制造市場規模將逼近3700億美元,年復合成長率達10.7%

根據集邦咨詢旗下拓墣產業研究院預估,2022年全球智能制造的市場規模將會逼近3700億美元,年復合成....
的頭像 章鷹 發表于 08-19 14:11 ? 1897次 閱讀
2022年全球智能制造市場規模將逼近3700億美元,年復合成長率達10.7%

廣州全面加快5G發展2019年將會完成不低于2萬座5G基站的部署

廣州將全面推進廣州在5G發展上走在全國前列,提升5G產業鏈協同創新與集聚發展能力,促進5G與城市建設....
發表于 08-18 09:45 ? 60次 閱讀
廣州全面加快5G發展2019年將會完成不低于2萬座5G基站的部署

智能制造助力構建綠色制造體系,打造綠色工廠

在建造長沙格力時,提前完成了“工業互聯+能源互聯”所需的基礎設施建設,按國家最高級別綠色三星工廠的標....
發表于 08-17 10:35 ? 27次 閱讀
智能制造助力構建綠色制造體系,打造綠色工廠

濱海新區在智能制造產業投入8億元資金全力扶持

為充分發揮財政資金引導作用,為智能制造提供資金扶持,天津濱海新區先后投入8億元,支持293個智能制造....
發表于 08-17 10:25 ? 19次 閱讀
濱海新區在智能制造產業投入8億元資金全力扶持

人工智能讓制造變得更加智能

2016年對于人工智能來說是一個“里程碑”式的年份。年初,AlphaGo大勝圍棋九段李世石,讓近10....
發表于 08-17 10:07 ? 85次 閱讀
人工智能讓制造變得更加智能

我國工業控制的發展將面臨著什么樣的挑戰

近年來我國機器人產業取得了令人矚目的成就。人機協作機器人、云智能機器人等工業機器人新品不斷涌現,機器....
發表于 08-16 17:26 ? 36次 閱讀
我國工業控制的發展將面臨著什么樣的挑戰

AI與工業互聯網的碰撞會擦出怎樣的火花

企業在應用工業互聯網的時候,對數據的智能化分析以及決策優化的需求越來越高。在這個過程中,工業互聯網與....
發表于 08-16 15:57 ? 165次 閱讀
AI與工業互聯網的碰撞會擦出怎樣的火花

汽車行業變革會引發工業機器人市場怎樣的變化

隨著世界環保意識的不斷普及,汽車行業再向新能源的方向發展。在我國新能源汽車已經完成了從鋰電、驅動等核....
發表于 08-16 15:27 ? 31次 閱讀
汽車行業變革會引發工業機器人市場怎樣的變化

人工智能將以什么樣的方式來變革制造業

IDC數據顯示,到2021年,20%的領先制造企業將通過嵌入式智能、人工智能、物聯網和區塊鏈等技術實....
發表于 08-16 10:07 ? 51次 閱讀
人工智能將以什么樣的方式來變革制造業

5G的到來將為制造業轉型升級帶來歷史性的發展機遇

柔性生產線可以根據訂單的變化靈活調整產品生產任務,是實現多樣化、個性化、定制化生產的關鍵依托。在傳統....
發表于 08-16 09:20 ? 65次 閱讀
5G的到來將為制造業轉型升級帶來歷史性的發展機遇

3D打印技術將促進定制化經濟的快速發展

增材制造技術又稱為3D打印技術,是以數字模型為基礎,將材料逐層堆積制造出實體物品的新興制造技術,體現....
發表于 08-15 17:56 ? 41次 閱讀
3D打印技術將促進定制化經濟的快速發展

工業互聯網的核心是什么

工業互聯網標識解析體系,是實現工業全要素、各環節信息互通的關鍵樞紐。通過給每一個對象賦予標識,并借助....
發表于 08-15 17:56 ? 51次 閱讀
工業互聯網的核心是什么

智能制造和工業自動化控制有怎樣的關系

工業自動化,字面上的意思是很容易理解的,就是在工業生產中廣泛采用自動控制、自動調整裝置,用以代替人工....
發表于 08-15 17:26 ? 52次 閱讀
智能制造和工業自動化控制有怎樣的關系

智能制造為工業自動化控制注入活力

隨著工業自動化在智能制造的進程中不斷深化,“智能光制造”作為一項綜合生產力,融合了激光、自動化、機器....
發表于 08-15 17:23 ? 65次 閱讀
智能制造為工業自動化控制注入活力

如何在物聯網時代創造新的游戲規則

物聯網時代與互聯網時代的一大差異在于,用戶需要情景感知、個性化定制的體驗迭代。互聯網時代依靠品牌與平....
發表于 08-15 16:01 ? 285次 閱讀
如何在物聯網時代創造新的游戲規則

三個特征決定IIoT的特殊性

工業互聯網是實現智能制造的抓手,推動工業互聯網是長期的工作。
的頭像 人工智能學家 發表于 08-15 11:19 ? 185次 閱讀
三個特征決定IIoT的特殊性

工信部王新哲表示大力推進制造強國和網絡強國建設需要做好五個方面

王新哲表示,作為產業發展主管部門,工業和信息化部將深入貫徹落實黨中央、國務院的決策部署,加快發展工業....
發表于 08-15 09:09 ? 127次 閱讀
工信部王新哲表示大力推進制造強國和網絡強國建設需要做好五個方面

傳統企業在轉型升級到智能制造的三大切入點介紹

企業要成功實現數字化重塑,就必須重新從根本上思考企業的運營模式以及企業與生態環境的互動方式。然而,制....
發表于 08-15 08:41 ? 42次 閱讀
傳統企業在轉型升級到智能制造的三大切入點介紹

加快推動“5G+工業互聯網”其相關產業鏈發展將勢不可擋

8月13日,工業互聯網概念表現平穩,截至收盤,中恒電氣漲逾6%,工業富聯漲近5%,其余多股均不同程度....
的頭像 資治通信 發表于 08-14 16:44 ? 245次 閱讀
加快推動“5G+工業互聯網”其相關產業鏈發展將勢不可擋

進軍中國市場,ABB如何助力智造升級?

作為一個有130多年創新歷史的自動化領域領軍企業,ABB無法忽視中國巨大的工業機器人市場和對新一代工....
的頭像 人工智能學家 發表于 08-14 16:27 ? 648次 閱讀
進軍中國市場,ABB如何助力智造升級?

華為云在推動工業APP發展方面提供核心技術及諸多支撐工作

日前,2019年新一代信息技術產業標準化論壇在蘇州召開,論壇以“數字賦能,標準引領”為主題,華為云產....
的頭像 華為開發者社區 發表于 08-14 14:38 ? 648次 閱讀
華為云在推動工業APP發展方面提供核心技術及諸多支撐工作

碩橙科技完成數千萬A輪融資

“設備智能運維”是工業互聯網落地較好的領域之一
的頭像 物聯網資本論 發表于 08-14 14:31 ? 798次 閱讀
碩橙科技完成數千萬A輪融資

多家企業擁抱工業互聯網

5G使人工智能、云計算和大數據等技術具備了廣泛應用的基礎。
的頭像 EDA365 發表于 08-14 10:28 ? 912次 閱讀
多家企業擁抱工業互聯網

5G技術賦能工業互聯網,但仍然處于早期階段

5G商用牌照正式發布,意味著中國提前進入5G元年。
的頭像 EDA365 發表于 08-14 10:26 ? 268次 閱讀
5G技術賦能工業互聯網,但仍然處于早期階段

5G+工業互聯網融合創新發展有力支撐制造業高質量發展

會議認為,制造業是立國之本,強國之基,是支撐經濟高質量發展的主戰場。工業互聯網作為第四次工業革命的重....
發表于 08-14 08:34 ? 37次 閱讀
5G+工業互聯網融合創新發展有力支撐制造業高質量發展

智能制造的基礎是什么

數據是過去過程,通過信息知識關聯,再到知識形成整體,最后進行系統整合。
發表于 08-13 16:20 ? 90次 閱讀
智能制造的基礎是什么

華為松山湖X-PIE聯合創新實驗室,為用戶提供極致的千兆業務體驗

近日,在中國移動通信集團廣東有限公司(以下簡稱“廣東移動”)的支持下,由廣東移動東莞分公司(以下簡稱....
的頭像 電子工程技術 發表于 08-13 10:03 ? 193次 閱讀
華為松山湖X-PIE聯合創新實驗室,為用戶提供極致的千兆業務體驗

5G網絡將為智能制造生產系統提供多樣化和高質量的通信保障

柔性生產線可以根據訂單的變化靈活調整產品生產任務,是實現多樣化、個性化、定制化生產的關鍵依托。在傳統....
發表于 08-13 09:40 ? 49次 閱讀
5G網絡將為智能制造生產系統提供多樣化和高質量的通信保障

人工智能是怎樣重塑制造業

“工業4.0”是德國2013年開始實施的一項國家戰略,最終目的是實現數字信息與物理現實社會之間的聯系....
發表于 08-12 11:36 ? 59次 閱讀
人工智能是怎樣重塑制造業

2019年中國工業互聯網平臺概述、簡述及研究報告!

2019年中國工業互聯網平臺研究報告!工業互聯網平臺本質是通過工業互聯網網絡采集海量工業數據,并提供....
的頭像 工業IoT 發表于 08-12 08:52 ? 578次 閱讀
2019年中國工業互聯網平臺概述、簡述及研究報告!

中電杉帝一站式智能制造方案為制造業企業實現降本增效

8月1日,“中電智谷-普蘭迪 SI WORLD 中意創新產業發展論壇”在深圳福田區迪富大廈國際會議廳....
發表于 08-11 11:03 ? 85次 閱讀
中電杉帝一站式智能制造方案為制造業企業實現降本增效

賽迪顧問發表了《2019年中國工業軟件發展白皮書》

近日,賽迪顧問發布最新《2019年中國工業軟件發展白皮書》。報告顯示,全球產業進入工業經濟向數字經濟....
的頭像 國科環宇 發表于 08-10 09:35 ? 336次 閱讀
賽迪顧問發表了《2019年中國工業軟件發展白皮書》

物聯網怎樣為制造業轉型升級

智能制造融合了信息技術、先進制造技術、自動化技術和人工智能技術。
發表于 08-09 15:00 ? 331次 閱讀
物聯網怎樣為制造業轉型升級

spark是什么?

Spark Streaming高級特性在NDCG計算實踐
發表于 08-01 10:16 ? 28次 閱讀
spark是什么?

Spark應用程序的日志輸出級別怎么設置

Spark應用程序中設置日志輸出級別
發表于 07-31 14:05 ? 33次 閱讀
Spark應用程序的日志輸出級別怎么設置

Spark應用程序資源分配過程之間的調度

Spark應用程序之間調度
發表于 07-18 06:43 ? 77次 閱讀
Spark應用程序資源分配過程之間的調度

Spark版本升級流程概述

Spark版本升級二三事
發表于 07-16 12:00 ? 58次 閱讀
Spark版本升級流程概述

SparkContext的初始化流程

spark 內核源碼剖析四:SparkContext初始化
發表于 07-11 13:46 ? 57次 閱讀
SparkContext的初始化流程

Spark Core整合實現思路

Spark SQL(十一):與Spark Core整合
發表于 07-05 15:21 ? 90次 閱讀
Spark Core整合實現思路

Spark架構圖名詞解析

Spark核心概念名詞
發表于 07-05 06:59 ? 41次 閱讀
Spark架構圖名詞解析

Spark的基本工作原理與RDD

spark 基礎一:基本工作原理與RDD
發表于 07-04 16:18 ? 53次 閱讀
Spark的基本工作原理與RDD

Spark簡介與生態系統

Spark詳解(一):Spark及其生態圈概述
發表于 06-21 16:45 ? 76次 閱讀
Spark簡介與生態系統
14086期4场进球开奖
4场进球彩赛程什么意思 足球4场进球 4场进球彩过滤软件 4场进球彩怎么叫中奖 河北体彩4场进球samplingid126 湖南体彩足彩4场进球samplingid123 河北体彩4场进球samplingid103 4场进球360 4场进球的玩法 4场进球彩18078期开奖 4场进球彩开奖历史 4场进球彩预测方法 2017年12月4场进球 4场进球奖金 4场进球最新开奖
时时彩一期一人工计划 山西麻将桌 加拿大pc28蛋蛋神测网 重庆彩幸运农场走势图 福彩走势图表 广东彩票36选7好彩1 11选五怎么看走势图 福建时时开到几点 481开奖彩票河南481 赛車pk开奖记录 重庆老时时 极速直播体育吧 pk10赛车冠军技巧 星悦浙江麻将下载苹果 时时彩专业版app 下载app软件并安装