1. 設為首頁   文化中國網歡迎您~!

          大數據實時流計算平臺Spark Streaming二次封裝開源框架源碼分享

          源碼獲取請先轉發,關注后私信:“spark” 即可免費獲取

          一個完善的Spark Streaming二次封裝開源框架,包含:實時流任務調度、kafka偏移量管理,web后臺管理,web api啟動、停止spark streaming,宕機告警、自動重啟等等功能支持,用戶只需要關心業務代碼,無需關注繁瑣的技術細節,大大提高實時流開發效率和難度(附demo)。

          Spark Streaming Framework簡稱SSF(一個完善的Spark Streaming二次封裝開源框架,包含:實時流任務調度、kafka偏移量管理,web后臺管理,web api啟動、停止spark streaming,宕機告警、自動重啟等等功能支持,用戶只需要關心業務代碼,無需關注繁瑣的技術細節,大大提高實時流開發效率和難度。)

          項目介紹

          基于Spark Streaming的大數據實時流計算平臺和框架(包括:調度平臺,開發框架,開發demo),并且是基于運行在yarn模式運行的spark streaming

          大數據實時流計算框架Spark Streaming是比較流程的框架,但是目前很少有針對Spark Streaming封裝的開源平臺項目,本項目是基于Spark Streaming + Springboot開發的一套完成的開發和調度平臺,為了降低對Spark Streaming使用難度(如:界面化提交任務,優雅關閉程序,kafka管理偏移量,監控告警,自動復活重啟等),該項目在企業內部穩定運行超過一年,現將整套代碼開源,企業或者個人使用這個框架可以降低開發spark streaming的難度,用戶可是甚至不用關心怎么讀取kafka數據,管理偏移量,spark streaming的程序如何啟動,停止,把目前遇到的坑都給解決了,只需要編寫實時流計算的業務代碼就可以了(只要寫java/scala的業務代碼或者算子即可)。希望對大家有幫助。本人精力有限,希望可以認識更多喜歡Spark Streaming的朋友,一起維護該項目。主要分為3個項目,均是用idea開發的。

          開發工具使用的是Idea,hdfs,spark,hbase,livy等組件可以根據自己集群的版本進行修改pom文件。

          • platform:web ui 后臺管理工具,主要負責spark streaming任務提交,調度、監控,啟停,job管理,參數設置的等等,這個要打包成war文件,部署在tomcat中。
          • framework:開發框架,很多功能都封裝在這個jar包中,大部分情況下這個里面的代碼是不需要修改的,只需要用maven install到本地倉庫即可,spark streaming中代碼不需要再管理kafka偏移量,讀取指定kafka的topic,和一些連接池工具類等等。
          • bigdata:用來開發實時流業務代碼的項目骨架,你代碼都是在這個骨架中開發(里面有demo)。

          spark streaming開發業務邏輯demo代碼參考

          • java:bigdata.java.spark.streaming.task.datasynchro.DataSynchroStreaming
          • scala:bigdata.scala.spark.streaming.task.testscalaapp.ScalaDemo

          功能介紹

          語言:支持java/scala

          功能:

          • 依賴管理:程序打包時jar/config是不需要講依賴包打進去的,可以在platform中上傳依賴的jar/config(將會存儲在hdfs),應用程序啟動時,會自動通過livy加載jar/config的參數進行提交。
          • Job版本管理:每當你的業務代碼,spark streaming邏輯有變更時,上傳最新的job包,歷史的版本也可以查看到和選擇執行歷史版本。
          • 程序啟動:通過在platform后臺可以啟動任務。
          • 程序停止:通過platform后臺可以停止任務;(停止包括2種,一種是普通的停止,這種是spark streaming優雅關閉,一種是強殺,這種是使用yarn命令進行強殺app)
          • 宕機自動重啟:當你提交的spark streaming程序被人殺了,或者應用程序本身的問題掛了,platform會監控這個任務,自動重啟,一個任務每天最多重啟3次。
          • 宕機告警短信:spark streaming程序掛了,或者被殺了,會有短信提醒,后臺在創建用戶是配置手機號碼,發送短信的api需要自己實現。
          • 指定隊列運行:指定yarn隊列運行你的app。
          • 指定參數運行:app啟動時需要讀取指定的args參數是可以在platform中配置。
          • 數據反壓管理:spark streaming的反壓可以在platform創建任務時在args中配置,如果不配置將讀取config的默認值(100)
          • Elasticsearch連接池:已經實現es連接池,只需要修改配置文件指定參數即可。
          • Hbase連接池:已經實現hbase連接池,只需要修改配置文件指定參數即可。
          • Mysql連接池:已經實現Mysql連接池,只需要修改配置文件指定參數即可。
          • Oracle連接池:已經實現oracle連接池,只需要修改配置文件指定參數即可。
          • Redis連接池:已經實現redis連接池,只需要修改配置文件指定參數即可。
          • Kafka生產者連接池:已經實現Kafka連接池,只需要修改配置文件指定參數即可。
          • 數據處理統計情況:支持查看kafka的offset消費情況,剩余多少數據沒有消費。
          • 數據積壓告警:在創建任務時可以指定積壓批次的數量就進行短信告警。
          • kafka偏移量管理:可在platform中指定offset從特定位置進行消費數據。
          • 統計:通過圖標的方式顯示最近7天app消費和kafka生成的數據情況。
          • log下載:通過調用ssh,可以下載Livy和Yarn的運行日志。
          • Web api功能:使用http請求啟動,停止,強殺,獲取狀態來調度你的app程序。

          部署

          參考:Spark-Streaming-Framework/SSF/部署相關/部署指南.txt 或者加群咨詢.QQ交流群:858966066

          界面截圖:

          源碼獲取請先轉發,關注后私信:“spark” 即可免費獲取

          推薦閱讀:iphone8長寬高
          好运来 www.shiyanandkatharine.com:通化县| www.fabkarts.com:德格县| www.cachuongcollagen.com:巴南区| www.la-chapelle.net:肥城市| www.hautdeals.com:临朐县| www.sonda16mn.com:西林县| www.mmnnb.com:天津市| www.abouthorses.net:临桂县| www.adonisparadise.com:万载县| www.voilayl.com:志丹县| www.meiyizhuangshi.com:东平县| www.mirrorsmagnifiers.com:荃湾区| www.quangninhtoday.com:扬中市| www.dragonsbloodstudios.com:班戈县| www.guanglistone.com:鄂伦春自治旗| www.rudrayogacentre.com:宁南县| www.gz-goodhappy.com:乌鲁木齐县| www.rkb5.com:门头沟区| www.monterockcorp.com:通许县| www.hmartusa.net:阿拉善盟| www.nanaoyn.com:塔河县| www.ideabridgepromos.com:彭泽县| www.swwwy.com:福海县| www.kjyzw.cn:荥经县| www.orchardbeachcarshow.com:贡觉县| www.aboutren.com:北票市| www.georgiadebtrelief.net:大洼县| www.awesome-book.com:灵台县| www.advancedperformers.com:确山县| www.559367.com:临猗县| www.liamjj.com:荥阳市| www.edongphoto.com:环江| www.foothill-bible.org:浮梁县| www.oubok.com:年辖:市辖区| www.775935.com:公主岭市| www.ohhiyo.com:光泽县| www.mahomesearcher.com:淮滨县| www.therapy-space.com:崇左市| www.rememberforeverphotography.com:交口县| www.grandgreen-energy.com:晋江市| www.ylcwyy.com:象州县| www.024baiban.com:吉林省| www.69k96.com:荃湾区| www.qyxc188.com:望城县| www.amb-eco.com:菏泽市| www.hyrscg.net:南昌县| www.goldenliongames.com:喀喇沁旗| www.netcnz.com:浦县| www.cencorjeans.com:翁牛特旗| www.izhuoji.net:万山特区| www.galbia.com:铅山县| www.zsjgt.com:蓬安县| www.920suncity.com:永康市| www.boshichiji.com:南郑县| www.yang-xx.com:运城市| www.twosojourners.com:天台县| www.surridgesmusiccentre.com:南开区| www.penghancurbatuempedu.com:青浦区| www.mcmhonmono.com:赣州市| www.qipushi.com:固阳县| www.zsyzl.com:林西县| www.cp6770.com:汪清县| www.wine2africa.com:农安县| www.fukui-keieiken.com:屏边| www.jm88dz.com:华容县| www.jnchtg.com:江永县| www.hongtaitiyu.com:南陵县| www.jiescience.com:哈巴河县| www.88888888666666.cn:成都市| www.hse6.com:新余市| www.borrevannet.net:镇宁| www.fo-sante.com:莱阳市| www.hg84678.com:梓潼县| www.drlitchman.com:宿州市| www.bunnykitten.com:阳新县| www.wc915.com:庆阳市| www.chuanweimuye.com:开化县| www.photo-vs.com:大丰市| www.capsule-toys-hk.com:得荣县| www.fromge.com:陵水| www.sky-8.com:神池县| www.shaileshsinha.com:康保县| www.uhugame.com:甘谷县| www.150mee.com:新干县|