該項目依托HadoopJava開發(fā)環(huán)境，協(xié)同分布式協(xié)作服務(wù)框架Zookeeper，通過網(wǎng)絡(luò)爬蟲技術(shù)實時的從各大家裝網(wǎng)站，各大網(wǎng)絡(luò)電商家電銷售數(shù)據(jù)的爬取，結(jié)合Hive數(shù)據(jù)倉庫進行數(shù)據(jù)的歸集整理，通過相應(yīng)的數(shù)據(jù)模型，復(fù)雜的算法分析計算，數(shù)據(jù)可視化分析，為客戶提供精準(zhǔn)的裝修材料品牌，使供應(yīng)商能夠更為精準(zhǔn)的抓住市場需求，提升公司的效益。

該項目使用Spark技術(shù)生態(tài)棧中的Spark Core、Spark SQL 和Spark Streaming技術(shù)框架，對各大婚戀網(wǎng)站上爬取的網(wǎng)頁數(shù)據(jù)信息，通過Jsoup技術(shù)網(wǎng)頁數(shù)據(jù)解析，采集線上數(shù)據(jù)，以及通過線下婚介數(shù)據(jù)的分析整理，進行線上數(shù)據(jù)的實時計算業(yè)務(wù)和離線數(shù)據(jù)統(tǒng)計分析，經(jīng)過數(shù)據(jù)信息的清洗，篩選，依托科學(xué)的數(shù)據(jù)模型，使婚戀匹配的成功率大幅的提升。

該項目后臺采用Storm、Kafka、Hbase框架技術(shù)進行整合開發(fā)，前端采用jQuery動態(tài)網(wǎng)頁技術(shù)和HighCharts各類圖表開發(fā)，實現(xiàn)實時無刷新加載數(shù)據(jù)?，通過系統(tǒng)能夠?qū)崟r的了解平臺商品的銷售情況，庫存情況，預(yù)測未來的商品需求，使平臺能夠節(jié)約成本的同時實現(xiàn)利潤最大化。

該項目采用Flume+Hadoop+Hbase+SpringMVC+
MyBatis+MySQL+Highcharts框架實現(xiàn)的電商離線數(shù)據(jù)分析。依托平臺的數(shù)據(jù)信息，日志收集分析、用戶的瀏覽行為，點擊行為，挖掘用戶更深層次的喜歡，精準(zhǔn)推薦符合用戶需求的旅游線路，推送符合用戶需要的周邊產(chǎn)品，旅游商品的廣告，提高擴大產(chǎn)出。