大數(shù)據(jù)平臺規(guī)劃
背景
為陽春等地區(qū)用戶提供了全套網(wǎng)頁設計制作服務，及陽春網(wǎng)站建設行業(yè)解決方案。主營業(yè)務為成都做網(wǎng)站、網(wǎng)站設計、陽春網(wǎng)站設計，以傳統(tǒng)方式定制建設網(wǎng)站，并提供域名空間備案等一條龍服務，秉承以專業(yè)、用心的態(tài)度為用戶提供真誠的服務。我們深信只要達到每一位用戶的要求，就會得到認可，從而選擇與我們長期合作。這樣，我們也可以走得更遠！
1.“云大開物”，四大熱門信息技術
1.1 業(yè)務的發(fā)展越來越受到技術進步的影響。業(yè)務創(chuàng)新離不開技術創(chuàng)新。技術為業(yè)務服務？
2.大數(shù)據(jù)技術棧全景：
分布式編程
分布式文件系統(tǒng)
列數(shù)據(jù)庫(HBase、Cassandra、BigTable)
柱數(shù)據(jù)庫(Greenplum、BigQuery)
鍵值數(shù)據(jù)庫(redis、Amazon DynamoDB、Bolt)
文檔數(shù)據(jù)庫(MongoDB、RethinkDB)
關系數(shù)據(jù)庫
新SQL數(shù)據(jù)庫(HANA)
時間序列數(shù)據(jù)庫
SQL引擎(Hive、PrestoDB、SparkSQL)
數(shù)據(jù)提取
服務編程
調度
機器學習
基準測試與安全
系統(tǒng)部署
應用程序
搜索引擎與框架
MySQL、PostgreSQL、Memcached
嵌入式數(shù)據(jù)庫
商業(yè)智能
數(shù)據(jù)可視化
物聯(lián)網(wǎng)數(shù)據(jù)
流計算引擎
數(shù)據(jù)管道
Big Data
公共數(shù)據(jù)集--（數(shù)據(jù)開放、數(shù)據(jù)云服務）
Hadoop - 大數(shù)據(jù)分布式數(shù)據(jù)存儲與處理框架
Data Engineering
Streaming
設計哲學
擁抱開源、平臺開放
鼓勵自治、數(shù)據(jù)生態(tài)
支持創(chuàng)新、開發(fā)生態(tài)
數(shù)據(jù)共享與開放/數(shù)據(jù)門戶/數(shù)據(jù)生態(tài)
使用ckan構建。
大數(shù)據(jù)眾包、大數(shù)據(jù)運營
數(shù)據(jù)生態(tài)
數(shù)據(jù)治理 vs 數(shù)據(jù)自治(搜索引擎是典型的數(shù)據(jù)自治；自治-->生態(tài))
機器學習
機器學習方法是計算機利用已有的數(shù)據(jù)，得出(訓練)了某種模型，并利用此模型預測未來的一種方法。機器學習可完成直接編程(傳統(tǒng)編程)無法完成的功能。
機器學習的方法：
1.回歸算法
2.神經(jīng)網(wǎng)絡
3.SVM（支持向量機）
4.聚類算法
5.降維算法
6.推薦算法
監(jiān)督學習算法：線性回歸，邏輯回歸，神經(jīng)網(wǎng)絡，SVM
無監(jiān)督學習算法：聚類算法，降維算法
特殊算法：推薦算法
在2010年以前，機器學習的應用在某些特定領域發(fā)揮了巨大的作用，如車牌識別，網(wǎng)絡***防范，手寫字符識別等等。但是，從2010年以后，隨著大數(shù)據(jù)概念的興起，機器學習大量的應用都與大數(shù)據(jù)高度耦合，幾乎可以認為大數(shù)據(jù)是機器學習應用的最佳場景。
1.大數(shù)據(jù)，小分析：即數(shù)據(jù)倉庫領域的OLAP分析思路，也就是多維分析思想。
2.大數(shù)據(jù)，大分析：這個代表的就是數(shù)據(jù)挖掘與機器學習分析法。
3.流式分析：這個主要指的是事件驅動架構。
4.查詢分析：經(jīng)典代表是NoSql數(shù)據(jù)庫。
機器學習的子類–深度學習
深度學習就是傳統(tǒng)的神經(jīng)網(wǎng)絡發(fā)展到了多隱藏層的情況。神經(jīng)網(wǎng)絡在隱藏層擴大到兩個以上，其訓練速度就會非常慢。
人工智能：
大數(shù)據(jù)平臺與IaaS/PaaS
IaaS：OpenStack Keystone（認證服務）、OpenStack Swift（對象存儲）
大數(shù)據(jù)平臺與IaaS層配合可以實現(xiàn)大數(shù)據(jù)平臺的自動部署、增減節(jié)點、多租戶隔離等
PaaS：基于Docker技術
大數(shù)據(jù)前端(front-end)應用的托管、彈性伸縮
Hadoop as a Service
cloudbreak
面向的用戶
數(shù)據(jù)提供者
數(shù)據(jù)分析師
開發(fā)者
運維工程師
安全
keystone、ldap、oauth與社交賬號、基礎認證
集成問題，如ckan、owncloud有自己的用戶
Api store/data store/app store
開發(fā)生態(tài)
大數(shù)據(jù)應用的托管
API商店：體現(xiàn)了技術復用、降低學習門檻、有利于調試
爬蟲服務算不算API？
部署
使用通用部署工具
docker部署
vagrant
cloudbreak
apache Ambari
HDP部署
使用ambari部署工具，最好能夠是官方源+自制源的模式。對官方源漢化、添加自制服務。
素材
chrome加入人臉識別、印刷體識別OCR、條碼識別，一行代碼實現(xiàn)上述識別。 IDAP也有人臉識別、OCR、條碼識別等行業(yè)案例，包裝成API服務？
大數(shù)據(jù)API服務
人臉識別
車牌識別
×××識別
OCR
二維碼識別
集成
用戶(租戶)的統(tǒng)一
數(shù)據(jù)集(管道)的對接
國際化
frontend-backend（REST API）
云計算模式
運營模式存在差異，如資源管理、收費、租戶管理
公有云 計費，虛擬數(shù)據(jù)中心
共享云 大申請+審批+事后算賬
專享云(私有云) 小申請+審批+統(tǒng)計
網(wǎng)頁題目：大數(shù)據(jù)平臺規(guī)劃
分享URL：http://jinyejixie.com/article16/pgiedg.html
成都網(wǎng)站建設公司_創(chuàng)新互聯(lián)，為您提供外貿(mào)建站、網(wǎng)頁設計公司、移動網(wǎng)站建設、用戶體驗、網(wǎng)站導航、網(wǎng)站營銷
聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉載內(nèi)容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯(lián)
