java面試中redis，mongodb類(lèi)的，會(huì)問(wèn)哪些問(wèn)題，怎么回答

1、可能會(huì)問(wèn)nosql和關(guān)系型數(shù)據(jù)庫(kù)的區(qū)別：

公司主營(yíng)業(yè)務(wù)：成都網(wǎng)站建設(shè)、做網(wǎng)站、移動(dòng)網(wǎng)站開(kāi)發(fā)等業(yè)務(wù)。幫助企業(yè)客戶真正實(shí)現(xiàn)互聯(lián)網(wǎng)宣傳，提高企業(yè)的競(jìng)爭(zhēng)能力。創(chuàng)新互聯(lián)建站是一支青春激揚(yáng)、勤奮敬業(yè)、活力青春激揚(yáng)、勤奮敬業(yè)、活力澎湃、和諧高效的團(tuán)隊(duì)。公司秉承以“開(kāi)放、自由、嚴(yán)謹(jǐn)、自律”為核心的企業(yè)文化，感謝他們對(duì)我們的高要求，感謝他們從不同領(lǐng)域給我們帶來(lái)的挑戰(zhàn)，讓我們激情的團(tuán)隊(duì)有機(jī)會(huì)用頭腦與智慧不斷的給客戶帶來(lái)驚喜。創(chuàng)新互聯(lián)建站推出贛州免費(fèi)做網(wǎng)站回饋大家。

優(yōu)點(diǎn)：

1）成本：nosql數(shù)據(jù)庫(kù)簡(jiǎn)單易部署，基本都是開(kāi)源軟件，不需要像使用Oracle那樣花費(fèi)大量成本購(gòu)買(mǎi)使用，相比關(guān)系型數(shù)據(jù)庫(kù)價(jià)格便宜

2）查詢速度：nosql數(shù)據(jù)庫(kù)將數(shù)據(jù)存儲(chǔ)于緩存之中，關(guān)系型數(shù)據(jù)庫(kù)將數(shù)據(jù)存儲(chǔ)在硬盤(pán)中，自然查詢速度遠(yuǎn)不及nosql數(shù)據(jù)庫(kù)

3）存儲(chǔ)數(shù)據(jù)的格式：nosql的存儲(chǔ)格式是key,value形式、文檔形式、圖片形式等等，所以可以存儲(chǔ)基礎(chǔ)類(lèi)型以及對(duì)象或者是集合等各種格式，而數(shù)據(jù)庫(kù)則只支持基礎(chǔ)類(lèi)型

4）擴(kuò)展性：關(guān)系型數(shù)據(jù)庫(kù)有類(lèi)似join這樣的多表查詢機(jī)制的限制導(dǎo)致擴(kuò)展很艱難

缺點(diǎn)：

1）維護(hù)的工具和資料有限，因?yàn)閚osql是屬于新的技術(shù)，不能和關(guān)系型數(shù)據(jù)庫(kù)10幾年的技術(shù)同日而語(yǔ)。

2）不提供對(duì)sql的支持，如果不支持sql這樣的工業(yè)標(biāo)準(zhǔn)，將產(chǎn)生一定用戶的學(xué)習(xí)和使用成本

3）不提供關(guān)系型數(shù)據(jù)庫(kù)對(duì)事物的處理

2、介紹下redis和mongodb：

自行g(shù)oogle。

3、應(yīng)用場(chǎng)景：

redis：

a.主要是做熱點(diǎn)數(shù)據(jù)緩存。

b.數(shù)據(jù)過(guò)期處理。

c.消息隊(duì)列等功能。

d.計(jì)數(shù)，例如投票等。

mongodb：

mongodb的主要目標(biāo)是在鍵/值存儲(chǔ)方式（提供了高性能和高度伸縮性）以及傳統(tǒng)的RDBMS系統(tǒng)（豐富的功能）架起一座橋梁，集兩者的優(yōu)勢(shì)于一身。mongo適用于以下場(chǎng)景：

a.網(wǎng)站數(shù)據(jù)：mongo非常適合實(shí)時(shí)的插入，更新與查詢，并具備網(wǎng)站實(shí)時(shí)數(shù)據(jù)存儲(chǔ)所需的復(fù)制及高度伸縮性。

b.緩存：由于性能很高，mongo也適合作為信息基礎(chǔ)設(shè)施的緩存層。在系統(tǒng)重啟之后，由mongo搭建的持久化緩存可以避免下層的數(shù)據(jù)源過(guò)載。

c.大尺寸、低價(jià)值的數(shù)據(jù)：使用傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)存儲(chǔ)一些數(shù)據(jù)時(shí)可能會(huì)比較貴，在此之前，很多程序員往往會(huì)選擇傳統(tǒng)的文件進(jìn)行存儲(chǔ)。

d.高伸縮性的場(chǎng)景：mongo非常適合由數(shù)十或者數(shù)百臺(tái)服務(wù)器組成的數(shù)據(jù)庫(kù)。

e.用于對(duì)象及JSON數(shù)據(jù)的存儲(chǔ)：mongo的BSON數(shù)據(jù)格式非常適合文檔格式化的存儲(chǔ)及查詢。

4、支持的數(shù)據(jù)類(lèi)型:

內(nèi)容比較多，自行將網(wǎng)上的信息整理一下。

Python后端開(kāi)發(fā)工程師面試

第一步：自我介紹

第二步：公司介紹

第三步：技術(shù)基礎(chǔ)

第四步：項(xiàng)目介紹

第五步：待遇

自我介紹，簡(jiǎn)單直接，姓名，籍貫，大學(xué)，工作經(jīng)歷

示例如下：

你好，面試官，我叫XX，來(lái)自XX，本科畢業(yè)于XX，主修XX專(zhuān)業(yè)，有X年工作經(jīng)驗(yàn)，在上一家公司擔(dān)任python后端開(kāi)發(fā)工程師的職位。

公司名稱是XX、公司主要做外包軟件、都有軟件定制/商城定制、前端2個(gè)后端2個(gè)運(yùn)維1個(gè)

主要是根據(jù)你簡(jiǎn)歷中填寫(xiě)的技術(shù)，根據(jù)我的簡(jiǎn)歷中所寫(xiě)的，總結(jié)幾點(diǎn)如下：

字典的查詢流程：

不可變對(duì)象可哈希， str ， fronzenset ， tuple ，自己實(shí)現(xiàn)的類(lèi)，要重載 __hash__ 方法。

dict內(nèi)存花銷(xiāo)大，但是查詢速度快，自定義的對(duì)象或者python內(nèi)部的對(duì)象都是dict包裝的。

dict的存儲(chǔ)順序和元素添加順序有關(guān)，添加順序可能改變已有數(shù)據(jù)的順序。

集合：是一個(gè)可以存放任意數(shù)據(jù)類(lèi)型的可變無(wú)序的映射集合。

set和dict類(lèi)似，set的核心也是散列表，但是表元只包含值的引用。 由于散列表的特性，set的元素不能重復(fù)，且無(wú)序。 內(nèi)部由哈希實(shí)現(xiàn)，查找的時(shí)間復(fù)雜度為O(1)，所以性能很高，實(shí)現(xiàn)了魔法函數(shù) __contains__ 可以使用in來(lái)查找。 set的去重是通過(guò)兩個(gè)函數(shù) __hash__ 和 __eq__ 實(shí)現(xiàn)的。

（1）淺拷貝

定義：淺拷貝只是對(duì)另外一個(gè)變量的內(nèi)存地址的拷貝，這兩個(gè)變量指向同一個(gè)內(nèi)存地址的變量值。

淺拷貝的特點(diǎn)：

（2）深拷貝：

定義：一個(gè)變量對(duì)另外一個(gè)變量的值拷貝。

深拷貝的特點(diǎn)：

Python GC主要使用引用計(jì)數(shù)（reference counting）來(lái)跟蹤和回收垃圾。在引用計(jì)數(shù)的基礎(chǔ)上，通過(guò)“標(biāo)記-清除”（mark and sweep）解決容器對(duì)象可能產(chǎn)生的循環(huán)引用問(wèn)題，通過(guò)“分代回收”（generation collectio n）以空間換時(shí)間的方法提高垃圾回收效率。

GIL全稱 Global Interpreter Lock ，中文解釋為全局解釋器鎖。它并不是Python的特性，而是在實(shí)現(xiàn)python的主流Cpython解釋器時(shí)所引入的一個(gè)概念，GIL本質(zhì)上就是一把互斥鎖，將并發(fā)運(yùn)行變成串行，以此來(lái)控制同一時(shí)間內(nèi)共享數(shù)據(jù)只能被一個(gè)任務(wù)所修改，從而保證數(shù)據(jù)的安全性。

GIL保護(hù)的是解釋器級(jí)別的數(shù)據(jù)，但是用戶自己的數(shù)據(jù)需要自己加鎖處理。

既然有了GIL的存在，一個(gè)進(jìn)程中同一時(shí)刻只有一個(gè)線程能夠被執(zhí)行，無(wú)法利用cpu的多核機(jī)制，導(dǎo)致多線程用于I/O密集型，多進(jìn)程用于計(jì)算密集型，如金融分析等。

死鎖：兩個(gè)或兩個(gè)以上的進(jìn)程或者線程在執(zhí)行過(guò)程中，因?yàn)闋?zhēng)奪資源而造成的互相等待現(xiàn)象，若無(wú)外力的作用，都將一直處于阻塞狀態(tài)，這些互相等待的進(jìn)程或者線程就被稱為死鎖。

解決方法，使用遞歸鎖（RLock）

這個(gè)RLock內(nèi)部有一個(gè)Lock和一個(gè)counter變量，counter記錄著acquire的次數(shù)，從而使得資源可以被多次require。直到一個(gè)線程所有的acquire都被release，其他的線程才能獲得資源。上面的例子如果使用RLock代替Lock，則不會(huì)發(fā)生死鎖

可以直接認(rèn)為是linux，畢竟搞后端的多數(shù)是和linux打交道。

那么如何避免粘包問(wèn)題呢? 歸根結(jié)底就是一句話, 明確兩個(gè)包之間的邊界.

UDP不存在粘包問(wèn)題，是由于UDP發(fā)送的時(shí)候，沒(méi)有經(jīng)過(guò)Negal算法優(yōu)化，不會(huì)將多個(gè)小包合并一次發(fā)送出去。另外，在UDP協(xié)議的接收端，采用了鏈?zhǔn)浇Y(jié)構(gòu)來(lái)記錄每一個(gè)到達(dá)的UDP包，這樣接收端應(yīng)用程序一次recv只能從socket接收緩沖區(qū)中讀出一個(gè)數(shù)據(jù)包。也就是說(shuō)，發(fā)送端send了幾次，接收端必須recv幾次（無(wú)論recv時(shí)指定了多大的緩沖區(qū)）。

存儲(chǔ)可能包含rdbms，nosql以及緩存等，我以mysql,redis舉例**

PHP面試有什么技巧么？

PHP程序員在面試的時(shí)候一般應(yīng)該抓住以下幾個(gè)點(diǎn)。

一、應(yīng)該介紹自己掌握的開(kāi)發(fā)一種，主要介紹PHP語(yǔ)言的獨(dú)特語(yǔ)法以及如何使用，比如PHP語(yǔ)言會(huì)比CGI更快的執(zhí)行動(dòng)態(tài)頁(yè)面。

二、必須熟悉Oracle、Mysql等數(shù)據(jù)庫(kù)，并能簡(jiǎn)單的介紹自己掌握的程度。由于php做出的動(dòng)態(tài)頁(yè)面比用其他語(yǔ)言做出來(lái)的頁(yè)面在執(zhí)行效率以及CGI方面高得多，所以你還需要在面試中說(shuō)出自己的文檔撰寫(xiě)能力很強(qiáng)。

三、PHP程序員應(yīng)該具備獨(dú)立分析和解決問(wèn)題的能力，可以在自我介紹中講講自己曾經(jīng)遇到過(guò)的問(wèn)題是如何解決的。讓面試官看到你的能力，這將會(huì)直接影響到你自我介紹的成功與否。

四、一個(gè)PHP程序員必須有良好的職業(yè)道德和工作態(tài)度，所以在面試中應(yīng)該盡量講自己在做項(xiàng)目時(shí)的認(rèn)真態(tài)度以及今后的工作規(guī)劃，表現(xiàn)出自己的進(jìn)取心。

五、還有關(guān)于溝通能力和理解能力的體現(xiàn)，這個(gè)在與HR的交談中就可以表現(xiàn)出來(lái)，所以需要做的工作就是從容的有條理的把自我介紹說(shuō)完，回答每一個(gè)問(wèn)題時(shí)都應(yīng)該簡(jiǎn)潔明了，關(guān)于自我介紹可以提前做個(gè)草稿，背一下。

六、團(tuán)隊(duì)合作能力也是企業(yè)非?？粗氐模谂嘤?xùn)中老師一般都會(huì)帶領(lǐng)大家做項(xiàng)目，大的項(xiàng)目一般會(huì)分小組，每個(gè)人都有相對(duì)應(yīng)的任務(wù)，這就模擬了公司中的團(tuán)隊(duì)合作，在自我介紹過(guò)程中要把做項(xiàng)目的具體流程以及相互協(xié)作的過(guò)程說(shuō)出來(lái)，讓HR看到自己具備團(tuán)隊(duì)合作的能力。

七、最后就是執(zhí)行力，每當(dāng)任務(wù)分配下來(lái)的時(shí)候該如何執(zhí)行，還有自己講過(guò)職業(yè)規(guī)劃后該如何執(zhí)行，還有在學(xué)習(xí)的過(guò)程中是如何人字形的，遇到困難又是如何執(zhí)行的，這些都可以體現(xiàn)出php程序員的執(zhí)行力，回答的時(shí)候抓住發(fā)現(xiàn)及時(shí)尋找原因，快速展開(kāi)行動(dòng)的這個(gè)主線即可。

八、最重要的是你的能力、技術(shù)以及自己的項(xiàng)目

Python后端工程師面試題目有哪些

一.語(yǔ)言

1.推薦一本看過(guò)最好的python書(shū)籍？

2.談?wù)刾ython的裝飾器，迭代器，yield？

3.標(biāo)準(zhǔn)庫(kù)線程安全的隊(duì)列是哪一個(gè)？不安全的是哪一個(gè)？logging是線程安全的嗎？

4.python適合的場(chǎng)景有哪些？當(dāng)遇到計(jì)算密集型任務(wù)怎么辦？

5.python高并發(fā)解決方案？我希望聽(tīng)到twisted-tornado-gevent，能扯到golang,erlang更好

二.操作系統(tǒng)

可以直接認(rèn)為是linux，畢竟搞后端的多數(shù)是和linux打交道。

1.tcp/udp的區(qū)別？tcp粘包是怎么回事，如何處理？udp有粘包嗎？

2.time_wait是什么情況？出現(xiàn)過(guò)多的close_wait可能是什么原因？

3.epoll,select的區(qū)別？邊緣觸發(fā)，水平觸發(fā)區(qū)別？

三.存儲(chǔ)

存儲(chǔ)可能包含rdbms，nosql以及緩存等，我以mysql,redis舉例

mysql相關(guān)

1.談?wù)刴ysql字符集和排序規(guī)則？

2.varchar與char的區(qū)別是什么？大小限制？utf8字符集下varchar最多能存多少個(gè)字符

3.primary key和unique的區(qū)別？

4.外鍵有什么用，是否該用外鍵？外鍵一定需要索引嗎？

5.myisam與innodb的區(qū)別？innodb的兩階段鎖定協(xié)議是什么情況？

6.索引有什么用，大致原理是什么？設(shè)計(jì)索引有什么注意點(diǎn)？

redis相關(guān)

1.什么場(chǎng)景用redis，為什么mysql不適合？

2.談?wù)剅edis的事務(wù)？用事務(wù)模擬原子+1操作？原子操作還有其它解決方案嗎？

3.redis內(nèi)存滿了會(huì)怎么樣？

四.安全

web安全相關(guān)

1.sql注入是怎么產(chǎn)生的，如何防止？

2.xss如何預(yù)防？htmlescape后能否避免xss?

3.csrf是什么？django是如何防范的？

密碼技術(shù)

1.什么是分組加密？加密模式有哪些？ecb和cbc模式有什么區(qū)別？為什么需要iv向量？

2.簡(jiǎn)單說(shuō)說(shuō)https的過(guò)程？

3.對(duì)稱加密與非對(duì)稱加密區(qū)別？

3.如何生成共享秘鑰？ 如何防范中間人攻擊？

五.雜

是否關(guān)注新技術(shù)??？golang，rust是否了解？numpy,pandas是啥鳥(niǎo)？

是否緊跟時(shí)代潮流？逛不逛微博，刷不刷知乎？

可能你覺(jué)得我問(wèn)的好細(xì)，但這好多都是平常經(jīng)常遇到，并需要解決的，細(xì)節(jié)更能體現(xiàn)一個(gè)人。

如果你覺(jué)得小kiss，歡迎投簡(jiǎn)歷給我yihaibo@longtugame.com，龍圖游戲運(yùn)營(yíng)支持中心數(shù)據(jù)分析部招人；覺(jué)得有點(diǎn)問(wèn)題，那還等什么，趕快來(lái)和我交流交流。

更新:討論區(qū)挺熱鬧，有人說(shuō)好簡(jiǎn)單，有人說(shuō)好難，其實(shí)我覺(jué)得這只適合面試2~3年工作經(jīng)驗(yàn)的后端工程師。真的沒(méi)有問(wèn)

很難的題目，只是可能你平時(shí)沒(méi)有注意。

在這里我推薦幾本書(shū)吧

python參考手冊(cè)，絕對(duì)讓你更上一層樓

圖解密碼技術(shù)，密碼入門(mén)不二之選

mysql技術(shù)內(nèi)幕第五版，有點(diǎn)厚當(dāng)手冊(cè)讀讀，要有耐心，高性能mysql也強(qiáng)烈建議讀讀

effective tcp/ip programming

為什么評(píng)論區(qū)有這么大差異？我想是個(gè)人經(jīng)歷不一樣吧，如果是搞web的對(duì)操作系統(tǒng)這塊和密碼技術(shù)會(huì)偏弱，但如果是系統(tǒng)工程師或是游戲服務(wù)端這塊會(huì)明顯偏強(qiáng)。

六.后記

最近我也面試了不少童鞋，我發(fā)現(xiàn)能達(dá)到要求的真的少之又少，很多hr都說(shuō)Python是最難招聘的崗位，我想是有道理的，這真的很值得我們?nèi)ド钏迹?/p>

我想有一部分原因是Python這門(mén)語(yǔ)言造成的，會(huì)寫(xiě)Python的人很多，但寫(xiě)的好的人很少，大部分都把Python當(dāng)做腳本來(lái)寫(xiě)，缺乏面向?qū)?象，模式的思想。想想Java，大家都習(xí)慣了接口，實(shí)現(xiàn)分離，設(shè)計(jì)模式在Java中也喊了很多年，尤其是ssh三大框架一出，用著用著就理所當(dāng)然的認(rèn)為就 該這么做，雖然也有點(diǎn)壞處，但對(duì)企業(yè)級(jí)Java開(kāi)發(fā)無(wú)疑是一大進(jìn)步。

反觀Python，尤其是生成器，協(xié)程，元類(lèi)給Python注入了很大的靈活性，想寫(xiě)的Pythonic有不小難度，但其實(shí)Python高級(jí)特性就那么幾個(gè)，干掉了也就沒(méi)有了。

當(dāng)你覺(jué)得Python遇到了瓶頸，不妨停下來(lái)好好想想。研究研究設(shè)計(jì)模式，想想重構(gòu)，了解領(lǐng)域驅(qū)動(dòng)設(shè)計(jì)，敏捷開(kāi)發(fā)，再回來(lái)讀讀以前寫(xiě)的代碼，當(dāng)眼界變高了，代碼也就美了。

當(dāng)然思想的提高不是一朝一夕，模式，原則會(huì)經(jīng)常讓你糾結(jié)，糾結(jié)就會(huì)思索，思考就走出了自己的路，當(dāng)然條條大路通羅馬。

數(shù)據(jù)庫(kù)等存儲(chǔ)技術(shù)是研發(fā)工程師邁不過(guò)的坎，對(duì)關(guān)系數(shù)據(jù)庫(kù)以mysql舉例來(lái)說(shuō)，你必須清楚的知道什么字段選擇什么類(lèi)型，類(lèi)型字節(jié)大小，限制條件，這 東西也很容易理解，多想想即可，比如set類(lèi)型，要支持交并等操作，1個(gè)字節(jié)只能存8個(gè)類(lèi)別。數(shù)據(jù)類(lèi)型搞定了，下面就是索引了，mysql索引種類(lèi)？主 鍵，唯一索引，普通索引。索引類(lèi)別，BTree索引，hash索引。索引的優(yōu)缺點(diǎn)，mysql的索引查找原理，join原理(大部分都是nested loop)，以及一些特殊的情況，比如mysql子查詢慢等。其實(shí)到這里研發(fā)工程師就差不多，當(dāng)然你可以繼續(xù)深入下去，比如讀寫(xiě)分離，集群管理，甚至一些 參數(shù)調(diào)優(yōu)。

如何面試 PHP 工程師

問(wèn)一些日常的正常的PHP問(wèn)題，主要是考察應(yīng)聘者的認(rèn)知：

一個(gè)包含中英文的字符串如何獲得它的自然長(zhǎng)度（看看ta是否有encoding的知識(shí)和意識(shí)）

問(wèn)一問(wèn)什么是ORM，有時(shí)候會(huì)問(wèn)這個(gè)詞的英文全稱是什么，問(wèn)問(wèn)ta對(duì)于ORM有什么個(gè)人的看法？（看看ta學(xué)習(xí)細(xì)不細(xì)，有沒(méi)有技術(shù)判斷，PHP開(kāi)發(fā)人員應(yīng)該知道什么時(shí)候使用ORM）

問(wèn)一問(wèn)假如ta要自己去實(shí)現(xiàn)一個(gè)framework，ta會(huì)怎么設(shè)計(jì)。（看看ta對(duì)代碼架構(gòu)的理解，對(duì)MVC的理解）

問(wèn)一問(wèn)framework設(shè)計(jì)里的url dispatcher他會(huì)怎么考慮。（HTTP知識(shí)）

問(wèn)一問(wèn)ta對(duì)框架本身的看法

了解一下ta對(duì)Design Pattern的認(rèn)知，比如Singleton，Observer，F(xiàn)actory等常用的設(shè)計(jì)模式，問(wèn)一問(wèn)ta對(duì)設(shè)計(jì)模式本身的看法。

問(wèn)兩三個(gè)數(shù)據(jù)庫(kù)設(shè)計(jì)的問(wèn)題

問(wèn)幾個(gè)前端的問(wèn)題，哪怕ta的職位是PHP開(kāi)發(fā)人員，好的PHP人員不可能不了解前端，而且很可能很了解前端

問(wèn)一問(wèn)ta對(duì)noSQL的了解情況（對(duì)與noSQL的認(rèn)識(shí)是和傳統(tǒng)Relational DB的認(rèn)知是分不開(kāi)的）

問(wèn)一問(wèn)ta碰到問(wèn)題時(shí)候會(huì)如何去尋找答案

問(wèn)一問(wèn)ta習(xí)慣使用哪一個(gè)搜索引擎（如果是就有加分）

問(wèn)一問(wèn)ta最近看的書(shū)

問(wèn)一問(wèn)ta的職業(yè)規(guī)劃，喜歡做什么，對(duì)工作環(huán)境有什么要求

別出生僻的題，別為難人家，更不要變相的侮辱人家，正常交流為主，你要的是一個(gè)正常的人，優(yōu)秀不優(yōu)秀就看你的眼光和運(yùn)氣了。

很多公司的技術(shù)人員招聘會(huì)刻意追求刺激的問(wèn)題，比如很著名的微軟的“下水道的蓋子為什么是圓的”，不是說(shuō)這些考察毫無(wú)道理，但更多的是一種“marketing”的手段。

美國(guó)大數(shù)據(jù)工程師面試攻略

項(xiàng)目數(shù)據(jù)分析師分享：美國(guó)大數(shù)據(jù)工程師面試攻略

方法/步驟

先做一個(gè)自我介紹，本科南開(kāi)后，加入了一個(gè)創(chuàng)業(yè)公司kuxun，做實(shí)時(shí)信息檢索，后來(lái)進(jìn)入百度基礎(chǔ)架構(gòu)組，搭建了Baidu App Engine的早期版本，隨后去Duke大學(xué)留學(xué)，在攻讀碩士期間，做跟Hadoop大數(shù)據(jù)相關(guān)的研究項(xiàng)目Starfish，之后在Amazon EC2部門(mén)實(shí)習(xí)，了解它們的內(nèi)部架構(gòu)，畢業(yè)后加入Linkedin，做廣告組的架構(gòu)，涉及Hadoop調(diào)優(yōu)，Data Pipeline, Offline/Online, 實(shí)時(shí)系統(tǒng)。最新是在Coursera從事數(shù)據(jù)工程師工作。在多年工作中，除了對(duì)技術(shù)的不懈追求，也積累了大量的面試經(jīng)驗(yàn)，從國(guó)內(nèi)的一線互聯(lián)網(wǎng)百度，阿里巴巴，奇虎，人人，到美國(guó)一線公司Facebook，Google，Linkedin，Twitter，Amazon，到熱門(mén)Startup，Uber，Pinterest，Airbnb，Box，Dropbox，Snapchat，Houzz，拿到10+ offer，并且在Linkedin期間也面試過(guò)100+候選人，參與面試題制定，樂(lè)于分享并幫助很多人成功求職，實(shí)現(xiàn)目標(biāo)。

我們看一下這張硅谷地圖，它坐落于美國(guó)加州，從圣何塞到舊金山的狹長(zhǎng)地帶，中間是San francisco bay，簡(jiǎn)稱灣區(qū)。它的由來(lái)是這邊有計(jì)算機(jī)核心處理器中離不開(kāi)的硅，30年來(lái)，硅谷就發(fā)展成為無(wú)數(shù)技術(shù)性創(chuàng)業(yè)公司的搖籃。在20多年前，就有很多硬件公司的輝煌Intel，Oracle，Apple，Cisco成功上市，10年前，互聯(lián)網(wǎng)的興起，造就了Yahoo，Google，Ebay的神奇，而如今Tesla，F(xiàn)acebook，Twitter，Linkedin正扶搖直上，成為美股高科技股的領(lǐng)頭羊。這些公司的市值從幾十billion到幾百billion，PE從負(fù)數(shù)到上千。瘋狂的估值背后也改變了世界。

如果說(shuō)硅谷成功是有原因的，我覺(jué)得有兩點(diǎn)。地理位置是得天獨(dú)厚吸引大量人才，這里有Stanford和加州州立高校提供智力庫(kù)的支持，在硅谷可以看到來(lái)自全世界的最聰明的人，中國(guó)人，印度人，猶太人構(gòu)成這些Engineer的主力。雖然國(guó)內(nèi)做技術(shù)自嘲為碼農(nóng)，但在硅谷成為一個(gè)優(yōu)秀工程師還是收獲頗豐。另一方面創(chuàng)業(yè)是一個(gè)永恒的話題，在Stanford有個(gè)說(shuō)法空氣中都飄揚(yáng)中創(chuàng)業(yè)的味道，一些早期員工通過(guò)上市套現(xiàn)又積累經(jīng)驗(yàn)成了天使投資，Y Combinator，各種技術(shù)forum，meetup，創(chuàng)業(yè)導(dǎo)師，都很活躍。資本的力量功不可沒(méi)，早年VC通過(guò)投資，收購(gòu)，上市放大形成一個(gè)雪球效應(yīng)。大家總喜歡問(wèn)什么是next big thing，哪一個(gè)是下一個(gè)facebook，下一個(gè)musk，根據(jù)統(tǒng)計(jì)10年能成就一個(gè)千億以上的公司，目前這個(gè)進(jìn)程正在縮短。

我就拿Linkedin作為例子，介紹高科技公司（FLG）是什么樣子。它是成立2003年的職業(yè)社交網(wǎng)站。在10年的發(fā)展中，也不是一下子爆發(fā)的，目前有3億的全球用戶，雖然跟Facebook，Google 10億＋用戶沒(méi)法比，但是它有很好的護(hù)城河，用戶定位高端精準(zhǔn)，單位價(jià)值高。這張照片中左邊這位是創(chuàng)始人Reid Hoffman，是Paypal黑幫成員，在硅谷也是呼風(fēng)喚雨的大佬，目前是董事和投資人。中間這位是CEO Jeff，2013年被Glassdoor評(píng)為最佳CEO，作為職業(yè)經(jīng)理人，成功幫助linkedin高速成長(zhǎng)，他最喜歡提到transformation，希望我們每個(gè)員工能挑戰(zhàn)自我，在各自崗位上進(jìn)化。Linkedin提供了員工很好的福利，有號(hào)稱灣區(qū)最佳的免費(fèi)食堂，每個(gè)月一次的in day，hack day, 幫助員工內(nèi)部創(chuàng)業(yè)的incumbator計(jì)劃。它特點(diǎn)是數(shù)據(jù)驅(qū)動(dòng)的開(kāi)發(fā)產(chǎn)品，比如 People you may know, Job you may be interested, 我做過(guò)Sponroed Ads 都是需要很強(qiáng)數(shù)據(jù)背景和data scientist的支持。它的Biz model也很獨(dú)特，有3個(gè)line，面向公司的招聘服務(wù)，面向廣告商的市場(chǎng)服務(wù)，面向個(gè)人的訂閱服務(wù)，還有最新Sales Solution，因?yàn)檫@么多可能性，成為華爾街的寵兒。

說(shuō)硅谷，除了那些已經(jīng)成功的大公司，不得不說(shuō)現(xiàn)在最新的創(chuàng)業(yè)動(dòng)向，這些代表了未來(lái)下一個(gè)FLG。我總結(jié)了一些領(lǐng)域和代表公司：云計(jì)算(box, dropbox)，大數(shù)據(jù)(cloudera)，消費(fèi)互聯(lián)網(wǎng)(pinterest)，健康(fitbit)，通訊(snapchat)，支付(square)，生活(uber)。 這里是華爾街網(wǎng)站更新的最新融資規(guī)模，比如Uber就達(dá)到18Billion的估值，我當(dāng)時(shí)拿到offer沒(méi)去，還是覺(jué)得很瘋狂，如果細(xì)看這張表，大家可以看到硅谷（藍(lán)色）尤其是舊金山它們的融資規(guī)模遠(yuǎn)遠(yuǎn)大于其他地區(qū)，還是地理決定論。而在國(guó)內(nèi)的兩家xiaomi，jingdong都是在北京，而最近大家看到一些泡沫論，說(shuō)什么阿里巴巴上市是否美股到頂，經(jīng)緯VC創(chuàng)始人也提醒我們泡沫的風(fēng)險(xiǎn)，我無(wú)法判斷。如果能參與到下一波浪潮里面去是很過(guò)癮的。我推薦大家去看看 浪潮之巔，奇點(diǎn)臨近，我還是很期待未來(lái)20年的技術(shù)革命。

我個(gè)人熱愛(ài)大數(shù)據(jù)，在硅谷這也是大家津津樂(lè)道的，有個(gè)笑話，big data is like teenage talking about sex, nobody know how to do it. 其實(shí)大家還是興趣驅(qū)動(dòng)就好，不要那么功利，大數(shù)據(jù)技術(shù)涉及太多，平常工作中也是慢慢積累，有無(wú)數(shù)的坑和技術(shù)細(xì)節(jié)需要克服。并不是說(shuō)那個(gè)技術(shù)最熱就要用哪個(gè)，如果你用不好，你的壓力很大的，舉個(gè)例子，你用某個(gè)開(kāi)源數(shù)據(jù)庫(kù)，發(fā)現(xiàn)它偶爾有數(shù)據(jù)丟失怎么辦，如果這是線上服務(wù)，你不斷收到報(bào)警，這時(shí)候你當(dāng)時(shí)選用它的優(yōu)點(diǎn) scalable，容錯(cuò)性都沒(méi)意義了。接著說(shuō)大數(shù)據(jù)，這里面Hadoop作為行業(yè)標(biāo)準(zhǔn)，我面過(guò)的除了Google，微軟不用，幾乎所有的公司都在用，建議大家利用這個(gè)機(jī)會(huì)。這里面有三巨頭，cloudera是老牌Hadoop咨詢公司，Hadoop的創(chuàng)始人做CTO，Hortonworks也是很多Hadoop的committee，MapR是提出hdfs的erasure 編碼方式高效而著名，它們都是融了巨資，模式也很像，先推出社區(qū)免費(fèi)版，但有個(gè)商業(yè)版提供更好的管理。 而今年出現(xiàn)一匹黑馬，Spark，簡(jiǎn)單說(shuō)就是內(nèi)存級(jí)別的計(jì)算，比Hadoop框架里能節(jié)約IO，利用緩存，能適應(yīng)批處理，迭代，流式計(jì)算。

這里看一下它的生態(tài)系統(tǒng)，如何學(xué)Hadoop是個(gè)循序漸進(jìn)過(guò)程，先要理解學(xué)習(xí)它的core系統(tǒng)，HDFS, MapReduce, Common，在外圍有無(wú)數(shù)的系統(tǒng)工具方便開(kāi)發(fā)，我個(gè)人用過(guò)的是 Avro作為數(shù)據(jù)格式，Zookeeper作為選主的高可靠性的組件，Solr作為搜索接口，Pig搭建工作流，Hive 數(shù)據(jù)倉(cāng)庫(kù)查詢，Oozie管理工作流，HBase 作為KV 分布式存儲(chǔ)，mahout數(shù)據(jù)挖掘的庫(kù)，Cassandra nosql 數(shù)據(jù)庫(kù)。我建議初學(xué)的考慮Chinahadoop的課程。

而Hadoop本身也是個(gè)進(jìn)化過(guò)程，幾年前0.19版本，到0.20, 0.23分流成Yarn架構(gòu)最后進(jìn)化成Hadoop2.0, Hadoop1.0 和 2.0 它們的接口和組件是完全不同的，但總體上Hadoop 2.0 是趨勢(shì)，因?yàn)樗衁arn這樣分離的資源管理平臺(tái)，可以以插件的方式開(kāi)發(fā)上面的Application，解放了生產(chǎn)力，而像Spark，Storm這些新型處理器也是支持Hadoop 2.0的。這里是Hortonworks它們提出來(lái)的社區(qū)版本架構(gòu)，可以說(shuō)標(biāo)準(zhǔn)的制定者，一流的公司制定標(biāo)準(zhǔn)，其他的公司一般用只能用它們提供的穩(wěn)定版，沒(méi)有多少話語(yǔ)權(quán)。但從事大數(shù)據(jù)，并不見(jiàn)得是要去這些制定標(biāo)準(zhǔn)的公司，大量的應(yīng)用也是非?？简?yàn)架構(gòu)的靈活性。并且能看到實(shí)際的產(chǎn)品，很有成就感。

說(shuō)到今年火的，還是要看Spark。從去年至今，已經(jīng)開(kāi)了2屆Spark大會(huì)，上千人的規(guī)模，無(wú)數(shù)人對(duì)比Hadoop 100倍的性能提升而興奮。這里說(shuō)它的背景是誕生于Berkeley的Amplab，它們有個(gè)很有名的BDAS(Berkeley Data Analytics Stack)，目前Spark已經(jīng)成為Apache的頂級(jí)項(xiàng)目。去年這個(gè)實(shí)驗(yàn)室的教授跟學(xué)生出去成立Databricks公司，拉到兩輪上千萬(wàn)的風(fēng)投，有人成Spark是Hadoop的終結(jié)者嗎？我看今年Spark大會(huì)上，所有的Hadoop大佬公司都是鼎力支持，像Cloudrea甚至放棄impala的一線支持而轉(zhuǎn)變成Spark。如果這么發(fā)展下去，星星之火可以燎原啊。它里面用到Scala是一種函數(shù)式語(yǔ)言。里面的組件也很多，有Shark支持SQL類(lèi)似Hive，有Spark Streaming，MLlib，Graphx，SparkR，BlinkDB。它的核心數(shù)據(jù)結(jié)構(gòu)是RDD，可以跑在各種分布式系統(tǒng)上?？傮w上是個(gè)包容性＋侵略性的系統(tǒng)。我個(gè)人也很看好它們的發(fā)展。

網(wǎng)站名稱：nosql面試上篇,nosql面試題
文章源于：http://jinyejixie.com/article4/dssesie.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供面包屑導(dǎo)航、網(wǎng)站導(dǎo)航、外貿(mào)網(wǎng)站建設(shè)、品牌網(wǎng)站設(shè)計(jì)、網(wǎng)站設(shè)計(jì)公司、小程序開(kāi)發(fā)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)