我在網(wǎng)上了解了一下nodejs中sleep功能,搜索了很多關(guān)于nodejs中sleep功能介紹,下面我來記錄一下,有需要了解的朋友可參考。希望此文章對各位有所幫助。
成都創(chuàng)新互聯(lián)公司 - 電信機房托管,四川服務(wù)器租用,成都服務(wù)器租用,四川網(wǎng)通托管,綿陽服務(wù)器托管,德陽服務(wù)器托管,遂寧服務(wù)器托管,綿陽服務(wù)器托管,四川云主機,成都云主機,西南云主機,電信機房托管,西南服務(wù)器托管,四川/成都大帶寬,機柜大帶寬,四川老牌IDC服務(wù)商一 背景
在使用nodejs爬蟲的時候,經(jīng)常會遇到別人的網(wǎng)站對頻率的反爬機制,這個時候如果不做處理程序就會掛掉,重新啟動也會繼續(xù)被屏蔽.這個問題怎么解決呢,我的想法就是程序暫停10分鐘或者更長的時間,繼續(xù)爬取.
二 方法
其實使用setTimeout就可以實現(xiàn),只是nodejs異步已經(jīng)很金字塔了,再加一層會更恐怖,所以本文使用nodejs的第三方模塊async來實現(xiàn),async的目的就是讓多個異步的程序,按照開發(fā)者想要的順序來執(zhí)行,代碼書寫符合同步風格,其實運行還是異步的,也解決了回調(diào)金字塔的問題.
async基礎(chǔ)使用 :https://www.jb51.net/article/118526.htm
三 正常代碼
訪問3個網(wǎng)站,百度,優(yōu)酷,騰訊為例.不暫停的代碼.
var async = require('async'); var http = require('http'); var task = []; task.push(function(callback){ console.time('訪問3個網(wǎng)站時間統(tǒng)計'); http.get('http://www.baidu.com/', function(res) { console.log("百度訪問結(jié)果: " + res.statusCode); callback(null); }).on('error', function(e) { console.log("百度訪問結(jié)果: " + e.message); callback(e); }); }) task.push(function(callback){ http.get('http://www.youku.com/', function(res) { console.log("優(yōu)酷訪問結(jié)果: " + res.statusCode); callback(null); }).on('error', function(e) { console.log("優(yōu)酷訪問結(jié)果: " + e.message); callback(e); }); }) task.push(function(callback){ http.get('http://www.qq.com/', function(res) { console.log("騰訊訪問結(jié)果: " + res.statusCode); callback(null); }).on('error', function(e) { console.log("騰訊訪問結(jié)果: " + e.message); callback(e); }); }) async.waterfall(task, function(err,result){ console.timeEnd('訪問3個網(wǎng)站時間統(tǒng)計'); if(err) return console.log(err); console.log('全部訪問成功'); })
另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)建站jinyejixie.com,海內(nèi)外云服務(wù)器15元起步,三天無理由+7*72小時售后在線,公司持有idc許可證,提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機、免備案服務(wù)器”等云主機租用服務(wù)以及企業(yè)上云的綜合解決方案,具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價比高”等特點與優(yōu)勢,專為企業(yè)上云打造定制,能夠滿足用戶豐富、多元化的應(yīng)用場景需求。
文章標題:nodejs中sleep功能實現(xiàn)暫停幾秒的方法-創(chuàng)新互聯(lián)
文章分享:http://jinyejixie.com/article16/dpeidg.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供網(wǎng)頁設(shè)計公司、網(wǎng)站收錄、域名注冊、面包屑導(dǎo)航、小程序開發(fā)、定制開發(fā)
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時需注明來源: 創(chuàng)新互聯(lián)
猜你還喜歡下面的內(nèi)容