小編給大家分享一下cookie怎么在python爬蟲(chóng)中響應(yīng)網(wǎng)頁(yè),希望大家閱讀完這篇文章后大所收獲,下面讓我們一起去探討吧!
創(chuàng)新互聯(lián)公司主打移動(dòng)網(wǎng)站、網(wǎng)站制作、做網(wǎng)站、網(wǎng)站改版、網(wǎng)絡(luò)推廣、網(wǎng)站維護(hù)、域名申請(qǐng)、等互聯(lián)網(wǎng)信息服務(wù),為各行業(yè)提供服務(wù)。在技術(shù)實(shí)力的保障下,我們?yōu)榭蛻舫兄Z穩(wěn)定,放心的服務(wù),根據(jù)網(wǎng)站的內(nèi)容與功能再?zèng)Q定采用什么樣的設(shè)計(jì)。最后,要實(shí)現(xiàn)符合網(wǎng)站需求的內(nèi)容、功能與設(shè)計(jì),我們還會(huì)規(guī)劃穩(wěn)定安全的技術(shù)方案做保障。
Cookie,指某些網(wǎng)站為了辨別用戶身份、進(jìn)行session跟蹤而儲(chǔ)存在用戶本地終端上的數(shù)據(jù)(通常經(jīng)過(guò)加密)
比如說(shuō)有些網(wǎng)站需要登錄后才能訪問(wèn)某個(gè)頁(yè)面,在登錄之前,你想抓取某個(gè)頁(yè)面內(nèi)容是不允許的。那么我們可以利用Urllib2庫(kù)保存我們登錄的Cookie,然后再抓取其他頁(yè)面就達(dá)到目的了。
從響應(yīng)中獲取cookie
我們就可以先訪問(wèn)該站的某個(gè)頁(yè),建立了session連接之后,獲取cookie,再偽造頭進(jìn)行訪問(wèn)。
>>> from bs4Test import * >>> s = requests.session() >>> s.get("https://www.gebiz.gov.sg/ptn/opportunity/BOListing.xhtml?origin=menu") >>> print(s.cookies) # 下面是打印結(jié)果 , http://www.gebiz.gov.sg/>, http://www.gebiz.gov.sg/>]>
最后拼接cookie串
cook_value = '' for x in cook: cook_value += x.name + '=' + x.value + ';' cook_value = cook_value[:len(cook_value)-1] print(cook_value) #打印結(jié)果 __cfduid=d9ed16845e45ce7496268e8b2293dadc81456745242;BIGipServerPTN2_PRD_Pool=18964640.47873.0000;wlsessionid=nUIsyGBSLqjakq4P5dEDh5TNUJBYtw4nIpxkyITzrj2A5CalOWZ9!-936114045
看完了這篇文章,相信你對(duì)cookie怎么在python爬蟲(chóng)中響應(yīng)網(wǎng)頁(yè)有了一定的了解,想了解更多相關(guān)知識(shí),歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道,感謝各位的閱讀!
本文題目:cookie怎么在python爬蟲(chóng)中響應(yīng)網(wǎng)頁(yè)
本文網(wǎng)址:http://jinyejixie.com/article6/ijjpig.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供外貿(mào)建站、ChatGPT、手機(jī)網(wǎng)站建設(shè)、網(wǎng)站內(nèi)鏈、面包屑導(dǎo)航、網(wǎng)站策劃
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如需處理請(qǐng)聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來(lái)源: 創(chuàng)新互聯(lián)