這篇文章主要講解了Python使用正則表達(dá)式爬取京東商品信息的方法，內(nèi)容清晰明了，對(duì)此有興趣的小伙伴可以學(xué)習(xí)一下，相信大家閱讀完之后會(huì)有幫助。

創(chuàng)新互聯(lián)專注于睢寧縣企業(yè)網(wǎng)站建設(shè),響應(yīng)式網(wǎng)站設(shè)計(jì),商城網(wǎng)站開(kāi)發(fā)。睢寧縣網(wǎng)站建設(shè)公司,為睢寧縣等地區(qū)提供建站服務(wù)。全流程按需制作網(wǎng)站，專業(yè)設(shè)計(jì)，全程項(xiàng)目跟蹤，創(chuàng)新互聯(lián)專業(yè)和態(tài)度為您提供的服務(wù)

京東（JD.com）是中國(guó)大的自營(yíng)式電商企業(yè)，2015年第一季度在中國(guó)自營(yíng)式B2C電商市場(chǎng)的占有率為56.3%。如此龐大的一個(gè)電商網(wǎng)站，上面的商品信息是海量的，小編今天就帶小伙伴利用正則表達(dá)式，并且基于輸入的關(guān)鍵詞來(lái)實(shí)現(xiàn)主題爬蟲(chóng)。

首先進(jìn)去京東網(wǎng)，輸入自己想要查詢的商品，小編在這里以關(guān)鍵詞“狗糧”作為搜索對(duì)象，之后得到后面這一串網(wǎng)址：
https://search.jd.com/Search?keyword=%E7%8B%97%E7%B2%AE&enc=utf-8，其實(shí)參數(shù)%E7%8B%97%E7%B2%AE解碼之后就是“狗糧”的意思。那么非常明顯，只要輸入keyword這個(gè)參數(shù)之后，將其進(jìn)行編碼，就可以獲取到我們的目標(biāo)網(wǎng)址了，請(qǐng)求網(wǎng)頁(yè)，得到響應(yīng)，爾后利用選擇器便可以進(jìn)行下一步的精準(zhǔn)采集了。

在京東網(wǎng)上，狗糧信息在京東官網(wǎng)上的網(wǎng)頁(yè)源碼如下圖所示：

狗糧信息在京東官網(wǎng)上的網(wǎng)頁(yè)源碼

話不多說(shuō)，直接擼代碼，如下圖所示。小編用的是py3，也建議大家以后多用py3版本。通常URL編碼的方式是把需要編碼的字符轉(zhuǎn)化為%xx的形式，一般來(lái)說(shuō)URL的編碼是基于UTF-8的，當(dāng)然也有的于瀏覽器平臺(tái)有關(guān)。在Python的urllib庫(kù)中提供了quote方法，可以實(shí)現(xiàn)對(duì)URL的字符串進(jìn)行編碼，從而可以進(jìn)入到對(duì)應(yīng)的網(wǎng)頁(yè)中去。

正則表達(dá)式，又稱正規(guī)表示式、正規(guī)表示法、正規(guī)表達(dá)式、規(guī)則表達(dá)式、常規(guī)表示法（英語(yǔ)：Regular Expression，在代碼中常簡(jiǎn)寫為regex、regexp或RE），是一種可以用于模式匹配和替換的強(qiáng)有力的工具。找到目標(biāo)網(wǎng)頁(yè)之后，調(diào)用urllib中的urlopen函數(shù)打開(kāi)網(wǎng)頁(yè)并獲取源碼，之后利用正則表達(dá)式實(shí)現(xiàn)對(duì)目標(biāo)信息的精準(zhǔn)采集。

利用正則表達(dá)式實(shí)現(xiàn)對(duì)目標(biāo)信息的精準(zhǔn)采集

正則表達(dá)式寫在這個(gè)程序中確實(shí)蠻復(fù)雜的，也占據(jù)了多行，但是主要用到的正則表達(dá)式是[\w\W]+?和[\s\S]+?。

[\s\S]或者[\w\W]是完全通配的意思，\s是指空白，包括空格、換行、tab縮進(jìn)等所有的空白，而\S剛好相反。這樣一正一反下來(lái)，就表示所有的字符，完全的，一字不漏的。另外，[]這個(gè)符號(hào)，表示在它里面包含的單個(gè)字符不限順序的出現(xiàn)，比如下面的正則：[ace]*，這表示，只要出現(xiàn)a/c/e這三個(gè)任意的字母，都會(huì)被匹配。

此外，[\s]表示，只要出現(xiàn)空白就匹配；[\S]表示，非空白就匹配。那么它們的組合，表示所有的都匹配，與它相對(duì)應(yīng)的，有[\w\W]等，意義完全相同。其實(shí)，[\s\S] 和 [\w\W]這樣的用法，比"."所匹配的還要多，因?yàn)?quot;."是不會(huì)匹配換行的，所有出現(xiàn)有換行匹配的時(shí)候，人們就習(xí)慣 使用[\s\S]或者[\w\W]這樣的完全通配模式。

最后得到的輸出效果圖如下所示：

輸出效果圖

這樣小伙伴們就可以獲取到狗糧的商品信息了，當(dāng)然，小編在這里只是拋磚引玉，只匹配了四個(gè)信息，而且只是做了個(gè)單頁(yè)的獲取。需要更多數(shù)據(jù)的小伙伴們可以自行去更改正則表達(dá)式和設(shè)置多頁(yè)，達(dá)到你想要的效果。下篇文章小編將利用美麗的湯BeautifulSoup來(lái)進(jìn)行匹配目標(biāo)數(shù)據(jù)，實(shí)現(xiàn)目標(biāo)信息的精準(zhǔn)獲取。

最后給大家簡(jiǎn)單介紹一下正則表達(dá)式。正則表達(dá)式使用單個(gè)字符串來(lái)描述、匹配一系列匹配某個(gè)句法規(guī)則的字符串。在很多文本編輯器里，正則表達(dá)式通常被用來(lái)檢索、替換那些匹配某個(gè)模式的文本。

正則表達(dá)式對(duì)于初學(xué)者確實(shí)晦澀難懂，不過(guò)慢慢學(xué)習(xí)還是可以掌握的，并不一定要完全記下來(lái)，但是你要知道什么時(shí)候需要什么參數(shù)，能做到順利使用它就可以了。

看完上述內(nèi)容，是不是對(duì)Python使用正則表達(dá)式爬取京東商品信息的方法有進(jìn)一步的了解，如果還想學(xué)習(xí)更多內(nèi)容，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道。

網(wǎng)頁(yè)標(biāo)題：Python使用正則表達(dá)式爬取京東商品信息的方法-創(chuàng)新互聯(lián)
當(dāng)前路徑：http://jinyejixie.com/article30/jejso.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站改版、網(wǎng)站導(dǎo)航、虛擬主機(jī)、品牌網(wǎng)站設(shè)計(jì)、網(wǎng)站策劃、云服務(wù)器

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)