這篇文章主要介紹PHP如何實(shí)現(xiàn)抓取百度搜索結(jié)果并分析數(shù)據(jù)結(jié)構(gòu)，文中介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們一定要看完！

成都創(chuàng)新互聯(lián)公司始終堅(jiān)持【策劃先行，效果至上】的經(jīng)營理念，通過多達(dá)十載累計(jì)超上千家客戶的網(wǎng)站建設(shè)總結(jié)了一套系統(tǒng)有效的全網(wǎng)整合營銷推廣解決方案，現(xiàn)已廣泛運(yùn)用于各行各業(yè)的客戶，其中包括：成都花箱等企業(yè)，備受客戶認(rèn)可。

PHP網(wǎng)絡(luò)爬蟲實(shí)踐：抓取百度搜索結(jié)果，并分析數(shù)據(jù)結(jié)構(gòu)

百度的搜索引擎有反爬蟲機(jī)制，我先直接用guzzle試試水。代碼如下：

<?php
/**
 * Created by Benjiemin
 * Date: 2020/3/5
 * Time: 14:58
 */
require ('./vendor/autoload.php');
use QL\QueryList;
//進(jìn)入網(wǎng)頁
$jar = new \GuzzleHttp\Cookie\CookieJar;
$client = new GuzzleHttp\Client(['cookies' => true]);
$ql = $client->request('GET', 'https://www.baidu.com', [
    'cookies' => $jar
]);
if($ql->getStatusCode()!=200){
    echo '網(wǎng)站狀態(tài)不正常';die;
}
echo  $ql->getBody();

百度直接攔截了，進(jìn)了跳轉(zhuǎn)頁面，我試試加個(gè)瀏覽器頭文件，再試試。

修改后的header如下：

$ql = $client->request('GET', 'https://www.baidu.com', [
    'cookies' => $jar,
    'headers' => [
    'Accept-Encoding' => 'gzip, deflate, br',
    'Accept'     => 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
    'Accept-Language'      => 'zh-CN,zh;q=0.9,en;q=0.8',
    'Cache-Control'      => 'no-cache',
    'Connection'      => 'keep-alive',
    'User-Agent'      => 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36',
]
]);

我測試了下，網(wǎng)站打開了。

我們繼續(xù)，輸入關(guān)鍵詞，并搜索,結(jié)果發(fā)現(xiàn)被安全攔截了，所以我感覺直接用GuzzleHttp搞不動，于是我繼續(xù)我的神器：jaeger/querylist和jaeger/querylist-puppeteer。

安裝步驟：

1.安裝依賴

在這之前，要先啟用php的proc_open函數(shù)，否則無法安裝完整

composer install jaeger/querylist
composer install jaeger/querylist-puppeteer

2.安裝nodejs

yum install nodejs

3.安裝npm

4.安裝@nesk/puphpeteer

npm install @nesk/puphpeteer

5.PHP啟用proc_open

代碼如下：

<?php
/**
 * Created by Benjiemin
 * Date: 2020/3/5
 * Time: 14:58
 */
require ('./vendor/autoload.php');
use QL\QueryList;
use QL\Ext\Chrome;
$ql = QueryList::getInstance();
// 注冊插件，默認(rèn)注冊的方法名為: chrome
$ql->use(Chrome::class);
 $ql->chrome(function ($page,$browser) {
    $page->goto('https://www.baidu.com');
    // 這里故意設(shè)置一個(gè)很長的延長時(shí)間，讓你可以看到chrome瀏覽器的啟動
    sleep(3);
    //輸入關(guān)鍵詞
    $wd = '簡慶旺博客';
    $page->type("input[id='kw']",$wd);
    sleep(1);
    //點(diǎn)擊搜索
    $page->click("input[type='submit']");
    //等待搜索結(jié)果
    sleep(3);
    //獲取結(jié)果
    $html = $page->content();
    //用jquery選擇器抽取結(jié)果
    $rules = array(
        'title'=>['#content_left h4 a','text'],//標(biāo)題
        'url'=>['#content_left h4 a','href'],//跳轉(zhuǎn)網(wǎng)址
        'description'=>['div .c-abstract','text'],//描述
    );
    $ql = QueryList::html($html);
    $rt = $ql->rules($rules)->query()->getData();
    //如果有需要，可以把$rt入庫，以及做其他操作
    sleep(10);
    $browser->close();
    // 返回值一定要是頁面的HTML內(nèi)容
    return $html;
},[
    'headless' => false, // 啟動可視化Chrome瀏覽器,方便調(diào)試
    'devtools' => false, // 打開瀏覽器的開發(fā)者工具
])->find('title')->text();

$rt是我的結(jié)果集合，打印下，如下

以上是PHP如何實(shí)現(xiàn)抓取百度搜索結(jié)果并分析數(shù)據(jù)結(jié)構(gòu)的所有內(nèi)容，感謝各位的閱讀！希望分享的內(nèi)容對大家有幫助，更多相關(guān)知識，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道！

網(wǎng)站欄目：PHP如何實(shí)現(xiàn)抓取百度搜索結(jié)果并分析數(shù)據(jù)結(jié)構(gòu)
當(dāng)前鏈接：http://jinyejixie.com/article28/ijgejp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供微信公眾號、App開發(fā)、、域名注冊、App設(shè)計(jì)、移動網(wǎng)站建設(shè)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)