背景：

使用scrapy crawl spidername -o filename.json命令執(zhí)行爬蟲，并將item寫入文件，發(fā)現(xiàn)中文亂碼，比如這樣子：

創(chuàng)新互聯(lián)為您提適合企業(yè)的網(wǎng)站設計?讓您的網(wǎng)站在搜索引擎具有高度排名，讓您的網(wǎng)站具備超強的網(wǎng)絡競爭力！結(jié)合企業(yè)自身，進行網(wǎng)站設計及把握，最后結(jié)合企業(yè)文化和具體宗旨等，才能創(chuàng)作出一份性化解決方案。從網(wǎng)站策劃到網(wǎng)站建設、成都網(wǎng)站設計， 我們的網(wǎng)頁設計師為您提供的解決方案。

解決方法

第一種方法：

使用scrapy命令導出時指定編碼格式

scrapy crawl baidu -o baidu_med.json -s FEED_EXPORT_ENCODING=utf-8

第二種方法：

借助Pipeline將item寫入到文件
1.修改pipelines.py，添加：

import json
import codecs

class YiyaoPipeline(object):
    def __init__(self):
        self.file = codecs.open('item.json', 'wb', encoding='utf-8')

    def process_item(self, item, spider):
        line = json.dumps(dict(item), ensure_ascii=False) + '\n'
        self.file.write(line)
        return item

2.修改settings.py，激活pipeline：

ITEM_PIPELINES = {
   'yiyao.pipelines.YiyaoPipeline': 300,
}

注意：settings.py默認有ITEM_PIPELINES配置，只是注銷掉了。
3.使用scrapy命令導出時，直接執(zhí)行：

scrapy crawl baidu 

本文標題：scrapy導出文件中文亂碼問題
本文路徑：http://jinyejixie.com/article36/ggshpg.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián)，為您提供品牌網(wǎng)站制作、動態(tài)網(wǎng)站、電子商務、網(wǎng)站維護、做網(wǎng)站、靜態(tài)網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)