目的
成都創(chuàng)新互聯(lián)公司專業(yè)為企業(yè)提供如皋網(wǎng)站建設(shè)、如皋做網(wǎng)站、如皋網(wǎng)站設(shè)計、如皋網(wǎng)站制作等企業(yè)網(wǎng)站建設(shè)、網(wǎng)頁設(shè)計與制作、如皋企業(yè)網(wǎng)站模板建站服務(wù),十余年如皋做網(wǎng)站經(jīng)驗,不只是建網(wǎng)站,更提供有價值的思路和整體網(wǎng)絡(luò)服務(wù)。兩年前曾為了租房做過一個找房機器人 「爬取豆瓣租房并定時推送到微信」,維護一段時間后就荒廢了。
當(dāng)時因為代碼比較簡單一直沒開源,現(xiàn)在想想說不定開源后也能幫助一些同學(xué)更好的找到租房信息,所以簡單整理后,開源到 github,地址:https://github.com/facert/zufang (本地下載)
下面是當(dāng)時寫的簡單原理介紹:
身在帝都的人都知道租房的困難,每次找房都是心力交瘁。其中豆瓣租房小組算是比較靠譜的房源了,但是由于小組信息繁雜,而且沒有搜索的功能,想要實時獲取租房信息是件很困難的事情,所以最近給自己挖了個坑,做個微信找房機器人,先看大概效果吧,見下圖:
實現(xiàn)
說下大概的技術(shù)實現(xiàn)吧,首先是 scrapy 爬蟲對于豆瓣北京租房的小組實時爬取,并做了全文檢索,對 title, description 使用 jieba 和 whoosh 進行了分詞和索引,做成 api。接下來就是應(yīng)用的接入,網(wǎng)上有微信機器人的開源 [wxBot](http://github.com/liuwons/wxBo),所以對它進行了修改, 實現(xiàn)了定時推送和持久化。最后順便把公眾號也做了同樣的功能,支持實時租房信息搜索。
部分代碼
scrapy 支持自定義 pipeline,能很方便的實現(xiàn)數(shù)據(jù)錄入的時候?qū)崟r生成索引,見 code:
class IndexPipeline(object): def __init__(self, index): self.index = index @classmethod def from_crawler(cls, crawler): return cls( index=crawler.settings.get('WHOOSH_INDEX', 'indexes') ) def process_item(self, item, spider): self.writer = AsyncWriter(get_index(self.index, zufang_schema)) create_time = datetime.datetime.strptime(item['create_time'], "%Y-%m-%d %H:%M:%S") self.writer.update_document( url=item['url'].decode('utf-8'), title=item['title'], description=item['description'], create_time=create_time ) self.writer.commit() return item
另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn,海內(nèi)外云服務(wù)器15元起步,三天無理由+7*72小時售后在線,公司持有idc許可證,提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機、免備案服務(wù)器”等云主機租用服務(wù)以及企業(yè)上云的綜合解決方案,具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價比高”等特點與優(yōu)勢,專為企業(yè)上云打造定制,能夠滿足用戶豐富、多元化的應(yīng)用場景需求。
新聞標(biāo)題:利用Python實現(xiàn)微信找房機器人實例教程-創(chuàng)新互聯(lián)
URL地址:http://jinyejixie.com/article22/deoicc.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供外貿(mào)建站、App開發(fā)、品牌網(wǎng)站建設(shè)、移動網(wǎng)站建設(shè)、網(wǎng)站營銷、網(wǎng)站排名
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時需注明來源: 創(chuàng)新互聯(lián)
猜你還喜歡下面的內(nèi)容