我做了一個(gè)垃圾信息過濾的 HTTP 接口?，F(xiàn)在有一千萬條消息需要經(jīng)過這個(gè)接口進(jìn)行垃圾檢測(cè)。

一開始我的代碼是這樣的：

import requests
messages = ['第一條', '第二條', '第三條']
for message in messages:
   resp = requests.post(url, json={'msg': message}).json()
   if resp['trash']:
       print('是垃圾消息')

我們寫一段代碼來看看運(yùn)行速度：

 

訪問一百次百度，竟然需要 20 秒。那我有一千萬條信息，這個(gè)時(shí)間太長(zhǎng)了。

有沒有什么加速的辦法呢？除了我們之前文章講到的 多線程、aiohttp 或者干脆用 Scrapy 外，還可以讓 requests 保持連接從而減少頻繁進(jìn)行 TCP 三次握手的時(shí)間消耗。

那么要如何讓 requests 保持連接呢？實(shí)際上非常簡(jiǎn)單，使用Session對(duì)象即可。

修改后的代碼：

import requests
import time

start = time.time()
session = requests.Session()
for _ in range(100):
   resp = session.get('https://baidu.com').content.decode()
end = time.time()
print(f'訪問一百次網(wǎng)頁，耗時(shí)：{end - start}')

運(yùn)行效果如下圖所示：

 

性能得到了顯著提升。訪問 100 頁只需要 5 秒鐘。

在官方文檔^[1]中，requests 也說到了 Session對(duì)象能夠保持連接：

?  

The Session object allows you to persist certain parameters across requests. It also persists cookies across all requests made from the Session instance, and will use urllib3’s connection pooling. So if you’re making several requests to the same host, the underlying TCP connection will be reused, which can result in a significant performance increase (see HTTP persistent connection).

”  

?  

Excellent news — thanks to urllib3, keep-alive is 100% automatic within a session! Any requests that you make within a session will automatically reuse the appropriate connection!

”