這篇文章主要為大家展示了“python pickle存儲(chǔ)、讀取大數(shù)據(jù)量列表、字典數(shù)據(jù)的示例分析”，內(nèi)容簡(jiǎn)而易懂，條理清晰，希望能夠幫助大家解決疑惑，下面讓小編帶領(lǐng)大家一起研究并學(xué)習(xí)一下“python pickle存儲(chǔ)、讀取大數(shù)據(jù)量列表、字典數(shù)據(jù)的示例分析”這篇文章吧。

創(chuàng)新互聯(lián)于2013年成立，先為高青等服務(wù)建站，高青等地企業(yè)，進(jìn)行企業(yè)商務(wù)咨詢服務(wù)。為高青企業(yè)網(wǎng)站制作PC+手機(jī)+微官網(wǎng)三網(wǎng)同步一站式服務(wù)解決您的所有建站問(wèn)題。

針對(duì)于數(shù)據(jù)量比較大的列表、字典，可以采用將其加工為數(shù)據(jù)包來(lái)調(diào)用，減小文件大小

#列表
  #存儲(chǔ)
  list1 = [123,'xiaopingguo',54,[90,78]]
  list_file = open('list1.pickle','wb')
  pickle.dump(list1,list_file)
  list_file.close()
 
  #讀取
  list_file = open('list1.pickle','rb')
  list2 = pickle.load(list_file)
  print(list2)
 
#字典
  #存儲(chǔ)
  list3 = {'12': 123, '23': 'xiaopingguo', '34': 54, '45': [90, 78]}
  list3_file = open('list3.pickle', 'wb')
  pickle.dump(list3, list3_file)
  list3_file.close()
  # # 讀取
  list3_file = open('list3.pickle', 'rb')
  list3 = pickle.load(list3_file)
  print(list3)

  print(list3['23']

ps：下面看下python 利用pickle存大數(shù)據(jù)

最近在處理一份數(shù)據(jù)，有一個(gè)巨大的、字典型的中間變量，由于今后會(huì)持久、高頻地使用，因此我考慮將其保存成類(lèi)似于matlab的.mat格式的數(shù)據(jù)，方便以后隨時(shí)讀取。

理所當(dāng)然地會(huì)想到利用pickle來(lái)保存數(shù)據(jù)，因?yàn)檫@是在python環(huán)境下最常用也最簡(jiǎn)單的存儲(chǔ)數(shù)據(jù)的方式。
python存儲(chǔ)數(shù)據(jù)的方法有很多，最常用的做法就是利用pickle模塊，當(dāng)然還有其他做法，比如存成json、txt等格式。至于

pandas、h6等方式的另說(shuō)哈~

pickle模塊介紹

pickle模塊實(shí)現(xiàn)了用于序列化和反序列化python對(duì)象結(jié)構(gòu)的二進(jìn)制協(xié)議。 序列化操作"pickling"是將python對(duì)象層次結(jié)構(gòu)轉(zhuǎn)換為字節(jié)流的過(guò)程，反序列化操作 "unpickling"則是將字節(jié)流轉(zhuǎn)換回對(duì)象層次結(jié)構(gòu)。

不得不提到的是，pickle是python所獨(dú)有的，因此非python程序可能無(wú)法重構(gòu)pickle對(duì)象。在工作中，我就遇到一個(gè)問(wèn)題，就是我用sklearn訓(xùn)練得到的機(jī)器學(xué)習(xí)模型，用pickle保存下來(lái)后，工程方面的同事是沒(méi)法用java調(diào)用這個(gè)模型的，一個(gè)臨時(shí)的方法是有位同事讀pickle源碼，自己用java一步步反序列化回來(lái)，佩服佩服。

pickle使用技巧

對(duì)于最簡(jiǎn)單的代碼，使用 dump() 和 load() 函數(shù)便足夠了。

import pickle
a = 1
# 保存
with open('data.pickle', 'wb') as f:
  pickle.dump(data, f)
# 讀取
with open('data.pickle', 'rb') as f:
  b = pickle.load(f)

但如果你讀過(guò)pickle的說(shuō)明文檔的話，會(huì)發(fā)現(xiàn)有個(gè)參數(shù)叫做protocol。參數(shù)protocol代表了序列化模式(pickle協(xié)議)，在python2.X版本默認(rèn)值為0，在python3.X本默認(rèn)值為3。簡(jiǎn)而言之，不同的python版本對(duì)應(yīng)著不同的最高協(xié)議，同時(shí)protocol值越大，代表了所用的協(xié)議版本越高。如圖所示，

那么修改protocol會(huì)有什么影響呢？protocol值越大，dump的速度越快，并且支持的數(shù)據(jù)類(lèi)型更多，保存下來(lái)的文件占用空間更小，同時(shí)也帶來(lái)一些其他優(yōu)化，例如在python3.4中，協(xié)議版本4新支持對(duì)非常大的數(shù)據(jù)進(jìn)行序列化。因此可以的話，請(qǐng)選擇最高協(xié)議版本作為protocol參數(shù)的值，即設(shè)protocol=pickle.HIGHEST_PROTOCOL即可。

那么，上面的那段代碼可以改成：

import pickle
a = 1
# 保存
with open('data.pickle', 'wb') as f:
  pickle.dump(data, f, protocol=pickle.HIGHEST_PROTOCOL)
# 讀取
with open('data.pickle', 'rb') as f:
  b = pickle.load(f)

可能，對(duì)于小數(shù)據(jù)，影響不會(huì)很大。

但當(dāng)你需要對(duì)大數(shù)據(jù)進(jìn)行序列化的時(shí)候，請(qǐng)記得pickle的這個(gè)技巧。

以上是“python pickle存儲(chǔ)、讀取大數(shù)據(jù)量列表、字典數(shù)據(jù)的示例分析”這篇文章的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對(duì)大家有所幫助，如果還想學(xué)習(xí)更多知識(shí)，歡迎關(guān)注創(chuàng)新互聯(lián)成都網(wǎng)站設(shè)計(jì)公司行業(yè)資訊頻道！

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無(wú)理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專(zhuān)為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。

當(dāng)前文章：pythonpickle存儲(chǔ)、讀取大數(shù)據(jù)量列表、字典數(shù)據(jù)的示例分析-創(chuàng)新互聯(lián)
URL鏈接：http://jinyejixie.com/article2/hgpoc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供定制網(wǎng)站、網(wǎng)站策劃、Google、手機(jī)網(wǎng)站建設(shè)、商城網(wǎng)站、關(guān)鍵詞優(yōu)化

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)