內(nèi)存不足是項(xiàng)目開發(fā)過程中經(jīng)常碰到的問題，我和我的團(tuán)隊(duì)在之前的一個項(xiàng)目中也遇到了這個問題，我們的項(xiàng)目需要存儲和處理一個相當(dāng)大的動態(tài)列表，測試人員經(jīng)常向我抱怨內(nèi)存不足。但是最終，我們通過添加一行簡單的代碼解決了這個問題。

創(chuàng)新互聯(lián)是一家集網(wǎng)站建設(shè),臨澧企業(yè)網(wǎng)站建設(shè),臨澧品牌網(wǎng)站建設(shè),網(wǎng)站定制,臨澧網(wǎng)站建設(shè)報(bào)價(jià),網(wǎng)絡(luò)營銷,網(wǎng)絡(luò)優(yōu)化,臨澧網(wǎng)站推廣為一體的創(chuàng)新建站企業(yè)，幫助傳統(tǒng)企業(yè)提升企業(yè)形象加強(qiáng)企業(yè)競爭力。可充分滿足這一群體相比中小企業(yè)更為豐富、高端、多元的互聯(lián)網(wǎng)需求。同時(shí)我們時(shí)刻保持專業(yè)、時(shí)尚、前沿，時(shí)刻以成就客戶成長自我，堅(jiān)持不斷學(xué)習(xí)、思考、沉淀、凈化自己，讓我們?yōu)楦嗟钠髽I(yè)打造出實(shí)用型網(wǎng)站。

結(jié)果如圖所示：

我將在下面解釋它的工作原理。
舉一個簡單的“l(fā)earning”示例 - 創(chuàng)建一個DataItem類，在其中定義一些個人信息屬性，例如姓名，年齡和地址。
小測試——這樣一個對象會占用多少內(nèi)存?
首先讓我們嘗試下面這種測試方案：
d1 = DataItem("Alex", 42, "-")
print ("sys.getsizeof(d1):", sys.getsizeof(d1))
答案是56字節(jié)?？雌饋肀容^小，結(jié)果令人滿意。
但是，讓我們檢查另一個數(shù)據(jù)多一些的對象：
d2 = DataItem("Boris", 24, "In the middle of nowhere")
print ("sys.getsizeof(d2):", sys.getsizeof(d2))
答案仍然是56。這讓我們明白這個結(jié)果并不完全正確。
我們的直覺是對的，這個問題不是那么簡單。Python是一種非常靈活的語言，具有動態(tài)類型，它在工作時(shí)存儲了許多額外的數(shù)據(jù)。這些額外的數(shù)據(jù)本身就占了很多內(nèi)存。
例如，sys.getsizeof(“ ”)返回33，沒錯，每個空行就多達(dá)33字節(jié)!并且sys.getsizeof(1)將為此數(shù)字返回24-24個字節(jié)(我建議C程序員們現(xiàn)在點(diǎn)擊結(jié)束閱讀，以免對Python的美麗失去信心)。
對于更復(fù)雜的元素，例如字典，sys.getsizeof(dict())返回272個字節(jié)，這還只是一個空字典。舉例到此為止，但事實(shí)已經(jīng)很清楚了，何況RAM的制造商也需要出售他們的芯片。
現(xiàn)在，讓我們回到回到我們的DataItem類和“小測試”問題。
這個類到底占多少內(nèi)存?
首先，我們將以較低級別輸出該類的全部內(nèi)容：
def dump(obj):
for attr in dir(obj):
print(" obj.%s = %r" % (attr, getattr(obj, attr)))
這個函數(shù)將顯示隱藏在“隱身衣”下的內(nèi)容，以便所有Python函數(shù)(類型，繼承和其他包)都可以運(yùn)行。
結(jié)果令人印象深刻：

當(dāng)前位置：技術(shù)分享 > 技術(shù)參考 > 正文
沒有什么內(nèi)存問題，是一行Python代碼解決不了的
2018-12-18 10:24:56 | 編輯：hely | 查看：96 | 評論：0
內(nèi)存不足是項(xiàng)目開發(fā)過程中經(jīng)常碰到的問題，我和我的團(tuán)隊(duì)在之前的一個項(xiàng)目中也遇到了這個問題，我們的項(xiàng)目需要存儲和處理一個相當(dāng)大的動態(tài)列表，測試人員經(jīng)常向我抱怨內(nèi)存不足。但是最終，我們通過添加一行簡單的代碼解決了這個問題。
內(nèi)存不足是項(xiàng)目開發(fā)過程中經(jīng)常碰到的問題，我和我的團(tuán)隊(duì)在之前的一個項(xiàng)目中也遇到了這個問題，我們的項(xiàng)目需要存儲和處理一個相當(dāng)大的動態(tài)列表，測試人員經(jīng)常向我抱怨內(nèi)存不足。但是最終，我們通過添加一行簡單的代碼解決了這個問題。
結(jié)果如圖所示：

我將在下面解釋它的工作原理。
舉一個簡單的“l(fā)earning”示例 - 創(chuàng)建一個DataItem類，在其中定義一些個人信息屬性，例如姓名，年齡和地址。

小測試——這樣一個對象會占用多少內(nèi)存?
首先讓我們嘗試下面這種測試方案：
d1 = DataItem("Alex", 42, "-")
print ("sys.getsizeof(d1):", sys.getsizeof(d1))
答案是56字節(jié)?？雌饋肀容^小，結(jié)果令人滿意。
但是，讓我們檢查另一個數(shù)據(jù)多一些的對象：
d2 = DataItem("Boris", 24, "In the middle of nowhere")
print ("sys.getsizeof(d2):", sys.getsizeof(d2))
答案仍然是56。這讓我們明白這個結(jié)果并不完全正確。
我們的直覺是對的，這個問題不是那么簡單。Python是一種非常靈活的語言，具有動態(tài)類型，它在工作時(shí)存儲了許多額外的數(shù)據(jù)。這些額外的數(shù)據(jù)本身就占了很多內(nèi)存。
例如，sys.getsizeof(“ ”)返回33，沒錯，每個空行就多達(dá)33字節(jié)!并且sys.getsizeof(1)將為此數(shù)字返回24-24個字節(jié)(我建議C程序員們現(xiàn)在點(diǎn)擊結(jié)束閱讀，以免對Python的美麗失去信心)。
對于更復(fù)雜的元素，例如字典，sys.getsizeof(dict())返回272個字節(jié)，這還只是一個空字典。舉例到此為止，但事實(shí)已經(jīng)很清楚了，何況RAM的制造商也需要出售他們的芯片。
現(xiàn)在，讓我們回到回到我們的DataItem類和“小測試”問題。
這個類到底占多少內(nèi)存?
首先，我們將以較低級別輸出該類的全部內(nèi)容：
def dump(obj):
for attr in dir(obj):
print(" obj.%s = %r" % (attr, getattr(obj, attr)))
這個函數(shù)將顯示隱藏在“隱身衣”下的內(nèi)容，以便所有Python函數(shù)(類型，繼承和其他包)都可以運(yùn)行。
結(jié)果令人印象深刻：
它總共占用多少內(nèi)存呢?
在GitHub上，有一個函數(shù)可以計(jì)算實(shí)際大小，通過遞歸調(diào)用所有對象的getsizeof實(shí)現(xiàn)。

讓我們試一下：

我們分別得到460和484字節(jié)，這似乎更接近事實(shí)。
使用這個函數(shù)，我們可以進(jìn)行一系列實(shí)驗(yàn)。例如，我想知道如果DataItem放在列表中，數(shù)據(jù)將占用多少空間。
get_size([d1])函數(shù)返回532個字節(jié)，顯然，這些是“原本的”460+一些額外開銷。但是get_size([d1，d2])返回863個字節(jié)—小于460+484。get_size([d1，d2，d1])的結(jié)果更加有趣，它產(chǎn)生了871個字節(jié)，只是稍微多了一點(diǎn)，這說明Python很聰明，不會再為同一個對象分配內(nèi)存。
現(xiàn)在我們來看問題的第二部分。
是否有可能減少內(nèi)存消耗?
答案是肯定的。Python是一個解釋器，我們可以隨時(shí)擴(kuò)展我們的類，例如，添加一個新字段：

這是一個很棒的特點(diǎn)，但是如果我們不需要這個功能，我們可以強(qiáng)制解釋器使用slots指令來指定類屬性列表：

更多信息可以參考文檔中的“dict和weakref的部分。使用dict所節(jié)省的空間可能會很大”。
我們嘗試后發(fā)現(xiàn)：get_size(d1)返回的是64字節(jié)，對比460直接，減少約7倍。作為獎勵，對象的創(chuàng)建速度提高了約20%(請參閱文章的第一個屏幕截圖)。
真正使用如此大的內(nèi)存增益不會導(dǎo)致其他開銷成本。只需添加元素即可創(chuàng)建100,000個數(shù)組，并查看內(nèi)存消耗：

在沒有slots的情況結(jié)果為16.8MB，而使用slots時(shí)為6.9MB。當(dāng)然不是7倍，但考慮到代碼變化很小，它的表現(xiàn)依然出色。

現(xiàn)在討論一下這種方式的缺點(diǎn)。激活slots會禁止創(chuàng)建其他所有元素，包括dict，這意味著，例如，下面這種將結(jié)構(gòu)轉(zhuǎn)換為json的代碼將不起作用：
def toJSON(self):
return json.dumps(self.dict)
但這也很容易搞定，可以通過編程方式生成你的dict，遍歷循環(huán)中的所有元素：

向類中動態(tài)添加新變量也是不可能的，但在我們的項(xiàng)目里，這不是必需的。

下面是最后一個小測試。來看看整個程序需要多少內(nèi)存。在程序末尾添加一個無限循環(huán)，使其持續(xù)運(yùn)行，并查看Windows任務(wù)管理器中的內(nèi)存消耗。
沒有slots時(shí)

69Mb變成27Mb......好吧，畢竟我們節(jié)省了內(nèi)存。對于只添加一行代碼的結(jié)果來說已經(jīng)很好了。
注意：tracemalloc調(diào)試庫使用了大量額外的內(nèi)存。顯然，它為每個創(chuàng)建的對象添加了額外的元素。如果你將其關(guān)閉，總內(nèi)存消耗將會少得多，截圖顯示了2個選項(xiàng)：

如何節(jié)省更多的內(nèi)存?
可以使用numpy庫，它允許你以C風(fēng)格創(chuàng)建結(jié)構(gòu)，但在這個的項(xiàng)目中，它需要更深入地改進(jìn)代碼，所以對我來說第一種方法就足夠了。
奇怪的是，slots的使用從未在Habré上詳細(xì)分析過，我希望這篇文章能夠填補(bǔ)這一空白。
結(jié)論
這篇文章看起來似乎是反Python的廣告，但它根本不是。Python是非?？煽康?為了“刪除”Python中的程序，你必須非常努力)，這是一種易于閱讀和方便編寫的語言。在許多情況下，這些優(yōu)點(diǎn)遠(yuǎn)勝過缺點(diǎn)，但如果你需要性能和效率的大化，你可以使用numpy庫像C++一樣編寫代碼，它可以非常快速有效地處理數(shù)據(jù)。

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場景需求。

分享名稱：沒有什么內(nèi)存問題，是一行Python代碼解決不了的-創(chuàng)新互聯(lián)
鏈接分享：http://jinyejixie.com/article30/dcjcso.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供App設(shè)計(jì)、外貿(mào)建站、網(wǎng)站排名、全網(wǎng)營銷推廣、網(wǎng)站維護(hù)、定制網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)