今天就跟大家聊聊有關(guān)  ossutil上傳性能調(diào)優(yōu) 的示例分析，可能很多人都不太了解，為了讓大家更加了解，小編給大家總結(jié)了以下內(nèi)容，希望大家根據(jù)這篇文章可以有所收獲。

在新化等地區(qū)，都構(gòu)建了全面的區(qū)域性戰(zhàn)略布局，加強(qiáng)發(fā)展的系統(tǒng)性、市場前瞻性、產(chǎn)品創(chuàng)新能力，以專注、極致的服務(wù)理念，為客戶提供做網(wǎng)站、網(wǎng)站設(shè)計 網(wǎng)站設(shè)計制作按需求定制開發(fā),公司網(wǎng)站建設(shè),企業(yè)網(wǎng)站建設(shè),高端網(wǎng)站設(shè)計,全網(wǎng)整合營銷推廣,外貿(mào)網(wǎng)站制作,新化網(wǎng)站建設(shè)費用合理。

摘要： 經(jīng)常碰到內(nèi)部同學(xué)或者外部客戶問ossutil關(guān)于并發(fā)上傳性能的問題。本文簡單描述下ossutil并發(fā)上傳原理并舉例說明。 用戶可從這里獲取ossutil。  參數(shù) --recursive 上傳文件到oss時，如果file_url為目錄，則必須指定--recursive選項，否則無需指定--recursive選項。

經(jīng)常碰到內(nèi)部同學(xué)或者外部客戶問ossutil關(guān)于并發(fā)上傳性能的問題。本文簡單描述下ossutil并發(fā)上傳原理并舉例說明。

用戶可從這里獲取ossutil。

參數(shù)

--recursive

• 上傳文件到oss時，如果file_url為目錄，則必須指定--recursive選項，否則無需指定--recursive選項。

• 從oss下載或在oss間拷貝文件時

• 如果未指定--recursive選項，則認(rèn)為拷貝單個object，此時請確保src_url精確指定待拷貝的object，如果object不存在，則報錯。

• 如果指定了--recursive選項，ossutil會對src_url進(jìn)行prefix匹配查找，對這些objects批量拷貝，如果拷貝失敗，已經(jīng)執(zhí)行的拷貝不會回退。

在進(jìn)行批量文件上傳（或下載、拷貝）時，如果其中某個文件操作失敗，ossutil不會退出，而是繼續(xù)進(jìn)行其他文件的上傳（或下載、拷貝）動作，并將出錯文件的錯誤信息記錄到report文件中。成功上傳（或下載、拷貝）的文件信息將不會被記錄到report文件中。

批量操作出錯時終止運行的情況

• 如果未進(jìn)入批量文件迭代過程，錯誤已經(jīng)發(fā)生，則不會產(chǎn)生report文件，ossutil會終止運行。如，用戶輸入cp命令出錯時，不會產(chǎn)生report文件，而是屏幕輸出錯誤并退出。

• 如果批量操作過程某文件發(fā)生的錯誤為：Bucket不存在、accessKeyID/accessKeySecret錯誤造成的權(quán)限驗證非法等錯誤，ossutil會屏幕輸出錯誤并退出。

report文件名為：ossutil_report_日期_時間.report。report文件是ossutil輸出文件的一種，被放置在ossutil的輸出目錄下，該目錄的路徑可以用配置文件中的outputDir選項或命令行--output-dir選項指定，如果未指定，會使用默認(rèn)的輸出目錄：當(dāng)前目錄下的ossutil_output目錄。

ossutil不做report文件的維護(hù)工作，請自行查看及清理用戶的report文件，避免產(chǎn)生過多的report文件。

并發(fā)控制參數(shù)

• --jobs選項控制多個文件上傳/下載/拷貝時，文件間啟動的并發(fā)數(shù)

• --parallel控制上傳/下載/拷貝大文件時，分片間的并發(fā)數(shù)。

默認(rèn)情況下，ossutil會根據(jù)文件大小來計算parallel個數(shù)（該選項對于小文件不起作用，進(jìn)行分片上傳/下載/拷貝的大文件文件閾值可由--bigfile-threshold選項來控制），當(dāng)進(jìn)行批量大文件的上傳/下載/拷貝時，實際的并發(fā)數(shù)為jobs個數(shù)乘以parallel個數(shù)。該兩個選項可由用戶調(diào)整，當(dāng)ossutil自行設(shè)置的默認(rèn)并發(fā)達(dá)不到用戶的性能需求時，用戶可以自行調(diào)整該兩個選項來升降性能。

--part-size選項

該選項設(shè)置大文件分片上傳/下載/拷貝時，每個分片的大小。

默認(rèn)情況下，不需要設(shè)置該值，ossutil會根據(jù)文件大小自行決定分片大小和分片并發(fā)，當(dāng)用戶上傳/下載/拷貝性能達(dá)不到需求時，或有其他特殊需求時，可以設(shè)置這些選項。

如果設(shè)置了該選項（分片大小），分片個數(shù)為：向上取整（文件大小/分片大?。?，注意如果--parallel選項值大于分片個數(shù)，則多余的parallel不起作用，實際的并發(fā)數(shù)為分片個數(shù)。

如果將part size值設(shè)置得過小，可能會影響ossutil文件上傳/下載/拷貝的性能，設(shè)置得過大，會影響實際起作用的分片并發(fā)數(shù)，所以請合理設(shè)置part size選項值。

性能調(diào)優(yōu)

如果并發(fā)數(shù)調(diào)得太大，由于線程間資源切換及搶奪等，ossutil上傳/下載/拷貝性能可能會下降，所以請根據(jù)實際的機(jī)器情況調(diào)整這兩個選項的數(shù)值，如果要進(jìn)行壓測，可以一開始將兩個數(shù)值調(diào)低，慢慢調(diào)大尋找最優(yōu)值。

如果--jobs選項和--parallel選項值太大，在機(jī)器資源有限的情況下，可能會因為網(wǎng)絡(luò)傳輸太慢，產(chǎn)生EOF錯誤，這個時候請適當(dāng)降低--jobs選項和--parallel選項值。

如果文件數(shù)太多大小有不太平均，直接同時使用--jobs=3 --parallel=4進(jìn)行設(shè)定（文件間并發(fā)為3，單文件內(nèi)的并發(fā)為4），同時觀察MEM， CPU，網(wǎng)絡(luò)情況，若并未打滿網(wǎng)絡(luò)、占滿CPU，則可以繼續(xù)上調(diào)--jobs和--parallel。

真實案例

cdn.com/d05c9a5264819e0ef373602d64f5392f1d0e462d.png">

根據(jù)當(dāng)時客戶場景，下載速度大概在265M/s。

案例解析

在默認(rèn)情況下，因為是多文件下載，所以會同時下載5個文件（version<=1.4.0，文件間的并發(fā)數(shù)為5）。

因為平均每個文件大小在1.1G，默認(rèn)會為每個下載的文件開12個線程（單個文件內(nèi)的并發(fā)數(shù)為12，在沒有設(shè)置parallel參數(shù)和partsize參數(shù)時會根據(jù)文件大小計算出）。

那么在客戶的環(huán)境里ossutil在運行期間至少有5*12= 60 個線程在跑。這么多并發(fā)應(yīng)該會直接打滿網(wǎng)卡，CPU應(yīng)該也很擁擠。建議在并發(fā)下載時觀察環(huán)境CPU，網(wǎng)絡(luò)，進(jìn)程/線程情況。

根據(jù)客戶的截圖，建議對每個文件分片100M~200M進(jìn)行并發(fā)，比如設(shè)為100M每個分片，這樣每個文件下載的并發(fā)數(shù)就是filesize/partsize。
ossutil cp oss://xxx xxx -r --part-size=102400000

如果文件數(shù)太多大小有不太平均，直接同時使用--jobs=3 --parallel=4進(jìn)行設(shè)定（文件間并發(fā)為3，單文件內(nèi)的并發(fā)為4）

總的建議就是：jobs * parallel 與CPU核數(shù)為1：1，2：1，但不要太大。

進(jìn)一步解釋

不是oss需要多少資源，是每個并發(fā)（讀取文件，分片，上傳等操作）所需的CPU，mem，網(wǎng)絡(luò)等。

• --jobs是多文件間的并發(fā)度，默認(rèn)是5（version <= 1.4.0，之后是3）

• --parallel是大文件內(nèi)部分片并發(fā)度，在沒有設(shè)置parallel參數(shù)和partsize參數(shù)時會根據(jù)文件大小計算出，最大不會超過15（version <= 1.4.0，之后是12）

• 如果文件數(shù)太多大小又不太平均，可以同時使用--jobs=3 --parallel=4進(jìn)行設(shè)定（文件間并發(fā)為3，單文件內(nèi)的并發(fā)為4，具體數(shù)字根據(jù)機(jī)器情況調(diào)整）

• cp默認(rèn)并發(fā)執(zhí)行，cp大文件用分片并發(fā)下載，小文件用put；默認(rèn)開啟CRC校驗。

• 在oss間拷貝文件，目前只支持拷貝object，不支持拷貝未complete的Multipart。

• 總的建議

• jobs * parallel 與CPU核數(shù)為1：1，2：1，但不要太大

• 并發(fā)數(shù)太多會直接打滿網(wǎng)卡，CPU也會擁擠。建議在并發(fā)時觀察環(huán)境CPU，網(wǎng)絡(luò)，進(jìn)程/線程情況

看完上述內(nèi)容，你們對  ossutil上傳性能調(diào)優(yōu) 的示例分析有進(jìn)一步的了解嗎？如果還想了解更多知識或者相關(guān)內(nèi)容，請關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道，感謝大家的支持。

新聞名稱：ossutil上傳性能調(diào)優(yōu)的示例分析
URL地址：http://jinyejixie.com/article36/ijgipg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供靜態(tài)網(wǎng)站、小程序開發(fā)、網(wǎng)站設(shè)計、標(biāo)簽優(yōu)化、搜索引擎優(yōu)化、手機(jī)網(wǎng)站建設(shè)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)