六月份去上海參加了DockOne組織的容器大會，報了一個小項目，不小心得了一等獎，這里拿出來跟大家共享一下其中核心的P2P傳輸網(wǎng)絡的搭建，也是公司已經(jīng)投入使用的大文件傳輸方式。

讓客戶滿意是我們工作的目標，不斷超越客戶的期望值來自于我們對這個行業(yè)的熱愛。我們立志把好的技術(shù)通過有效、簡單的方式提供給客戶，將通過不懈努力成為客戶在信息化領域值得信任、有價值的長期合作伙伴，公司提供的服務項目有：域名注冊、網(wǎng)頁空間、營銷軟件、網(wǎng)站建設、田林網(wǎng)站維護、網(wǎng)站推廣。

項目設計：

初衷：

1、作為一個提供全球云計算業(yè)務的運營商來說，不管是本身海外節(jié)點業(yè)務的拓展、平臺擴充還是客戶定制模板業(yè)務的需求，都會涉及大文件的傳輸。一些普通的ISO系統(tǒng)鏡像文件，一些客戶定制的系統(tǒng)模板，少則十幾G，多則幾十G。如此龐大的文件在全球多個節(jié)點之間傳輸，如何保證其穩(wěn)定、快速的實現(xiàn)，最重要的是文件的完整性的要求，是我們客觀面對的問題。

2、傳統(tǒng)的 FTP， rsync之類的文件傳輸無法滿足大文件的傳輸要求。我們經(jīng)常遇到，辛苦一天傳輸?shù)哪０宓揭粋€數(shù)據(jù)中心節(jié)點，結(jié)果告知文件已經(jīng)損壞，無法部署?？煽啃詿o法保證。

3、客戶迫切需要實現(xiàn)全球各個節(jié)點之間的大文件快速，可靠的分發(fā)，同步

實現(xiàn)思路：

1、穩(wěn)定快速：大文件的分發(fā)的穩(wěn)定性受限于傳輸網(wǎng)絡，受限于傳輸協(xié)議。我們的分發(fā)網(wǎng)絡建立在公司專用GPN之上，傳輸網(wǎng)絡的穩(wěn)定性得到保證，傳輸協(xié)議采用的 P2P傳輸，很明顯優(yōu)于 FTP等相關協(xié)議。

這里其實大家通過公網(wǎng)和私有網(wǎng)絡也可以實現(xiàn)。

2、開發(fā)： P2P(BT)相關的的軟件，工具社區(qū)已經(jīng)有很多成型的產(chǎn)品，因此我們沒有必要自己研發(fā)。只需要選擇適合的開源工具，進行二次開發(fā)即可。云計算時代，開發(fā)效率是最關鍵的。

3、部署交付：分發(fā)網(wǎng)絡Docker容器化部署，鏡像交付?；贒ocker的輕量，跨平臺特性，標準統(tǒng)一的打包方案，生成可交付的鏡像產(chǎn)品。具有良好的 REST API，很適合自動化測試和繼續(xù)集成，分發(fā)網(wǎng)絡的動態(tài)擴展。

項目實現(xiàn)：

1、網(wǎng)絡：文件分發(fā)網(wǎng)絡構(gòu)建在我們公司專有GPN 全球互聯(lián)網(wǎng)絡之上（博客里不打廣告，實際在公網(wǎng)和自有內(nèi)網(wǎng)里也可以實現(xiàn)，但注意限速！）。

2、tracker: 采用集中式的 P2P 傳輸模式，tracker使用peertracker。peertracker是一個簡單，高效，快速的 BT Tracker。負責記錄每個peer的信息;可以搭建多個tracker做冗余，防止一個tracker宕機導致集群不可用。

3、peer: 使用的是 transmission, 是一個跨平臺的自由軟件，自帶 web 界面，支持 API 調(diào)用，可編程性好。

4、agent: 基于flask + dockerapi開發(fā)，封裝了一整套dockerapi相關操作，提供認證機制, 接收中心控制節(jié)點的調(diào)度，創(chuàng)建 peer docker容器，執(zhí)行相關任務。部署層級與transmission peer端一致。

5、控制節(jié)點：基于django + celery開發(fā)?？蓪崿F(xiàn)監(jiān)控整個分發(fā)網(wǎng)絡運行情況，分發(fā)任務執(zhí)行情況，動態(tài)擴展分發(fā)節(jié)點，下發(fā)任務等操作。

整個原理圖和流程圖如下：

這里主要分享一個playbook，用于P2P網(wǎng)絡的搭建，docker和實現(xiàn)代碼部分等整理之后在共享出去。

github的地址：

https://github.com/xujpxm/ansible-peertracker

由于寫的比較倉促，有帶后期改善，經(jīng)測試此腳本在ubuntu14上能夠正常運行。

README：

這是一個用ansible寫的自動化搭建P2P傳輸網(wǎng)絡的腳本。Tracker采用谷歌2010年開源出來的peertracker，p2p種子的生成和傳輸采用transmission。

安裝

安裝peertracker:

ansible-playbook install_peertracker.yml

默認創(chuàng)建的數(shù)據(jù)庫:peertracker,用戶名:peertracker,密碼:yais6Yab

腳本執(zhí)行完成后,通過網(wǎng)頁創(chuàng)建數(shù)據(jù)庫,詳見下面peertracker的安裝.

安裝transmission:

ansible-playbook install_transmission.yml

默認rpc_username和password: transmission/transmission

可自行修改/etc/transmission-daemon/settings.json文件自定義.

創(chuàng)建下載目錄

ansible-playbook mk_download_dir.yml

默認下載路徑是:/data/transmission-daemon/downloads可自行更改

Peertracker

P eerTracker是一個簡單、高效、迅速的BitTorent Tracker。
安裝要求：
1. HTTP Web Server.Apache，nginx,lighttpd等只要支持php均可。
2. PHP5+ 推薦php5.3以上版本
3. Database.支持MySQL、SQLite3、PostgreSQL8.0和txtSQL 腳本里采用的web server是apache2,數(shù)據(jù)庫使用mysql。

Important Links:

---

Development Website: http://code.google.com/p/peertracker/
Issue Tracker: http://code.google.com/p/peertracker/issues/list
Source Code Repository: http://peertracker.googlecode.com/svn/trunk/
github respository:https://github.com/JonnyJD/peertracker

peertracker的安裝

腳本a安裝環(huán)境：ubuntu
1. 確認代碼拷貝到網(wǎng)站根目錄之后，瀏覽器訪問: <http://serverip/peertracker/help.php
2. 編輯配置文件tracker.mysql.php，這里已提前編輯好，主要更改了數(shù)據(jù)庫的db_user、db_pass和db_name，默認數(shù)據(jù)庫明和user是peertracker，密碼：yais6Yab，也可自行修改templates里的文件。

1. 通過help頁面提供的Utilities，安裝Tracker Database。安裝成功后可看到，數(shù)據(jù)庫結(jié)構(gòu)很簡單，只有兩個表：pt_peers和pt_tasks,分別記錄peer和任務的信息。

2. 數(shù)據(jù)庫創(chuàng)建成功之后實際已可以使用，tracker的url即為：http://serverip/peertracker/mysql/announce.php 如果是外網(wǎng)使用，可以把對應的announce和scrape.php文件移置網(wǎng)站的頂級目錄，那么生成的tracker url即為:http://serverip/announce.php

3. help.php的頁面示例：

也可以查看peer的狀態(tài)：

http://serverip/peertracker/mysql/scrape.php?stats

Transmission

Transmission是一個強大的BitTorrent開源客戶端，實現(xiàn)了BT協(xié)議中描述的大多數(shù)功能。目前，在它的官方網(wǎng)站上提供了多個版本可以下載，包括：Mac、GTK+、QT版本，還有Daemon版本。
Transmission支持DHT、Magnet Link、uTP以及PEX等特性。尤其是支持Magnet Link磁力鏈接下載十分重要，因為目前網(wǎng)上很多資源都是采用這種方式來分享的，而不是傳統(tǒng)的.torrent文件，例如TPB、BTDigg。

transmission的安裝/配置

安裝
安裝很簡單，直接apt-get安裝即可，運行transmission的role,腳本會自動安裝。
安裝過程中會順帶把transmission-cli也安裝上，安裝完畢后系統(tǒng)會多出如下一些命令行工具。

• transmission-cli： 獨立的命令行客戶端。

• transmission-create： 用來建立.torrent種子文件的命令行工具。

• transmission-daemon： 后臺守護程序。

• transmission-edit： 用來修改.torrent種子文件的announce URL。

• transmission-remote： 控制daemon的程序。

• transmission-show：查看.torrent文件的信息。
  配置
  settings.json是主要的配置文件，設置daemon的各項參數(shù)，包括RPC的用戶名密碼配置。它實際上是一個符號鏈接，指向的原始文件是/etc/transmission-daemon/settings.json。
  腳本里提供了一個模板文件，主要修改了下載路徑、rpc認證和白名單、默認的rpc認證用戶名/密碼為：transmission/transmission
  RPC的幾個配置參數(shù)：

• rpc-authentication-required: rpc認證，建議開啟

• rpc-bind-address: String (default = “0.0.0.0”) Where to listen for RPC connections

• rpc-enabled: Boolean (default = true)

• rpc-password: String

• rpc-port: 默認端口9091Number (default = 9091)

• rpc-url: String (default = /transmission/. Added in v2.2)

• rpc-username: String

• rpc-whitelist: 設置白名單 String (Comma-delimited list of IP addresses. Wildcards allowed using ‘‘. Example: “127.0.0.,192.168..“, Default: “127.0.0.1” )

• rpc-whitelist-enabled: Boolean (default = true)

transmission使用web界面控制

瀏覽器中訪問：http://serverip:9091/transmission/web/
即可在瀏覽器中添加種子文件，進行p2p網(wǎng)絡傳輸。
種子文件的生成可以使用transmission自帶的transmission-remote命令，例如：
transmission-create -c "Standard Template " -t http://192.168.1.1/announce.php -o Template.torrent StandardTemplate

下圖是我自己測試的transmission實時速度，限速100M，起了五個peer基本打滿帶寬：

需要注意的是transmission的下載路徑是/data/transmission-daemon/downloads,注意文件目錄是否存在和權(quán)限,可以用mk_download_dir.yml腳本創(chuàng)建

transmission-create 創(chuàng)建的種子文件的權(quán)限是600,需要更改為644,使other可讀

另外有需要云服務器可以了解下創(chuàng)新互聯(lián)cdcxhl.cn，海內(nèi)外云服務器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務器、裸金屬服務器、高防服務器、香港服務器、美國服務器、虛擬主機、免備案服務器”等云主機租用服務以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務可用性高、性價比高”等特點與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應用場景需求。

網(wǎng)頁標題：P2P--大文件分發(fā)網(wǎng)絡的搭建-創(chuàng)新互聯(lián)
標題網(wǎng)址：http://jinyejixie.com/article48/ddeeep.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián)，為您提供手機網(wǎng)站建設、微信小程序、面包屑導航、用戶體驗、品牌網(wǎng)站設計、品牌網(wǎng)站制作

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)