本篇文章為大家展示了如何簡單的寫yarn app，內(nèi)容簡明扼要并且容易理解，絕對能使你眼前一亮，通過這篇文章的詳細介紹希望你能有所收獲。

創(chuàng)新互聯(lián)公司是專業(yè)的萊陽網(wǎng)站建設(shè)公司，萊陽接單;提供成都做網(wǎng)站、成都網(wǎng)站設(shè)計、成都外貿(mào)網(wǎng)站建設(shè),網(wǎng)頁設(shè)計,網(wǎng)站設(shè)計,建網(wǎng)站,PHP網(wǎng)站建設(shè)等專業(yè)做網(wǎng)站服務(wù);采用PHP框架,可快速的進行萊陽網(wǎng)站開發(fā)網(wǎng)頁制作和功能擴展;專業(yè)做搜索引擎喜愛的網(wǎng)站,專業(yè)的做網(wǎng)站團隊,希望更多企業(yè)前來合作!

盡管YARN自帶的編程API已經(jīng)得到了極大的簡化，但從頭開發(fā)一個YARN應(yīng)用程序仍是一件非常困難的事情。在YARN上編寫一個應(yīng)用程序，你需要開發(fā)Client和ApplicationMaster兩個模塊，并了解涉及到的幾個協(xié)議的若干API和參數(shù)列表，其中ApplicationMaster還要負責(zé)資源申請，任務(wù)調(diào)度、容錯等，總之，整個過程非常復(fù)雜。

Apache Twill(http://twill.apache.org/index.html)這個項目則是為簡化YARN上應(yīng)用程序開發(fā)而成立的項目，該項目把與YARN相關(guān)的重復(fù)性的工作封裝成庫，使得用戶可以專注于自己的應(yīng)用程序邏輯。

下面代碼示例是使用Apache Twill開發(fā)一個運行在YARN上的helloworld程序：

public class HelloWorld {
static Logger LOG = LoggerFactory.getLogger(HelloWorld.class);
static class HelloWorldRunnable extends AbstractTwillRunnable {
@Override
public void run() {
LOG.info("Hello World");
}
}

public static void main(String[] args) throws Exception {
YarnConfiguration conf = new YarnConfiguration();
TwillRunnerService runner = new YarnTwillRunnerService(conf, "localhost:2181");
runner.startAndWait();
TwillController controller = runner.prepare(new HelloWorldRunnable())?.start();
Services.getCompletionFuture(controller).get();
}

Twill所做的事情是開發(fā)了一個通用的Client和ApplicationMaster實現(xiàn)，并提供了一套編程API，使得用戶可直接實現(xiàn)這套API便可以編寫運行在YARN上的分布式程序。Twill應(yīng)用程序運行在YARN上的流程跟普通程序一樣，流程圖下：

為極大地方便用戶編寫運行在YARN上的分布式應(yīng)用程序，Twill做了大量通用模塊和特性，包括：

（1）實時日志收集

基于kafka實現(xiàn)了日志收集功能，可將應(yīng)用程序產(chǎn)生的日志實時收集起來，便于集中化分析和展示。

（2）資源匯報

可實時收集任務(wù)占用的各類資源，包括cpu利用率，物理內(nèi)存等。

（3）資源彈性擴展

可動態(tài)改變應(yīng)用程序占用的資源，比如將container數(shù)目在線由5個增長為10個。

（4）狀態(tài)恢復(fù)

當(dāng)客戶端失去與應(yīng)用程序鏈接后，可通過API重構(gòu)一個新的客戶端，重新獲取狀態(tài)。

（5）服務(wù)發(fā)現(xiàn)

應(yīng)用程序可向zookeeper注冊一些信息，便于其他服務(wù)或者客戶端發(fā)現(xiàn)該應(yīng)用程序的位置，以便與之通信。

隨著YARN越來越成熟，它必將成為一個基礎(chǔ)核心系統(tǒng)，屆時與Apache Twill類似的項目顯得尤為重要。

上述內(nèi)容就是如何簡單的寫yarn app，你們學(xué)到知識或技能了嗎？如果還想學(xué)到更多技能或者豐富自己的知識儲備，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道。

網(wǎng)頁題目：如何簡單的寫yarnapp
當(dāng)前網(wǎng)址：http://jinyejixie.com/article46/ghophg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供品牌網(wǎng)站建設(shè)、面包屑導(dǎo)航、網(wǎng)站建設(shè)、企業(yè)網(wǎng)站制作、App開發(fā)、用戶體驗

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)