最近用javaCV的ffmpeg包的FFmpegFrameGrabber幀捕捉器對(duì)捕捉到的音頻幀和視頻幀做了同步的播放。采用的同步方法是視頻向音頻同步。

10多年的潤(rùn)州網(wǎng)站建設(shè)經(jīng)驗(yàn)，針對(duì)設(shè)計(jì)、前端、開(kāi)發(fā)、售后、文案、推廣等六對(duì)一服務(wù)，響應(yīng)快，48小時(shí)及時(shí)工作處理。營(yíng)銷(xiāo)型網(wǎng)站的優(yōu)勢(shì)是能夠根據(jù)用戶設(shè)備顯示端的尺寸不同，自動(dòng)調(diào)整潤(rùn)州建站的顯示方式，使網(wǎng)站能夠適用不同顯示終端，在瀏覽器中調(diào)整網(wǎng)站的寬度，無(wú)論在任何一種瀏覽器上瀏覽網(wǎng)站，都能展現(xiàn)優(yōu)雅布局與設(shè)計(jì)，從而大程度地提升瀏覽體驗(yàn)。成都創(chuàng)新互聯(lián)公司從事“潤(rùn)州網(wǎng)站設(shè)計(jì)”,“潤(rùn)州網(wǎng)站推廣”以來(lái)，每個(gè)客戶項(xiàng)目都認(rèn)真落實(shí)執(zhí)行。

程序和源碼

具體的思路如下：

(1)首先介紹ffmpeg是如何捕捉視頻文件的圖像和聲音的

FFmpegFrameGrabber fg = new FFmpegFrameGrabber("a video file path or a url); 

得到幀捕捉器對(duì)象后，調(diào)用它的grab()方法就會(huì)返回捕捉到的Frame對(duì)象。這個(gè)Frame可以是視頻幀或者是音頻幀，這是因?yàn)橐粢曨l幀時(shí)按照時(shí)間戳在播放時(shí)間先上排列的。當(dāng)然捕捉到的幀都是已經(jīng)譯碼過(guò)的，并且存儲(chǔ)在java.nio.Buffer對(duì)象中，對(duì)于視頻幀，Buffer是儲(chǔ)存圖像的像素?cái)?shù)據(jù)比如RGB，然后通過(guò)

BufferedImage bi = (new Java2DFrameConverter()).getBufferedImage(f); 

就可以得到圖片，得到的圖片可以進(jìn)行一系列的處理或者不處理直接顯示在swing組件上。對(duì)應(yīng)音頻幀，Buffer是儲(chǔ)存音頻的PCM數(shù)據(jù)，這個(gè)PCM可以是float或者short的，然后用java.sounds.sample里面的sourceDataLine.write方法就可以將這些音頻PCM數(shù)據(jù)寫(xiě)入到揚(yáng)聲器中。

(2)接著介紹如何不斷得將得到的幀播放出來(lái)。首先是單獨(dú)播放視頻:

while(true) 
{ 
  Frame f = fg.grab();  
  if(f.image!=null) 
  label.setIcon(new ImageIcon((new Java2DFrameConverter()).getBufferedImage(f))); 
  Thread.sleep(1000/視頻幀率);  
} 

單獨(dú)播放音頻同理，將數(shù)據(jù)寫(xiě)入到聲卡即可。例子

(3)生產(chǎn)消費(fèi)者模式。

上圖是程序?qū)崿F(xiàn)的方法，采用生產(chǎn)者模式將捕獲到的幀進(jìn)行判斷，如果是視頻幀就生產(chǎn)到視頻FIFO中，如果是音頻幀就生產(chǎn)到音頻FIFO中，然后音頻播放線程和視頻播放線程分別從各自的幀倉(cāng)庫(kù)消費(fèi)里面的幀。之所以采用生產(chǎn)消費(fèi)者模式是因?yàn)閹东@的速度是大于幀的消耗的，所以我們優(yōu)先捕獲幀來(lái)緩沖，或者進(jìn)一步對(duì)捕獲的幀進(jìn)行預(yù)處理，而視頻和音頻播放線程只需要將處理過(guò)的幀直接播放顯示即可。

(4)實(shí)現(xiàn)音視頻同步的方法：播放兩幀音頻里面的所有視頻幀。

想要實(shí)現(xiàn)音視頻同步，必須要有幀的時(shí)間戳，這里捕獲到的幀只有播放的時(shí)間戳PTS，沒(méi)有譯碼時(shí)間戳DTS，所以我們只需要根據(jù)播放時(shí)間戳來(lái)決定播放即可。

程序的實(shí)現(xiàn)是根據(jù)上圖來(lái)的， 當(dāng)音頻線程開(kāi)始播放音頻幀A1時(shí)，就調(diào)用視頻線程的setRun方法，并且傳遞當(dāng)前要播放的音頻幀時(shí)間戳curTime和下一幀音頻幀A2的時(shí)間戳nextTime給處于wait態(tài)的視頻線程，然后視頻線程啟動(dòng)，開(kāi)始從視頻FIFO中取出視頻幀G1，然后計(jì)算G1和A1的時(shí)間差，作為播放的延時(shí)，Thread.sleep(t1)后，視頻線程就將圖片顯示在swing組件上，比如JLabel.setIcon(image)。然后視頻線程再取出一幀圖像G2，比較G2的時(shí)間戳和A2的時(shí)間戳，如果G2時(shí)間戳小于A2，那么視頻線程繼續(xù)延時(shí)t2以后，播放這個(gè)G2圖像，接著G3同理，直到取得G4，和A2比較發(fā)現(xiàn)G4時(shí)間戳大于A2，那么視頻線程就進(jìn)入wait態(tài)，等待下一次啟動(dòng)。然后音頻線程播放完A1音頻幀以后，就從倉(cāng)庫(kù)取出音頻幀A3，然后將A2的時(shí)間戳和A3的時(shí)間戳傳遞給視頻線程，然后開(kāi)始播放A2，然后堵塞的視頻線程同理繼續(xù)播放。

(5)動(dòng)態(tài)調(diào)節(jié)延時(shí)時(shí)間

由于個(gè)人PC都不是實(shí)時(shí)操作系統(tǒng)，也就是Thread.sleep是不精確的，并且受到聲卡播放聲音的制約，所以上面的基本實(shí)現(xiàn)思路是需要加以完善的。首先java的sourceDataLine的方法是依照一定的速度從內(nèi)部緩沖區(qū)取出音頻線程寫(xiě)入的數(shù)據(jù)，如果音頻寫(xiě)入的數(shù)據(jù)被取光了，那么音頻播放就會(huì)發(fā)生卡頓，但是如果一次音頻數(shù)據(jù)寫(xiě)入過(guò)多，那么就會(huì)發(fā)生音視頻可能就會(huì)不同步，所以要確保sourceDataLine的內(nèi)部緩沖區(qū)是留有一定數(shù)據(jù)的，否則就會(huì)造成卡頓，但是數(shù)據(jù)量又不能過(guò)多，所以我們?cè)贕3到A2這段時(shí)間來(lái)進(jìn)行聲音播放的調(diào)節(jié)，由于延時(shí)的不精準(zhǔn)性，寫(xiě)入的A1幀的數(shù)據(jù)可能時(shí)間還沒(méi)滿t6就可能被聲卡取光了，所以在播放完G3圖像以后，聲音線程會(huì)判斷根據(jù)sourceDataLine.available()返回的數(shù)據(jù)量進(jìn)行判斷，如果數(shù)據(jù)量快要完了，就減少G3到A2的延時(shí)時(shí)間t4。這樣子就可以保證數(shù)據(jù)量是不會(huì)變?yōu)?造成聲音卡頓。

(6)下面是程序在window64下測(cè)試和ubuntu14下測(cè)試的結(jié)果圖:  播放是比較流暢的，同步也是可以的，但是開(kāi)著播放比企鵝在IDE如IDEA中寫(xiě)代碼的話，會(huì)卡，畢竟IDEA也是用java開(kāi)發(fā)的，所以IDEA的運(yùn)行會(huì)影響其他java程序，但是其他進(jìn)程不會(huì)影響。

以上就是本文的全部?jī)?nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持創(chuàng)新互聯(lián)。

當(dāng)前標(biāo)題：Javacv使用ffmpeg實(shí)現(xiàn)音視頻同步播放
路徑分享：http://jinyejixie.com/article20/poscco.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供全網(wǎng)營(yíng)銷(xiāo)推廣、Google、商城網(wǎng)站、響應(yīng)式網(wǎng)站、網(wǎng)站制作、網(wǎng)站設(shè)計(jì)公司

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)