音視頻信息技術(shù)能力主要指的就是通過(guò)音頻進(jìn)行技術(shù)和視頻網(wǎng)絡(luò)技術(shù)，這兩者在直播軟件開發(fā)的處理工作過(guò)程是差不多的，一般都分為5大步：數(shù)據(jù)可以采集、編碼、傳輸、解碼和渲染。
 
     數(shù)據(jù)采集
 
     數(shù)據(jù)采集是視頻流過(guò)程中的第一步。 系統(tǒng)的基本設(shè)備獲取原始視頻數(shù)據(jù)并輸出到下一個(gè)環(huán)節(jié)。
 
     1、數(shù)據(jù)采集分類
 
     視頻采集分為音頻采集和圖像采集兩種不同的數(shù)據(jù)采集方法，并且相應(yīng)的輸入源，與數(shù)據(jù)格式完全不同。
 
     2、音頻采集
 
     音頻數(shù)據(jù)是外部聲音收集裝置，即，能夠僅音頻模式下，它可以與圖像相組合。然后音頻獲取裝置主要是通過(guò)信號(hào)環(huán)境數(shù)據(jù)采集到原來(lái)的PCM編碼數(shù)據(jù)被編碼成壓縮格式，如MP3遞出。常見的音頻壓縮格式：MP3，AAC，OGG，WMA，作品，F(xiàn)LAC，APE，M4A等AMR。
 
     3、圖像采集
 
     圖像進(jìn)行數(shù)據(jù)是將圖片可以組合成一個(gè)一組或更多組的連續(xù)通過(guò)播放的動(dòng)畫，構(gòu)成可肉眼直接觀看的視頻。圖像的采集工作過(guò)程主要由專業(yè)攝像頭等重要設(shè)備以及拍攝成YUV編碼的原始信息數(shù)據(jù)，然后我們經(jīng)過(guò)系統(tǒng)編碼壓縮成H.264等格式的數(shù)據(jù)應(yīng)用分發(fā)傳播出去。常見的視頻作為封裝技術(shù)格式有：MP3、AAC、OGG、WMA、Opus、FLAC、APE、m4a和AMR等。
 
     音視頻編解碼技術(shù)
 
     實(shí)際上，視頻編碼和解碼是根據(jù)一定的算法來(lái)實(shí)現(xiàn)，這是音頻和視頻信息，并引進(jìn)編解碼算法的分析。但是，音頻算法的多樣性，復(fù)雜性，比視頻更高。而且不同的場(chǎng)景需要選擇不同的音頻解碼器。
 
     音頻編解碼常用的實(shí)現(xiàn)中國(guó)方案有三種：第一種方式就是我們采用專用的音頻芯片對(duì)語(yǔ)音信號(hào)可以進(jìn)行信息采集和處理，音頻編解碼算法通過(guò)集成在硬件系統(tǒng)內(nèi)部。第二種方案設(shè)計(jì)就是企業(yè)利用A/D采集卡加上我國(guó)計(jì)算機(jī)重要組成部分硬件服務(wù)平臺(tái)，音頻編解碼算法由計(jì)算機(jī)應(yīng)用軟件來(lái)實(shí)現(xiàn)；第三種方案是使用高精度、高速度的A/D采集芯片來(lái)完成語(yǔ)音信號(hào)的采集。

 

     內(nèi)容上的音視頻流內(nèi)容分發(fā)和轉(zhuǎn)碼
 
     1.前端設(shè)備、手機(jī)或攝像頭將實(shí)時(shí)音頻和視頻內(nèi)容收集和處理，之后推送到平臺(tái)源站服務(wù)器(采用多機(jī)集群熱備份機(jī)制)。
 
     2.源站服務(wù)器通常連接專業(yè)磁盤陣列存儲(chǔ)裝置中，當(dāng)所述源站接收數(shù)據(jù)的服務(wù)器，下面將每個(gè)節(jié)點(diǎn)轉(zhuǎn)發(fā)到CDN，其中一個(gè)副本，然后發(fā)送到代碼轉(zhuǎn)換服務(wù)器的第一多個(gè)副本。碼服務(wù)器每人將獲得實(shí)時(shí)音頻和視頻流轉(zhuǎn)碼。實(shí)時(shí)轉(zhuǎn)碼服務(wù)器將在實(shí)況流記錄保存到磁盤陣列，方便用戶回放。
 
     3.由于音視頻信息內(nèi)容需要由高性能的服務(wù)器可以完成，在實(shí)時(shí)轉(zhuǎn)碼的過(guò)程中，常常會(huì)因?yàn)槲覀兛紤]使用不當(dāng)，出現(xiàn)企業(yè)無(wú)法得到滿足市場(chǎng)需求的問(wèn)題。畢竟我國(guó)目前的直播技術(shù)應(yīng)用研究屬于高并發(fā)的大規(guī)模直播平臺(tái)運(yùn)營(yíng)，在每個(gè)直播間不同的時(shí)間段都會(huì)遇上百個(gè)甚至成千上萬(wàn)個(gè)直播流，進(jìn)行數(shù)據(jù)實(shí)時(shí)轉(zhuǎn)碼。這樣一來(lái)就需要通過(guò)配置更多高配置的服務(wù)器，成本管理相對(duì)簡(jiǎn)單來(lái)說(shuō)也會(huì)加大。
 
     4.實(shí)時(shí)轉(zhuǎn)碼流必須是實(shí)時(shí)的，并且必須要求在1秒碼延遲，以前的延遲2-3S仍存在一定的差距。因此，為了確保廣播軟件開發(fā)完成后，轉(zhuǎn)碼的音頻和視頻都可以順利進(jìn)行，不僅需要更加努力地工作在服務(wù)器的配置，還要注意是否具有高度的實(shí)時(shí)，無(wú)論是碼延遲可以在一定的時(shí)間內(nèi)被控制。
 
     以上這些研究?jī)?nèi)容還只是大體的流程概念，具體去實(shí)施會(huì)遇到更多的實(shí)際發(fā)展問(wèn)題。畢竟做直播軟件企業(yè)需要我們?nèi)娴募夹g(shù)知識(shí)儲(chǔ)備和豐富的實(shí)戰(zhàn)經(jīng)驗(yàn)。