七牛云發(fā)布直播云解決方案采集環(huán)節(jié)技術(shù)詳解

七牛云

2016-08-25 17:58 11574

七牛云作為一家以基礎服務能力見長的云計算公司，于6月底發(fā)布了一個針對視頻直播的實時流網(wǎng)絡 LiveNet 和完整的直播云解決方案，很多開發(fā)者對這個網(wǎng)絡和解決方案的細節(jié)和使用場景非常感興趣。本篇我們將重點對直播技術(shù)中的采集環(huán)節(jié)做詳解。

北京2016年8月25日電 /美通社/ -- 隨著互聯(lián)網(wǎng)用戶消費內(nèi)容和交互方式的升級，支撐這些內(nèi)容和交互方式的基礎設施也正在悄悄發(fā)生變革。手機設備拍攝視頻能力和網(wǎng)絡的升級催生了大家對視頻直播領域的關注，吸引了很多互聯(lián)網(wǎng)創(chuàng)業(yè)者或者成熟企業(yè)進入該領域。

直播采集圖解

采集是整個視頻推流過程中的第一個環(huán)節(jié)，它從系統(tǒng)的采集設備中獲取原始視頻數(shù)據(jù)，將其輸出到下一個環(huán)節(jié)。視頻的采集涉及兩方面數(shù)據(jù)的采集：音頻采集和圖像采集，它們分別對應兩種完全不同的輸入源和數(shù)據(jù)格式。

采集內(nèi)容

1.音頻采集

音頻數(shù)據(jù)既能與圖像結(jié)合組合成視頻數(shù)據(jù)，也能以純音頻的方式采集播放，后者在很多成熟的應用場景如在線電臺和語音電臺等起著非常重要的作用。音頻的采集過程主要通過設備將環(huán)境中的模擬信號采集成 PCM 編碼的原始數(shù)據(jù)，然后編碼壓縮成 MP3 等格式的數(shù)據(jù)分發(fā)出去。常見的音頻壓縮格式有：MP3，AAC，OGG，WMA，Opus，F(xiàn)LAC，APE，m4a 和 AMR 等。

音頻采集和編碼主要面臨的挑戰(zhàn)在于：延時敏感、卡頓敏感、噪聲消除 (Denoise)、回聲消除 (AEC)、靜音檢測 (VAD)和各種混音算法等。

在音頻采集階段，參考的主要技術(shù)參數(shù)有：

采樣率 (samplerate)：采樣就是把模擬信號數(shù)字化的過程，采樣頻率越高，記錄這一段音頻信號所用的數(shù)據(jù)量就越大，同時音頻質(zhì)量也就越高。

位寬：每一個采樣點都需要用一個數(shù)值來表示大小，這個數(shù)值的數(shù)據(jù)類型大小可以是：4bit、8bit、16bit、32bit 等等，位數(shù)越多，表示得就越精細，聲音質(zhì)量自然就越好，而數(shù)據(jù)量也會成倍增大。七牛云在音頻采樣過程中常用的位寬是8bit 或者16bit。

聲道數(shù) (channels)：由于音頻的采集和播放是可以疊加的，因此，可以同時從多個音頻源采集聲音，并分別輸出到不同的揚聲器，故聲道數(shù)一般表示聲音錄制時的音源數(shù)量或回放時相應的揚聲器數(shù)量。聲道數(shù)為 1 和 2 分別稱為單聲道和雙聲道，是比較常見的聲道參數(shù)。

音頻幀 (frame)：音頻跟視頻很不一樣，視頻每一幀就是一張圖像，而從上面的正玄波可以看出，音頻數(shù)據(jù)是流式的，本身沒有明確的一幀幀的概念，在實際的應用中，為了音頻算法處理/傳輸?shù)姆奖?，一般約定俗成取2.5ms~60ms為單位的數(shù)據(jù)量為一幀音頻。這個時間被稱之為“采樣時間”，其長度沒有特別的標準，它是根據(jù)編解碼器和具體應用的需求來決定的。

根據(jù)以上定義，可以計算一下一幀音頻幀的大小。假設某音頻信號是采樣率為 8kHz、雙通道、位寬為 16bit，20ms 一幀，則一幀音頻數(shù)據(jù)的大小為：

size = 8000 x 2 x 16bit x 0.02s = 5120 bit = 640 byte

2.圖像采集

圖像采集的圖片結(jié)果組合成一組連續(xù)播放的動畫，即構(gòu)成視頻中可肉眼觀看的內(nèi)容。圖像的采集過程主要由攝像頭等設備拍攝成 YUV 編碼的原始數(shù)據(jù)，然后經(jīng)過編碼壓縮成 H.264 等格式的數(shù)據(jù)分發(fā)出去。常見的視頻封裝格式有：MP4、3GP、AVI、MKV、WMV、MPG、VOB、FLV、SWF、MOV、RMVB 和 WebM 等。

圖像由于其直觀感受較強并且體積也比較大，構(gòu)成了一個視頻內(nèi)容的主要部分。圖像采集和編碼面臨的主要挑戰(zhàn)在于：設備兼容性差、延時敏感、卡頓敏感以及各種對圖像的處理操作如美顏和水印等。

在圖像采集階段，參考的主要技術(shù)參數(shù)有：

圖像傳輸格式：通用影像傳輸格式 (Common Intermediate Format) 是視訊會議 (video conference) 中常使用的影像傳輸格式。

圖像格式：通常采用 YUV 格式存儲原始數(shù)據(jù)信息，其中包含用 8 位表示的黑白圖像灰度值，以及可由 RGB 三種色彩組合成的彩色圖像。

傳輸通道：正常情況下視頻的拍攝只需1路通道，隨著VR和AR 技術(shù)的日漸成熟，為了拍攝一個完整的 360° 視頻，可能需要通過不同角度拍攝，然后經(jīng)過多通道傳輸后合成。

分辨率：隨著設備屏幕尺寸的日益增多，視頻采集過程中原始視頻分辨率起著越來越重要的作用，后續(xù)處理環(huán)節(jié)中使用的所有視頻分辨率的定義都以原始視頻分辨率為基礎。視頻采集卡能支持的較大點陣反映了其分辨率的性能。

采樣頻率：采樣頻率反映了采集卡處理圖像的速度和能力。在進行高度圖像采集時，需要注意采集卡的采樣頻率是否滿足要求。采樣率越高，圖像質(zhì)量越高，同時保存這些圖像信息的數(shù)據(jù)量也越大。

以上，構(gòu)成了一個視頻采集的主要技術(shù)參數(shù)，以及視頻中音頻和圖像編碼的常用格式。而對于直播 App 開發(fā)者來說，了解這些細節(jié)雖然更有幫助，但實際開發(fā)過程中可能很少能夠關注采集環(huán)節(jié)中技術(shù)參數(shù)的控制，而是直接在 SDK 中將采集后的數(shù)據(jù)傳遞給下一個「處理」和「編碼」環(huán)節(jié)。

采集源

1.攝像頭采集

對于視頻內(nèi)容的采集，目前攝像頭采集是社交直播中最常見的采集方式，比如主播使用手機的前置和后置攝像頭拍攝。在現(xiàn)場直播場景中，也有專業(yè)的攝影、攝像設備用來采集。安防監(jiān)控場景中也有專業(yè)的攝像頭進行監(jiān)控采集。

目前七牛提供的SDK對以上兩類攝像頭的采集都支持，對于手機，iOS 和Android分別支持前置后置攝像頭的采集，只是 iOS 由于設備種類和系統(tǒng)版本不多，因此采集模塊兼容性較好；而 Android 需要適配的硬件設備和系統(tǒng)則非常多，目前支持 Android 4.0.3 及以上的攝像頭采集。對于專業(yè)攝像機或者攝像頭，七牛云提供了兼容適合嵌入式系統(tǒng)的 C 語言采集模塊的實現(xiàn)，歡迎參考使用：https://github.com/pili-engineering/ipcam_sdk

2.屏幕錄制

屏幕錄制采集的方式在游戲直播場景中非常常見，目前在 Android SDK 中實現(xiàn)了屏幕錄制的功能。而 iOS 則由于系統(tǒng)本身沒有開放屏幕錄制的權(quán)限而沒法直接操作，但對于 iOS 9 以上的版本，是有個取巧的辦法，可以通過模擬一個 AirPlay 鏡像連接到（當前 App）自身，這樣就可以在軟件上捕獲到屏幕上的任何操作，達到錄制屏幕的效果。

在教育直播或者會場演講場合，經(jīng)常看見需要錄制電腦桌面上 PPT 的場景，針對這種場景，目前市面上比較方便的方案是使用開源的桌面推流工具 OBS 來進行屏幕錄制和推流：https://obsproject.com/

3.從視頻文件推流

除了從硬件設備采集視頻進行推流之外，也可能需要將一個視頻或者音頻文件以直播流的形式實時傳輸給觀眾，比如在線電臺或者電視節(jié)目，它們的輸入可能直接來自于一些已經(jīng)錄制剪輯好的視頻內(nèi)容。

開放式設計

以上從采集內(nèi)容和采集源兩個維度分別介紹了視頻采集相關的知識，但對于采集源來說，市場上可見的采集源遠遠不止這三種，即便是攝像頭也有很多分類。對于一個完整的覆蓋推流、傳輸和播放三個環(huán)節(jié)的直播云服務來說，支持盡可能多的采集源和播放終端是一項既無法規(guī)避也很難完成的工作。

為了支持市場上所有采集源的接入，七牛云在 SDK 中采用了開放式的設計，只要采集源實現(xiàn)方遵循相應的接口，即可支持任意的采集源。