五分鐘技術(shù)趣談 | 基于安防攝像頭的慢直播技術(shù)淺析

作者：謝小概，單位：中國移動智慧家庭運營中心

慢直播是一種新興的媒介形式，在技術(shù)上慢直播兩種實現(xiàn)方式：一種是基于傳統(tǒng)攝像機通過外接SDI/HDMI數(shù)據(jù)線將采集后的原始信號直接傳到帶網(wǎng)絡(luò)的音視頻編碼器，最后實時傳輸?shù)铰辈テ脚_；第二種是基于安防網(wǎng)絡(luò)攝像頭(IPC)直接接入互聯(lián)網(wǎng)實現(xiàn)音視頻數(shù)據(jù)實時傳輸?shù)铰辈テ脚_。本文主要探討第二種基于安防攝像頭的慢直播具體實現(xiàn)原理和技術(shù)架構(gòu)。

Part 01●??技術(shù)簡介?●

攝像頭的慢直播就是指借助攝像頭對實景進行長時間不間斷的的實時記錄并原生態(tài)呈現(xiàn)的一種直播形態(tài)。直播畫面沒有任何剪輯、沒有主播，也沒有旁邊解說，讓觀看者的參與感以及沉浸式的體驗更加真實。因為慢直播也是一種公眾直播，所以需要嚴格的牌照資質(zhì)才能對外提供。對于安防廠家或者網(wǎng)絡(luò)運營商來說，一般都是將直播音視頻流通過網(wǎng)絡(luò)標準傳輸協(xié)議提供給第三方公眾直播平臺(如微信直播、抖音或者CCTV等)來進行慢直播推廣。

為提高慢直播效果，如上圖所示，實際直播過程中會在直播畫面加上一些Logo、字幕、時間OSD和背景音樂等信息，也會做多個攝像頭畫面的定時輪播。這樣對慢直播技術(shù)就有了更高要求，涉及到對攝像頭流源的重新編解碼和多路流的融屏技術(shù)。

Part 02●??架構(gòu)介紹?●

攝像頭慢直播在架構(gòu)上一般都是由安防網(wǎng)絡(luò)攝像頭(IPC)、視聯(lián)網(wǎng)云平臺和第三方直播平臺三者組成，其中視聯(lián)網(wǎng)云平臺負責接入安防攝像頭的各種協(xié)議直播流并轉(zhuǎn)換成常見的標準直播流協(xié)議(RTMP和HLS等)，并完成對直播流的各種加logo、文字、背景音樂和融屏等處理，最后再對直播內(nèi)容進行管控；第三方直播平臺一般由直播流分發(fā)、時間管理，用戶管理、直播安全、錄制和數(shù)據(jù)運營等功能模塊組成，大型的直播平臺還會引入CDN對直播流加速處理。本文主要探討視聯(lián)網(wǎng)云平臺的相關(guān)慢直播技術(shù)。

2.1 攝像頭接入

攝像頭接入主要負責適配攝像頭直播流的各種接入?yún)f(xié)議。攝像頭直播流協(xié)議常見的有私有協(xié)議、GB/T28181協(xié)議、行業(yè)標準協(xié)議(RTSP)和直播協(xié)議(RTMP),兼容性好首選私有協(xié)議，但是接入流程比較復雜且不適合互聯(lián)網(wǎng)模式接入；GB/T28181協(xié)議支持的攝像頭最廣，基本市面上所有的安防攝像頭都支持它，缺點是在互聯(lián)網(wǎng)環(huán)境接入不安全；行業(yè)標準協(xié)議RTSP接入一般都采用拉流模式，因此需要固定的公網(wǎng)IP，這個在很多互聯(lián)網(wǎng)環(huán)境是很難實現(xiàn)的；支持直播RTMP協(xié)議的攝像頭一般比較少，很少考慮采用。綜合考慮上述因素，常見開放的視聯(lián)網(wǎng)云平臺(如騰訊的慢直播平臺)在接入安防攝像頭做慢直播都首選GB/T28181協(xié)議，然后信令和流傳輸?shù)倪^程采用了安全保護措施，確保接入安全。

2.2 協(xié)議轉(zhuǎn)換

協(xié)議轉(zhuǎn)換負責將攝像頭接入直播流轉(zhuǎn)封裝成標準協(xié)議的流數(shù)據(jù)。轉(zhuǎn)成標準直播流之后一般不會選擇直接推送到第三方直播平臺，因為攝像頭的裸流中攜帶的結(jié)構(gòu)化信息不多，最多只帶有時間OSD信息，而且里面的音頻也一般不適合直接做直播。因此需要將標準流做成服務(wù)并提供拉流URL地址，提供給流加工和安全管控進行拉流處理。

2.3 流加工

流加工常見兩種形式：一種是利用開源GUI工具(比如OBS)對攝像頭的流做二次加工之后再通過標準的網(wǎng)絡(luò)實時流傳輸協(xié)議(常見RTMP)推送到直播平臺；第二種就是直接在后端使用服務(wù)器利用開源的編解碼解決方案(比如FFmpeg)對流源進行二次處理，然后再推送到直播平臺。下面就分別介紹下兩種技術(shù)方案：

2.3.1 使用第三方視頻工具OBS進行流加工處理

OBS是一個免費的開源的視頻錄制和視頻實時交流軟件，它支持從視聯(lián)網(wǎng)云平臺的拉取轉(zhuǎn)換后的標準流，并在Window環(huán)境提供了方便的可加工操作界面，用戶直接簡單的拖拽就可以實現(xiàn)加log、文字、背景音樂和多屏融合功能，通過簡單配置也可以實現(xiàn)多攝像頭畫面定時輪播切換的效果。最后，通過在OBS上配置RTMP協(xié)議的推流密鑰和地址(第三方直播平臺提供)，可以直接將加工好的流直接推送到第三方直播平臺進行慢直播。OBS進行加工也有缺點：首選必須選用高性能的WindowPC電腦，其次配置操作盡管比較簡單但是流程比較多，最后直播過程中需要人工看守，隨時干涉直播界面出現(xiàn)的各種異常。

2.3.2 在后端使用服務(wù)器利用開源的編解碼解決方案(比如FFmpeg)對流源進行二次處理

FFmpeg是一套可以用來記錄、轉(zhuǎn)換數(shù)字音頻、視頻，并能將其轉(zhuǎn)化為流的開源計算機程序，它提供了錄制、轉(zhuǎn)換以及流化音視頻的完整解決方案?？梢允褂肍Fmpeg的標準協(xié)議處理libavformat庫從協(xié)議轉(zhuǎn)換服務(wù)獲取到的URL拉取標準流，然后使用其音頻/視頻編解碼庫libavcodec對拉取到的流做加logo、文字和背景音樂處理，最后再使用libavformat庫將處理好的流封裝成RTMP協(xié)議推送到第三方直播平臺。相比使用OBS，在服務(wù)端使用FFmpeg做加工優(yōu)點是可以實現(xiàn)在后端服務(wù)自動化處理，不需要人工干涉；性能比較高，資源消耗如果不涉及像由H265轉(zhuǎn)成H264這樣的編碼格式轉(zhuǎn)換會小很多，對服務(wù)器性能要求低。缺點是需要專業(yè)的工程師開發(fā)服務(wù)程序進行加工處理；多攝像頭的定時輪播和融屏等復雜功能的開放難度較大，比如多攝像頭的定時輪播功能需要實現(xiàn)直播畫面的精準切換需要開發(fā)過程中實現(xiàn)GOP緩存技術(shù)。

2.3.3 兩種加工模式的優(yōu)缺點比較

2.4 安全管控

盡管很多公眾大直播平臺對慢直播內(nèi)容也會做安全方面的管控，但是實際在慢直播前都會要求提供者先確保直播源的安全可靠。這部分我們可以通過調(diào)用第三方成熟的圖片和文字審核庫來完成。因為攝像頭接入服務(wù)已經(jīng)實現(xiàn)將直播ES裸流化，所以我們只要從裸流中定期提取到I幀，使用FFmpeg的libavcodec庫將I幀轉(zhuǎn)換成圖片審核庫要求的格式進行審核處理；有些慢直播比如賽事直播需要保留攝像頭的原有音頻，所以也要對聲音進行額外的審核。音頻部分的處理比較復雜，需要先將音頻轉(zhuǎn)換為文字(推薦使用科大訊飛開源庫)，然后再將處理好的文字提交給文字審核庫處理。安全管控的技術(shù)難點就是要預留攝像頭一定的直播處理時延，及時將直播流審核異常的報警信息上報并第一時間將慢直播關(guān)停，最大限度的降低直播事故。

Part 03●??總結(jié)?●

最后，慢直播作為融媒線上宣傳的新興工具已經(jīng)取到了很大成功，從最初的CCTV采用攝像頭24小時全程展現(xiàn)火神山醫(yī)院和雷神山醫(yī)院建造過程，再到現(xiàn)在的數(shù)字鄉(xiāng)村的三農(nóng)原生態(tài)養(yǎng)殖、鄉(xiāng)村美景宣傳，慢直播技術(shù)應(yīng)用越來越廣，相關(guān)技術(shù)也得到不斷提升，慢直播也在嘗試引入新的技術(shù)比如AI智能技術(shù)、虛擬數(shù)字人直播、VR/AR直播，使得慢直播內(nèi)容更加豐富，效果更加精彩。