踐)
簡介面向C# WinForm開發(fā)者的海思H264解碼庫資源包契合視頻監(jiān)控、工業(yè)視覺等場景中對高效視頻解碼能力的需求。海思解碼SDK以C/C實(shí)現(xiàn)壓縮包共9個(gè)文件總大小839KB包含dll動態(tài)庫、lib庫文件、h頭文件、c示例源碼、exe演示程序及兩份PDF文檔其中dll與lib提供原生解碼APIh文件定義關(guān)鍵數(shù)據(jù)結(jié)構(gòu)與函數(shù)原型c示例展示完整解碼調(diào)用流程PDF開發(fā)指南與API參考則深入說明初始化解碼器、NAL單元讀取、YUV轉(zhuǎn)RGB顯示以及資源釋放等關(guān)鍵環(huán)節(jié)。借助這些文件開發(fā)者可在C#中通過P/Invoke技術(shù)調(diào)用海思解碼庫快速搭建從視頻流輸入到畫面顯示的集成鏈路同時(shí)依據(jù)文檔規(guī)避多線程同步、內(nèi)存分配等常見問題理解如何在WinForm中高效集成原生視頻解碼能力。已有364人學(xué)習(xí)適合具備一定C#基礎(chǔ)、希望引入硬件解碼方案的工程人員參考學(xué)習(xí)。1. H264 解碼庫的選型決定了你后面多少工作量拿到“思 H264 解碼庫”這個(gè)標(biāo)題時(shí)我第一反應(yīng)是把它拆成兩件事第一H264 解碼庫本身怎么選、怎么接第二接進(jìn)去之后怎么讓它穩(wěn)定跑起來。這里把“思”字理解為思科開源 OpenH264 這個(gè)方向——它是目前嵌入式、桌面端和移動端用得最多的輕量級 H264 解碼庫沒有之一。如果你正在做 IP Camera 的播放器、RTSP 拉流端、離線 flv 文件解碼或者想把視頻幀直接交給 OpenGL 渲染那么這篇筆記會把從選型到踩坑的路整個(gè)走一遍讓你知道這個(gè)庫適合什么、不適合什么以及最常見的 5 個(gè)坑到底長什么樣。2. 為什么是 OpenH264解碼庫選型的三個(gè)邊界條件2.1 輕量解碼庫與 FFmpeg 的分水嶺在哪很多新入行的人一上來就ffmpeg -i解決問題但一旦到了嵌入式或者對包體積敏感的場景FFmpeg 一個(gè)裁剪不當(dāng)就能讓固件多出幾 MB動態(tài)鏈接還容易撞庫。OpenH264 的意義在于它只干 H.264 這一件事解碼就解碼編碼就編碼不碰封裝格式不碰網(wǎng)絡(luò)協(xié)議。它也是 BSD 許可證這意味著你可以把它靜態(tài)編進(jìn)去改壞了也不用擔(dān)心 publish 時(shí)有法律風(fēng)險(xiǎn)。注意我說的是“它只干 H264”不要指望它能解 H.265 或者 VP9——后面避坑里我會專門提這個(gè)預(yù)期差。2.2 三種典型場景下的決策依據(jù)場景推薦做法理由有海思/安霸 SDK 的嵌入式用芯片自帶解碼器硬解零 CPU 開銷OpenH264 只兜底純軟件方案包體積敏感OpenH264 靜態(tài)編譯一個(gè) decoder 庫幾百 KB 到 1MB 量級服務(wù)端轉(zhuǎn)碼/多格式通吃FFmpeg/libavcodec你需要的不是解碼而是容器解析和濾鏡鏈判斷標(biāo)準(zhǔn)就一句話如果你的輸入源已經(jīng)是裸的 H264 流Annex-B 格式且不需要解析 flv/mp4 容器那 OpenH264 是最優(yōu)解如果你還要面對音視頻交錯(cuò)、字幕、重封裝那直接上 FFmpeg別在 OpenH264 里手搓封裝解析那是給自己挖坑。2.3 從接口設(shè)計(jì)看 OpenH264 的定位OpenH264 的接口和 FFmpeg 走的是兩條路線。FFmpeg 用 AVCodecContext AVPacket AVFrame 這套抽象好處是通用壞處是你得先搞懂 AVFormatContext、AVCodecParameters 這一串概念才能下手。OpenH264 的接口則直白得多ISVCDecoder接口Initialize傳入SDecodingParamDecodeFrame2輸入壓縮數(shù)據(jù)DecodeFrameEx2輸出SBufferInfo結(jié)構(gòu)體。沒有任何封裝層輸入輸出都是裸的。提示上手的成本是一把雙刃劍。接口直白意味著你自己要處理碼流切片、SPS/PPS 緩存、時(shí)間戳映射這些在 FFmpeg 里是現(xiàn)成的。3. 用 OpenH264 在本地跑通解碼的最小命令3.1 編譯 OpenH264三分鐘拿到靜態(tài)庫OpenH264 源碼可以從官方倉庫拿到?jīng)]有簽名的純源碼包整個(gè) make 流程很簡單。我一般會在工程里把它作為 third_party 子模塊固定版本號維護(hù)不追新——解碼庫這種底層組件新版本帶來的功能提升遠(yuǎn)小于它可能引入的回歸風(fēng)險(xiǎn)。git clone https://github.com/cisco/openh264.git cd openh264 # 只編 decoder不編 encoder能省一大半編譯時(shí)間 make ARCHx86_64 -j4 # 如果要嵌入式ARCH 換成 arm64 或 arm編譯參數(shù)說明ARCH決定目標(biāo)體系結(jié)構(gòu)在 ARM Linux 板上編的時(shí)候這里寫arm64交叉編譯還要先設(shè)好 CC 環(huán)境變量默認(rèn)一次 make 會把 encoder 和 decoder 全編出來如果你只是解碼可以在 make 后只拷貝libdecoder.so/*.a相關(guān)產(chǎn)物。我實(shí)際做項(xiàng)目時(shí)傾向直接編到 bosh 體系里做靜態(tài)庫libopenh264.a大約 1MB 內(nèi)對移動端包體積非常友好。3.2 初始化解碼器并送入第一幀碼流編譯完成后接下來就是標(biāo)準(zhǔn)流程創(chuàng)建 decoder 實(shí)例、初始化、塞 H264 裸流、拿 YUV 幀。下面是完整的最小代碼骨架能跑通就說明鏈路是通的。#include stdio.h #include stdint.h #include codec_api.h #include codec_def.h int main(int argc, char** argv) { // 創(chuàng)建 decoder 實(shí)例ISVCDecoder 是 OpenH264 的統(tǒng)一切口 ISVCDecoder* pDecoder NULL; if (WelsCreateSVCDecoder(pDecoder) ! 0) { printf(create decoder failed\n); return -1; } // 配置解碼參數(shù)這里最關(guān)鍵的是目標(biāo)輸出為 I420通用性最強(qiáng) SDecodingParam sDecParam {0}; sDecParam.eEcActiveIdc ERROR_CON_SLICE_COPY; // 糾錯(cuò)級別壞幀時(shí)用相鄰切片隱藏 sDecParam.uiTargetDqLayer UCHAR_MAX; /* 表示不對特定層做限制 */ // sDecParam.sVideoProperty.eVideoBsType VIDEO_BITSTREAM_DEFAULT; // h264 的默認(rèn)碼流類型 if (pDecoder-Initialize(sDecParam) ! 0) { printf(init decoder failed\n); WelsDestroySVCDecoder(pDecoder); return -1; } FILE* pH264 fopen(input.h264, rb); FILE* pYuv fopen(output.yuv, wb); uint8_t* pBuf[3] {0, 0, 0}; SBufferInfo sDstInfo {0}; uint8_t* pBitstream NULL; int iBsLen 0; // 簡化示意實(shí)際工程里要循環(huán)讀取并送入分段數(shù)據(jù)這里演示單次送入的效果 fread(pBitstream, 1, 4096, pH264); int iRet pDecoder-DecodeFrame2(pBitstream, 4096, pBuf, sDstInfo); if (iRet ! 0) { printf(decode error, ret%d\n, iRet); } if (sDstInfo.iBufferStatus 1) { // 說明 pBuf 里有完整一幀輸出 // 從 SBufferInfo 拿各平面的 stride這里注意它返回的是以字節(jié)為單位的 luma/色度行距 for (int y 0; y sDstInfo.UsrData.sSystemBuffer.iHeight; y) { fwrite(pBuf[0] y * sDstInfo.UsrData.sSystemBuffer.iStride[0], 1, sDstInfo.UsrData.sSystemBuffer.iWidth, pYuv); } // 寫入 U/V 平面的部分略實(shí)際輸出包含 I420 的 Y、U、V 三塊 } fclose(pYuv); fclose(pH264); WelsDestroySVCDecoder(pDecoder); return 0; }邏輯說明DecodeFrame2是整個(gè)解碼庫的核心入口它接受壓縮后的 H264 碼流解碼完成后把 YUV 幀寫入pBuf[0..2]數(shù)組SBufferInfo用iBufferStatus 1表示當(dāng)前有一次完整幀輸出。值得強(qiáng)調(diào)的是pBuf和sDstInfo都是直接輸出的對象你必須在每次調(diào)用前清空sDstInfo否則上一次的殘留狀態(tài)會干擾本次判定。參數(shù)說明eEcActiveIdc是錯(cuò)誤隱藏策略級別ERROR_CON_SLICE_COPY表示失去的切片用相鄰切片復(fù)制填充適合低帶寬場景如果你在做人臉識別而不是播放建議直接設(shè)為ERROR_CON_DISABLE讓壞幀不要浪費(fèi)推理時(shí)間。3.3 解碼肯定會出現(xiàn)沒有輸出的場景這里先把一個(gè)關(guān)鍵預(yù)期轉(zhuǎn)變說清楚DecodeFrame2返回 0 并不等于拿到了畫面。H264 存在幀間預(yù)測B 幀需要后一幀到達(dá)才能解出P 幀依賴 I 幀。如果你從視頻中間開始解碼沒有任何參考幀解碼器會靜默丟掉前面的 P 幀直到碰到下一個(gè) IDR 幀才會開始輸出。我在做流媒體時(shí)第一次碰見這現(xiàn)象還以為是庫壞了后來才意識到解碼器在“等關(guān)鍵幀”而不是“報(bào)錯(cuò)”所以接入實(shí)時(shí)流時(shí)第一步要做的是等 SPS/PPS 和 IDR而不是把首幀丟進(jìn)去就要畫面。4. 解碼參數(shù)的 3 個(gè)必調(diào)項(xiàng)與像素格式的坑4.1 輸出格式 NV12 與 I420 的選擇和轉(zhuǎn)換OpenH264 默認(rèn)輸出是 I420但很多顯示鏈路用的是 NV12尤其視頻硬件 overlay 基本吃 NV12。為什么會產(chǎn)生這個(gè)坑因?yàn)?OpenH264 內(nèi)部的半像素插值和環(huán)內(nèi)濾波是直接作用于 YUV 4:2:0 平面數(shù)據(jù)它的原生輸出只有 I420 這種 planar 格式?jīng)]有 NV12 的半平面輸出模式。而 VAAPI、V4L2 或者海思的 MPP 又都偏愛 NV12所以你要么改 OpenH264 源碼的縱向前處理要么在拿到 I420 之后做一次快速轉(zhuǎn)換我一般選擇后者維護(hù)成本低。// I420 - NV12 轉(zhuǎn)換寬高均要求偶數(shù) void I420_to_NV12(const uint8_t* y, const uint8_t* u, const uint8_t* v, int width, int height, int yStride, int uvStride, uint8_t* dstY, uint8_t* dstUV, int dstYStride, int dstUVStride) { // 拷貝 Y 平面 for (int h 0; h height; h) { memcpy(dstY h * dstYStride, y h * yStride, width); } // U/V 平面交織成 NV12: 每個(gè)像素組先 U 后 V注意是每兩個(gè)像素共用一對 UV for (int h 0; h height / 2; h) { for (int w 0; w width / 2; w) { dstUV[h * dstUVStride w * 2] u[h * uvStride w]; dstUV[h * dstUVStride w * 2 1] v[h * uvStride w]; } } }邏輯說明I420 里 U/V 平面是分開的NV12 里是交織的半平面所以轉(zhuǎn)換的核心就是逐像素把 U、V 交錯(cuò)存入新 buffer。這里有個(gè)小細(xì)節(jié)很容易翻車uvStride和width/2經(jīng)常不一樣因?yàn)榻獯a器內(nèi)部會對 UV 行做 16 字節(jié)對齊你直接用width/2去循環(huán)讀讀到最后一行會越界。正確做法是每一行都按uvStride取值除非你能確認(rèn)對齊恰好等于寬度。參數(shù)說明這個(gè)函數(shù)假設(shè)輸入輸出的 UV 交錯(cuò)順序是 NV12 先 U 后 V某些硬件或軟件編碼器會有 NV21先 V 后 U真遇到顯示顏色不對的時(shí)候先查這里。4.2uiTargetDqLayer與eEcActiveIdc的聯(lián)動設(shè)置uiTargetDqLayer不能隨便填它和碼流里的時(shí)間層直接相關(guān)。OpenH264 支持多時(shí)域?qū)覶SVC如果你只解主層而不解增強(qiáng)層把該值設(shè)為UCHAR_MAX之外的某個(gè) layer id 會直接丟輸出。我的經(jīng)驗(yàn)是默認(rèn)填UCHAR_MAX表示全解除非你在做碼率自適應(yīng)或者服務(wù)器端抽幀否則別改。至于eEcActiveIdc值得注意的是它不只是一個(gè)開關(guān)而是在每個(gè)切片丟失時(shí)參與判斷。如果設(shè)為ERROR_CON_SLICE_COPY遇到網(wǎng)絡(luò)丟包會輸出帶塊狀瑕疵的幀如果設(shè)為ERROR_CON_DISABLE則直接返回解碼錯(cuò)誤。對于做實(shí)時(shí)對話/視頻會議的項(xiàng)目建議保留ERROR_CON_SLICE_COPY因?yàn)楸群谄粮芙邮堋?.3 輸入碼流封裝Annex-B 與 AVCC 的隱藏炸彈H264 碼流有兩種封裝習(xí)慣Annex-B 用00 00 01起始碼分隔 NALUAVCC 用 4 字節(jié)長度字段。OpenH264 的DecodeFrame2按字節(jié)流輸入它內(nèi)部會自動搜索起始碼但它并不強(qiáng)制你送00 00 01你送 4 字節(jié)長度前綴它也能解。真正要命的是它要求輸入長度字段里標(biāo)記的 NALU 個(gè)數(shù)正確。你從 MP4 文件里抽出avcC格式的 sample 送入 OpenH264 時(shí)如果沒轉(zhuǎn)換長度字段解碼器會把連續(xù)的 NALU 當(dāng)成一個(gè)整體解析直接導(dǎo)致cavlc里讀逃逸。我處理 mp4 文件的固定做法是寫一個(gè)TransInputToAnnexBsingleNALU循環(huán)把每個(gè) NALU 前面加上00 00 00 01再喂進(jìn)去。5. 解碼庫翻車的 5 個(gè)常見問題與排查筆記5.1 首幀黑屏SPS/PPS 丟失是元兇現(xiàn)象RTSP 拉流播放客戶端啟動后一直黑屏日志打印ret0但iBufferStatus始終為 0。原因H264 碼流的 SPS/PPS 通常只在流開頭或 IDR 幀前出現(xiàn)播放器晚加入時(shí)就丟了參數(shù)集解碼器根本不知道寬高和參考幀結(jié)構(gòu)于是持續(xù)等待下一個(gè) IDR。解決在會話建立時(shí)緩存一份 SPS/PPS NALU從 SDP 的sprop-parameter-sets或 SDP fmtp 里取每次初始化解碼器前先把 SPS/PPS 塞給它然后把后續(xù)碼流切成 NALU 逐個(gè)送入。5.2 畫面花屏但不報(bào)錯(cuò)NALU 切片邊界不對現(xiàn)象畫面大面積花、馬賽克解碼返回正常但輸出神鬼難測。原因DecodeFrame2的輸入沒有對齊 NALU 邊界你把一個(gè)完整的 NALU 切成兩半傳給 decoder解碼器把半個(gè) NALU 當(dāng)作有效輸入后碼流里的sps_id和pic_parameter_set_id對不上。解決調(diào)用DecodeFrame2前用wels_find_start_code做一次可靠的起始碼掃描保證每個(gè)包內(nèi)至少一個(gè)完整的 NALU大批量視頻樣本測試時(shí)也優(yōu)先選用純 Annex-B 格式。這是我從“測試完發(fā)給廠商廠商罵我”的翻車經(jīng)驗(yàn)里總結(jié)出來的。5.3 H265 碼流直接被靜默拒絕現(xiàn)象接入 H265 編碼頭后Initialize成功但 decode 一直返回 -1 或者 7UNSUPPORTED_PAYLOAD。原因OpenH264 只支持 H.264 及其 SVC 擴(kuò)展很多新人會犯的錯(cuò)是拿 H265 流去試 OpenH264它在DecodeFrame2無法識別nal_unit_type時(shí)會拒絕解碼。解決換用真正支持 H265 的解碼庫比如 x265 自帶的 decoder或者走 FFmpeg。如果你只是想讓老設(shè)備兼容新攝像頭最好在前端做轉(zhuǎn)碼而不是期待這個(gè)庫全家桶通吃。5.4 時(shí)間戳與解碼亂序?qū)е乱舢嫴煌浆F(xiàn)象視頻畫面比音頻快或慢 200ms 以上且不固定。原因H264 B 幀導(dǎo)致解碼順序和顯示順序不同OpenH264 輸出的幀是解碼序你如果直接把pDstInfo-UsrData.sSystemBuffer.iTimeStamp當(dāng)成顯示 PTS 用就會亂。解決自己維護(hù)frame_num到 PTS 的映射表。在送入每一幀碼流前記錄其 PTS 和該幀的frame_num解碼完成后按sDstInfo提供的frame_num反查 PTS。沒有其他捷徑這個(gè)坑我踩過一個(gè)月才懂。5.5libopenh264.so和板子上另一套庫符號沖突現(xiàn)象程序運(yùn)行后隨機(jī) crashbacktrace顯示在解碼返回后進(jìn)了異常指令換一臺機(jī)器又沒問題。原因板子上有其他組件帶了老版本的libopenh264.so動態(tài)鏈接時(shí)WelsCreateSVCDecoder符號被舊庫覆蓋我們新調(diào)用的參數(shù)結(jié)構(gòu)體比舊庫短棧被踩。解決不要混用動態(tài)庫全部改成靜態(tài)鏈接libopenh264.a如果一定要?jiǎng)討B(tài)庫給這個(gè)庫改SONAME并讓dlopen顯式指定路徑加載。6. 進(jìn)階用 decoder 統(tǒng)計(jì)信息掐掉疊加層的“玄學(xué)”問題當(dāng)你把 OpenH264 接入到一個(gè)已經(jīng)跑通的播放器里最常被問到的就是“為什么我這里視頻不如 FFmpeg 清晰”。OpenH264 的解碼質(zhì)量調(diào)節(jié)有兩種常用手段eEcActiveIdc的幀隱藏策略以及SCDsingle-nalu 模式下的DecodeParser2接口。更實(shí)用的驗(yàn)證辦法是調(diào)用GetOption拿解碼統(tǒng)計(jì)信息DECODER_OPTION_VIDEO_BITSTREAM_INFO能拿到當(dāng)前碼流的寬高和幀率DECODER_OPTION_FRAME_NUM能拿到已解幀數(shù)通過它們的組合你就能判斷是不是自己的渲染層出問題而不是解碼庫。舉例來說如果你發(fā)現(xiàn)FRAME_NUM在增長但畫面卡的像幻燈片那問題一定出在你上屏的位置用了 buffer 刷新不及時(shí)——解碼庫沒有錯(cuò)沒必要瞎改編碼參數(shù)。我現(xiàn)在的習(xí)慣是每個(gè)階段驗(yàn)證都會先打印 3 個(gè)GetOption指標(biāo)幀數(shù)錯(cuò)誤狀態(tài)以及SBufferInfo里iBufferStatus的變化率。這樣排查問題能少走一半彎路希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取 OpenH264解碼庫選型與避坑指南：從接口到工程實(shí)踐
簡介面向C# WinForm開發(fā)者的海思H264解碼庫資源包契合視頻監(jiān)控、工業(yè)視覺等場景中對高效視頻解碼能力的需求。海思解碼SDK以C/C實(shí)現(xiàn)壓縮包共9個(gè)文件總大小839KB包含dll動態(tài)庫、lib庫文件、h頭文件、c示例源碼、exe演示程序及兩份PDF文檔其中dll與lib提供原生解碼APIh文件定義關(guān)鍵數(shù)據(jù)結(jié)構(gòu)與函數(shù)原型c示例展示完整解碼調(diào)用流程PDF開發(fā)指南與API參考則深入說明初始化解碼器、NAL單元讀取、YUV轉(zhuǎn)RGB顯示以及資源釋放等關(guān)鍵環(huán)節(jié)。借助這些文件開發(fā)者可在C#中通過P/Invoke技術(shù)調(diào)用海思解碼庫快速搭建從視頻流輸入到畫面顯示的集成鏈路同時(shí)依據(jù)文檔規(guī)避多線程同步、內(nèi)存分配等常見問題理解如何在WinForm中高效集成原生視頻解碼能力。已有364人學(xué)習(xí)適合具備一定C#基礎(chǔ)、希望引入硬件解碼方案的工程人員參考學(xué)習(xí)。1. H264 解碼庫的選型決定了你后面多少工作量拿到“思 H264 解碼庫”這個(gè)標(biāo)題時(shí)我第一反應(yīng)是把它拆成兩件事第一H264 解碼庫本身怎么選、怎么接第二接進(jìn)去之后怎么讓它穩(wěn)定跑起來。這里把“思”字理解為思科開源 OpenH264 這個(gè)方向——它是目前嵌入式、桌面端和移動端用得最多的輕量級 H264 解碼庫沒有之一。如果你正在做 IP Camera 的播放器、RTSP 拉流端、離線 flv 文件解碼或者想把視頻幀直接交給 OpenGL 渲染那么這篇筆記會把從選型到踩坑的路整個(gè)走一遍讓你知道這個(gè)庫適合什么、不適合什么以及最常見的 5 個(gè)坑到底長什么樣。2. 為什么是 OpenH264解碼庫選型的三個(gè)邊界條件2.1 輕量解碼庫與 FFmpeg 的分水嶺在哪很多新入行的人一上來就ffmpeg -i解決問題但一旦到了嵌入式或者對包體積敏感的場景FFmpeg 一個(gè)裁剪不當(dāng)就能讓固件多出幾 MB動態(tài)鏈接還容易撞庫。OpenH264 的意義在于它只干 H.264 這一件事解碼就解碼編碼就編碼不碰封裝格式不碰網(wǎng)絡(luò)協(xié)議。它也是 BSD 許可證這意味著你可以把它靜態(tài)編進(jìn)去改壞了也不用擔(dān)心 publish 時(shí)有法律風(fēng)險(xiǎn)。注意我說的是“它只干 H264”不要指望它能解 H.265 或者 VP9——后面避坑里我會專門提這個(gè)預(yù)期差。2.2 三種典型場景下的決策依據(jù)場景推薦做法理由有海思/安霸 SDK 的嵌入式用芯片自帶解碼器硬解零 CPU 開銷OpenH264 只兜底純軟件方案包體積敏感OpenH264 靜態(tài)編譯一個(gè) decoder 庫幾百 KB 到 1MB 量級服務(wù)端轉(zhuǎn)碼/多格式通吃FFmpeg/libavcodec你需要的不是解碼而是容器解析和濾鏡鏈判斷標(biāo)準(zhǔn)就一句話如果你的輸入源已經(jīng)是裸的 H264 流Annex-B 格式且不需要解析 flv/mp4 容器那 OpenH264 是最優(yōu)解如果你還要面對音視頻交錯(cuò)、字幕、重封裝那直接上 FFmpeg別在 OpenH264 里手搓封裝解析那是給自己挖坑。2.3 從接口設(shè)計(jì)看 OpenH264 的定位OpenH264 的接口和 FFmpeg 走的是兩條路線。FFmpeg 用 AVCodecContext AVPacket AVFrame 這套抽象好處是通用壞處是你得先搞懂 AVFormatContext、AVCodecParameters 這一串概念才能下手。OpenH264 的接口則直白得多ISVCDecoder接口Initialize傳入SDecodingParamDecodeFrame2輸入壓縮數(shù)據(jù)DecodeFrameEx2輸出SBufferInfo結(jié)構(gòu)體。沒有任何封裝層輸入輸出都是裸的。提示上手的成本是一把雙刃劍。接口直白意味著你自己要處理碼流切片、SPS/PPS 緩存、時(shí)間戳映射這些在 FFmpeg 里是現(xiàn)成的。3. 用 OpenH264 在本地跑通解碼的最小命令3.1 編譯 OpenH264三分鐘拿到靜態(tài)庫OpenH264 源碼可以從官方倉庫拿到?jīng)]有簽名的純源碼包整個(gè) make 流程很簡單。我一般會在工程里把它作為 third_party 子模塊固定版本號維護(hù)不追新——解碼庫這種底層組件新版本帶來的功能提升遠(yuǎn)小于它可能引入的回歸風(fēng)險(xiǎn)。git clone https://github.com/cisco/openh264.git cd openh264 # 只編 decoder不編 encoder能省一大半編譯時(shí)間 make ARCHx86_64 -j4 # 如果要嵌入式ARCH 換成 arm64 或 arm編譯參數(shù)說明ARCH決定目標(biāo)體系結(jié)構(gòu)在 ARM Linux 板上編的時(shí)候這里寫arm64交叉編譯還要先設(shè)好 CC 環(huán)境變量默認(rèn)一次 make 會把 encoder 和 decoder 全編出來如果你只是解碼可以在 make 后只拷貝libdecoder.so/*.a相關(guān)產(chǎn)物。我實(shí)際做項(xiàng)目時(shí)傾向直接編到 bosh 體系里做靜態(tài)庫libopenh264.a大約 1MB 內(nèi)對移動端包體積非常友好。3.2 初始化解碼器并送入第一幀碼流編譯完成后接下來就是標(biāo)準(zhǔn)流程創(chuàng)建 decoder 實(shí)例、初始化、塞 H264 裸流、拿 YUV 幀。下面是完整的最小代碼骨架能跑通就說明鏈路是通的。#include stdio.h #include stdint.h #include codec_api.h #include codec_def.h int main(int argc, char** argv) { // 創(chuàng)建 decoder 實(shí)例ISVCDecoder 是 OpenH264 的統(tǒng)一切口 ISVCDecoder* pDecoder NULL; if (WelsCreateSVCDecoder(pDecoder) ! 0) { printf(create decoder failed\n); return -1; } // 配置解碼參數(shù)這里最關(guān)鍵的是目標(biāo)輸出為 I420通用性最強(qiáng) SDecodingParam sDecParam {0}; sDecParam.eEcActiveIdc ERROR_CON_SLICE_COPY; // 糾錯(cuò)級別壞幀時(shí)用相鄰切片隱藏 sDecParam.uiTargetDqLayer UCHAR_MAX; /* 表示不對特定層做限制 */ // sDecParam.sVideoProperty.eVideoBsType VIDEO_BITSTREAM_DEFAULT; // h264 的默認(rèn)碼流類型 if (pDecoder-Initialize(sDecParam) ! 0) { printf(init decoder failed\n); WelsDestroySVCDecoder(pDecoder); return -1; } FILE* pH264 fopen(input.h264, rb); FILE* pYuv fopen(output.yuv, wb); uint8_t* pBuf[3] {0, 0, 0}; SBufferInfo sDstInfo {0}; uint8_t* pBitstream NULL; int iBsLen 0; // 簡化示意實(shí)際工程里要循環(huán)讀取并送入分段數(shù)據(jù)這里演示單次送入的效果 fread(pBitstream, 1, 4096, pH264); int iRet pDecoder-DecodeFrame2(pBitstream, 4096, pBuf, sDstInfo); if (iRet ! 0) { printf(decode error, ret%d\n, iRet); } if (sDstInfo.iBufferStatus 1) { // 說明 pBuf 里有完整一幀輸出 // 從 SBufferInfo 拿各平面的 stride這里注意它返回的是以字節(jié)為單位的 luma/色度行距 for (int y 0; y sDstInfo.UsrData.sSystemBuffer.iHeight; y) { fwrite(pBuf[0] y * sDstInfo.UsrData.sSystemBuffer.iStride[0], 1, sDstInfo.UsrData.sSystemBuffer.iWidth, pYuv); } // 寫入 U/V 平面的部分略實(shí)際輸出包含 I420 的 Y、U、V 三塊 } fclose(pYuv); fclose(pH264); WelsDestroySVCDecoder(pDecoder); return 0; }邏輯說明DecodeFrame2是整個(gè)解碼庫的核心入口它接受壓縮后的 H264 碼流解碼完成后把 YUV 幀寫入pBuf[0..2]數(shù)組SBufferInfo用iBufferStatus 1表示當(dāng)前有一次完整幀輸出。值得強(qiáng)調(diào)的是pBuf和sDstInfo都是直接輸出的對象你必須在每次調(diào)用前清空sDstInfo否則上一次的殘留狀態(tài)會干擾本次判定。參數(shù)說明eEcActiveIdc是錯(cuò)誤隱藏策略級別ERROR_CON_SLICE_COPY表示失去的切片用相鄰切片復(fù)制填充適合低帶寬場景如果你在做人臉識別而不是播放建議直接設(shè)為ERROR_CON_DISABLE讓壞幀不要浪費(fèi)推理時(shí)間。3.3 解碼肯定會出現(xiàn)沒有輸出的場景這里先把一個(gè)關(guān)鍵預(yù)期轉(zhuǎn)變說清楚DecodeFrame2返回 0 并不等于拿到了畫面。H264 存在幀間預(yù)測B 幀需要后一幀到達(dá)才能解出P 幀依賴 I 幀。如果你從視頻中間開始解碼沒有任何參考幀解碼器會靜默丟掉前面的 P 幀直到碰到下一個(gè) IDR 幀才會開始輸出。我在做流媒體時(shí)第一次碰見這現(xiàn)象還以為是庫壞了后來才意識到解碼器在“等關(guān)鍵幀”而不是“報(bào)錯(cuò)”所以接入實(shí)時(shí)流時(shí)第一步要做的是等 SPS/PPS 和 IDR而不是把首幀丟進(jìn)去就要畫面。4. 解碼參數(shù)的 3 個(gè)必調(diào)項(xiàng)與像素格式的坑4.1 輸出格式 NV12 與 I420 的選擇和轉(zhuǎn)換OpenH264 默認(rèn)輸出是 I420但很多顯示鏈路用的是 NV12尤其視頻硬件 overlay 基本吃 NV12。為什么會產(chǎn)生這個(gè)坑因?yàn)?OpenH264 內(nèi)部的半像素插值和環(huán)內(nèi)濾波是直接作用于 YUV 4:2:0 平面數(shù)據(jù)它的原生輸出只有 I420 這種 planar 格式?jīng)]有 NV12 的半平面輸出模式。而 VAAPI、V4L2 或者海思的 MPP 又都偏愛 NV12所以你要么改 OpenH264 源碼的縱向前處理要么在拿到 I420 之后做一次快速轉(zhuǎn)換我一般選擇后者維護(hù)成本低。// I420 - NV12 轉(zhuǎn)換寬高均要求偶數(shù) void I420_to_NV12(const uint8_t* y, const uint8_t* u, const uint8_t* v, int width, int height, int yStride, int uvStride, uint8_t* dstY, uint8_t* dstUV, int dstYStride, int dstUVStride) { // 拷貝 Y 平面 for (int h 0; h height; h) { memcpy(dstY h * dstYStride, y h * yStride, width); } // U/V 平面交織成 NV12: 每個(gè)像素組先 U 后 V注意是每兩個(gè)像素共用一對 UV for (int h 0; h height / 2; h) { for (int w 0; w width / 2; w) { dstUV[h * dstUVStride w * 2] u[h * uvStride w]; dstUV[h * dstUVStride w * 2 1] v[h * uvStride w]; } } }邏輯說明I420 里 U/V 平面是分開的NV12 里是交織的半平面所以轉(zhuǎn)換的核心就是逐像素把 U、V 交錯(cuò)存入新 buffer。這里有個(gè)小細(xì)節(jié)很容易翻車uvStride和width/2經(jīng)常不一樣因?yàn)榻獯a器內(nèi)部會對 UV 行做 16 字節(jié)對齊你直接用width/2去循環(huán)讀讀到最后一行會越界。正確做法是每一行都按uvStride取值除非你能確認(rèn)對齊恰好等于寬度。參數(shù)說明這個(gè)函數(shù)假設(shè)輸入輸出的 UV 交錯(cuò)順序是 NV12 先 U 后 V某些硬件或軟件編碼器會有 NV21先 V 后 U真遇到顯示顏色不對的時(shí)候先查這里。4.2uiTargetDqLayer與eEcActiveIdc的聯(lián)動設(shè)置uiTargetDqLayer不能隨便填它和碼流里的時(shí)間層直接相關(guān)。OpenH264 支持多時(shí)域?qū)覶SVC如果你只解主層而不解增強(qiáng)層把該值設(shè)為UCHAR_MAX之外的某個(gè) layer id 會直接丟輸出。我的經(jīng)驗(yàn)是默認(rèn)填UCHAR_MAX表示全解除非你在做碼率自適應(yīng)或者服務(wù)器端抽幀否則別改。至于eEcActiveIdc值得注意的是它不只是一個(gè)開關(guān)而是在每個(gè)切片丟失時(shí)參與判斷。如果設(shè)為ERROR_CON_SLICE_COPY遇到網(wǎng)絡(luò)丟包會輸出帶塊狀瑕疵的幀如果設(shè)為ERROR_CON_DISABLE則直接返回解碼錯(cuò)誤。對于做實(shí)時(shí)對話/視頻會議的項(xiàng)目建議保留ERROR_CON_SLICE_COPY因?yàn)楸群谄粮芙邮堋?.3 輸入碼流封裝Annex-B 與 AVCC 的隱藏炸彈H264 碼流有兩種封裝習(xí)慣Annex-B 用00 00 01起始碼分隔 NALUAVCC 用 4 字節(jié)長度字段。OpenH264 的DecodeFrame2按字節(jié)流輸入它內(nèi)部會自動搜索起始碼但它并不強(qiáng)制你送00 00 01你送 4 字節(jié)長度前綴它也能解。真正要命的是它要求輸入長度字段里標(biāo)記的 NALU 個(gè)數(shù)正確。你從 MP4 文件里抽出avcC格式的 sample 送入 OpenH264 時(shí)如果沒轉(zhuǎn)換長度字段解碼器會把連續(xù)的 NALU 當(dāng)成一個(gè)整體解析直接導(dǎo)致cavlc里讀逃逸。我處理 mp4 文件的固定做法是寫一個(gè)TransInputToAnnexBsingleNALU循環(huán)把每個(gè) NALU 前面加上00 00 00 01再喂進(jìn)去。5. 解碼庫翻車的 5 個(gè)常見問題與排查筆記5.1 首幀黑屏SPS/PPS 丟失是元兇現(xiàn)象RTSP 拉流播放客戶端啟動后一直黑屏日志打印ret0但iBufferStatus始終為 0。原因H264 碼流的 SPS/PPS 通常只在流開頭或 IDR 幀前出現(xiàn)播放器晚加入時(shí)就丟了參數(shù)集解碼器根本不知道寬高和參考幀結(jié)構(gòu)于是持續(xù)等待下一個(gè) IDR。解決在會話建立時(shí)緩存一份 SPS/PPS NALU從 SDP 的sprop-parameter-sets或 SDP fmtp 里取每次初始化解碼器前先把 SPS/PPS 塞給它然后把后續(xù)碼流切成 NALU 逐個(gè)送入。5.2 畫面花屏但不報(bào)錯(cuò)NALU 切片邊界不對現(xiàn)象畫面大面積花、馬賽克解碼返回正常但輸出神鬼難測。原因DecodeFrame2的輸入沒有對齊 NALU 邊界你把一個(gè)完整的 NALU 切成兩半傳給 decoder解碼器把半個(gè) NALU 當(dāng)作有效輸入后碼流里的sps_id和pic_parameter_set_id對不上。解決調(diào)用DecodeFrame2前用wels_find_start_code做一次可靠的起始碼掃描保證每個(gè)包內(nèi)至少一個(gè)完整的 NALU大批量視頻樣本測試時(shí)也優(yōu)先選用純 Annex-B 格式。這是我從“測試完發(fā)給廠商廠商罵我”的翻車經(jīng)驗(yàn)里總結(jié)出來的。5.3 H265 碼流直接被靜默拒絕現(xiàn)象接入 H265 編碼頭后Initialize成功但 decode 一直返回 -1 或者 7UNSUPPORTED_PAYLOAD。原因OpenH264 只支持 H.264 及其 SVC 擴(kuò)展很多新人會犯的錯(cuò)是拿 H265 流去試 OpenH264它在DecodeFrame2無法識別nal_unit_type時(shí)會拒絕解碼。解決換用真正支持 H265 的解碼庫比如 x265 自帶的 decoder或者走 FFmpeg。如果你只是想讓老設(shè)備兼容新攝像頭最好在前端做轉(zhuǎn)碼而不是期待這個(gè)庫全家桶通吃。5.4 時(shí)間戳與解碼亂序?qū)е乱舢嫴煌浆F(xiàn)象視頻畫面比音頻快或慢 200ms 以上且不固定。原因H264 B 幀導(dǎo)致解碼順序和顯示順序不同OpenH264 輸出的幀是解碼序你如果直接把pDstInfo-UsrData.sSystemBuffer.iTimeStamp當(dāng)成顯示 PTS 用就會亂。解決自己維護(hù)frame_num到 PTS 的映射表。在送入每一幀碼流前記錄其 PTS 和該幀的frame_num解碼完成后按sDstInfo提供的frame_num反查 PTS。沒有其他捷徑這個(gè)坑我踩過一個(gè)月才懂。5.5libopenh264.so和板子上另一套庫符號沖突現(xiàn)象程序運(yùn)行后隨機(jī) crashbacktrace顯示在解碼返回后進(jìn)了異常指令換一臺機(jī)器又沒問題。原因板子上有其他組件帶了老版本的libopenh264.so動態(tài)鏈接時(shí)WelsCreateSVCDecoder符號被舊庫覆蓋我們新調(diào)用的參數(shù)結(jié)構(gòu)體比舊庫短棧被踩。解決不要混用動態(tài)庫全部改成靜態(tài)鏈接libopenh264.a如果一定要?jiǎng)討B(tài)庫給這個(gè)庫改SONAME并讓dlopen顯式指定路徑加載。6. 進(jìn)階用 decoder 統(tǒng)計(jì)信息掐掉疊加層的“玄學(xué)”問題當(dāng)你把 OpenH264 接入到一個(gè)已經(jīng)跑通的播放器里最常被問到的就是“為什么我這里視頻不如 FFmpeg 清晰”。OpenH264 的解碼質(zhì)量調(diào)節(jié)有兩種常用手段eEcActiveIdc的幀隱藏策略以及SCDsingle-nalu 模式下的DecodeParser2接口。更實(shí)用的驗(yàn)證辦法是調(diào)用GetOption拿解碼統(tǒng)計(jì)信息DECODER_OPTION_VIDEO_BITSTREAM_INFO能拿到當(dāng)前碼流的寬高和幀率DECODER_OPTION_FRAME_NUM能拿到已解幀數(shù)通過它們的組合你就能判斷是不是自己的渲染層出問題而不是解碼庫。舉例來說如果你發(fā)現(xiàn)FRAME_NUM在增長但畫面卡的像幻燈片那問題一定出在你上屏的位置用了 buffer 刷新不及時(shí)——解碼庫沒有錯(cuò)沒必要瞎改編碼參數(shù)。我現(xiàn)在的習(xí)慣是每個(gè)階段驗(yàn)證都會先打印 3 個(gè)GetOption指標(biāo)幀數(shù)錯(cuò)誤狀態(tài)以及SBufferInfo里iBufferStatus的變化率。這樣排查問題能少走一半彎路希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取