[ZYNQ Linux] V4L2視頻驅(qū)動文章目錄[ZYNQ Linux] V4L2視頻驅(qū)動數(shù)據(jù)流搭建過程及問題AXI VDMA圖像接收思路V4L2驅(qū)動V4L2驅(qū)動——視頻設(shè)備ioctl_ops、vb2層與vb2_ops的調(diào)用關(guān)系A(chǔ)XI VDMA實(shí)現(xiàn)細(xì)節(jié)將緩沖區(qū)加入圖像隊列——buf_queue啟動流式傳輸——start_streaming停止流式傳輸清空緩沖區(qū)隊列——stop_streaming設(shè)備樹設(shè)計用戶空間使用代碼使用步驟命令行工具 v4l2-ctlTODO其它問題數(shù)據(jù)流搭建過程及問題HDMI輸入 → ADV7611解碼 →AXIVDMA →PSADV7611復(fù)位接到了PL需要進(jìn)行復(fù)位使用一個axi gpio進(jìn)行復(fù)位axi gpio會注冊一個gpiochip出來。echo507/sys/class/gpio/exportechoout/sys/class/gpio/gpio507/directionecho0/sys/class/gpio/gpio507/valuesleep1echo1/sys/class/gpio/gpio507/valueADV7611初始化配置一些寄存器i2cdetect -r -y掃描不到0x4C等地址不過可以讀到數(shù)據(jù)可能是設(shè)備沒有對i2cdetect的掃描進(jìn)行響應(yīng)不要過度依賴和相信工具i2cget-y10x4c 0x42重新嘗試了下死活配置不成功改用AXI IIC后i2cdetect能掃描到初步判斷PS I2C1轉(zhuǎn)EMIO出來的問題不知道是不是需要一些特殊處理。EDID設(shè)置問題插電腦不能識別屏幕。HDMI接口的I2C沒連接到解碼芯片需要連接到一個EEPROM的IP核。EDID IP核需要配置1080的文件里面的名稱不能空著添加之后連接到電腦電腦會識別到一個屏幕。時鐘和緩沖問題問題VDMA傳輸?shù)囊粠瑘D像只有前幾行有效其余全0。數(shù)據(jù)流程中有一個IP核把視頻時序轉(zhuǎn)為了AXI Stream格式需要考慮寫入速率寫入時鐘和讀取速率讀出時鐘的問題。位寬一樣的話讀出時鐘的頻率要高于寫入時鐘。輸入是148.5M(1080p60幀)AXIVDMA的時鐘也要高于或者等于該時鐘。還要考慮緩沖區(qū)設(shè)置多大比較合適。AXI VDMA圖像接收思路通過DMA接口申請連續(xù)的內(nèi)存塊DMA傳輸需要特殊的內(nèi)存塊不能是malloc常規(guī)申請的調(diào)用DMA接口接收數(shù)據(jù)到內(nèi)存空間內(nèi)核空間提供mmap接口供用戶空間使用用戶空間調(diào)用mmap獲取圖像常規(guī)的圖像接收思路原理都是類似的提供的API接口或者使用方式有所區(qū)別。還會有緩沖池、緩沖區(qū)、隊列等等的區(qū)別。V4L2驅(qū)動V4L2驅(qū)動——視頻設(shè)備接口說明int v4l2_device_register(struct device *dev, struct v4l2_device *v4l2_dev);注冊 V4L2 設(shè)備實(shí)例管理設(shè)備的數(shù)據(jù)結(jié)構(gòu)用戶空間不可見int video_register_device(struct video_device *vdev,int type, int nr);注冊視頻設(shè)備由V4L2設(shè)備進(jìn)行管理即和上面注冊v4l2設(shè)備關(guān)聯(lián)創(chuàng)建/dev/videoX的設(shè)備節(jié)點(diǎn)struct video_device視頻設(shè)備結(jié)構(gòu)體設(shè)備的核心操作接口fops和ioctl_ops圖像隊列queueconst struct v4l2_file_operations *fops;open、release、mmap等內(nèi)核有通用的vb2_fop_mmap操作接口等等const struct v4l2_ioctl_ops *ioctl_ops;ioctl操作一大堆需要實(shí)現(xiàn)一些關(guān)鍵的structvb2_queue*queue;管理視頻緩沖區(qū)的隊列一個緩沖區(qū)或者緩沖池內(nèi)核fops通用接口v4l2_fh_open打開文件vb2_fop_release釋放與視頻緩沖區(qū)相關(guān)的資源vb2_fop_mmap內(nèi)存映射vb2_fop_pollpoll機(jī)制內(nèi)核ioctl_ops通用接口vb2_ioctl_create_bufs創(chuàng)建視頻緩沖區(qū)vb2_ioctl_expbuf導(dǎo)出視頻緩沖區(qū)可以與其他設(shè)備或進(jìn)程共享內(nèi)存ioctl_ops用戶實(shí)現(xiàn)vidioc_querycap查詢設(shè)備能力vidioc_g_fmt_vid_cap當(dāng)前數(shù)據(jù)格式包括分辨率、像素格式等參數(shù) get formatvidioc_try_fmt_vid_cap嘗試設(shè)置視頻捕獲格式但不實(shí)際應(yīng)用vidioc_s_fmt_vid_cap設(shè)置視頻捕獲設(shè)備的格式如分辨率、像素格式set formatvidioc_enum_fmt_vid_cap枚舉視頻捕獲設(shè)備支持的像素格式 enum formatvidioc_reqbufs申請視頻緩沖區(qū)內(nèi)存vidioc_querybuf查詢已申請緩沖區(qū)的詳細(xì)信息包括內(nèi)存偏移、長度等vidioc_qbuf將緩沖區(qū)放入隊列或隊列 queue buffervidioc_dqbuf從隊列中取出緩沖區(qū) dequeue buffervidioc_streamon啟動視頻流傳輸vidioc_streamoff停止視頻流傳輸struct vb2_queue緩沖區(qū)隊列需要實(shí)現(xiàn)對隊列的操作vb2_ops內(nèi)存操作mem_opsqueue_setup初始化視頻緩沖區(qū)隊列分配緩沖區(qū)內(nèi)存buf_prepare準(zhǔn)備緩沖區(qū)數(shù)據(jù)buf_queue將緩沖區(qū)加入隊列start_streaming啟動流式傳輸stop_streaming停止流式傳輸清空緩沖區(qū)隊列wait_prepare等待緩沖區(qū)準(zhǔn)備完成wait_finish等待緩沖區(qū)處理完vb2video buffer的通用接口vb2_fop層、vb2_ioctls層、vb2層、vb2_ops層vb2_ops_wait_finish等待所有緩沖區(qū)操作完成vb2_ops_wait_prepare等待所有緩沖區(qū)準(zhǔn)備完成vb2_plane_vaddr獲取緩沖區(qū)的虛擬地址vb2_plane_size獲取緩沖區(qū)平面的大小vb2_set_plane_payload設(shè)置緩沖區(qū)平面的有效載荷大小vb2_is_busy檢查緩沖區(qū)隊列是否正忙vb2_reqbufs請求分配緩沖區(qū)vb2_querybuf查詢緩沖區(qū)信息vb2_qbuf將緩沖區(qū)加入隊列vb2_dqbuf從隊列中取出緩沖區(qū)vb2_streamon啟動流式傳輸vb2_streamoff停止流式傳輸vb2_buffer_done標(biāo)記緩沖區(qū)處理完成vb2_dma_contig_plane_dma_addr獲取DMA連續(xù)緩沖區(qū)的物理地址vb2_is_streaming檢查是否正在流式傳輸vb2_queue_init初始化視頻緩沖區(qū)隊列vb2_dma_contig_memopsDMA內(nèi)存操作集合可傳給mem_opsioctl_ops、vb2層與vb2_ops的調(diào)用關(guān)系方向用戶空間 → ioctl_ops → vb2層 → vb2_ops。用戶空間通過ioctl系統(tǒng)調(diào)用傳遞到驅(qū)動中定義的ioctl_ops結(jié)構(gòu)體ioctl_ops調(diào)用vb2層如vidioc_streamon等會進(jìn)一步調(diào)用vb2層的通用接口vb2_streamonvb2層回調(diào)驅(qū)動實(shí)現(xiàn)的vb2_opsvb2_streamon回調(diào)start_streaming分工ioctl_ops處理用戶請求的解析與轉(zhuǎn)發(fā)。vb2層實(shí)現(xiàn)通用緩沖區(qū)管理邏輯。vb2_ops由驅(qū)動實(shí)現(xiàn)硬件細(xì)節(jié)。AXI VDMA實(shí)現(xiàn)細(xì)節(jié)將緩沖區(qū)加入圖像隊列——buf_queue獲取緩沖區(qū)的物理地址用于DMA傳輸——vb2_dma_contig_plane_dma_addr準(zhǔn)備交錯傳輸DMA描述符需要設(shè)置DMA地址等參數(shù)——dmaengine_prep_interleaved_dma設(shè)置描述符的回調(diào)函數(shù)如果DMA傳輸完成就把緩沖區(qū)標(biāo)記為有圖像數(shù)據(jù)VB2_BUF_STATE_DONE)將描述符提交到 DMA 控制器的工作隊列提交未開始——dmaengine_submit把緩沖區(qū)放到活動緩沖區(qū)隊列里面后續(xù)獲取圖像就是從這個隊列里面獲取觸發(fā) DMA 控制器開始執(zhí)行已提交的傳輸——dma_async_issue_pending啟動流式傳輸——start_streaming讓DMA開始工作就行——dma_async_issue_pending停止流式傳輸清空緩沖區(qū)隊列——stop_streaming結(jié)束DMA傳輸——dmaengine_terminate_all將活動緩沖區(qū)隊列里面的緩沖區(qū)設(shè)置為無效VB2_BUF_STATE_ERROR設(shè)備樹設(shè)計vdma_capture:vdma-capture{compatiblexlnx,axi-vdma-capture;dmasaxi_vdma_11;dma-namesport0;};用戶空間使用代碼使用步驟打開設(shè)備使用open()函數(shù)打開V4L2設(shè)備文件通常是/dev/video0。根據(jù)需要可以選擇阻塞或非阻塞模式。查詢設(shè)備能力通過VIDIOC_QUERYCAP命令獲取設(shè)備的能力例如是否支持視頻采集V4L2_CAP_VIDEO_CAPTURE和流式I/OV4L2_CAP_STREAMING。設(shè)置圖像格式使用VIDIOC_S_FMT命令配置采集的圖像格式包括寬度、高度和像素格式如YUYV、MJPEG等。這是決定圖像數(shù)據(jù)如何組織的關(guān)鍵一步。申請與映射緩沖區(qū)申請緩沖區(qū)通過VIDIOC_REQBUFS向驅(qū)動程序申請若干個視頻緩沖區(qū)。映射緩沖區(qū)對于內(nèi)存映射mmap方式使用VIDIOC_QUERYBUF查詢每個緩沖區(qū)信息然后通過mmap()系統(tǒng)調(diào)用將內(nèi)核空間的緩沖區(qū)映射到用戶空間以便應(yīng)用程序可以直接訪問。這是最常用且高效的方式。緩沖區(qū)入隊在開始采集前需要通過VIDIOC_QBUF命令將所有空閑的緩沖區(qū)放入驅(qū)動層的輸入隊列中。開始/停止視頻流通過VIDIOC_STREAMON命令啟動視頻采集驅(qū)動程序開始向隊列中的緩沖區(qū)填充數(shù)據(jù)。在循環(huán)中使用VIDIOC_DQBUF從驅(qū)動層的輸出隊列中取出已填充好數(shù)據(jù)的緩沖區(qū)。應(yīng)用程序處理完該幀數(shù)據(jù)后必須再次調(diào)用VIDIOC_QBUF將其放回輸入隊列以便驅(qū)動程序循環(huán)使用。采集完成后通過VIDIOC_STREAMOFF命令停止視頻流。關(guān)閉設(shè)備使用close()函數(shù)關(guān)閉設(shè)備文件并釋放所有資源。命令行工具 v4l2-ctlTODO解碼芯片在用戶空間單獨(dú)進(jìn)行初始化和配置未加入到驅(qū)動框架里邊。可以使能內(nèi)核相關(guān)驅(qū)動作為v4l2子設(shè)備添加。聯(lián)動Framebuffer、DRM進(jìn)行圖像輸出。其它問題內(nèi)核有個VVIP的驅(qū)動不是給AXI-VDMA用的是給另外的IP核用的不能直接使用。no VDMA channel foundVVIP驅(qū)動沒找到DMA通道設(shè)備樹通道有問題1是寫從DMA向外寫S2MM。[2.246473]xilinx-video axi-video-cap: no VDMA channel found[2.251733]xilinx-video axi-video-cap: /axi-video-cap/ports/port0 initialization failed[2.259907]xilinx-video axi-video-cap: DMA initialization failed\linux-xlnx\Documentation\devicetree\bindings\dma\xilinx\xilinx_dma.txt* DMA client Required properties: - dmas: a list of[Video DMA device phandle][Channel ID]pairs, where Channel ID is0forwrite/tx and1forread/rx channel. For MCMDA, MM2S channel(write/tx)ID start from0and isin[0-15]range. S2MM channel(read/rx)ID start from16and isin[16-31]range. These channels ID are fixed irrespective of IP configuration. - dma-names: a list of DMA channel names, one perdmasentryno subdev found in graphVVIP驅(qū)動沒有子設(shè)備v4l2驅(qū)動需要子設(shè)備構(gòu)成一個完整的數(shù)據(jù)流[2.253037]xilinx-video axi-video-cap: /axi-video-cap/ports/port0 initialization failed[2.260727]xilinx-video axi-video-cap: DMA initialization failed[4.528033]xilinx-video axi-video-cap: no subdev foundingraph[4.539722]xilinx-video: probe of axi-video-cap failed with error-2創(chuàng)建一個虛擬的子設(shè)備可以創(chuàng)建成功但還是不能用VVIP驅(qū)動驅(qū)動里面還是用不了沒能成功獲取到圖像格式需要另一個IP核的支持。[2.373491]xilinx-video axi-video-cap: /axi-video-cap/ports/port0 initialization failed[2.381152]xilinx-video axi-video-cap: DMA initialization failed[4.646649]xilinx-video axi-video-cap: device registered