Camera | 5.Linux v4l2架構(gòu)(基于rk3568)

瑞芯微 | 攝像頭ov13850移植筆記

Camera | 1.Camera基礎(chǔ)知識(shí)?

Camera | 2.MIPI、CSI基礎(chǔ)

Camera | 3.瑞芯微平臺(tái)MIPI攝像頭常用調(diào)試命令

Camera | 4.瑞芯微平臺(tái)MIPI攝像頭應(yīng)用程序編寫

上一篇我們講解了如何編寫基于V4L2的應(yīng)用程序編寫，本文主要講解內(nèi)核中V4L2架構(gòu)，以及一些最重要的結(jié)構(gòu)體、注冊(cè)函數(shù)。

廠家在實(shí)現(xiàn)自己的攝像頭控制器驅(qū)動(dòng)時(shí)，總體上都遵循這個(gè)架構(gòu)來實(shí)現(xiàn)，但是不同廠家、不同型號(hào)的SoC，具體的驅(qū)動(dòng)實(shí)現(xiàn)仍然會(huì)有一些差別。

讀者可以通過本文了解各個(gè)結(jié)構(gòu)體與對(duì)應(yīng)的攝像頭模塊、SoC上控制器模塊、以及他們之間接口關(guān)系，并能夠了解這些硬件模塊與V4L2架構(gòu)之間關(guān)系。

下一張我們基于瑞芯微rk3568來詳細(xì)講解具體V4L2的實(shí)現(xiàn)。

一、V4L2架構(gòu)

V4L2子系統(tǒng)是Linux內(nèi)核中關(guān)于Video（視頻）設(shè)備的API接口，是V4L（Video for Linux）子系統(tǒng)的升級(jí)版本。

V4L（Video for Linux）是Linux內(nèi)核中關(guān)于視頻設(shè)備的API接口,出現(xiàn)于Linux內(nèi)核2.1版本，經(jīng)過修改bug和添加功能，Linux內(nèi)核2.5版本推出了V4L2（Video for Linux Two）子系統(tǒng)，功能更多且更穩(wěn)定。

V4L2子系統(tǒng)向上為虛擬文件系統(tǒng)提供了統(tǒng)一的接口，應(yīng)用程序可通過虛擬文件系統(tǒng)訪問Video設(shè)備。

V4L2子系統(tǒng)向下給Video設(shè)備提供接口，同時(shí)管理所有Video設(shè)備。

二、V4L2架構(gòu)包括哪些設(shè)備

Video設(shè)備又分為主設(shè)備和從設(shè)備對(duì)于Camera來說，

主設(shè)備：
Camera Host控制器為主設(shè)備，負(fù)責(zé)圖像數(shù)據(jù)的接收和傳輸，

從設(shè)備：
從設(shè)備為Camera Sensor，一般為I2C接口，可通過從設(shè)備控制Camera采集圖像的行為，如圖像的大小、圖像的FPS等。

V4L2的主設(shè)備號(hào)是81，次設(shè)備號(hào)范圍0~255
這些次設(shè)備號(hào)又分為多類設(shè)備：

視頻設(shè)備（次設(shè)備號(hào)范圍0-63）Radio（收音機(jī)）設(shè)備（次設(shè)備號(hào)范圍64-127）Teletext設(shè)備（次設(shè)備號(hào)范圍192-223）VBI設(shè)備（次設(shè)備號(hào)范圍224-255）。

1. V4L2設(shè)備對(duì)應(yīng)的設(shè)備節(jié)點(diǎn)有

/dev/videoX、/dev/vbiX、/dev/radioX。本文只討論視頻設(shè)備，視頻設(shè)備對(duì)應(yīng)的設(shè)備節(jié)點(diǎn)是/dev/videoX

，視頻設(shè)備以高頻攝像頭或Camera為輸入源，Linux內(nèi)核驅(qū)動(dòng)該類設(shè)備，接收相應(yīng)的視頻信息并處理。

V4L2框架的架構(gòu)如下圖所示:

user space：

應(yīng)用程序主要通過libv4l庫來操作攝像頭

Applications: 也可以基于字符設(shè)備/dev/videoX自己編寫應(yīng)用程序

guvcview:用于調(diào)試usb攝像頭（還有個(gè)軟件cheese也可以）

v4l2 utilities: v4l2 的工具集（參考前面第3篇文章）

kernel space：

ensor、ISP、VIPP、CSI、CCI都為從設(shè)備

從dphy物理層獲取視頻數(shù)據(jù)冊(cè)通過vb2子模塊

CCI ：主要是通過GPIO（供電、片選）、I2C（下發(fā)配置命令給sensor）實(shí)現(xiàn)配置sensor

EHCI/OHCI：USB類型攝像頭

hardware

SIC Controller：從dphy獲取mipi協(xié)議幀
I2C Controller：與sensor的i2c block通信

GPIO Controller：sensor通常需要供電或者片選

external device
sensror：

像頭的接口主要有:USB,DVP.MIPI(CSI)

三、Linux內(nèi)核中V4L2驅(qū)動(dòng)代碼

Linux系統(tǒng)中視頻輸入設(shè)備主要包括以下四個(gè)部分：

1.字符設(shè)備驅(qū)動(dòng)：V4L2本身就是一個(gè)字符設(shè)備，具有字符設(shè)備所有的特性，暴露接口給用戶空間；

2.V4L2驅(qū)動(dòng)核心：主要是構(gòu)建一個(gè)內(nèi)核中標(biāo)準(zhǔn)視頻設(shè)備驅(qū)動(dòng)的框架，為視頻操作提供統(tǒng)一的接口函數(shù)；

3.平臺(tái)V4L2設(shè)備驅(qū)動(dòng)：在V4L2框架下，根據(jù)平臺(tái)自身的特性實(shí)現(xiàn)與平臺(tái)相關(guān)的V4L2驅(qū)動(dòng)部分，包括注冊(cè)video_device和v4l2_device；

4.具體的sensor驅(qū)動(dòng)：主要上電、提供工作時(shí)鐘、視頻圖像裁剪、流IO開啟等，實(shí)現(xiàn)各種設(shè)備控制方法供上層調(diào)用并注冊(cè)v4l2_subdev。

V4L2核心源碼位于drivers/media/v4l2-core，根據(jù)功能可以劃分為四類：

由上圖可知：

1.字符設(shè)備模塊：由v4l2-dev.c實(shí)現(xiàn)，主要作用申請(qǐng)字符主設(shè)備號(hào)、注冊(cè)class和提供video device注冊(cè)注銷等相關(guān)函數(shù)。

2.V4L2基礎(chǔ)框架：由v4l2-device.c、v4l2-subdev.c、v4l2-fh.c、v4l2-ctrls.c等文件構(gòu)建V4L2基礎(chǔ)框架。

3.videobuf管理
由videobuf2-core.c、videobuf2-dma-contig.c、videobuf2-dma-sg.c、videobuf2-memops.c、videobuf2-vmalloc.c、v4l2-mem2mem.c等文件實(shí)現(xiàn)，完成videobuffer的分配、管理和注銷。

4.Ioctl框架：由v4l2-ioctl.c文件實(shí)現(xiàn)，構(gòu)建V4L2 ioctl的框架。

瑞芯微平臺(tái)還包括ISP的驅(qū)動(dòng)框架，下面是rk3568對(duì)應(yīng)的ISP相關(guān)代碼：
Linux?Kernel-4.19
?|--?arch/arm/boot/dts?DTS配置文件
?|--?drivers/phy/rockchip
?|--?phy-rockchip-mipi-rx.c?mipi?dphy驅(qū)動(dòng)
?|--?phy-rockchip-csi2-dphy-common.h
?|--?phy-rockchip-csi2-dphy-hw.c
?|--?phy-rockchip-csi2-dphy.c
?|--?drivers/media
??|--?v4l2-core
??|--?platform/rockchip/cif?RKCIF驅(qū)動(dòng)
??|--?platform/rockchip/isp?RKISP驅(qū)動(dòng)
???|--?dev.c?包含?probe、異步注冊(cè)、clock、pipeline、?iommu及media/v4l2?framework
???|--?capture_v21.c?包含?mp/sp/rawwr的配置及?vb2，幀中斷處理
???|--?dmarx.c?包含?rawrd的配置及?vb2，幀中斷處理
???|--?isp_params.c?3A相關(guān)參數(shù)設(shè)置
???|--?isp_stats.c?3A相關(guān)統(tǒng)計(jì)
???|--?isp_mipi_luma.c?mipi數(shù)據(jù)亮度統(tǒng)計(jì)
???|--?regs.c?寄存器相關(guān)的讀寫操作
???|--?rkisp.c?isp?subdev和entity注冊(cè),包含從?mipi?接收數(shù)據(jù)，并有?crop?功能
???|--?csi.c?csi?subdev和mipi配置
???|--?bridge.c?bridge?subdev，isp和ispp交互橋梁
??|--?platform/rockchip/ispp?rkispp驅(qū)動(dòng)
???|--?dev.c?包含?probe、異步注冊(cè)、clock、pipeline、?iommu及media/v4l2?framework
???|--?stream.c?包含?4路video輸出的配置及?vb2，幀中斷處理
???|--?rkispp.c?ispp?subdev和entity注冊(cè)
???|--?params.c?TNR/NR/SHP/FEC/ORB參數(shù)設(shè)置
???|--?stats.c?ORB統(tǒng)計(jì)信息
??|--?i2c
???|--?ov13850.c?CIS(cmos?image?sensor)驅(qū)動(dòng)

四、結(jié)構(gòu)體詳解

V4L2中有幾個(gè)最重要的幾個(gè)結(jié)構(gòu)體，v4l2_device、video_device、v4l2_subdev等。他們大致關(guān)系如下：

1.v4l2_device主設(shè)備

V4L2主設(shè)備實(shí)例使用struct v4l2_device結(jié)構(gòu)體表示，v4l2_device是V4L2子系統(tǒng)的入口，管理著V4L2子系統(tǒng)的主設(shè)備和從設(shè)備；

v4l2_device用來描述一個(gè)v4l2設(shè)備實(shí)例，可以包含多個(gè)子設(shè)備，對(duì)應(yīng)的是例如 I2C、CSI、MIPI 等設(shè)備，它們是從屬于一個(gè) V4L2 device 之下的；

簡單設(shè)備可以僅分配這個(gè)結(jié)構(gòu)體，但在大多數(shù)情況下，都會(huì)將這個(gè)結(jié)構(gòu)體嵌入到一個(gè)更大的結(jié)構(gòu)體中以提供v4l2框架的功能，比如struct isp_device；

需要與媒體框架整合的驅(qū)動(dòng)必須手動(dòng)設(shè)置dev->driver_data，指向包含v4l2_device結(jié)構(gòu)體實(shí)例的驅(qū)動(dòng)特定設(shè)備結(jié)構(gòu)體。這可以在注冊(cè)V4L2設(shè)備實(shí)例前通過dev_set_drvdata()函數(shù)完成。

同時(shí)必須設(shè)置v4l2_device結(jié)構(gòu)體的mdev域，指向適當(dāng)?shù)某跏蓟⒆?cè)過的media_device實(shí)例。

?[include/media/v4l2-device.h]
????struct?v4l2_device?{
????????struct?device?*dev;??//?父設(shè)備指針
????#if?defined(CONFIG_MEDIA_CONTROLLER)??//?多媒體設(shè)備配置選項(xiàng)
????????//?用于運(yùn)行時(shí)數(shù)據(jù)流的管理，
????????struct?media_device?*mdev;
????#endif
????????//?注冊(cè)的子設(shè)備的v4l2_subdev結(jié)構(gòu)體都掛載此鏈表中
????????struct?list_head?subdevs;
????????//?同步用的自旋鎖
????????spinlock_t?lock;
????????//?獨(dú)一無二的設(shè)備名稱，默認(rèn)使用driver?name?+?bus?ID
????????char?name[V4L2_DEVICE_NAME_SIZE];
????????//?被一些子設(shè)備回調(diào)的通知函數(shù)，但這個(gè)設(shè)置與子設(shè)備相關(guān)。子設(shè)備支持的任何通知必須在
????????// include/media/<subdevice>.h 中定義一個(gè)消息頭。
????????void?(*notify)(struct?v4l2_subdev?*sd,?unsigned?int?notification,?void?*arg);
????????//?提供子設(shè)備（主要是video和ISP設(shè)備）在用戶空間的特效操作接口，
????????//?比如改變輸出圖像的亮度、對(duì)比度、飽和度等等
????????struct?v4l2_ctrl_handler?*ctrl_handler;
????????//?設(shè)備優(yōu)先級(jí)狀態(tài)
????????struct?v4l2_prio_state?prio;
????????/*?BKL?replacement?mutex.?Temporary?solution?only.?*/
????????struct?mutex?ioctl_lock;
????????//?struct?v4l2_device結(jié)構(gòu)體的引用計(jì)數(shù)，等于0時(shí)才釋放
????????struct?kref?ref;
????????//?引用計(jì)數(shù)ref為0時(shí)，調(diào)用release函數(shù)進(jìn)行釋放資源和清理工作
????????void?(*release)(struct?v4l2_device?*v4l2_dev);
????};

注冊(cè)函數(shù)：

v4l2_device_register

使用v4l2_device_register注冊(cè)v4l2_device結(jié)構(gòu)體.如果v4l2_dev->name為空，則它將被設(shè)置為從dev中衍生出的值（為了更加精確，形式為驅(qū)動(dòng)名后跟bus_id）。

如果在調(diào)用v4l2_device_register前已經(jīng)設(shè)置好了，則不會(huì)被修改。如果dev為NULL，則必須在調(diào)用v4l2_device_register前設(shè)置v4l2_dev->name。可以基于驅(qū)動(dòng)名和驅(qū)動(dòng)的全局atomic_t類型的實(shí)例編號(hào)，通過v4l2_device_set_name()設(shè)置name。

這樣會(huì)生成類似ivtv0、ivtv1等名字。若驅(qū)動(dòng)名以數(shù)字結(jié)尾，則會(huì)在編號(hào)和驅(qū)動(dòng)名間插入一個(gè)破折號(hào)，如：cx18-0、cx18-1等。

dev參數(shù)通常是一個(gè)指向pci_dev、usb_interface或platform_device的指針，很少使其為NULL，除非是一個(gè)ISA設(shè)備或者當(dāng)一個(gè)設(shè)備創(chuàng)建了多個(gè)PCI設(shè)備，使得v4l2_dev無法與一個(gè)特定的父設(shè)備關(guān)聯(lián)。

使用v4l2_device_unregister卸載v4l2_device結(jié)構(gòu)體。如果dev->driver_data域指向 v4l2_dev，將會(huì)被重置為NULL。主設(shè)備注銷的同時(shí)也會(huì)自動(dòng)注銷所有子設(shè)備。如果你有一個(gè)熱插拔設(shè)備（如USB設(shè)備），則當(dāng)斷開發(fā)生時(shí)，父設(shè)備將無效。

由于v4l2_device有一個(gè)指向父設(shè)備的指針必須被清除，同時(shí)標(biāo)志父設(shè)備已消失，所以必須調(diào)用v4l2_device_disconnect函數(shù)清理v4l2_device中指向父設(shè)備的dev指針。v4l2_device_disconnect并不注銷主設(shè)備，因此依然要調(diào)用v4l2_device_unregister函數(shù)注銷主設(shè)備。

[include/media/v4l2-device.h]
????//?注冊(cè)v4l2_device結(jié)構(gòu)體，并初始化v4l2_device結(jié)構(gòu)體
????//?dev-父設(shè)備結(jié)構(gòu)體指針，若為NULL，在注冊(cè)之前設(shè)備名稱name必須被設(shè)置，
????//?v4l2_dev-v4l2_device結(jié)構(gòu)體指針
????//?返回值-0成功，小于0-失敗
????int?v4l2_device_register(struct?device?*dev,?struct?v4l2_device?*v4l2_dev)

????//?卸載注冊(cè)的v4l2_device結(jié)構(gòu)體
????//?v4l2_dev-v4l2_device結(jié)構(gòu)體指針
????void?v4l2_device_unregister(struct?v4l2_device?*v4l2_dev)

????//?設(shè)置設(shè)備名稱，填充v4l2_device結(jié)構(gòu)體中的name成員
????//?v4l2_dev-v4l2_device結(jié)構(gòu)體指針
????//?basename-設(shè)備名稱基本字符串
????//?instance-設(shè)備計(jì)數(shù)，調(diào)用v4l2_device_set_name后會(huì)自加1
????//?返回值-返回設(shè)備計(jì)數(shù)自加1的值
????int?v4l2_device_set_name(struct?v4l2_device?*v4l2_dev,?
????????????const?char?*basename,?atomic_t?*instance)

????//?熱插拔設(shè)備斷開時(shí)調(diào)用此函數(shù)
????//?v4l2_dev-v4l2_device結(jié)構(gòu)體指針
????void?v4l2_device_disconnect(struct?v4l2_device?*v4l2_dev);
同一個(gè)硬件的情況下。如ivtvfb驅(qū)動(dòng)是一個(gè)使用ivtv硬件的幀緩沖驅(qū)動(dòng)，同時(shí)alsa驅(qū)動(dòng)也使用此硬件?？梢允褂萌缦吕瘫闅v所有注冊(cè)的設(shè)備：
????static?int?callback(struct?device?*dev,?void?*p)
????{
????????struct?v4l2_device?*v4l2_dev?=?dev_get_drvdata(dev);

????????/*?測(cè)試這個(gè)設(shè)備是否已經(jīng)初始化?*/
????????if?(v4l2_dev?==?NULL)
????????????return?0;
????????...
????????return?0;
????}

????int?iterate(void?*p)
????{
????????struct?device_driver?*drv;
????????int?err;

????????/*?在PCI 總線上查找ivtv驅(qū)動(dòng)。
??????? pci_bus_type是全局的. 對(duì)于USB總線使用usb_bus_type。?*/
????????drv?=?driver_find("ivtv",?&pci_bus_type);
????????/*?遍歷所有的ivtv設(shè)備實(shí)例?*/
????????err?=?driver_for_each_device(drv,?NULL,?p,?callback);
????????put_driver(drv);
????????return?err;
????}

2. video_device

V4L2子系統(tǒng)使用v4l2_device結(jié)構(gòu)體管理設(shè)備，設(shè)備的具體操作方法根據(jù)設(shè)備類型決定，

前面說過管理的設(shè)備分為很多種，

若是視頻設(shè)備，則需要注冊(cè)video_device結(jié)構(gòu)體，并提供相應(yīng)的操作方法。

對(duì)于視頻設(shè)備Camera而言，Camera控制器可以視為主設(shè)備，接在Camera控制器上的攝像頭可以視為從設(shè)備。

struct?video_device
{
?const?struct?v4l2_file_operations?*fops;
?struct?cdev?*cdev;?????//vdev->cdev->ops?=?&v4l2_fops;??字符設(shè)備描述符
?struct?v4l2_device?*v4l2_dev;
?struct?v4l2_ctrl_handler?*ctrl_handler;

?struct?vb2_queue?*queue;??//q->ops?=?&dmarx_vb2_ops;?buf操作真正驅(qū)動(dòng)回調(diào)函數(shù)
??…………
?const?struct?v4l2_ioctl_ops?*ioctl_ops;//vdev->ioctl_ops?=?&rkisp_dmarx_ioctl;?
??…………
};

注冊(cè)函數(shù)：

[rk_android11.0_sdk_220718kerneldriversmediav4l2-corev4l2-dev.c]


static?inline?int?__must_check?video_register_device(struct?video_device?*vdev,
????????int?type,?int?nr)
{
????return?__video_register_device(vdev,?type,?nr,?1,?vdev->fops->owner);
}
int?__video_register_device(struct?video_device?*vdev,?int?type,?int?nr,
????????int?warn_if_nr_in_use,?struct?module?*owner)
{
????····
????int?minor_cnt?=?VIDEO_NUM_DEVICES;//次設(shè)備個(gè)數(shù)默認(rèn)為256
????const?char?*name_base;

????/*?A?minor?value?of?-1?marks?this?video?device?as?never
???????having?been?registered?*/
????vdev->minor?=?-1;

????/*?the?release?callback?MUST?be?present?如果之前沒有聲明銷毀函數(shù)，則報(bào)錯(cuò)*/
????if?(WARN_ON(!vdev->release))
????????return?-EINVAL;
????/*?the?v4l2_dev?pointer?MUST?be?present?如果之前未注冊(cè)v4l2_device則報(bào)錯(cuò)*/
????if?(WARN_ON(!vdev->v4l2_dev))
????????return?-EINVAL;

????/*?Part?1:?check?device?type?*/
????switch?(type)?{
????//根據(jù)設(shè)備類型類注冊(cè)設(shè)備，攝像頭設(shè)備為VFL_TYPE_GRABBER類型
????case?VFL_TYPE_GRABBER:
????????name_base?=?"video";
????·····
????·····
????vdev->vfl_type?=?type;
????vdev->cdev?=?NULL;
????if?(vdev->dev_parent?==?NULL)
????????vdev->dev_parent?=?vdev->v4l2_dev->dev;
????if?(vdev->ctrl_handler?==?NULL)
????????//設(shè)置video_device的ctrl_handler，存在v4l2_device結(jié)構(gòu)體中
????????vdev->ctrl_handler?=?vdev->v4l2_dev->ctrl_handler;
????/*?Part?2:?find?a?free?minor,?device?node?number?and?device?index.?*/
????/*2.尋找空閑次設(shè)備號(hào)，設(shè)備個(gè)數(shù)和設(shè)備下標(biāo)*/

????/*?Pick?a?device?node?number?尋找一個(gè)空項(xiàng)位置*/
????mutex_lock(&videodev_lock);
????nr?=?devnode_find(vdev,?nr?==?-1???0?:?nr,?minor_cnt);
????//
????if?(nr?==?minor_cnt)
????????nr?=?devnode_find(vdev,?0,?minor_cnt);
????if?(nr?==?minor_cnt)?{
????????printk(KERN_ERR?"could?not?get?a?free?device?node?numbern");
????????mutex_unlock(&videodev_lock);
????????return?-ENFILE;
????}
#ifdef?CONFIG_VIDEO_FIXED_MINOR_RANGES
????/*?1-on-1?mapping?of?device?node?number?to?minor?number?*/
????i?=?nr;
#else
????/*?The?device?node?number?and?minor?numbers?are?independent,?so
???????we?just?find?the?first?free?minor?number.?*/
????for?(i?=?0;?i?<?VIDEO_NUM_DEVICES;?i++)
????????if?(video_device[i]?==?NULL)
????????????break;
????if?(i?==?VIDEO_NUM_DEVICES)?{
????????mutex_unlock(&videodev_lock);
????????printk(KERN_ERR?"could?not?get?a?free?minorn");
????????return?-ENFILE;
????}
#endif
????vdev->minor?=?i?+?minor_offset;
????vdev->num?=?nr;
????devnode_set(vdev);

????/*?Should?not?happen?since?we?thought?this?minor?was?free?*/

????vdev->index?=?get_index(vdev);
????video_device[vdev->minor]?=?vdev;

????if?(vdev->ioctl_ops)
????????determine_valid_ioctls(vdev);

????/*?Part?3:?Initialize?the?character?device?*/
????vdev->cdev?=?cdev_alloc();
????if?(vdev->cdev?==?NULL)?{
????????ret?=?-ENOMEM;
????????goto?cleanup;
????}
????vdev->cdev->ops?=?&v4l2_fops;//設(shè)置字符設(shè)備的系統(tǒng)調(diào)用函數(shù)
????vdev->cdev->owner?=?owner;

????//注冊(cè)字符設(shè)備
????ret?=?cdev_add(vdev->cdev,?MKDEV(VIDEO_MAJOR,?vdev->minor),?1);

????/*?Part?4:?register?the?device?with?sysfs?*/
????vdev->dev.class?=?&video_class;
????vdev->dev.devt?=?MKDEV(VIDEO_MAJOR,?vdev->minor);
????vdev->dev.parent?=?vdev->dev_parent;
????//設(shè)置video結(jié)點(diǎn)名稱，如果設(shè)備類型為VFL_TYPE_GRABBER，名稱為videoX
????dev_set_name(&vdev->dev,?"%s%d",?name_base,?vdev->num);

????//注冊(cè)device文件，生成設(shè)備文件/dev/videoX
????ret?=?device_register(&vdev->dev);
????/*?Register?the?release?callback?that?will?be?called?when?the?last
???????reference?to?the?device?goes?away.?*/
????//設(shè)置銷毀video設(shè)備的回調(diào)函數(shù)
????vdev->dev.release?=?v4l2_device_release;

????/*?Increase?v4l2_device?refcount?*/
????v4l2_device_get(vdev->v4l2_dev);

這個(gè)函數(shù)主要做四件事：

檢查設(shè)備類型，賦予設(shè)備名稱尋找一個(gè)空閑的設(shè)備位置，尋找合適的主設(shè)備號(hào)和次設(shè)號(hào)初始化字符設(shè)備，使用v4l2_device的v4l2_fops初始化video_device的fops,release函數(shù)等注冊(cè)字符設(shè)備，并生成/dev/videoX結(jié)點(diǎn)，注冊(cè)subdev時(shí)也會(huì)調(diào)用這個(gè)接口

3. v4l2_subdev從設(shè)備

V4L2從設(shè)備使用struct v4l2_subdev結(jié)構(gòu)體表示，該結(jié)構(gòu)體用于對(duì)子設(shè)備進(jìn)行抽象。

幾乎所有的設(shè)備都有多個(gè) IC 模塊

它們可能是實(shí)體的（例如 USB 攝像頭里面包含 ISP、sensor 等）也可能是抽象的（如 USB 設(shè)備里面的抽象拓?fù)浣Y(jié)構(gòu)）它們?cè)?/dev 目錄下面生成了多個(gè)設(shè)備節(jié)點(diǎn)，并且這些 IC 模塊還創(chuàng)建了一些非 v4l2 設(shè)備：DVB、ALSA、FB、I2C 和輸入設(shè)備。

通常情況下，這些IC模塊通過一個(gè)或者多個(gè) I2C 總線連接到主橋驅(qū)動(dòng)上面，同時(shí)其它的總線仍然可用，這些 IC 就稱為 ‘sub-devices’。

一個(gè)V4L2主設(shè)備可能對(duì)應(yīng)多個(gè)V4L2從設(shè)備，所有主設(shè)備對(duì)應(yīng)的從設(shè)備都掛到v4l2_device結(jié)構(gòu)體的subdevs鏈表中。

對(duì)于視頻設(shè)備，從設(shè)備就是攝像頭，通常情況下是I2C設(shè)備，主設(shè)備可通過I2C總線控制從設(shè)備

例如控制攝像頭的焦距、閃光燈等，同時(shí)使用 MIPI 或者 LVDS 等接口進(jìn)行圖像數(shù)據(jù)傳輸。

struct v4l2_subdev中包含的struct v4l2_subdev_ops是一個(gè)完備的操作函數(shù)集，用于對(duì)接各種不同的子設(shè)備，比如video、audio、sensor等；

同時(shí)還有一個(gè)核心的函數(shù)集struct v4l2_subdev_core_ops，提供更通用的功能。子設(shè)備驅(qū)動(dòng)根據(jù)設(shè)備特點(diǎn)實(shí)現(xiàn)該函數(shù)集中的某些函數(shù)即可。

?[include/media/v4l2-subdev.h]
????#define?V4L2_SUBDEV_FL_IS_I2C????????(1U?<<?0)??//?從設(shè)備是I2C設(shè)備
????#define?V4L2_SUBDEV_FL_IS_SPI????????(1U?<<?1)??//?從設(shè)備是SPI設(shè)備
????#define?V4L2_SUBDEV_FL_HAS_DEVNODE????(1U?<<?2)??//?從設(shè)備需要設(shè)備節(jié)點(diǎn)
????#define?V4L2_SUBDEV_FL_HAS_EVENTS????(1U?<<?3)??//?從設(shè)備會(huì)產(chǎn)生事件

????struct?v4l2_subdev?{
????#if?defined(CONFIG_MEDIA_CONTROLLER)??//?多媒體配置選項(xiàng)
????????struct?media_entity?entity;
????#endif
????????struct?list_head?list;??//?子設(shè)備串聯(lián)鏈表
????????struct?module?*owner;??//?屬于那個(gè)模塊，一般指向i2c_lient驅(qū)動(dòng)模塊
????????bool?owner_v4l2_dev;
????????//?標(biāo)志位，確定該設(shè)備屬于那種設(shè)備，由V4L2_SUBDEV_FL_IS_XX宏確定
????????u32?flags;
????????//?指向主設(shè)備的v4l2_device結(jié)構(gòu)體
????????struct?v4l2_device?*v4l2_dev;
????????//?v4l2子設(shè)備的操作函數(shù)集合
????????const?struct?v4l2_subdev_ops?*ops;
????????//?提供給v4l2框架的操作函數(shù)，只有v4l2框架會(huì)調(diào)用，驅(qū)動(dòng)不使用
????????const?struct?v4l2_subdev_internal_ops?*internal_ops;
????????//?從設(shè)備的控制接口
????????struct?v4l2_ctrl_handler?*ctrl_handler;
????????//?從設(shè)備的名稱，必須獨(dú)一無二
????????char?name[V4L2_SUBDEV_NAME_SIZE];
????????//?從設(shè)備組的ID，由驅(qū)動(dòng)定義，相似的從設(shè)備可以編為一組，
????????u32?grp_id;
????????//?從設(shè)備私有數(shù)據(jù)指針，一般指向i2c_client的設(shè)備結(jié)構(gòu)體dev
????????void?*dev_priv;
????????//?主設(shè)備私有數(shù)據(jù)指針，一般指向v4l2_device嵌入的結(jié)構(gòu)體
????????void?*host_priv;
????????//?指向video設(shè)備結(jié)構(gòu)體
????????struct?video_device?*devnode;
????????//?指向物理設(shè)備
????????struct?device?*dev;
????????//?將所有從設(shè)備連接到全局subdev_list鏈表或notifier->done鏈表
????????struct?list_head?async_list;
????????//?指向struct?v4l2_async_subdev，用于異步事件
????????struct?v4l2_async_subdev?*asd;
????????//?指向管理的notifier，用于主設(shè)備和從設(shè)備的異步關(guān)聯(lián)
????????struct?v4l2_async_notifier?*notifier;
????????/*?common?part?of?subdevice?platform?data?*/
????????struct?v4l2_subdev_platform_data?*pdata;
????};
????//?提供給v4l2框架的操作函數(shù)，只有v4l2框架會(huì)調(diào)用，驅(qū)動(dòng)不使用
????struct?v4l2_subdev_internal_ops?{
????????//?v4l2_subdev注冊(cè)時(shí)回調(diào)此函數(shù)，使v4l2_dev指向主設(shè)備的v4l2_device結(jié)構(gòu)體
????????int?(*registered)(struct?v4l2_subdev?*sd);
????????//?v4l2_subdev卸載時(shí)回調(diào)此函數(shù)
????????void?(*unregistered)(struct?v4l2_subdev?*sd);
????????//?應(yīng)用調(diào)用open打開從設(shè)備節(jié)點(diǎn)時(shí)調(diào)用此函數(shù)
????????int?(*open)(struct?v4l2_subdev?*sd,?struct?v4l2_subdev_fh?*fh);
????????//?應(yīng)用調(diào)用close時(shí)調(diào)用此函數(shù)
????????int?(*close)(struct?v4l2_subdev?*sd,?struct?v4l2_subdev_fh?*fh);
????};

使用v4l2_subdev_init初始化v4l2_subdev結(jié)構(gòu)體。然后必須用一個(gè)唯一的名字初始化subdev->name，同時(shí)初始化模塊的owner域。

若從設(shè)備是I2C設(shè)備，則可使用v4l2_i2c_subdev_init函數(shù)進(jìn)行初始化，該函數(shù)內(nèi)部會(huì)調(diào)用v4l2_subdev_init，同時(shí)設(shè)置flags、owner、dev、name等成員。

?[include/media/v4l2-subdev.h]
????//?初始化v4l2_subdev結(jié)構(gòu)體
????//?ops-v4l2子設(shè)備的操作函數(shù)集合指針，保存到v4l2_subdev結(jié)構(gòu)體的ops成員中
????void?v4l2_subdev_init(struct?v4l2_subdev?*sd,
????????????const?struct?v4l2_subdev_ops?*ops);

????[include/media/v4l2-common.h]
????//?初始化V4L2從設(shè)備為I2C設(shè)備的v4l2_subdev結(jié)構(gòu)體
????//?sd-v4l2_subdev結(jié)構(gòu)體指針
????//?client-i2c_client結(jié)構(gòu)體指針
????//?ops-v4l2子設(shè)備的操作函數(shù)集合指針，保存到v4l2_subdev結(jié)構(gòu)體的ops成員中
????void?v4l2_i2c_subdev_init(struct?v4l2_subdev?*sd,?
????????struct?i2c_client?*client,
????????const?struct?v4l2_subdev_ops?*ops);

從設(shè)備必須向V4L2子系統(tǒng)注冊(cè)v4l2_subdev結(jié)構(gòu)體，使用v4l2_device_register_subdev注冊(cè)，使用v4l2_device_unregister_subdev注銷。

[include/media/v4l2-device.h]
????//?向V4L2子系統(tǒng)注冊(cè)v4l2_subdev結(jié)構(gòu)體
????//?v4l2_dev-主設(shè)備v4l2_device結(jié)構(gòu)體指針
????//?sd-從設(shè)備v4l2_subdev結(jié)構(gòu)體指針
????//?返回值?0-成功，小于0-失敗
????int?v4l2_device_register_subdev(struct?v4l2_device?*v4l2_dev,
????????????????????struct?v4l2_subdev?*sd)

????//?從V4L2子系統(tǒng)注銷v4l2_subdev結(jié)構(gòu)體
????//?sd-從設(shè)備v4l2_subdev結(jié)構(gòu)體指針????
????void?v4l2_device_unregister_subdev(struct?v4l2_subdev?*sd);

V4L2從設(shè)備驅(qū)動(dòng)都必須有一個(gè)v4l2_subdev結(jié)構(gòu)體。這個(gè)結(jié)構(gòu)體可以單獨(dú)代表一個(gè)簡單的從設(shè)備，也可以嵌入到一個(gè)更大的結(jié)構(gòu)體中，與更多設(shè)備狀態(tài)信息保存在一起。通常有一個(gè)下級(jí)設(shè)備結(jié)構(gòu)體（比如：i2c_client）包含了內(nèi)核創(chuàng)建的設(shè)備數(shù)據(jù)。

建議使用v4l2_set_subdevdata()將這個(gè)結(jié)構(gòu)體的指針保存在v4l2_subdev的私有數(shù)據(jù)域(dev_priv)中。可以更方便的通過v4l2_subdev找到實(shí)際的低層總線特定設(shè)備數(shù)據(jù)。

對(duì)于常用的i2c_client結(jié)構(gòu)體，i2c_set_clientdata函數(shù)可用于保存一個(gè)v4l2_subdev指針，i2c_get_clientdata可以獲取一個(gè)v4l2_subdev指針；對(duì)于其他總線可能需要使用其他相關(guān)函數(shù)。

[include/media/v4l2-subdev.h]
????//?將i2c_client的指針保存到v4l2_subdev結(jié)構(gòu)體的dev_priv成員中
????static?inline?void?v4l2_set_subdevdata(struct?v4l2_subdev?*sd,?void?*p)
????{
????????sd->dev_priv?=?p;
????}

????[include/linux/i2c.h]
????//?可以將v4l2_subdev結(jié)構(gòu)體指針保存到i2c_client中dev成員的driver_data中
????static?inline?void?i2c_set_clientdata(struct?i2c_client?*dev,?void?*data)
????{
????????dev_set_drvdata(&dev->dev,?data);
????}
????//?獲取i2c_client結(jié)構(gòu)體中dev成員的driver_data，一般指向v4l2_subdev
????static?inline?void?*i2c_get_clientdata(const?struct?i2c_client?*dev)
????{
????????return?dev_get_drvdata(&dev->dev);
????}

主設(shè)備驅(qū)動(dòng)中也應(yīng)保存每個(gè)子設(shè)備的私有數(shù)據(jù)，比如一個(gè)指向特定主設(shè)備的各設(shè)備私有數(shù)據(jù)的指針。為此v4l2_subdev結(jié)構(gòu)體提供主設(shè)備私有數(shù)據(jù)域(host_priv)，并可通過v4l2_get_subdev_hostdata和 v4l2_set_subdev_hostdata訪問。

?[include/media/v4l2-subdev.h]
????static?inline?void?*v4l2_get_subdev_hostdata(const?struct?v4l2_subdev?*sd)
????{
????????return?sd->host_priv;
????}
????static?inline?void?v4l2_set_subdev_hostdata(struct?v4l2_subdev?*sd,?void?*p)
????{
????????sd->host_priv?=?p;
????}

每個(gè)v4l2_subdev都包含子設(shè)備驅(qū)動(dòng)需要實(shí)現(xiàn)的函數(shù)指針（如果對(duì)此設(shè)備不適用，可為NULL），具體在v4l2_subdev_ops結(jié)構(gòu)體當(dāng)中。

由于子設(shè)備可完成許多不同的工作，而在一個(gè)龐大的函數(shù)指針結(jié)構(gòu)體中通常僅有少數(shù)有用的函數(shù)實(shí)現(xiàn)其功能肯定不合適。

所以，函數(shù)指針根據(jù)其實(shí)現(xiàn)的功能被分類，每一類都有自己的函數(shù)指針結(jié)構(gòu)體，如v4l2_subdev_core_ops、v4l2_subdev_audio_ops、v4l2_subdev_video_ops等等。

頂層函數(shù)指針結(jié)構(gòu)體包含了指向各類函數(shù)指針結(jié)構(gòu)體的指針，如果子設(shè)備驅(qū)動(dòng)不支持該類函數(shù)中的任何一個(gè)功能，則指向該類結(jié)構(gòu)體的指針為NULL。

?[include/media/v4l2-subdev.h]
????/*?v4l2從設(shè)備的操作函數(shù)集合，從設(shè)備根據(jù)自身設(shè)備類型選擇實(shí)現(xiàn)，
???????其中core函數(shù)集通?？捎糜谒凶釉O(shè)備，其他類別的實(shí)現(xiàn)依賴于
???????子設(shè)備。如視頻設(shè)備可能不支持音頻操作函數(shù)，反之亦然。這樣的
???????設(shè)置在限制了函數(shù)指針數(shù)量的同時(shí)，還使增加新的操作函數(shù)和分類
???????變得較為容易。?*/
????struct?v4l2_subdev_ops?{
????????//?從設(shè)備的通用操作函數(shù)集合，進(jìn)行初始化、reset、控制等操作
????????const?struct?v4l2_subdev_core_ops????*core;
????????const?struct?v4l2_subdev_tuner_ops????*tuner;
????????const?struct?v4l2_subdev_audio_ops????*audio;??//?音頻設(shè)備
????????//?視頻設(shè)備
????????const?struct?v4l2_subdev_video_ops????*video;??
????????const?struct?v4l2_subdev_vbi_ops????*vbi;????//?VBI設(shè)備
????????const?struct?v4l2_subdev_ir_ops????????*ir;
????????const?struct?v4l2_subdev_sensor_ops????*sensor;
????????const?struct?v4l2_subdev_pad_ops????*pad;
????};
????//?適用于所有v4l2從設(shè)備的操作函數(shù)集合
????struct?v4l2_subdev_core_ops?{
????????//?IO引腳復(fù)用配置
????????int?(*s_io_pin_config)(struct?v4l2_subdev?*sd,?size_t?n,
????????????????????????struct?v4l2_subdev_io_pin_config?*pincfg);
????????//?初始化從設(shè)備的某些寄存器，使其恢復(fù)默認(rèn)
????????int?(*init)(struct?v4l2_subdev?*sd,?u32?val);
????????//?加載固件
????????int?(*load_fw)(struct?v4l2_subdev?*sd);
????????//?復(fù)位
????????int?(*reset)(struct?v4l2_subdev?*sd,?u32?val);
????????//?設(shè)置GPIO引腳輸出值
????????int?(*s_gpio)(struct?v4l2_subdev?*sd,?u32?val);
????????//?設(shè)置從設(shè)備的電源狀態(tài)，0-省電模式，1-正常操作模式
????????int?(*s_power)(struct?v4l2_subdev?*sd,?int?on);
????????//?中斷函數(shù)，被主設(shè)備的中斷函數(shù)調(diào)用
????????int?(*interrupt_service_routine)(struct?v4l2_subdev?*sd,
????????????????????????????u32?status,?bool?*handled);
????????......
????};

使用v4l2_device_register_subdev注冊(cè)從設(shè)備后，就可以調(diào)用v4l2_subdev_ops中的方法了。

可以通過v4l2_subdev直接調(diào)用，也可以使用內(nèi)核提供的宏定義v4l2_subdev_call間接調(diào)用某一個(gè)方法。

若要調(diào)用多個(gè)從設(shè)備的同一個(gè)方法，則可使用v4l2_device_call_all宏定義。

//?直接調(diào)用
????err?=?sd->ops->video->g_std(sd,?&norm);

????//?使用宏定義調(diào)用，這個(gè)宏將會(huì)做NULL指針檢查，如果su為NULL，則返回-ENODEV；
????//?如果sd->ops->video或sd->ops->video->g_std為NULL，則返回-ENOIOCTLCMD；
????//?否則將返回sd->ops->video->g_std的調(diào)用的實(shí)際結(jié)果
????err?=?v4l2_subdev_call(sd,?video,?g_std,?&norm);

????[include/media/v4l2-subdev.h]
????#define?v4l2_subdev_call(sd,?o,?f,?args...)????????????????
????(!(sd)???-ENODEV?:?(((sd)->ops->o?&&?(sd)->ops->o->f)??????
????????(sd)->ops->o->f((sd)?,?##args)?:?-ENOIOCTLCMD))


????v4l2_device_call_all(v4l2_dev,?0,?video,?g_std,?&norm);
??
[include/media/v4l2-device.h]
????#define?v4l2_device_call_all(v4l2_dev,?grpid,?o,?f,?args...)????????
????do?{????????????????????????????????
????????struct?v4l2_subdev?*__sd;????????????????
????????__v4l2_device_call_subdevs_p(v4l2_dev,?__sd,????????
????????????!(grpid)?||?__sd->grp_id?==?(grpid),?o,?f?,????
????????????##args);????????????????????
????}?while?(0)

如果子設(shè)備需要通知它的v4l2_device主設(shè)備一個(gè)事件，可以調(diào)用**v4l2_subdev_notify(sd,notification, arg)**。

這個(gè)宏檢查是否有一個(gè)notify回調(diào)被注冊(cè)，如果沒有，返回-ENODEV。否則返回 notify調(diào)用結(jié)果。notify回調(diào)函數(shù)由主設(shè)備提供。

[include/media/v4l2-device.h]
????//?從設(shè)備通知主設(shè)備，最終回調(diào)到v4l2_device的notify函數(shù)
????static?inline?void?v4l2_subdev_notify(struct?v4l2_subdev?*sd,
????????????????????????unsigned?int?notification,?void?*arg)
????{
????????if?(sd?&&?sd->v4l2_dev?&&?sd->v4l2_dev->notify)
????????????sd->v4l2_dev->notify(sd,?notification,?arg);
????}

使用v4l2_subdev的好處在于它是一個(gè)通用結(jié)構(gòu)體，且不包含任何底層硬件信息。

所有驅(qū)動(dòng)可以包含多個(gè)I2C總線的從設(shè)備，但也有從設(shè)備是通過GPIO控制。這個(gè)區(qū)別僅在配置設(shè)備時(shí)有關(guān)系，一旦子設(shè)備注冊(cè)完成，對(duì)于v4l2子系統(tǒng)來說就完全透明了。

4. ? ?v4l2_fh：

文件訪問控制

5. ? v4l2_ctrl_handler：

控制模塊，提供子設(shè)備（主要是 video 和 ISP 設(shè)備）在用戶空間的特效操作接口

6. ? media_device：

用于運(yùn)行時(shí)數(shù)據(jù)流的管理，嵌入在 V4L2 device 內(nèi)部

五、 video_device、v4l2_device和v4l2_subdev的關(guān)系舉例

下面以我們手機(jī)的攝像頭來舉例：

1. 假定一款CMOS攝像頭，有兩個(gè)接口：

一個(gè)是攝像頭接口(數(shù)據(jù))，一個(gè)是I2C接口(控制命令)

攝像頭接口負(fù)責(zé)傳輸圖像數(shù)據(jù)，I2C接口負(fù)責(zé)傳輸控制信息，所以又可以將CMOS攝像頭看作是一個(gè)I2C模塊

在一款SoC芯片上面，攝像頭相關(guān)的有攝像頭控制器、攝像頭接口、I2C總線SOC上可以有多個(gè)攝像頭控制器，多個(gè)攝像頭接口，多個(gè)I2C總線
攝像頭控制器負(fù)責(zé)接收和處理攝像頭數(shù)據(jù)，攝像頭接口負(fù)責(zé)傳輸圖像數(shù)據(jù)，I2C總線負(fù)責(zé)傳輸控制信息

對(duì)于手機(jī)而言，一般都有兩個(gè)攝像頭：一個(gè)前置攝像頭，一個(gè)后置攝像頭

如下圖所示：

我們可以選擇讓控制器去操作哪一個(gè)攝像頭（可以使用某個(gè)gpio供電，通過電平來選擇攝像頭），這就做到了使用一個(gè)攝像頭控制器來控制多個(gè)攝像頭，這就是多路復(fù)用

我們回到V4L2來，再來談v4l2_device和v4l2_subdev：

• v4l2_device表示一個(gè)v4l2實(shí)例，在V4L2驅(qū)動(dòng)中，使用v4l2_device來表示攝像頭控制器使用v4l2_subdev來表示具體的某一個(gè)攝像頭的I2C控制模塊，進(jìn)而通過其控制攝像頭v4l2_device里有一個(gè)v4l2_subdev鏈表，可以選擇v4l2_device去控制哪一個(gè)v4l2_subdev

subdev的設(shè)計(jì)目的是為了多路復(fù)用，就是用一個(gè)v4l2_device可以服務(wù)多個(gè)v4l2_subdev

然而某些驅(qū)動(dòng)是沒有v4l2_subdev，只有video_device

我們用一張圖來總結(jié)設(shè)備之間關(guān)系：

video_device是一個(gè)字符設(shè)備，video_device內(nèi)含一個(gè)cdevv4l2_device是一個(gè)v4l2實(shí)例，嵌入到video_device中v4l2_device維護(hù)者一個(gè)鏈表管理v4l2_subdev，v4l2_subdev表示攝像頭的I2C控制模塊主設(shè)備可通過v4l2_subdev_call的宏調(diào)用從設(shè)備提供的方法，反過來從設(shè)備可以調(diào)用主設(shè)備的notify方法通知主設(shè)備某些事件發(fā)生了。

核心層（core）負(fù)責(zé)注冊(cè)字符設(shè)備，然后提供video_device對(duì)象和相應(yīng)的注冊(cè)接口給硬件相關(guān)層使用；

硬件相關(guān)層需要分配一個(gè)video_device并設(shè)置它，然后向核心層注冊(cè)，核心層會(huì)為其注冊(cè)字符設(shè)備并且創(chuàng)建設(shè)備節(jié)點(diǎn)(/dev/videox)；

同時(shí)硬件相關(guān)層還需要分配和設(shè)置相應(yīng)的v4l2_device和v4l2_subdev，其中v4l2_device的一個(gè)比較重要的意義就是管理v4l2_subdev，當(dāng)然有一些驅(qū)動(dòng)并不需要實(shí)現(xiàn)v4l2_subdev，此時(shí)v4l2_device的意義就不是很大了；

當(dāng)應(yīng)用層通過/dev/video來操作設(shè)備的時(shí)候，首先會(huì)來到V4L2的核心層，核心層通過注冊(cè)進(jìn)的video_device的回調(diào)函數(shù)調(diào)用相應(yīng)的操作函數(shù)，video_device可以直接操作硬件或者是通過v4l2_subdev來操作硬件。

一口君再把各個(gè)結(jié)構(gòu)體與各回調(diào)函數(shù)之間關(guān)系匯總到下面這個(gè)圖里(rk3568)：

主要架構(gòu)部分Linux內(nèi)核已經(jīng)實(shí)現(xiàn)了，Camera控制器驅(qū)動(dòng)，廠家一般都會(huì)實(shí)現(xiàn)，對(duì)于一般驅(qū)動(dòng)工程師來說，我們只需要實(shí)現(xiàn)子設(shè)備驅(qū)動(dòng)即可。

六、videobuf2

從數(shù)據(jù)流角度來分析，V4L2框架可以分成兩個(gè)部分看：控制流+數(shù)據(jù)流：

控制流主要由v4l2_subdev的回調(diào)函數(shù)實(shí)現(xiàn)(一般由攝像頭廠商提供)，主要用于控制攝像數(shù)據(jù)流的部分就是video buffer，驅(qū)動(dòng)部分通常由SoC廠商提供（比如瑞芯微rk3568平臺(tái),對(duì)應(yīng)到rkisp_rawrd0_m、rkisp_rawrd2_s子模塊）。

V4L2的buffer管理是通過videobuf2來完成的，它充當(dāng)用戶空間和驅(qū)動(dòng)之間的中間層，并提供low-level，模塊化的內(nèi)存管理功能；

回顧一下獲取攝像頭視頻流的主要步驟：

要獲取圖像信息需要執(zhí)行VIDIOC_DQBUF、VIDIOC_QBUF命令。

瑞芯微rk3568平臺(tái)videobuf2相關(guān)結(jié)構(gòu)體和ops回調(diào)函數(shù)關(guān)系如下：

其中struct rkisp_device是瑞芯微3568平臺(tái)用于管理Camera控制器的最重要的結(jié)構(gòu)體

struct rkisp_capture_device 對(duì)應(yīng)拓?fù)浣Y(jié)構(gòu)中的模塊rkisp_rawrd0_m 、rkisp_rawrd2_s 。

該模塊是一個(gè)video設(shè)備，用于獲取原始圖像信息，所以在struct rkisp_vdev_node vnode中包含了struct vb2_queue buf_queue、struct video_device vdev

struct vb2_queue中的回調(diào)函數(shù)struct vb2_mem_ops *mem_ops、struct vb2_buf_ops *buf_ops、struct vb2_ops *ops就是videobuf2驅(qū)動(dòng)。

videobuf2驅(qū)動(dòng)部分相關(guān)結(jié)構(gòu)體如下：

上圖大體包含了videobuf2的框架；

vb2_queue：核心的數(shù)據(jù)結(jié)構(gòu)，用于描述buffer的隊(duì)列，其中struct vb2_buffer *bufs[]是存放buffer節(jié)點(diǎn)的數(shù)組，該數(shù)組中的成員代表了vb2 buffer，并將在queued_list和done_list兩個(gè)隊(duì)列中進(jìn)行流轉(zhuǎn)；struct vb2_buf_ops：buffer的操作函數(shù)集，由驅(qū)動(dòng)來實(shí)現(xiàn)，并由框架通過call_bufop宏來對(duì)特定的函數(shù)進(jìn)行調(diào)用；struct vb2_mem_ops：內(nèi)存buffer分配函數(shù)接口，buffer類型分為三種：1）虛擬地址和物理地址都分散，可以通過dma-sg來完成；2）物理地址分散，虛擬地址連續(xù)，可以通過vmalloc分配；3）物理地址連續(xù)，可以通過dma-contig來完成；三種類型也vb2框架中都有實(shí)現(xiàn)，框架可以通過call_memop來進(jìn)行調(diào)用；struct vb2_ops：vb2隊(duì)列操作函數(shù)集，由驅(qū)動(dòng)來實(shí)現(xiàn)對(duì)應(yīng)的接口，并在框架中通過call_vb_qop宏被調(diào)用；

調(diào)用流程：

?????????????????????通用接口????----------isp?ioctrl接口----------???????????驅(qū)動(dòng)????????????????????????
字符設(shè)備->v4l2_ioctl->v4l_qbuf->vb2_ioctl_qbuf->vb2_qbuf->vb2_core_qbuf->rkisp_buf_queue

下面是VIDIOC_DQBUF命令執(zhí)行的 log【在函數(shù)vb2_core_dqbuf入口調(diào)用stack_dump()】：

/*?*/
[??105.813743]?vb2_core_dqbuf+0x54/0x5b8
[??105.813753]?vb2_dqbuf+0x94/0xc8
[??105.813763]?vb2_ioctl_dqbuf+0x50/0x60

[??105.813774]?v4l_dqbuf+0x44/0x58
[??105.813785]?__video_do_ioctl+0x1a0/0x348
[??105.813795]?video_usercopy+0x228/0x740
[??105.813805]?video_ioctl2+0x14/0x20
[??105.813815]?v4l2_ioctl+0x44/0x68
[??105.813825]?v4l2_compat_ioctl32+0x1d0/0x3a48

[??105.813836]?__arm64_compat_sys_ioctl+0xbc/0x15b0
[??105.813847]?el0_svc_common.constprop.0+0x64/0x178
[??105.813859]?el0_svc_compat_handler+0x18/0x20
[??105.813869]?el0_svc_compat+0x8/0x34

VIDIOC_QBUF命令執(zhí)行的log：

[??105.944858]?vb2_core_qbuf+0x28/0x338
[??105.944883]?vb2_qbuf+0x6c/0x90
[??105.944904]?vb2_ioctl_qbuf+0x48/0x58
[??105.944928]?v4l_qbuf+0x44/0x58
[??105.944951]?__video_do_ioctl+0x1a0/0x348
[??105.944972]?video_usercopy+0x228/0x740
[??105.944993]?video_ioctl2+0x14/0x20
[??105.945013]?v4l2_ioctl+0x44/0x68
[??105.945036]?v4l2_compat_ioctl32+0x1d0/0x3a48
[??105.945058]?__arm64_compat_sys_ioctl+0xbc/0x15b0
[??105.945082]?el0_svc_common.constprop.0+0x64/0x178
[??105.945105]?el0_svc_compat_handler+0x18/0x20
[??105.945125]?el0_svc_compat+0x8/0x34

七、v4l2拓?fù)浣Y(jié)構(gòu)

關(guān)于如何使用設(shè)備樹節(jié)點(diǎn)描述拓?fù)浣Y(jié)構(gòu)，后續(xù)文章會(huì)詳細(xì)講解。