Camera | 2.MIPI、CSI基礎(chǔ)

第一時(shí)間看干貨文章

1、Camera歷史文章：《Camera | 1.Camera基礎(chǔ)知識(shí)》

上一篇我們講解了camera的一些基礎(chǔ)概念和知識(shí)。我們說了，現(xiàn)在的手機(jī)由于高分辨率的要求，現(xiàn)在基本上都是基于MIPI、CSI協(xié)議來實(shí)現(xiàn)的，

本篇講解MIPI、CSI的一些基礎(chǔ)知識(shí)。

攝像頭常用術(shù)語

下面這些術(shù)語是camera驅(qū)動(dòng)中經(jīng)常用到的縮略語。

AE(Auto Exposure):自動(dòng)曝光。
AF(Auto Focus)???:自動(dòng)對(duì)焦。
AWB(Auto White Balance)：自動(dòng)白平衡。
3A ?:指自動(dòng)曝光(AE)、自動(dòng)對(duì)焦(AF)和自動(dòng)白平衡(AWB)算法。
Async Sub Device：在Media Controller結(jié)構(gòu)下注冊(cè)的V4L2異步子設(shè)備，
例：Sensor、MIPI DPHY。
Bayer Raw（或Raw Bayer）??:Bayer是相機(jī)內(nèi)部的原始圖片，一般后綴為.raw。
.raw格式內(nèi)部的存儲(chǔ)方式有：RGGB、BGGR、GRBG等。
CIF ????：Rockchip芯片中的VIP模塊，接收Sensor數(shù)據(jù)并保存到內(nèi)存中，
僅轉(zhuǎn)存數(shù)據(jù)，無ISP功能。
DVP(Digital Video Port)??：一種并行數(shù)據(jù)傳輸接口。
Entity ?：Media Controller架構(gòu)下的各節(jié)點(diǎn)。
Frame ??：幀。
HSYNC ??：行同步信號(hào)，HSYNC有效時(shí)，接收到的信號(hào)屬于同一行。
IOMMU(Input Output Memory Management Unit)：Rockchip芯片中的
IOMMU模塊，用于將物理上分散的內(nèi)存頁映射成CIF、ISP可見的連續(xù)內(nèi)存。
IQ(Image Quality)?：指為Bayer Raw Camera調(diào)試的IQ xml，用于3A tunning。
ISP(Image Signal Processing)?：圖像信號(hào)處理。
Media Controller ：Linux內(nèi)核中的一種媒體框架，用于拓?fù)浣Y(jié)構(gòu)的管理。
MIPI-DPHY ????：Rockchip芯片中符合MIPI-DPHY協(xié)議的控制器。
MP(Main Path):Rockchip芯片ISP驅(qū)動(dòng)的一個(gè)輸出節(jié)點(diǎn)，一般用來拍照和抓取Raw圖。
PCLK(Pixel Clock)?:指Sensor輸出的Pixel Clock。
Pipeline ?????????：Media Controller架構(gòu)的各Entity之間相互連接形成的鏈路。
SP(Self Patch)????:Rockchip芯片ISP驅(qū)動(dòng)的一個(gè)輸出節(jié)點(diǎn)。
V4L2(Video4Linux2)???：指Linux內(nèi)核的視頻處理模塊。
VICAP(Video Capture)?:視頻捕獲。
VIP(Video?Input?Processor):在Rockchip芯片中，曾作為CIF的別名
VSYNC ?：場(chǎng)同步信號(hào)，VSYNC有效時(shí)，接收到的信號(hào)屬于同一幀。

一、基礎(chǔ)概念

1. MIPI

MIPI：移動(dòng)產(chǎn)業(yè)處理器接口(Mobile Industry Processorinterface)是MIPI聯(lián)盟發(fā)起的為移動(dòng)應(yīng)用處理器制定的開放標(biāo)準(zhǔn)。

https://www.mipi.org

MIPI聯(lián)盟即移動(dòng)產(chǎn)業(yè)處理器接口（MIPI）聯(lián)盟，由美國(guó)德州儀器（TI）、 意法半導(dǎo)體（ST）、 英國(guó)ARM和芬蘭諾基亞（Nokia）4家公司共同成立， 旨在定義并推廣用于移動(dòng)應(yīng)用處理器接口的開放標(biāo)準(zhǔn)。

2. CSI

MIPI-CSI-2協(xié)議是MIPI聯(lián)盟協(xié)議的子協(xié)議，專門針對(duì)攝像頭芯片的接口而設(shè)計(jì)。

由于其高速，低功耗的特點(diǎn)，MIPI-CSI2協(xié)議極大的支持了高清攝像頭領(lǐng)域的發(fā)展.

正是由于它的普及，手機(jī)上五百萬像素的攝像頭才得以變?yōu)榍爸脭z像頭，該類接口技術(shù)主要掌握在日本東芝，韓國(guó)三星以及美國(guó)豪威三家公司。

CSI協(xié)議有兩個(gè)版本協(xié)議，分別為CSI-2和CSI-3；CSI-2協(xié)議遵循的物理標(biāo)準(zhǔn)有兩個(gè)，分別為C-PHY和D-PHY；CSI-3協(xié)議的物理標(biāo)準(zhǔn)對(duì)應(yīng)M-PHY，且應(yīng)用層協(xié)議棧還需要連接Uni-Pro層。

D-PHY與C-PHY區(qū)別：從實(shí)用角度來看，主要是數(shù)據(jù)線和時(shí)鐘線的區(qū)別，還有傳輸速率，C-PHY通過某些技術(shù)改良，使數(shù)據(jù)傳輸速度更快。

瑞芯微3568用的CSI-2 && D-PHY

所以內(nèi)核中，我們會(huì)看到CSI2 和 D-PHY相關(guān)代碼。

二、MIPI協(xié)議

MIPI并不是一個(gè)單一的接口或協(xié)議，而是包含了一套協(xié)議和標(biāo)準(zhǔn)，以滿足各種子系統(tǒng)獨(dú)特的要求。MIPI的標(biāo)準(zhǔn)異常復(fù)雜，包含非常多的應(yīng)用領(lǐng)域。

由上圖可得：

顯示設(shè)備采用的DSI協(xié)議攝像頭采用的CSI協(xié)議RF IC采用的DigRF協(xié)議存儲(chǔ)設(shè)備采用的UFS

1. DCS（Display Command Set）

用于顯示模塊命令模式下的標(biāo)準(zhǔn)化命令集；

2. DBI, DPI (Display Bus Interface, Display Pixel Interface)

DBI：與具有顯示控制器和幀緩沖器的顯示模塊的并行接口。DPI：與顯示模塊的并行接口，不帶顯示控制器或幀緩沖器。

3. DSI, CSI (Display Serial Interface, Camera Serial Interface)

DSI：主機(jī)處理器與顯示模塊之間的高速串行接口；CSI：主機(jī)處理器與攝像頭模塊之間的高速串行接口；

4. D-PHY

為DSI（顯示屏）和CSI-2（攝像頭）提供物理層通路定義。

5. M-PHY

為DigRF、CSI-3、UFS、LLI、SSIC、M-PCIE提供物理層通路定義。

目前比較成熟的接口應(yīng)用有**DSI(顯示接口)，和CSI(攝像頭接口)**，都具有比較復(fù)雜的協(xié)議結(jié)構(gòu)，下圖表示某一個(gè)SOC可以作為一個(gè)CSI的接收器，同時(shí)也可以作為一個(gè)DSI的輸出器。

其物理層使用到了D-PHY,目前新的物理層C-PHY也逐漸被采用,我們常說的Camera I2C接口在MIPI中有專門的一個(gè)CCI(Camera Control Interface)來對(duì)應(yīng)。

三、CSI

根據(jù)層級(jí)，CSI協(xié)議分為五層：

工作順序：

將原始的圖像數(shù)據(jù)在應(yīng)用層做相應(yīng)的圖像處理，包括白平衡/噪聲去除和色彩還原等；將處理的數(shù)據(jù)進(jìn)入組包層做數(shù)據(jù)分割以及重組，然后將其傳輸給底層協(xié)議層；底層協(xié)議層會(huì)根據(jù)數(shù)據(jù)類型產(chǎn)生包頭，根據(jù)數(shù)據(jù)內(nèi)容產(chǎn)生構(gòu)成包圍的校驗(yàn)序列，再將包頭、數(shù)據(jù)本身和包尾組成起來發(fā)送給通道管理層；通道管理層模塊按照通道的選通情況，合理分配數(shù)據(jù)到每個(gè)通道，之后數(shù)據(jù)經(jīng)過數(shù)模轉(zhuǎn)換進(jìn)入到物理層傳輸；接收端在收到物理層數(shù)據(jù)后，再按照之前的逆序解包出原始的圖像數(shù)據(jù)。

1. 應(yīng)用層（Application Layer）

該層主要用于不同場(chǎng)景對(duì)數(shù)據(jù)的處理過程，對(duì)于發(fā)送方，多為camera生成數(shù)據(jù)，對(duì)于接收方，多為SOC對(duì)數(shù)據(jù)進(jìn)行處理。

2. 協(xié)議層（Protocol Layer）

CSI-2協(xié)議可以使用SOC上的一個(gè)物理接口實(shí)現(xiàn)多條數(shù)據(jù)流的傳輸。協(xié)議層規(guī)定了如何對(duì)多條數(shù)據(jù)流進(jìn)行標(biāo)記和交織，從而使每條數(shù)據(jù)流能夠正確地重建。

1）像素字節(jié)轉(zhuǎn)換層（Pixel/Byte Packing/Unpacking Layer）

CSI-2能夠支持多種多樣的像素格式，對(duì)于發(fā)送方，在數(shù)據(jù)發(fā)送之前，需要根據(jù)像素格式，將像素?cái)?shù)據(jù)轉(zhuǎn)換為對(duì)應(yīng)的字節(jié)流；對(duì)于接收方，在將數(shù)據(jù)提供給應(yīng)用層之前，需要將字節(jié)流數(shù)據(jù)轉(zhuǎn)換為像素?cái)?shù)據(jù)。

2）低級(jí)協(xié)議層（Low Level Protocol）

LLP指的是SoT與EoT之間的數(shù)據(jù)包字節(jié)流協(xié)議，LLP的最小單元為字節(jié)。

3）Lane管理器（Lane Management）

為了適應(yīng)不同場(chǎng)景下對(duì)帶寬的要求，CSI-2規(guī)定了Lane的數(shù)量是可拓展的。因此，在面臨多Lane同時(shí)傳輸時(shí)，發(fā)送方需要對(duì)字節(jié)流進(jìn)行公平分流（distributor），接收方則需要對(duì)多Lane數(shù)據(jù)進(jìn)行合并（merger）。

3. 物理層（PHY Layer）

PHY層指定了傳輸媒介，在電氣層面從串行bit流中捕捉“0”與“1”，同時(shí)生成SoT與EoT等信號(hào)。CSI的硬件部分包括C-PHY、D-PHY，實(shí)際上使用的主要是D-PHY。

四、物理層 DPHY

D-PHY 描述了一同步、高速、低功耗、低代價(jià)的PHY。

D-PHY的最初版本設(shè)計(jì)目標(biāo)是500M bits/s，而D是羅馬數(shù)字的500，故而叫D-PHY。

1. D-PHY規(guī)范的2.0版的標(biāo)準(zhǔn)：

在高速模式下的同步傳輸，比特率為80-2300Mb/s，具體取決于設(shè)備和速度等級(jí)；TX經(jīng)典配置為一個(gè)時(shí)鐘Lane和最多四個(gè)數(shù)據(jù)Lane組成；Rx經(jīng)典配置為一個(gè)時(shí)鐘Lane和最多八個(gè)數(shù)據(jù)Lane組成；在低功率模式下的異步傳輸，比特率為10Mb/s；物理協(xié)議接口（PPI）連接CSI-2和DSI的應(yīng)用；可選的AXI4-Lite接口，可進(jìn)行注冊(cè)訪問。

上圖表明使用DPHY作為物理層時(shí)，Camera與SOC之間的硬件關(guān)系。

MIPI CSI設(shè)備由兩部分構(gòu)成，分別為CCI（Camera Control Interface）和CSI（Camera Serial Interface）。

CCI：攝像頭控制接口。（在MIPI中，充當(dāng)著控制接口的作用，提供mipi接口sensor的控制傳輸通道）CSI：主機(jī)處理器與攝像頭模塊之間的高速串行接口（傳輸圖像數(shù)據(jù)）。

SOC的CCI組件通過I2C完成對(duì)Camera的配置，使其輸出mipi信號(hào)其中一對(duì)Clock+/-則由Clock Lane標(biāo)示，一對(duì)DataNBA+/-則由Data Lane標(biāo)示。

兩個(gè)Lane的 PHY配置如下圖 :

2. CCI (Camera Control Interface)

CCI是一個(gè)雙線、雙向、半雙工、串行接口。是I2C協(xié)議的子集，與I2C基本一致。

CCI是兼容I2C接口的快速模式變體。CCI應(yīng)支持400kHz操作和7位從屬尋址。

對(duì)于那些只支持RAW Bayer輸出格式的攝像頭，其CCI地址必須為011011xb（x=0,1）；對(duì)于其他的攝像頭，其CCI地址必須為011110xb。

CCI可選擇支持速率：1Mbps (Fm+), 12.5Mbps (SDR), or 25Mbps (DDR).

CCI接口命名如下：

CCI (I2C) ：CCI 支持I2CCCI (I3C) ：CCI 支持I3CCCI (I3C SDR) ：CCI 支持I3C SDRCCI (I3C DDR) ：CCI 支持I3C DDRCCI ：表示同時(shí)支持 CCI (I2C) 和CCI (I3C).

3. DPHY工作于兩種工作模式：

• HS（High Speed Mode）

• 這種模式用于傳輸高速的數(shù)據(jù)信號(hào)，如視頻流；高速模式下，每對(duì)Lane都是工作在低電壓擺幅的差分狀態(tài)下，數(shù)據(jù)速率為80Mbps到1500Mbps。LP（Low Power Mode）

這種模式則可以用來傳輸控制信號(hào)；低速模式下，每對(duì)lane的2根導(dǎo)線都轉(zhuǎn)變?yōu)閱味藸顟B(tài)，數(shù)據(jù)速率為10Mbps。

上圖為單個(gè)Lane模塊的內(nèi)部組成，包含了CIL（Lane控制器與借口邏輯器），LP驅(qū)動(dòng)器，HS驅(qū)動(dòng)器，LP沖突檢測(cè)。

CIL負(fù)責(zé)控制各個(gè)驅(qū)動(dòng)器的工作狀態(tài)，使得Dp、Dn的工作狀態(tài)可以在HS與LP之間進(jìn)行切換。

處于HS模式下，差分信號(hào)電平擺幅約為200mV；處于LP模式下，單端信號(hào)電平擺幅約為1.2V。在LP模式下，根據(jù)各個(gè)Line的電平可以確定當(dāng)前Lane的State。

Data Lane差分線電平的高低表明了當(dāng)前處于何種狀態(tài)，發(fā)送方通過驅(qū)動(dòng)差分線一系列的狀態(tài)變化，進(jìn)入不同的工作模式。

Burst Mode：High-Speed下的唯一模式，高速數(shù)據(jù)傳輸模式，此時(shí)各個(gè)Lane的Line工作在差分模式Control Mode：Low Power下的一種模式，可以通過變化不同的state進(jìn)入其他模式。Escape Mode：Low Power下的特殊模式，在這種模式下可以使用一些特別的功能。

4. CSI-2數(shù)據(jù)幀格式

CSI-2的數(shù)據(jù)包有兩種：長(zhǎng)幀和短幀。無論長(zhǎng)幀還是短幀，幀開頭都是SoT，幀結(jié)尾都是EoT。在兩次HS傳輸過之間，插入的是LP狀態(tài)，一般是LP11等Control狀態(tài)，當(dāng)然也可以進(jìn)入Escape狀態(tài)、進(jìn)入LPDT或者是進(jìn)入U(xiǎn)PLS。

1) 長(zhǎng)幀結(jié)構(gòu)如下

以DPHY為例來分析具體的協(xié)議格式，DPHY長(zhǎng)包主要由包頭、包負(fù)載、包尾三部分組成，具體如下圖：

長(zhǎng)幀包括32bit的包頭（Packet Head，PH）、有效數(shù)據(jù)填充以及16bit的包尾（Packet Foot，PF）。

PH包括：

數(shù)據(jù)標(biāo)識(shí)（Data Identity，DI）：1個(gè)字節(jié)，包括VC（Victual Channel）低兩位和DT（Data Type）的低六位；數(shù)據(jù)計(jì)數(shù)（Word Count，WC）：2個(gè)字節(jié)。從PH結(jié)尾到PF的開頭中間的填充數(shù)據(jù)的長(zhǎng)度，單位為字節(jié)。接收端通過WC來判斷報(bào)的結(jié)尾位置。錯(cuò)誤檢測(cè)（ECC）：1個(gè)字節(jié)。包括VC的高兩位，與DI中的VC低兩位構(gòu)成4bit虛擬通道標(biāo)識(shí)；低6位為糾錯(cuò)碼，采用Hamming（漢明碼）的方式，用來糾正PH中一位的錯(cuò)誤或者發(fā)現(xiàn)兩位的錯(cuò)誤；

有效數(shù)據(jù)填充：長(zhǎng)度=WC*8bit。低位在前，對(duì)內(nèi)容沒有任何限制（0~65535字節(jié)）。

PF包括：檢驗(yàn)（CHECKSUM）：兩個(gè)字節(jié)。低位在前，CHECKSUM采用CCITT的16-bit的CRC校驗(yàn)，即X16+X12+X5+X0。CRC只能檢測(cè)出一個(gè)或多個(gè)錯(cuò)誤，并不能糾正錯(cuò)誤。

2) 短幀結(jié)構(gòu)如下：

DI：1個(gè)字節(jié)，包括VC的低兩位，和DT（5：0）；

短包數(shù)據(jù)域：2個(gè)字節(jié)，如果該短幀為Data Type的幀同步（Frame Synchronization），則數(shù)據(jù)域表示幀數(shù)；如果短幀的Data Type為行同步（Line Synchronization），則數(shù)據(jù)域表示行數(shù)。

錯(cuò)誤檢測(cè)（ECC）：1個(gè)字節(jié)，包括VC的高兩位和六位糾錯(cuò)碼。

數(shù)據(jù)類型

數(shù)據(jù)類型表明了負(fù)載數(shù)據(jù)的格式和內(nèi)容，上文提到，根據(jù)長(zhǎng)短包的不同，數(shù)據(jù)類型共有8種不同的分類。短包數(shù)據(jù)類型的詳細(xì)信息在上文已經(jīng)介紹了，這里說明下長(zhǎng)包的5種數(shù)據(jù)類型，詳見下表：

數(shù)據(jù)類型舉例：

比如YUV420格式：4:2:0表示2:1的水平取樣，垂直2：1采樣(每四個(gè)Y共用一組UV分量)
數(shù)據(jù)格式如圖所示：

關(guān)于DPHY層，我們并不需要關(guān)注太多，就像網(wǎng)卡的PHY層一樣，我們只需要知道，通過CCI接口發(fā)送配置信息給Camera，通過CSI接口傳輸數(shù)據(jù)。

五、MIPI協(xié)議在手機(jī)中應(yīng)用

1. mipi插槽

MIPI攝像頭：

通常手機(jī)不會(huì)設(shè)計(jì)這個(gè)擴(kuò)展槽，一般都會(huì)直接在板子上預(yù)留小的排線接口，直接將攝像頭模組插上去即可。

2. MIPI接口的手機(jī)內(nèi)部功能框圖

在手機(jī)內(nèi)部，各個(gè)部件與MIPI協(xié)議棧的關(guān)系如下圖：

其中攝像頭通過CSI與處理器相連。

我們?cè)偌?xì)化下攝像頭與cpu的模塊圖【以瑞芯微rk3568為例】：

MIPI接口在系統(tǒng)的實(shí)現(xiàn)如上圖所示，

1. 通常一個(gè)camera的模組如圖所示，通常包括Lens、Sensor、CSI接口等，其中CSI接口用于視頻數(shù)據(jù)的傳輸；SoC的Mipi接口對(duì)接Camera，并通過I2C/SPI控制camera模組；MIPI DPHY提供了4 Lane的Rx接口，由Sensor提供Clock，并通過四條數(shù)據(jù)Lane輸入圖像數(shù)據(jù);DPHY與CSI-2 Host Contrller之間通過PPI（PHY-Protocol Interface）相連，該接口包括了控制，數(shù)據(jù)，時(shí)鐘等多條信號(hào)CSI-2 Host Contrller通過PPI接口收到數(shù)據(jù)后進(jìn)行解析，完成后通過IDI(Image Data Interface)或者IPI(Image Pixel Interface)輸出到SoC的其他模塊(VICAP或ISP，rk3568是送至VICAP模塊)；ISP將處理過的圖片輸出到MP主通道或SP自身通道，SP一般用來預(yù)覽圖片，SP圖片的最大分辨率比MP低；SoC通過APB Slave總線控制CSI-2 Host Contrller的相關(guān)寄存器。

ISP含義

ISP(Image Signal Processor)，即圖像信號(hào)處理器，用于處理圖像信號(hào)傳感器輸出的圖像信號(hào)。

它在相機(jī)系統(tǒng)中占有核心主導(dǎo)的地位，是構(gòu)成相機(jī)的重要設(shè)備。ISP 通過一系列數(shù)字圖像處理算法完成對(duì)數(shù)字圖像的效果處理。

瑞芯微rk3568平臺(tái)的ISP2.1 處理圖像數(shù)據(jù)的基本流程如下：

ISP 包括:

MIPI serial camera interface(MIPI)RAW ProcessingRGB ProcessingYUV ProcessingMemory Interface(MI)

MI接口如下：

一般抓圖的順序：

攝像頭的初始化（輸出格式、分辨率、輸出速率）使能攝像頭接入主控板卡中的物理通道使能主控板卡中的ISP（圖像信號(hào)處理模塊）、并讓ISP知道當(dāng)前有效接入的攝像頭是哪一個(gè)（因?yàn)榭梢远鄠€(gè)接入，但只能一個(gè)有效）。告訴ISP輸進(jìn)來的數(shù)據(jù)如何處理（顏色空間轉(zhuǎn)換、縮放、裁剪、旋轉(zhuǎn)等）、經(jīng)由那個(gè)通道輸出到內(nèi)存/顯存（MP主通道、SP自身通道）。輸出到內(nèi)存

3. Camera-OV13850內(nèi)部結(jié)構(gòu)

下面看一款攝像頭模組OV13850的內(nèi)部結(jié)構(gòu)圖：

定時(shí)脈沖發(fā)生器輸出時(shí)鐘來訪問成像陣列的行,預(yù)先填充電荷并且按順序?qū)?shù)組的行進(jìn)行采樣。

在預(yù)先填充電荷和采樣的時(shí)間間隔內(nèi)，每個(gè)像素點(diǎn)的電荷曝光時(shí)減少入射光。

這是在滾動(dòng)快門的體系結(jié)構(gòu)的曝光時(shí)間。

曝光時(shí)間通過調(diào)整預(yù)先填充電荷和采樣之間的時(shí)間間隔控制。

在每一行的像素?cái)?shù)據(jù)采樣后,通過模擬電路(AMP)進(jìn)一步處理:糾正偏移量和將數(shù)據(jù)乘以相應(yīng)的增益。

模擬處理后通過10位ADC的輸出數(shù)組中的每個(gè)像素的數(shù)據(jù)。

ISP(image sensor processor)通過圖像輸出接口單元，經(jīng)過MIPI接口（MCP/MDP）將圖像數(shù)據(jù)發(fā)送出去。

好了，本文暫時(shí)講到這里，

后面會(huì)繼續(xù)更新幾篇Camera文章。