先進(jìn)封裝下的芯粒間高速互聯(lián)接口設(shè)計(jì)思考

背景

近年來，隨著AIGC的發(fā)展，生產(chǎn)力的生成方式、產(chǎn)品形態(tài)都在發(fā)生重大的變化。計(jì)算規(guī)模和模型規(guī)模的不斷增大，尤其是大模型的出現(xiàn)和廣泛應(yīng)用對算力的需求呈現(xiàn)出爆發(fā)式的增長。這一系列的變化對計(jì)算架構(gòu)提出了新的挑戰(zhàn)，首先是系統(tǒng)規(guī)模越來越大，系統(tǒng)結(jié)構(gòu)越來越復(fù)雜；其次計(jì)算形態(tài)的變革，傳統(tǒng)的計(jì)算形態(tài)，主要是基于CPU或GPU的同構(gòu)計(jì)算越來越難以滿足算力的持續(xù)增長。

在這一背景下，Chiplet成為非常有潛力的設(shè)計(jì)方法和解決方案。Chiplet架構(gòu)可以將SoC進(jìn)行拆分重組，將主要功能單元如計(jì)算、存儲、傳感等轉(zhuǎn)變成芯粒的形式，從而支持復(fù)雜系統(tǒng)的異構(gòu)集成。而將各種芯粒重構(gòu)成為一個(gè)完整的系統(tǒng)則需要依賴D2D接口對其進(jìn)行互聯(lián)，尤其是當(dāng)設(shè)計(jì)人員需要構(gòu)建一個(gè)包含多種第三方芯粒的復(fù)雜系統(tǒng)時(shí)，一個(gè)統(tǒng)一的D2D互聯(lián)接口成為不可或缺的組件。在此背景下，UCIe、BoW、OpenHBI等D2D互聯(lián)接口協(xié)議應(yīng)運(yùn)而生，旨在構(gòu)建一個(gè)統(tǒng)一的D2D互聯(lián)框架。盡管協(xié)議不盡相同，D2D互聯(lián)接口的底層技術(shù)存在著較多的共性，而這些共性技術(shù)是D2D接口設(shè)計(jì)人員非常重要的研究內(nèi)容。

本文將從D2D接口的信道特點(diǎn)、D2D接口的技術(shù)指標(biāo)，D2D接口的設(shè)計(jì)思考和D2D接口的設(shè)計(jì)流程革新等方面來淺談D2D互聯(lián)接口的共性技術(shù)。

D2D接口的信道特點(diǎn)

信道條件通常是接口研究的起點(diǎn)，接口電路的架構(gòu)搭建、微結(jié)構(gòu)選取到具體電路的實(shí)現(xiàn)無不以信道特性作為出發(fā)點(diǎn)，D2D接口的設(shè)計(jì)也不例外。相比傳統(tǒng)高速接口，D2D接口的信道表現(xiàn)了較多新的特點(diǎn)，這主要是由D2D接口的應(yīng)用環(huán)境和封裝形式所帶來的。眾所周知，D2D接口主要用于芯粒間的高帶寬數(shù)據(jù)互聯(lián)，這一應(yīng)用場景決定了D2D接口信道的兩個(gè)主要特點(diǎn)：一、信道長度較短，一般局限在封裝內(nèi)部；二、信道數(shù)量大，布線密集。同時(shí)，這一應(yīng)用場景也決定了D2D接口往往面對較為先進(jìn)的封裝形式，其布線通道通常是基板（substrate）甚至是硅中介層（silicon interposer），我們分別稱之為D2D接口的標(biāo)準(zhǔn)封裝（standard package）和先進(jìn)封裝（advanced package）。

相比以PCB走線為主的傳統(tǒng)互聯(lián)方式，D2D標(biāo)準(zhǔn)封裝和先進(jìn)封裝的顯著特點(diǎn)是節(jié)距（pitch）的減小。在標(biāo)準(zhǔn)封裝中，芯片凸點(diǎn)（bump）的節(jié)距從傳統(tǒng)封裝的0.5~1mm減小到100~200um，而在先進(jìn)封裝中，這一物理尺寸進(jìn)一步微縮到30~60um。這一變化首先帶來了一系列信道物理尺寸的同步微縮，包括互聯(lián)走線的線寬、線距和金屬厚度等。而這些物理尺寸的微縮進(jìn)一步引起了信道電學(xué)特性的改變。概括而言，從傳統(tǒng)封裝到先進(jìn)封裝，信道的單位長度電阻顯著增大，而其單位長度的等效電感和電容基本保持不變?？紤]到在D2D標(biāo)準(zhǔn)封裝和先進(jìn)封裝下其信道長度顯著縮短，信道整體的等效電感和電容顯著縮小。具體而言，先進(jìn)封裝下的D2D信道的電學(xué)特性變化主要表現(xiàn)在如下方面：

一、插入損耗（insertion loss）

得益于D2D互聯(lián)間距較短，相比傳統(tǒng)的高速互聯(lián)接口，D2D接口信道的損耗較低。我們考察了多種D2D互聯(lián)協(xié)議的參考信道，在其最高工作頻率下的信道損耗均小于-6dB，在實(shí)際設(shè)計(jì)信道的過程中，這一指標(biāo)通?？梢钥刂频酶觾?yōu)越（-2~-3dB）。較低的信道損耗使得高階均衡不再是一個(gè)必須項(xiàng)，同時(shí)，簡單的調(diào)制方式（如NRZ）就能實(shí)現(xiàn)較高數(shù)據(jù)率的傳輸，這些特點(diǎn)均為高能效數(shù)據(jù)傳輸提供了有利條件。

二、反射（reflection）

得益于D2D信道電學(xué)特性的變化趨勢（較高的阻抗，較小的等效電感和電容），相比傳統(tǒng)信號，D2D信道的反射特性得到了較大程度的優(yōu)化，尤其是在先進(jìn)封裝下，信道對反射敏感的頻率范圍進(jìn)一步推高，這一特點(diǎn)為D2D接口的端接方案提供了更大的空間。在D2D信道條件下，發(fā)射端的源阻抗和接收端的端接阻抗可以不要求完全匹配，設(shè)計(jì)人員可以選取更小的源阻抗和更大的端接阻抗以獲取更大的信號擺幅和更小的功耗。在互聯(lián)非常短的極端情況下，設(shè)計(jì)人員甚至可以選擇舍棄端接電阻。

三、串?dāng)_（crosstalk）

串?dāng)_是D2D信道設(shè)計(jì)所面臨的主要問題。由于D2D接口通常具有龐大的引腳數(shù)量，因此布線面積會非常受限，這將導(dǎo)致一些傳統(tǒng)的結(jié)論在D2D互聯(lián)場景下不再適用。通常而言，設(shè)計(jì)人員克服串?dāng)_的常用方法包括采用差分信號線以及引入屏蔽線等，而研究表明，在面積受限的情況下，單端非屏蔽方案相比差分屏蔽線方案具有更好的串?dāng)_特性，這是D2D信道顯著區(qū)別于傳統(tǒng)信道的一個(gè)重要特點(diǎn)。鑒于此，D2D信道的串?dāng)_特性更多地需要從返回路徑上進(jìn)行優(yōu)化，比如采用帶狀線而非微帶線結(jié)構(gòu)，采用更薄的介質(zhì)層，更完整的參考平面等。

D2D接口的技術(shù)指標(biāo)

對D2D接口的技術(shù)指標(biāo)的考察揭示了D2D高速接口的技術(shù)趨勢。我們整理了國內(nèi)外多個(gè)較為常見的D2D接口協(xié)議的技術(shù)指標(biāo)，從中可以看到D2D高速接口的一些共性技術(shù)要求?；镜募夹g(shù)指標(biāo)如封裝形式（凸點(diǎn)節(jié)距）、信道長度、數(shù)據(jù)位寬、最高速率等本質(zhì)上相當(dāng)于設(shè)計(jì)參數(shù)，也可以認(rèn)為是D2D接口的功能指標(biāo)。

我們看到，多數(shù)D2D接口協(xié)議均支持標(biāo)準(zhǔn)封裝和先進(jìn)封裝，少數(shù)協(xié)議僅支持先進(jìn)封裝。在標(biāo)準(zhǔn)封裝下，典型的信道長度通常在50mm以下，數(shù)據(jù)位寬多為16線；而在先進(jìn)封裝下，信道長度僅為數(shù)個(gè)mm，而數(shù)據(jù)位寬通常會比標(biāo)準(zhǔn)封裝大很多，典型值在32~64線之間。通常來說，D2D接口的最高數(shù)據(jù)率對標(biāo)準(zhǔn)封裝和先進(jìn)封裝而言沒有明顯區(qū)分，一般在16~32Gbps之間。

真正考驗(yàn)D2D接口設(shè)計(jì)能力的是以下兩個(gè)性能指標(biāo)：時(shí)延（latency）和能效（power efficiency）。D2D接口的時(shí)延指標(biāo)通常在幾個(gè)ns，該指標(biāo)決定數(shù)據(jù)傳輸?shù)膶?shí)際吞吐率，是直接影響系統(tǒng)性能的重要因素。D2D接口的能效指標(biāo)一般在1pJ/b以下，先進(jìn)封裝下的這一數(shù)值還會進(jìn)一步降低。由于D2D接口傳輸?shù)臄?shù)據(jù)率非常龐大，其功耗十分可觀，甚至在整個(gè)系統(tǒng)功耗中也往往占據(jù)了相當(dāng)大的一部分，因此能效對于D2D接口而言同樣是一個(gè)至關(guān)重要的指標(biāo)。

出于對系統(tǒng)性能的考量（換言之對D2D接口時(shí)延和能效性能的考量），我們將進(jìn)一步審視D2D接口設(shè)計(jì)參數(shù)的選取。首先，為確保系統(tǒng)所需要的帶寬，我們通常認(rèn)為更高的數(shù)據(jù)率是更好的選擇，但是更高的數(shù)據(jù)率通常意味著更低的能效，甚至在特定情況下還會導(dǎo)致更大的時(shí)延。因此，在某些情況下，適當(dāng)降低數(shù)據(jù)率，同時(shí)配合更大的數(shù)據(jù)位寬可能是一個(gè)更好的方案。當(dāng)然，更大的數(shù)據(jù)位寬需要占據(jù)更大的芯片面積，此時(shí)設(shè)計(jì)者可能需要考慮采用更小的凸點(diǎn)節(jié)距，甚至采用先進(jìn)封裝等更為復(fù)雜的方案來縮小接口電路的面積。從上述分析中可以看到，D2D接口電路的設(shè)計(jì)參數(shù)選取本質(zhì)上仍是性能與成本的折中，如何實(shí)現(xiàn)有限成本（芯片面積，研發(fā)周期等）下的時(shí)延、能效最優(yōu)化是D2D接口設(shè)計(jì)者始終思考的問題。

在上述考量下，總結(jié)來說，對于標(biāo)準(zhǔn)封裝的D2D接口，較優(yōu)的設(shè)計(jì)選擇是采用最大的數(shù)據(jù)率和較小的數(shù)據(jù)位寬來實(shí)現(xiàn)帶寬和面積的平衡；而對于先進(jìn)封裝的D2D接口，較優(yōu)的設(shè)計(jì)選擇是采用適中的數(shù)據(jù)率和較大的數(shù)據(jù)位寬，從而在確保帶寬需求的情況下爭取更好的能效性能。

上述分析雖然針對D2D標(biāo)準(zhǔn)封裝和先進(jìn)封裝，對更為先進(jìn)的3D封裝也同樣適用。在最近發(fā)布的UCIe 2.0中，協(xié)議定義了UCIe 3D接口的設(shè)計(jì)指標(biāo)。在該指標(biāo)中，接口的數(shù)據(jù)率進(jìn)一步降低到4Gbps，以接近系統(tǒng)中邏輯電路的工作頻率，從而實(shí)現(xiàn)極致的時(shí)延和能效性能；同時(shí)，協(xié)議通過指定較大的位寬和極小的節(jié)距以確保該接口的數(shù)據(jù)帶寬和帶寬密度。

D2D接口的設(shè)計(jì)思考

D2D接口的設(shè)計(jì)是一項(xiàng)系統(tǒng)而又細(xì)致的工作，其中最為困難從而也是最有價(jià)值的部分正是那些可以提升D2D接口性能的設(shè)計(jì)方法。如上所述，時(shí)延和能效是D2D接口最為重要的性能指標(biāo)，下面我們就從這兩個(gè)方面淺談D2D接口設(shè)計(jì)的一些思考。

一、時(shí)延

以設(shè)計(jì)方法和流程而言，D2D接口電路通常都可以分為數(shù)字電路和模擬電路兩部分。在D2D接口設(shè)計(jì)中，這兩部分通常由不同的設(shè)計(jì)者來承擔(dān)。自然地，設(shè)計(jì)者通常會從這兩個(gè)部分去分別優(yōu)化D2D接口的時(shí)延。比如，在數(shù)字電路設(shè)計(jì)中，嘗試采用更高的工作頻率和更精簡的流水線結(jié)構(gòu)等；同樣，在模擬電路設(shè)計(jì)中也可以通過采用合理的串并轉(zhuǎn)換電路結(jié)構(gòu)來縮小時(shí)延。

然而，一個(gè)可能對時(shí)延影響更為顯著卻往往容易被忽視的環(huán)節(jié)是模擬電路和數(shù)字電路的接口部分。這是因?yàn)閿?shù)字電路和模擬電路往往處在不同的時(shí)鐘域中，而數(shù)據(jù)的跨時(shí)鐘域傳輸需要經(jīng)過同步。通常來說，設(shè)計(jì)人員一般會采用FIFO來對數(shù)據(jù)進(jìn)行跨時(shí)鐘域同步，這一過程將會帶來數(shù)個(gè)時(shí)鐘周期的時(shí)延。這一開銷在大多數(shù)場景下無足輕重，但是對于D2D接口而言卻可能是無法承受的。因此，如何處理數(shù)模接口上的數(shù)據(jù)同步問題是優(yōu)化D2D接口延時(shí)的重要課題。

優(yōu)化數(shù)模接口上的時(shí)延的中心思想是在完成數(shù)據(jù)同步的基礎(chǔ)上縮小甚至取消FIFO所帶來的時(shí)延開銷。對此，我們提供了兩種可行的方案：邊沿調(diào)整技術(shù)和FIFO重置技術(shù)。邊沿調(diào)整技術(shù)將數(shù)據(jù)的跨時(shí)鐘域操作視為一次數(shù)據(jù)采樣，其核心思想是通過調(diào)整算法搜索到最優(yōu)的采樣窗口對數(shù)據(jù)進(jìn)行采樣，從而完成跨時(shí)鐘域操作，該方案可以將時(shí)延開銷由數(shù)個(gè)時(shí)鐘周期減小到半個(gè)時(shí)鐘周期。FIFO重置技術(shù)是將FIFO從數(shù)模接口轉(zhuǎn)移到模擬電路內(nèi)部的串行時(shí)鐘域上，假設(shè)模擬電路中的串并轉(zhuǎn)換比為N，該方法可以將時(shí)延開銷減小到原始方案的N分之一。

二、能效

能效優(yōu)化所涉及內(nèi)容則更為廣泛，大到整個(gè)D2D接口架構(gòu)的選取，小到某個(gè)具體電路的實(shí)現(xiàn)，都可能與最終的能效特性有密不可分的聯(lián)系。這里我們將選取兩個(gè)典型的例子來討論基于能效優(yōu)化的一些設(shè)計(jì)實(shí)現(xiàn)方法。

D2D接口的時(shí)鐘方案是D2D接口架構(gòu)設(shè)計(jì)的一個(gè)重要內(nèi)容。通常對于16~32Gbps數(shù)據(jù)率的接口設(shè)計(jì)而言，半速率架構(gòu)是一個(gè)較為常用的選擇，因其結(jié)構(gòu)簡明且性能魯棒。但是對于D2D接口，尤其是工作在較高數(shù)據(jù)率的D2D接口，半速率架構(gòu)對于能效性能而言可能不是一個(gè)最優(yōu)方案。因?yàn)镈2D接口的數(shù)據(jù)位寬通常較大，這意味著D2D接口的片上時(shí)鐘分布網(wǎng)絡(luò)較傳統(tǒng)的高速接口電路遠(yuǎn)為龐大，較高的時(shí)鐘頻率帶來的時(shí)鐘分布網(wǎng)絡(luò)的功耗開銷將變得十分可觀。因此，對于工作在較高數(shù)據(jù)率的D2D接口來說，采用四分之一時(shí)鐘速率架構(gòu)或是一個(gè)對能效性能更加友好的方案。

從具體的電路設(shè)計(jì)角度，去偏斜（de-skew）電路是D2D接口中一個(gè)非常重要的模塊，同時(shí)也是與整個(gè)接口的能效特性關(guān)系非常緊密的模塊。去偏斜電路的作用是調(diào)節(jié)D2D接口中每個(gè)通道的時(shí)延，從而將所有通道輸出信號的時(shí)間偏差限制在極小的范圍內(nèi)。對于去偏斜電路的設(shè)計(jì)，延時(shí)鏈結(jié)構(gòu)是一個(gè)常用的選擇。但是當(dāng)該模塊需要覆蓋較大的偏斜時(shí)，延時(shí)鏈結(jié)構(gòu)需要引入較大的延時(shí)，這同時(shí)也會帶來較大的功耗。因此，出于能效的考量，基于相位內(nèi)插器（PI）的電路結(jié)構(gòu)可能是更適合D2D接口的電路實(shí)現(xiàn)方案。

D2D接口的設(shè)計(jì)流程革新

D2D接口作為一種新興的高速接口，表現(xiàn)出很多不同于傳統(tǒng)高速接口的技術(shù)特點(diǎn)，而這些新的特點(diǎn)也對傳統(tǒng)的IC設(shè)計(jì)流程提出了挑戰(zhàn)。由上面討論可以看到，D2D接口是少數(shù)對數(shù)字電路、模擬電路和封裝都有極高設(shè)計(jì)要求的系統(tǒng)，而D2D接口設(shè)計(jì)對設(shè)計(jì)方法和流程的挑戰(zhàn)則主要集中在數(shù)字電路與模擬電路、芯片與封裝的界面銜接上。

對于數(shù)字電路和模擬電路界面，傳統(tǒng)的設(shè)計(jì)方法在設(shè)計(jì)流程上通常只對數(shù)字電路進(jìn)行時(shí)序約束和分析，在模擬電路側(cè)，一般僅通過仿真確保數(shù)模接口界面的時(shí)序。對傳統(tǒng)的高速接口而言，這樣的流程通常就可以滿足設(shè)計(jì)需求，而對于D2D高速接口，由于其大帶寬和低延時(shí)特性，其數(shù)模接口工作在更高的頻率，傳統(tǒng)的設(shè)計(jì)流程已然難以滿足數(shù)模接口界面的時(shí)序要求。因此，在D2D接口設(shè)計(jì)的過程中，設(shè)計(jì)人員還需要在模擬電路側(cè)應(yīng)用時(shí)序約束和分析流程，包括刻畫模擬電路邊界處器件的時(shí)序特性、對其編寫約束條件，并整合到數(shù)字電路的時(shí)序分析流程中進(jìn)行統(tǒng)一的時(shí)序優(yōu)化和收斂。

對于芯片和封裝的界面的處理則主要集中在信道建模問題上。在傳統(tǒng)的高速接口電路設(shè)計(jì)流程中，封裝設(shè)計(jì)人員通常對信道進(jìn)行單獨(dú)建模，通過電磁場仿真，提取信道的仿真模型（如S參數(shù)模型），并提供給電路設(shè)計(jì)者進(jìn)行仿真驗(yàn)證。在D2D接口設(shè)計(jì)中，尤其是先進(jìn)封裝甚至是3D封裝下的D2D接口，較傳統(tǒng)的高速接口有兩個(gè)顯著的區(qū)別：一是端口數(shù)量顯著增加，二是信道條件更加規(guī)則，各端口往往面對較為簡單且一致的信道條件。在第一個(gè)變化下，傳統(tǒng)的設(shè)計(jì)流程將消耗大量的設(shè)計(jì)資源，使設(shè)計(jì)工作變得低效；而第二個(gè)變化則為信道的統(tǒng)一建模提供了機(jī)會。在先進(jìn)封裝尤其是3D封裝下，對信道建立集總器件的簡單模型，并轉(zhuǎn)化為線延時(shí)融合到電路時(shí)序分析的流程中實(shí)現(xiàn)全鏈路的時(shí)序優(yōu)化將成為一種高效的主流設(shè)計(jì)方法。

作者： 奇異摩爾 王 彧 博士