12家AI芯片創(chuàng)企，盯上大模型生意

作者 |??ZeR0，編輯?|??漠影

瞄準(zhǔn)AI大模型芯片，這12家創(chuàng)企憑什么？

芯東西1月10日?qǐng)?bào)道，談起生成式AI熱潮的受益者，沒有人能忽略英偉達(dá)。據(jù)The Information統(tǒng)計(jì)，目前北美地區(qū)至少有12家AI芯片創(chuàng)企想從英偉達(dá)獨(dú)享的生成式AI算力紅利中分一杯羹。

▲12家AI芯片瞄準(zhǔn)大模型（芯東西根據(jù)The Information表格編譯整理）

這些創(chuàng)企創(chuàng)辦時(shí)間不超過8年，其中有5家都是2022年創(chuàng)辦的，有4家創(chuàng)始成員有谷歌背景。累計(jì)融資金額最高的Cerebras，早已憑晶圓級(jí)芯片聲名鵲起；成立相對(duì)較晚的5家創(chuàng)企，創(chuàng)始成員背景也各有千秋。

總的來看，這12家盯上生成式AI算力蛋糕的北美AI芯片創(chuàng)企，有的定位做訓(xùn)練，有的主攻推理，有些則更進(jìn)一步，將其產(chǎn)品定位瞄準(zhǔn)特定類型的AI模型，如多數(shù)大模型的基礎(chǔ)Transformer。

這是一個(gè)高風(fēng)險(xiǎn)的游戲：這些關(guān)鍵選擇將決定初創(chuàng)公司是生存還是失敗。

推理一直是更受歡迎的選擇。因?yàn)楹芏嗫蛻羰褂没蛭⒄{(diào)已經(jīng)被訓(xùn)練過的模型，而不是從頭開始構(gòu)建一個(gè)新模型。而高推理成本正對(duì)包括OpenAI在內(nèi)的大模型及生成式AI公司們產(chǎn)生壓力。

d-Matrix、Etched.ai、Extropic、SiMa.ai、Groq正在構(gòu)建專門用于某些模型架構(gòu)的芯片，如為OpenAI和Anthropic的大語言模型提供動(dòng)力的Transformer。這些公司認(rèn)為，專用芯片比英偉達(dá)、Cerebras、Lightmatter、Rain AI、Tenstorrent等的通用芯片更快、效率更高。

但芯片研發(fā)充滿挑戰(zhàn)與未知。這些創(chuàng)企的多數(shù)產(chǎn)品最早要到今年年底才會(huì)上市銷售。到那時(shí)，Transformer可能已經(jīng)是舊新聞了。一些開發(fā)人員已經(jīng)在測(cè)試像Mamba這樣的新模型架構(gòu)。

1、Cerebras

Cerebras成立于2016年。其核心產(chǎn)品是第二代晶圓級(jí)引擎WSE-2，將85萬個(gè)核心打包到一個(gè)處理器上，并采用40GB超快片上SRAM和比傳統(tǒng)集群快幾個(gè)數(shù)量級(jí)的互聯(lián)技術(shù)。Cerebras官網(wǎng)將WSE-2稱作是“地球上最快的AI芯片”。

Cerebras的創(chuàng)始成員中，CEO Andrew Feldman與CTO Gary Lauterbach曾分別是高帶寬微服務(wù)器先驅(qū)SeaMicro的CEO和CTO，首席架構(gòu)師Michael James曾任SeaMicro首席軟件架構(gòu)師。SeaMicro在2012年被AMD收購。

多位OpenAI聯(lián)合創(chuàng)始人、Stripe前CTO、AMD前CTO兼總裁、Cadence前CEO等業(yè)界大佬都在其投資方陣容中。

2、Lightmatter

Lightmatter成立于2017年，創(chuàng)始團(tuán)隊(duì)來自麻省理工學(xué)院。其研發(fā)的Envise光電混合計(jì)算芯片能夠滿足訓(xùn)練大語言模型等任務(wù)的計(jì)算要求，并減少數(shù)據(jù)中心功耗與成本。

2023年11月，Lightmatter宣布獲得1.55億美元融資，投資方包括谷歌風(fēng)投等，這筆融資是其5月份C輪融資的延續(xù)。至此，Lightmatter累計(jì)融資額超過4.2億美元，估值達(dá)12億美元。

3、Tenstorrent

Tenstorrent成立于2016年，由AMD前嵌入式工程師Ivan Hamer、AMD前集成電路設(shè)計(jì)總監(jiān)Ljubisa Bajic和AMD前固件設(shè)計(jì)工程師Milos Trajkovic創(chuàng)辦。硅谷頂級(jí)芯片架構(gòu)師Jim Keller擔(dān)任Tenstorrent CEO。該公司累計(jì)融資額達(dá)3.85億美元，投資者包括三星、現(xiàn)代等，估值大約達(dá)到10億美元，躋身獨(dú)角獸企業(yè)之列。

這家AI芯片創(chuàng)企利用RISC-V和Chiplet技術(shù)打造可擴(kuò)展、高能效的AI芯片，目前有兩款機(jī)器學(xué)習(xí)處理器Grayskull和Black Hole，其更先進(jìn)的3nm AI芯片Grendel預(yù)計(jì)今年推出。4、GroqGroq成立于2016年年底，由多位前谷歌TPU開發(fā)團(tuán)隊(duì)成員創(chuàng)辦。他們基于軟件定義硬件的思路，設(shè)計(jì)了一個(gè)張量流處理器TSP架構(gòu)，旨在實(shí)現(xiàn)高性能、低延遲的AI加速。

這家創(chuàng)企主要研發(fā)云端AI推理芯片，累計(jì)融資額達(dá)到3.67億美元。去年Groq LPU加速器在Meta Llama 2 70B大語言模型上實(shí)現(xiàn)了每秒生成超過280個(gè)token的推理性能。

5、SiMa.ai

SiMa.ai成立于2018年。創(chuàng)始人兼CEO Krishna Rangasayee曾在全球最大FPGA芯片供應(yīng)商賽靈思工作了近20年。這家創(chuàng)企在2019年推出首款A(yù)I芯片組MLSoC，主要面向計(jì)算機(jī)視覺領(lǐng)域的推理計(jì)算。2023年6月，SiMa.ai稱其第一代邊緣AI芯片已開始量產(chǎn)，正與制造、汽車、航空等行業(yè)的50多家客戶合作。

6、d-Matrix

d-Matrix成立于2019年，主要研發(fā)存內(nèi)計(jì)算AI芯片。官網(wǎng)宣稱構(gòu)建了“世界上最高效的大規(guī)模AI推理平臺(tái)”，跑Llama 2 13B大語言模型的大規(guī)模推理速度“倍殺”H100和A100。

其最新數(shù)字存內(nèi)計(jì)算芯片Jayhawk II采用臺(tái)積電6nm制程和Chiplet D2D互連方案，可為生成式AI應(yīng)用推理任務(wù)提供支撐。該創(chuàng)企融資金額超過1.6億美元，投資方包括微軟、SK海力士等。微軟承諾今年將對(duì)其芯片進(jìn)行自用評(píng)估。d-Matrix預(yù)計(jì)兩年內(nèi)收入將達(dá)到7000萬~7500萬美元區(qū)間，并實(shí)現(xiàn)收支平衡。

7、Modular AI

Modular AI是這12家創(chuàng)企中唯一一家專注于軟件的公司，成立于2022年，致力于構(gòu)建出模塊化、可組合和分層架構(gòu)的AI基礎(chǔ)設(shè)施，包括打造編譯器、運(yùn)行時(shí)環(huán)境等，開發(fā)出CUDA替代品。

這家創(chuàng)企在2023年8月獲得1億美元融資，投資方包括谷歌風(fēng)投。其CEO是LLVM之父Chris Lattner，曾在蘋果公司領(lǐng)導(dǎo)Swift編程語言的開發(fā)，后來與Modular首席產(chǎn)品官Tim Davis一起在谷歌工作，負(fù)責(zé)監(jiān)督AI產(chǎn)品開發(fā)。

2023年5月，Modular AI首次舉辦發(fā)布會(huì)，推出高效推理引擎和Mojo編程語言。其高效推理引擎可輕松將主流深度學(xué)習(xí)框架上的模型快速部署到服務(wù)器或邊緣設(shè)備上。Mojo編程語言無需C++和CUDA運(yùn)行環(huán)境，即可直接將類似Python語言的代碼高效部署到芯片上運(yùn)行。

8、Rain AI

Rain AI成立于2017年，旨在解決使用傳統(tǒng)GPU訓(xùn)練和運(yùn)行機(jī)器學(xué)習(xí)的高成本問題。OpenAI CEO Sam Altman、百度風(fēng)投都投資了這家公司。

其AI芯片設(shè)計(jì)理念受大腦啟發(fā)。早在2018年，Altman就看好Rain走得類腦芯片路線，以個(gè)人名義向Rain AI領(lǐng)投了一筆種子輪融資。第二年，OpenAI簽署一項(xiàng)不具有約束力的協(xié)議，計(jì)劃等Rain AI的芯片上市后斥資5100萬美元采購這些芯片，不過至今尚未采取后續(xù)措施。

Rain AI在2021年推出可訓(xùn)練的端到端模擬AI芯片的工作原型芯片，近期的AI芯片產(chǎn)品則采用數(shù)字存內(nèi)計(jì)算技術(shù)。截至目前，其累計(jì)融資金額約為4000萬美元。

9、MatX

MatX成立于2022年，專注于面向大語言模型開發(fā)更快的專用芯片，旨在設(shè)計(jì)出通用人工智能（AGI）的計(jì)算平臺(tái)，比英偉達(dá)GPU等硬件更快、更省錢的芯片。其CEO Reiner Pope參與構(gòu)建谷歌PaLM模型，曾寫出谷歌最快的推理軟件；CTO Mike Gunter曾參與谷歌TPU工作。

根據(jù)官網(wǎng)信息，MatX已獲得一些風(fēng)投機(jī)構(gòu)以及領(lǐng)先的大語言模型和AI研究人員的支持，但并未公布產(chǎn)品或融資額。

10、Etched.ai

Etched.ai成立于2022年10月，兩位創(chuàng)始人CEO Gavin Uberti和CTO Chris Zhu均在本科期間從哈佛休學(xué)，想要研發(fā)一款能加速大語言模型的AI芯片“Sohu”。

通過在硬件層面集成Transformer架構(gòu)、配備144GB HBM3e顯存，Sohu芯片的推理性能將達(dá)到英偉達(dá)H100的10倍，單位價(jià)格將獲得140倍于H100的吞吐量性能。該芯片預(yù)計(jì)今年交付。

2023年6月，Etched.ai宣布獲得536萬美元種子輪融資，投資方包括包括Ebay前CEO Devin Wenig。融資后其估值達(dá)到3400萬美元。

11、Extropic

2023年的最后一個(gè)月，AI芯片創(chuàng)企Extropic宣布獲得1410萬美元天使輪融資。這家創(chuàng)企成立于2022年，創(chuàng)始成員CEO Guillaume Verdon和CTO Trevor McCourt來自谷歌量子AI團(tuán)隊(duì)。Guillaume 被認(rèn)為是量子深度學(xué)習(xí)領(lǐng)域的先驅(qū)。

Extropic自稱正在為物理世界中的生成式AI構(gòu)建終極基礎(chǔ)，利用熱力學(xué)和信息的第一原理構(gòu)建人工智能超級(jí)計(jì)算機(jī)。目前，Extropic正在研發(fā)一款能運(yùn)行大語言模型的AI芯片。其芯片的核心部件是一種叫做熱力學(xué)邏輯門的微型裝置，利用了熱力學(xué)系統(tǒng)的能量轉(zhuǎn)換和信息處理功能把熱能等能量轉(zhuǎn)化為算力。

12、Tiny Corp

Tiny Corp成立于2022年5月，其創(chuàng)始人兼CEO是業(yè)界知名黑客“神奇小子”George Hotz，他也是自動(dòng)駕駛創(chuàng)企Comma AI的創(chuàng)始人。2023年5月，Tiny Corp獲得510萬美元融資。

George Hotz認(rèn)為，創(chuàng)辦AI芯片公司的唯一途徑就是從軟件開始，這家創(chuàng)業(yè)公司想要幫助開發(fā)人員加快訓(xùn)練和運(yùn)行機(jī)器學(xué)習(xí)模型的過程。其首個(gè)項(xiàng)目是為AMD芯片構(gòu)建框架、運(yùn)行時(shí)和驅(qū)動(dòng)程序，短期目標(biāo)是使用tinygrad框架讓AMD支持MLPerf。