Groq芯片的創(chuàng)新意義
前一陣子,Groq芯片刷屏了,據(jù)說Groq芯片計(jì)算速度遠(yuǎn)遠(yuǎn)超過英偉達(dá)GPU,經(jīng)網(wǎng)友測試,Groq每秒生成速度接近500 tok/s,碾壓GPT-4的40 tok/s。Groq是一家成立于2016年的AI創(chuàng)企,據(jù)其官網(wǎng)介紹,LPU是一種專為AI推理所設(shè)計(jì)的芯片。LPU的工作原理與GPU截然不同。它采用了時(shí)序指令集計(jì)算機(jī)(Temporal Instruction Set Computer)架構(gòu),這意味著它無需像使用高帶寬存儲(chǔ)器(HBM)的GPU那樣頻繁地從內(nèi)存中加載數(shù)據(jù)。