LPU

• Groq芯片的創(chuàng)新意義
  

  前一陣子，Groq芯片刷屏了，據(jù)說(shuō)Groq芯片計(jì)算速度遠(yuǎn)遠(yuǎn)超過(guò)英偉達(dá)GPU，經(jīng)網(wǎng)友測(cè)試，Groq每秒生成速度接近500 tok/s，碾壓GPT-4的40 tok/s。Groq是一家成立于2016年的AI創(chuàng)企，據(jù)其官網(wǎng)介紹，LPU是一種專為AI推理所設(shè)計(jì)的芯片。LPU的工作原理與GPU截然不同。它采用了時(shí)序指令集計(jì)算機(jī)（Temporal Instruction Set Computer）架構(gòu)，這意味著它無(wú)需像使用高帶寬存儲(chǔ)器（HBM）的GPU那樣頻繁地從內(nèi)存中加載數(shù)據(jù)。

  土人觀芯

  3024

  03/01 13:18

  推理芯片 LPU
• AI芯片的一百種死法
  

  前幾天，英偉達(dá)成為首家市值達(dá)到2萬(wàn)億美金的芯片公司，創(chuàng)造了歷史。同一時(shí)間，一家名為Groq的初創(chuàng)公司橫空出世，揚(yáng)言“三年之內(nèi)趕超英偉達(dá)”。Groq狠話的底氣，來(lái)源于它所開(kāi)發(fā)的芯片——LPU。

  遠(yuǎn)川科技評(píng)論

  3852

  02/26 09:50

  GPU AI芯片
• AI芯片黑馬一夜爆紅：成本推算爭(zhēng)議不斷，前員工現(xiàn)員工互撕
  

  2月21日?qǐng)?bào)道，在OpenAI推出又一爆款力作AI視頻生成模型Sora后，連帶著偏上游的AI芯片賽道熱度一點(diǎn)即著。創(chuàng)始成員來(lái)自谷歌TPU團(tuán)隊(duì)的美國(guó)存算一體AI芯片公司Groq便是最新贏家。這家創(chuàng)企自稱其自研AI推理引擎LPU做到了“世界最快推理”，由于其超酷的大模型速度演示、遠(yuǎn)低于GPU的token成本，這顆AI芯片最近討論度暴漲。連原阿里副總裁賈揚(yáng)清都公開(kāi)算賬，分析LPU和H100跑大模型的采購(gòu)和運(yùn)營(yíng)成本到底差多少。

  芯東西

  2591

  02/22 12:20

  AI芯片 存算一體

正在努力加載...