12月14日消息,已成這兩年AI爆發(fā),核心它不僅影響了AI產(chǎn)業(yè),表態(tài)實(shí)際上還在改變了芯片發(fā)展的放棄方向,但是位計(jì)這個(gè)方向?qū)PC、科學(xué)計(jì)算來(lái)說(shuō)可不一定是已成好事。
這是核心因?yàn)镹VIDIA近年來(lái)已經(jīng)把AI性能作為一切的核心,計(jì)算精度實(shí)際上是表態(tài)不斷降低的,以前大家比較GPU性能可能還會(huì)計(jì)算有FP64、放棄FP32這兩個(gè)核心指標(biāo),位計(jì)如今AI時(shí)代,已成FP16、核心FP8及FP4才是表態(tài)重點(diǎn)。
我們之前提到過(guò),放棄NVIDIA新一代顯卡會(huì)轉(zhuǎn)向FP4標(biāo)準(zhǔn),位計(jì)從Blackwell開(kāi)始雖然也支持FP4、MXFP4這兩種標(biāo)準(zhǔn),但重點(diǎn)推的是NVFP4,它跟E2M1 FP4結(jié)構(gòu)差不多,但精度幾乎沒(méi)有多少損失。
GB300在支持FP4后性能提升了50%,精度比FP8幾乎沒(méi)有損失,內(nèi)存占用大幅減少2-3倍,能效則是50倍提升。
但是在FP64上面,這幾年的顯卡,尤其是頂級(jí)產(chǎn)品不僅沒(méi)提升,還在倒退,HPCWire做了這幾代顯卡的對(duì)比,如下所示:
A100時(shí)代FP64性能還有9.7TFLOPS,H100及H200是34TFLOPS,B100、B200是30、37TFLOPS,B300則是大幅降低到了1.2TFLOPS。
這已經(jīng)引起了學(xué)術(shù)圈的抱怨,SC25大會(huì)期間,TOP500的發(fā)起人、田納西大學(xué)教授Jack Dongarra就表示NVIDIA在從Hopper架構(gòu)轉(zhuǎn)向Blackwell時(shí)沒(méi)有實(shí)質(zhì)性提升FP64性能。
AI性能雖然重要,但在科學(xué)計(jì)算上,比如材料科學(xué)、氣候建模、流體力學(xué)模擬等研究中,F(xiàn)P64性能是無(wú)可替代的。
對(duì)于這些質(zhì)疑,NVIDIA負(fù)責(zé)HPC、AI超大規(guī)模基礎(chǔ)設(shè)施解決方案的高級(jí)總監(jiān)Dion Harris強(qiáng)調(diào)他們并沒(méi)有放棄64位計(jì)算,它依然是核心。
他提到10月份推出的cuBLAS,這是一個(gè)CUDA-X數(shù)學(xué)庫(kù),可以在矢量核心上模擬FP64計(jì)算,使用這個(gè)庫(kù)可以讓FP64性能提升1.8倍。
至于專(zhuān)業(yè)人士期待的FP64性能提升,Dion Harris提到NVIDIA未來(lái)的GPU會(huì)在核心底層上提升FP64計(jì)算,但具體信息暫時(shí)不能說(shuō)。
明年3月份會(huì)有GTC大會(huì)上,NVIDIA應(yīng)該會(huì)公布下一代GPU架構(gòu)了,或許會(huì)在這方面有所變化。







