12月14日消息,已成這兩年AI爆發(fā),核心它不僅影響了AI產(chǎn)業(yè),表態(tài)實(shí)際上還在改變了芯片發(fā)展的放棄方向,但是位計(jì)這個方向?qū)PC、科學(xué)計(jì)算來說可不一定是已成好事。
這是核心因?yàn)镹VIDIA近年來已經(jīng)把AI性能作為一切的核心,計(jì)算精度實(shí)際上是表態(tài)不斷降低的,以前大家比較GPU性能可能還會計(jì)算有FP64、放棄FP32這兩個核心指標(biāo),位計(jì)如今AI時代,已成FP16、核心FP8及FP4才是表態(tài)重點(diǎn)。
我們之前提到過,放棄NVIDIA新一代顯卡會轉(zhuǎn)向FP4標(biāo)準(zhǔn),位計(jì)從Blackwell開始雖然也支持FP4、MXFP4這兩種標(biāo)準(zhǔn),但重點(diǎn)推的是NVFP4,它跟E2M1 FP4結(jié)構(gòu)差不多,但精度幾乎沒有多少損失。
GB300在支持FP4后性能提升了50%,精度比FP8幾乎沒有損失,內(nèi)存占用大幅減少2-3倍,能效則是50倍提升。
但是在FP64上面,這幾年的顯卡,尤其是頂級產(chǎn)品不僅沒提升,還在倒退,HPCWire做了這幾代顯卡的對比,如下所示:
A100時代FP64性能還有9.7TFLOPS,H100及H200是34TFLOPS,B100、B200是30、37TFLOPS,B300則是大幅降低到了1.2TFLOPS。
這已經(jīng)引起了學(xué)術(shù)圈的抱怨,SC25大會期間,TOP500的發(fā)起人、田納西大學(xué)教授Jack Dongarra就表示NVIDIA在從Hopper架構(gòu)轉(zhuǎn)向Blackwell時沒有實(shí)質(zhì)性提升FP64性能。
AI性能雖然重要,但在科學(xué)計(jì)算上,比如材料科學(xué)、氣候建模、流體力學(xué)模擬等研究中,F(xiàn)P64性能是無可替代的。
對于這些質(zhì)疑,NVIDIA負(fù)責(zé)HPC、AI超大規(guī)模基礎(chǔ)設(shè)施解決方案的高級總監(jiān)Dion Harris強(qiáng)調(diào)他們并沒有放棄64位計(jì)算,它依然是核心。
他提到10月份推出的cuBLAS,這是一個CUDA-X數(shù)學(xué)庫,可以在矢量核心上模擬FP64計(jì)算,使用這個庫可以讓FP64性能提升1.8倍。
至于專業(yè)人士期待的FP64性能提升,Dion Harris提到NVIDIA未來的GPU會在核心底層上提升FP64計(jì)算,但具體信息暫時不能說。
明年3月份會有GTC大會上,NVIDIA應(yīng)該會公布下一代GPU架構(gòu)了,或許會在這方面有所變化。







