12月14日消息,已成這兩年AI爆發(fā),核心它不僅影響了AI產(chǎn)業(yè),表態(tài)實際上還在改變了芯片發(fā)展的放棄方向,但是位計這個方向?qū)PC、科學計算來說可不一定是已成好事。
這是核心因為NVIDIA近年來已經(jīng)把AI性能作為一切的核心,計算精度實際上是表態(tài)不斷降低的,以前大家比較GPU性能可能還會計算有FP64、放棄FP32這兩個核心指標,位計如今AI時代,已成FP16、核心FP8及FP4才是表態(tài)重點。
我們之前提到過,放棄NVIDIA新一代顯卡會轉(zhuǎn)向FP4標準,位計從Blackwell開始雖然也支持FP4、MXFP4這兩種標準,但重點推的是NVFP4,它跟E2M1 FP4結(jié)構(gòu)差不多,但精度幾乎沒有多少損失。
GB300在支持FP4后性能提升了50%,精度比FP8幾乎沒有損失,內(nèi)存占用大幅減少2-3倍,能效則是50倍提升。
但是在FP64上面,這幾年的顯卡,尤其是頂級產(chǎn)品不僅沒提升,還在倒退,HPCWire做了這幾代顯卡的對比,如下所示:
A100時代FP64性能還有9.7TFLOPS,H100及H200是34TFLOPS,B100、B200是30、37TFLOPS,B300則是大幅降低到了1.2TFLOPS。
這已經(jīng)引起了學術(shù)圈的抱怨,SC25大會期間,TOP500的發(fā)起人、田納西大學教授Jack Dongarra就表示NVIDIA在從Hopper架構(gòu)轉(zhuǎn)向Blackwell時沒有實質(zhì)性提升FP64性能。
AI性能雖然重要,但在科學計算上,比如材料科學、氣候建模、流體力學模擬等研究中,F(xiàn)P64性能是無可替代的。
對于這些質(zhì)疑,NVIDIA負責HPC、AI超大規(guī)模基礎(chǔ)設(shè)施解決方案的高級總監(jiān)Dion Harris強調(diào)他們并沒有放棄64位計算,它依然是核心。
他提到10月份推出的cuBLAS,這是一個CUDA-X數(shù)學庫,可以在矢量核心上模擬FP64計算,使用這個庫可以讓FP64性能提升1.8倍。
至于專業(yè)人士期待的FP64性能提升,Dion Harris提到NVIDIA未來的GPU會在核心底層上提升FP64計算,但具體信息暫時不能說。
明年3月份會有GTC大會上,NVIDIA應該會公布下一代GPU架構(gòu)了,或許會在這方面有所變化。







