發布時間:2025-11-29 17:43:31 來源:企業錄(www.qy6.com)-公司信息發布,網上買賣交易門戶 作者:百科
11月28日消息,谷歌在AI大模型訓練/推理上,實測NVIDIA的對比顯卡無疑是目前使用最多的,AMD、倍性Intel及谷歌等公司份額沒法比,價比問題來了,優勢NVIDIA到底強在哪里?谷歌
這里不用提什么CUDA生態優勢,也不用說AI算子等參數,實測Artificial Analysis直接對比了當前的對比三大推理方案的實際表現,分別使用谷歌TPU v6e、倍性AMD MI300X 及NVIDIA H100/B200來對比。價比
測試的優勢內容比較多,不過我們只看一個綜合性的谷歌就夠了,在30Token/s速度下每百萬輸入輸出的實測成本,跑的對比模型是Llama 3.3 70B。
在這方面,H100的成本是1.06美元,H200也只有1.17美元,B200 TensorRT是1.23美元,B200是1.45美元,AMD的MI300X是2.24美元,而谷歌的TPU v6e是5.13美元。
對比下來,N卡相對AMD是至少2倍的性價比優勢,對比谷歌則是5倍左右的優勢,差距非常明顯。
哪怕是用NVIDIA最新最貴的B200顯卡,成本提升也不算太明顯,畢竟性能是大增的,比AMD及谷歌的依然有很大優勢。
現在可以說,AMD及谷歌當前的AI卡還是差不少的,但兩家下一代產品提升很猛,AMD的MI400X系列最多432GB HBM4顯存,谷歌的TPU v7據說也是幾倍的性能提升,屆時可能改寫這個評測結果。
當然,NVIDIA也不會坐以待斃,下一代的Rubin顯卡也發布了,明年也會陸續上市,有望進一步擴大差距。
相關文章