技術頻道

娓娓工業(yè)
您現(xiàn)在的位置: 中國傳動網(wǎng) > 技術頻道 > 技術百科 > ChatGPT算力芯片如何做算力輸出

ChatGPT算力芯片如何做算力輸出

時間:2024-01-22 16:37:56來源:是德科技KEYSIGHT

導語:?我們談到算力芯片和內存,這一期我們來聊聊算力芯片如何做算力輸出,進而形成ChatGPT等生成式AI背后的算力基座。

現(xiàn)在的算力服務器中,里面并不是一顆顆芯片堆疊在一起,而是一張張算力卡并排插在卡槽里。目前大部分算力服務器單臺放置8張或者16張算力卡。

算力卡的核心當然還是計算芯片,會搭配大容量高帶寬的內存、緩存,以及搭載CPU用于調度,為了幫助數(shù)據(jù)傳輸,便會使用高速通道,這便是PCIe(高速串行計算機擴展總線標準)在系統(tǒng)中的作用:提供總線通道。

圖:算力卡示意圖

PCIe在數(shù)據(jù)運算中的應用非常廣泛,比如CPU控制和調度芯片組進行工作會采用PCIe總線,算力卡和算力卡之間的互聯(lián)也可能用到Serdes總線,計算好的數(shù)據(jù)存入到SSD硬盤中也是使用PCIe總線,算力中心里的交換機內部CPU與Switch芯片之間,采用PCIe總線。

圖:PCIe總線在AI異構計算系統(tǒng)中的應用

因此,PCIe相當于是一種通用的總線標準,串聯(lián)起整個AI背后的異構計算系統(tǒng)。通過采用PCIe接口,研發(fā)人員完全不必擔心計算芯片、加速芯片、內存芯片、存儲芯片、網(wǎng)關芯片和交換機等人工智能系統(tǒng)不同組件之間的互聯(lián)問題。

PCIe從多個方面賦能當前人工智能系統(tǒng)的高速發(fā)展,包括以下幾個特性:

1. 高效傳輸

2. 高可擴展性

3. 實時處理能力

4. 持續(xù)優(yōu)化的低功耗性能

由于PCIe連接了系統(tǒng)中核心的芯片,又承擔著數(shù)據(jù)傳輸?shù)呢熑?,因此其性能可靠性非常重要。在實際測試過程中,首先要測試PCIe接口的上傳和下載峰值速度,以及穩(wěn)定傳輸?shù)乃俣?,這是保證高效計算的關鍵。然后是測試PCIe接口的電氣特性,包括傳輸功耗,以及高速邏輯喚醒等低功耗功能的具體表現(xiàn),如下圖:

圖:是德科技PCIe測試拓撲圖

此外,在PCIe接口穩(wěn)定性方面,還要測試熱插拔特性、隔離度和EMC性能等。當然,目前有一些廠商已經(jīng)不滿足于PCIe的傳輸速度,于是他們自己研發(fā)了一套連接標準。比如,英特爾提供Xe Link用于算力卡的互聯(lián),這是一種基于PCle 5.0擴展的新協(xié)議;英偉達則是開發(fā)了NVLink作為PCle的替代方案,帶寬和能效能夠達到PCle 5.0的數(shù)倍。這些自研方案會帶來更高的測試挑戰(zhàn),對于是德科技而言,無論采取的是PCle協(xié)議,還是自研的高速互聯(lián)協(xié)議,我們的方案都能夠滿足相關測試需求,如下圖:

圖:是德科技PCIe 6.0全鏈路測試方案


標簽: 芯片AI

點贊

分享到:

上一篇:一顆AI芯片需要考量的因素有...

下一篇:機器人基于開源的多模態(tài)語言...

中國傳動網(wǎng)版權與免責聲明:凡本網(wǎng)注明[來源:中國傳動網(wǎng)]的所有文字、圖片、音視和視頻文件,版權均為中國傳動網(wǎng)(www.surachana.com)獨家所有。如需轉載請與0755-82949061聯(lián)系。任何媒體、網(wǎng)站或個人轉載使用時須注明來源“中國傳動網(wǎng)”,違反者本網(wǎng)將追究其法律責任。

本網(wǎng)轉載并注明其他來源的稿件,均來自互聯(lián)網(wǎng)或業(yè)內投稿人士,版權屬于原版權人。轉載請保留稿件來源及作者,禁止擅自篡改,違者自負版權法律責任。

網(wǎng)站簡介|會員服務|聯(lián)系方式|幫助信息|版權信息|網(wǎng)站地圖|友情鏈接|法律支持|意見反饋|sitemap

傳動網(wǎng)-工業(yè)自動化與智能制造的全媒體“互聯(lián)網(wǎng)+”創(chuàng)新服務平臺

網(wǎng)站客服服務咨詢采購咨詢媒體合作

Chuandong.com Copyright ?2005 - 2025 ,All Rights Reserved 深圳市奧美大唐廣告有限公司 版權所有
粵ICP備 14004826號 | 營業(yè)執(zhí)照證書 | 不良信息舉報中心 | 粵公網(wǎng)安備 44030402000946號