為什么我們喜歡大數(shù)字?

　　作為一名擁有 40 多年半導(dǎo)體業(yè)務(wù)研發(fā)總監(jiān)和CMO管理經(jīng)驗(yàn)的工程師，我認(rèn)為我自己和我的同行都合乎邏輯。然而，我們中有多少人可以誠實(shí)地說我們沒有被“我的產(chǎn)品比你的產(chǎn)品快”之類的說法所誘惑?恐怕這只是人性。

　　問題始終是定義之一：我們?nèi)绾味x“更快”或“更低功率”或“更便宜”?這是基準(zhǔn)測(cè)試試圖解決的問題——它是關(guān)于擁有一致的上下文和外部標(biāo)準(zhǔn)，以確保你在比較的是同類測(cè)試。任何使用基準(zhǔn)測(cè)試的人都非常清楚這一點(diǎn)(比如aiMotive就誕生于一家領(lǐng)先的 GPU 基準(zhǔn)測(cè)試公司)。

　　在嘗試比較汽車 AI 應(yīng)用的硬件平臺(tái)時(shí)，解決這種需求從未像現(xiàn)在這樣緊迫。

　　什么時(shí)候 10 TOPS 不是 10 TOPS?

　　無論是否有專用的 NPU，大多數(shù) SoC 都將其執(zhí)行神經(jīng)網(wǎng)絡(luò)工作負(fù)載的能力稱為 TOPS：代表每秒 Tera次的操作數(shù)。這只是 NPU(或整個(gè) SoC)每秒可以執(zhí)行的算術(shù)運(yùn)算總數(shù)，無論是集中在專用 NPU 中還是分布在多個(gè)計(jì)算引擎(如 GPU、CPU 矢量協(xié)處理器、或其他加速器。)

　　但是，沒有任何硬件執(zhí)行引擎可以 100% 的效率執(zhí)行任何工作負(fù)載。對(duì)于神經(jīng)網(wǎng)絡(luò)推理，某些層(例如池化或激活)在數(shù)學(xué)上與卷積非常不同。在卷積本身(或池化等其他層)開始之前，數(shù)據(jù)必須重新排列或從一個(gè)地方移動(dòng)到另一個(gè)地方。其他時(shí)候，NPU 可能需要等待來自控制它的主機(jī) CPU 的新指令或數(shù)據(jù)，每個(gè)層甚至每個(gè)數(shù)據(jù)塊。這些都會(huì)導(dǎo)致進(jìn)行更少的計(jì)算，從而限制了理論上的最大容量。

　　硬件利用率——不是它看起來的樣子

　　許多 NPU 供應(yīng)商會(huì)引用硬件利用率來表明他們的 NPU 執(zhí)行給定神經(jīng)網(wǎng)絡(luò)工作負(fù)載的情況。這基本上是說，“這是我的 NPU的理論容量有多少被用于執(zhí)行神經(jīng)網(wǎng)絡(luò)工作負(fù)載?！碑?dāng)然，這告訴我我需要知道什么。

　　不幸的是沒有。硬件利用率的問題是定義之一：數(shù)量完全取決于 NPU 供應(yīng)商選擇如何定義它。事實(shí)上，硬件利用率和 TOPS 的問題在于它們只告訴你硬件引擎理論上能夠?qū)崿F(xiàn)什么，而不是它實(shí)現(xiàn)的程度。

　　這可能會(huì)導(dǎo)致一些誤導(dǎo)性信息。下面的圖 1 顯示了我們?cè)? TOPS的 aiWare3P NPU 與另一個(gè)額定為 8 TOPS 的知名 NPU 之間進(jìn)行的比較。

圖 1：兩個(gè)汽車推理 NPU 的利用率與效率比較（來源：aiMotive 使用公開可用的硬件和軟件工具）

　　對(duì)于兩個(gè)不同的知名基準(zhǔn)，該NPU聲稱與 aiWare3P 的 4 TOPS 相比容量為 8 TOPS，這應(yīng)該意味著它將提供比 aiWare3P 大約高 2 倍的 fps 性能。然而，實(shí)際上，情況正好相反：aiWare3P 提供了 2 到 5 倍的性能，盡管它只是聲稱的 TOPS 的一半!

　　結(jié)論是，TOPS 是衡量 AI 硬件能力的一種非常糟糕的方法;硬件利用率幾乎與TOPS一樣具有誤導(dǎo)性。

　　NPU 效率和自治：優(yōu)化 PPA 的關(guān)鍵

　　這就是為什么我認(rèn)為您必須根據(jù)執(zhí)行一組有代表性的工作負(fù)載時(shí)的效率來評(píng)估 NPU 能力，而不是原始的理論硬件能力。效率定義為在一幀內(nèi)執(zhí)行特定 CNN 所需的操作數(shù)，占聲稱的 TOPS 的百分比。這個(gè)數(shù)字是完全根據(jù)定義任何 CNN 的底層數(shù)學(xué)算法計(jì)算出來的，而不管 NPU 實(shí)際如何評(píng)估它。它比較了實(shí)際與聲稱的性能，這才是真正重要的。

　　表現(xiàn)出高效率的 NPU 意味著它將充分利用用于實(shí)現(xiàn)它的每平方毫米硅片，并轉(zhuǎn)化為更低的芯片成本和更低的功耗。效率可以為汽車 SoC 或 ASIC 實(shí)現(xiàn)最佳的 PPA(性能、功率和面積)。

　　NPU 的自治性是另一個(gè)重要因素。 NPU 在主機(jī) CPU 上放置多少 CPU 負(fù)載才能達(dá)到最高性能?這與內(nèi)存子系統(tǒng)有什么關(guān)系?必須考慮 NPU作為任何 SoC 或 ASIC 中的一個(gè)大塊——它對(duì)芯片和子系統(tǒng)的其余部分的影響不容忽視。

　　結(jié)論

　　在設(shè)計(jì)任何 SoC 或 ASIC 汽車時(shí)，AI 工程師必須專注于構(gòu)建能夠可靠地執(zhí)行算法的生產(chǎn)平臺(tái)，同時(shí)實(shí)現(xiàn)卓越的PPA：最低功耗、最低成本、更高性能。他們還必須在設(shè)計(jì)周期的早期就對(duì)硬件平臺(tái)的選擇做出承諾，通常是在最終算法開發(fā)完成之前。

　　效率是實(shí)現(xiàn)這一目標(biāo)的最佳方式;無論是TOPS還是硬件利用率都不是好的衡量標(biāo)準(zhǔn)。如果要滿足苛刻的生產(chǎn)目標(biāo)，評(píng)估 NPU 的自主性也至關(guān)重要。

　　Tony King-Smith 是 aiMotive 的執(zhí)行顧問。他在半導(dǎo)體和電子領(lǐng)域擁有 40 多年的經(jīng)驗(yàn)，為松下、瑞薩、英國航空航天和 LSI Logic 等多家跨國公司管理研發(fā)戰(zhàn)略以及硬件和軟件工程團(tuán)隊(duì)。Tony曾經(jīng)擔(dān)任領(lǐng)先的半導(dǎo)體 IP 供應(yīng)商 Imagination Technologies 的 CMO。