邊緣處理AI的嵌入式硬件:GPU,VPU,FPGA和ASIC的解釋說明

IT系統在企業和企業中迅速發展,並且不斷增長的趨勢正在將計算能力轉移到邊緣。 Gartner預測,到2025年,邊緣計算將處理 75%的數據 由所有用例生成,包括工廠,醫療保健和運輸中的用例。您可以將邊緣計算的採用與 人工智能的興起 (AI),這使工廠變得更加智能,改善了患者的病情,提高了自動駕駛汽車的安全性,並且數據量的增長比以往任何時候都要大。來自製造設備,傳感器,機器視覺系統和 倉庫管理系統 在一個智能工廠中,每天輕鬆就能總計1 PB。 

當企業首次部署嵌入式系統時,他們的系統架構師無法想像AI,物聯網(IoT)和其他先進技術會生成的數據量。如今情況已經發生變化,十年前的嵌入式系統必須適應當今的邊緣計算。 

如今,許多AI工作負載都在雲中處理。但是,隨著越來越多的高帶寬數據對這些系統提出越來越高的要求,在延遲,可靠性,移動性,安全性,能效和數據傳輸成本方面,在邊緣處理數據變得有意義。  

為了滿足當今的新需求,硬件必須從基於控制和規則的系統發展到以數據為中心的環境,以適應邊緣AI。 

邊緣AI工作負載的處理器類型指南 

處理AI工作負載的硬件要求因使用案例而異。 AI可以利用各種輸入,包括視頻,圖像,音頻,傳感器和PLC數據。系統架構師面臨的挑戰是為其AI應用程序選擇最佳的計算核心。  

本指南將幫助您了解可在邊緣系統中使用的不同類型的處理核心及其優勢。  

  1. 中央處理器 

中央處理單元(CPU)是通常具有4至16個內核的通用處理單元。 CPU運行複雜的任務並促進系統管理。 

它們可與混合數據輸入(例如同時使用音頻和文本的系統以及提取,轉換和加載(ETL)流程)配合使用。 

  1. GPU 

圖形處理單元(GPU)是高度並行的內核(100或1,000s),用於高速圖形渲染。它們提供高性能處理,並且通常比CPU具有更大的佔用空間和更高的功耗。 

由於小核數量眾多,GPU非常適合AI工作負載,從而促進了神經網絡訓練培訓和AI推理。 

  1. 現場可編程門陣列 

現場可編程門陣列(FPGA)是可配置的邏輯門,其功耗低於CPU和GPU。它們使具有編程專業知識的工程師能夠進行現場重新編程。 

當需要高度靈活性時,它們可能是最佳選擇。 

  1. 專用集成電路 

專用集成電路(ASIC)是使用製造商的電路庫設計的定制邏輯,具有功耗低,速度快和占用空間小的優點。但是,它們設計很耗時,而且比其他選項要昂貴,因此建議將ASIC用於大批量運行的產品。   

ASIC的類型包括: 

  • 視覺處理單元(VPU),圖像和視覺處理器以及協處理器 
  • Tensor處理單元(TPU),例如Google針對其機器學習框架TensorFlow開發的第一個TPU 
  • 神經計算單元(NCU),包括來自ARM的神經計算單元 

每種核心類型都適用於不同類型的計算-並在 異構計算應用 提供複雜用例所需的所有功能。一起使用,它們還可以平衡工作負載,提高不同的AI推理性能以及構建最經濟高效的配置。 

圖1.用於AI應用程序的異構邊緣計算架構選項

為Edge AI選擇嵌入式硬件的步驟 

選擇嵌入式邊緣硬件系統以在邊緣處理AI通常需要評估三個主要因素: 

表現  

核心硬件系統必須能夠提供複雜的,數據密集型邊緣AI應用程序所需的速度,同時即使在惡劣的環境中也能始終如一地可靠運行。 

交換  

SWaP是尺寸,重量和功率的首字母縮寫。除了提供應用程序所需的功能外,邊緣硬件還必須滿足尺寸和重量方面的規範,以符合應用程序的物理限制,並從功耗的角度出發最有意義。 

成本 

邊緣硬件的成本可能會有所不同,具體取決於核心類型和製造商。有必要確定以最佳價格提供哪些功能和規格,以滿足您的項目需求。 

圖2.比較邊緣AI硬件的核心類型

邊緣硬件在工作  

以下示例只是邊緣硬件創新使AI如今能夠交付價值的眾多用例中的幾個。 

深度學習加速平台 

深度學習加速平台(DLAP)支持各種功能,包括數據採集,圖像預處理,圖像分析和AI加速。它們還使機器能夠改善自身性能並做出決策。通過替換將數據發送到雲以進行DLAP處理的傳統邊緣設備,操作可以看到更快的響應以及更高的安全性和控制力。 

DLAP可以利用異構設計,例如,使用CPU管理數據採集和圖像預處理,使用GPU加速並行任務處理,同時保持邊緣系統的小型化和高能效。 

凌華科技的DLAP系列 例如,設計用於在嚴酷的工業或嵌入式環境中,在極端溫度,高濕度以及常見衝擊和振動的使用情況下運行的性能;我們稱此為邊緣AI的SWaP優化。 ADLINK的緊湊型單元在模塊上包含NVIDIA®Quadro®嵌入式GPU或NVIDIA®Jetson™超級計算機,可用於基於AI的推理,機器視覺和自主機器控制應用程序。 

例子  

AI自檢: 悠閒的午餐已成為過去,人們正在尋找 快速購買餐食的方法。自助服務採用率在消費者中正在增長,並且AI可以使客戶體驗現代化。在餐廳或商店結帳時,機器視覺可以通過一次掃描識別出物品,並使用ADLINK DLAP-211-JT2在不到1.5秒的時間內顯示應付款總額。客戶可以快速方便地完成購買。

移動X射線C型臂: 醫療設備必須可靠,耐用且設計為高性能。移動設備還必須將所有必要的計算能力打包到一個低功耗的緊湊型設計中。 CPU和嵌入式MXM GPU模塊(世界上最小的支持工業GPU的系統)的組合符合這些規範。 

模塊上的AI 

移動PCI Express模塊(MXM)GPU使您可以在手掌大小的圖形卡中運行AI。它們具有SWaP的主要優勢,包括尺寸僅為全長PEG卡的一小部分。它們提供了每瓦高性能,並且設計用於極端條件,例如通風受限或無通風,狹小空間,高溫或低溫以及多塵甚至腐蝕的環境。 

例子 

AI面部識別: 訪問控制對於防止未經授權進入製造工廠,研究設施,數據中心和其他高度受控區域至關重要。 AI面部識別門無需使用ID卡(可以偽造),並用幾秒鐘之內就可以識別授權用戶的舊系統,該技術可以識別授權用戶(即使他們戴著眼鏡或帽子)。它甚至可以區分真實的人臉和照片。 

機場安全: 與傳統的監視系統相比,機場全景監視系統可提供360度的跑道,空中和地面交通視圖,並具有更高的態勢感知能力。這些AI技術由堅固耐用的無風扇邊緣設備提供支持,該設備專為室外使用而設計,並與高性能GPU集成在一起,可在白天和晚上進行更好的監控。   

邊緣機器人 

硬件創新也在使 邊緣機器人。你聽到了嗎 Eclipse Cyclone DDS 即將被選作2021年5月即將發布的默認ROS 2中間件嗎?這是令人興奮的,因為它與我們內部的數據分發服務(DDS)技術相同 ROScube嵌入式機器人控制器,它可以幫助機器人與自己以及周圍的世界進行交流。  

例子: 

製造業中的自主移動機器人: 由邊緣AI驅動的AMR可以使用機器視覺,5G和DDS技術來協商其環境並了解上下文。 公平朋友集團,台灣最大的製造商之一正在使用5G over DDS基礎架構來實現增強現實的遠程維護,用於自動檢查的機器視覺以及用於工廠物料搬運的AMR群。

人工智能 機器視覺  

基於AI的機器視覺系統利用集成的工業相機和邊緣計算系統以及嵌入式高性能GPU,VPU和CPU來執行任務。由於所有計算能力都處於邊緣,因此消除了延遲和帶寬問題。此外,借助最先進的硬件,智能相機可以維持AI機器視覺所需的小尺寸,重量,功率,性能和成本要求。  

例子: 

倉庫履行: 第三方物流和供應鏈公司Evans Distribution Systems正在使用AI機器視覺系統來快速準確地履行美國女童軍的女童軍餅乾訂單,美國女童軍是著名非營利組織最受歡迎的籌款人之一。根據一個 最近的採訪,該系統的準確度超過99.8%,從而提高了生產率和準確的客戶出貨量。

親自探索適用於Edge AI的創新嵌入式硬件 

凌華科技將在以下地點展示用於邊緣AI的一系列硬件 2021年嵌入式世界 數字的。這次會議是您與ADLINK工程師,合作夥伴和邊緣系統專家建立聯繫的機會,他們隨時準備幫助您為用例選擇最佳的嵌入式硬件。 在此處免費註冊#ew21 使用促銷代碼:ew21456845。

作者:贊恩·蔡
作者:贊恩·蔡

凌華科技嵌入式平台與模塊平台產品中心總監