異構計算如何優化深度學習工作負載

隨著您的製造業務開始探索深度學習可以提供的價值,您會注意到,它使您可以使用許多不同類型的數據。您的公司將不會繼續使用條形碼讀取器收集的數據或通過鍵盤輸入的數據。深度學習應用程序可以從各種數據類型(包括圖像,視頻,文本,語音和傳感器)中提取價值。由於數據以多種異構形式出現,因此深度學習應用程序需要異構計算,該異構計算使用不同類型的計算核心來處理數據。

什麼是異構計算?

異構計算使用兩種或多種類型的計算核心,例如:

  • 中央處理器(CPU)
  • 圖形處理單元(GPU)
  • 現場可編程門陣列(FPGA)
  • 專用集成電路(ASIC)

使用多核可為系統提供單核進程無法匹敵的功能。例如,同時使用FPGA和GPU的系統不僅可以快速渲染圖像,而且還可以同時快速執行多個計算,而FPGA支持現場編程。深度學習還可以將這些內核與各種類型的ASIC相結合-用於計算機視覺的視覺處理單元(VPU)和張量處理單元(TPU),以提供低功耗的專用功能。

異構計算不是一個新概念。不同類型的計算核心已經在各種應用程序中協同工作。但是,深度學習平台需要將不同類型的計算核心集成到一個系統中,以提供最佳的每瓦性能。使用錯誤的內核或設計具有計算機內核“過大殺傷力”的系統,將使深度學習應用程序在大小,重量和功耗方面都不理想。

異構計算可以做什麼

在某種程度上,您的操作可能正在利用現在使用異構體系結構構建的系統,並且異構計算可能會在實現您的Industry 4.0目標中發揮至關重要的作用。在單個平台上使用多種類型的計算核心可實現廣泛的應用程序,例如:

  • 機器視覺可實現更有效的質量控制檢查,測量和增強的過程控制
  • 光學字符識別(OCR),適用於各種用例,包括從舊設備中提取數據
  • 自主移動機器人,可以提高日常操作的速度並執行對員工安全構成威脅的任務
  • 物聯網(IoT)環境,可在設備和系統之間實時流式傳輸和分析數據,從而提高效率並做出更好的決策
  • 啟用算法的深度學習系統首先學習,然後直接從圖像,語音或視頻中進行推斷,而無需您告訴它如何完成工作。
  • 並行計算可以加速圖像處理,從而加速深度學習推理。

生產運營的優勢

異構計算最顯著的優勢之一是,通過將不同類型的計算核心集成到系統中,您可以優化每瓦以及每美元,大小,重量和功率(SWaP)的性能,因為必須考慮這些參數部署邊緣AI解決方案時應考慮在內。

異構體系結構還使您可以更輕鬆地擴展計算環境。例如,借助凌華科技的異構計算平台(包括用於外部工作負載整合的Vortex數據分發服務和微服務架構),您便能夠擴展AI系統,使其包含新技術,並為它們帶來新的機遇並為創新和競爭力提供新的機會。

不要一心一意地限制自己的潛力

每個單獨的系統都使用單一類型的計算機處理核心構建,這將限制您的操作,無法構建您設想的支持AI的Industry 4.0環境。在利用異構計算的系統中,您具有洞察運營,防止停機,通過遠程控制和自動化最大化生產率,增強工作人員安全性的潛力,將無法與之抗衡。

想了解更多? 
加入我們 NVIDIA的虛擬#GTC20會議 聽聽我們的Edge AI專家提供的註冊促銷代碼NVESEYMOUR!

並下載我們最新的異構計算 白皮書

作者:贊恩·蔡
作者:贊恩·蔡

凌華科技嵌入式平台與模塊平台產品中心總監