에지에서 AI 처리를위한 임베디드 하드웨어 : GPU, VPU, FPGA 및 ASIC 설명

IT 시스템은 전반적으로 비즈니스와 기업에서 빠르게 발전하고 있으며, 컴퓨팅 성능이 에지로 이동하는 추세가 증가하고 있습니다. Gartner는 2025 년까지 엣지 컴퓨팅이 75%의 데이터 공장, 의료 및 운송 분야를 포함한 모든 사용 사례에서 생성됩니다. 에지 컴퓨팅 채택을 인공 지능의 상승 (AI)는 공장을 더 스마트하게 만들고 환자 결과를 개선하며 자율 주행 차량 안전을 높이고 데이터 양을 그 어느 때보 다 기하 급수적으로 증가시키고 있습니다. 제조 장비, 센서, 머신 비전 시스템 및 창고 관리 시스템 하나의 스마트 팩토리에서 하루에 총 1 페타 바이트를 쉽게 계산할 수 있습니다. 

기업이 임베디드 시스템을 처음 배포했을 때 시스템 설계자는 AI, 사물 인터넷 (IoT) 및 기타 고급 기술이 생성 할 데이터 볼륨을 상상할 수 없었습니다. 이제 환경이 바뀌 었으므로 10 년 전의 임베디드 시스템은 오늘날의 엣지 컴퓨팅을 지원하도록 적응해야합니다. 

오늘날 많은 AI 워크로드가 클라우드에서 처리됩니다. 그러나 고 대역폭 데이터가 증가함에 따라 이러한 시스템에 대한 수요가 증가함에 따라 엣지에서 데이터를 처리하는 것은 대기 시간, 안정성, 이동성, 보안, 에너지 효율성 및 데이터 전송 비용 측면에서 의미가 있습니다.  

오늘날의 새로운 요구를 충족하려면 하드웨어가 제어 및 규칙 기반 시스템에서 데이터 중심 환경으로 진화하여 에지 AI를 수용해야합니다. 

에지에서 AI 워크로드를위한 프로세서 유형에 대한 가이드 

AI 워크로드를 처리하기위한 하드웨어 요구 사항은 사용 사례에 따라 다릅니다. AI는 비디오, 이미지, 오디오, 센서 및 PLC 데이터를 포함한 광범위한 입력을 활용할 수 있습니다. 시스템 설계자가 직면 한 과제는 AI 애플리케이션에 가장 적합한 컴퓨팅 코어를 선택하는 것입니다.  

이 가이드는 에지 시스템에서 사용할 수있는 다양한 유형의 프로세싱 코어와 그 강점을 이해하는 데 도움이됩니다.  

  1. CPU 

중앙 처리 장치 (CPU)는 일반적으로 4-16 개의 코어가있는 범용 처리 장치입니다. CPU는 복잡한 작업을 실행하고 시스템 관리를 용이하게합니다. 

오디오와 텍스트를 모두 사용하고 ETL (추출, 변환 및로드) 프로세스를 사용하는 시스템과 같은 혼합 데이터 입력에서 잘 작동합니다. 

  1. GPU 

그래픽 처리 장치 (GPU)는 고속 그래픽 렌더링을위한 고도의 병렬 코어 (100 또는 1,000)입니다. 고성능 처리를 제공하며 일반적으로 CPU보다 더 큰 설치 공간과 더 높은 전력 소비를가집니다. 

작은 코어 수가 많기 때문에 GPU는 AI 워크로드에 적합하며 신경망 훈련 훈련과 AI 추론을 모두 용이하게합니다. 

  1. FPGA 

구성 가능한 논리 게이트 인 FPGA (Field-Programmable Gate Array)는 CPU 및 GPU보다 전력을 덜 소비합니다. 프로그래밍에 대한 전문 지식을 가진 엔지니어가 현장에서 재 프로그래밍 할 수 있습니다. 

높은 수준의 유연성이 필요할 때 최상의 선택이 될 수 있습니다. 

  1. ASIC 

ASIC (Application-Specific Integrated Circuit)는 제조업체의 회로 라이브러리를 사용하여 설계된 맞춤형 로직이며 낮은 전력 소비, 속도 및 작은 설치 공간이라는 이점을 제공합니다. 그러나 설계하는 데 시간이 많이 걸리고 다른 옵션보다 비용이 많이 들기 때문에 ASIC는 대량으로 실행되는 제품에 권장됩니다.   

ASIC 유형은 다음과 같습니다. 

  • 비전 처리 장치 (VPU), 이미지 및 비전 프로세서, 보조 프로세서 
  • 기계 학습 프레임 워크 인 TensorFlow를 위해 Google에서 개발 한 최초의 TPU와 같은 Tensor 처리 장치 (TPU) 
  • ARM의 NCU (Neural Compute Unit) 포함 

각 핵심 유형은 다양한 유형의 계산에 적합하며 이기종 컴퓨팅 애플리케이션 복잡한 사용 사례에 필요한 모든 기능을 제공합니다. 함께 사용하면 워크로드의 균형을 맞추고 다양한 AI 추론 성능을 높이며 가장 비용 효율적이고 효율적인 구성을 구축 할 수 있습니다. 

그림 1. AI 애플리케이션을위한 이기종 에지 컴퓨팅 아키텍처 옵션

Edge AI 용 임베디드 하드웨어를 선택하는 단계 

에지에서 AI를 처리하기 위해 임베디드 에지 하드웨어 시스템을 선택하려면 일반적으로 다음 세 가지 주요 요소를 평가해야합니다. 

공연  

핵심 하드웨어 시스템은 복잡하고 데이터 집약적 인 에지 AI 애플리케이션이 요구하는 속도를 제공하는 동시에 열악한 환경에서도 일관되고 안정적으로 작동 할 수 있어야합니다. 

교환  

SWaP는 크기, 무게 및 전력의 약자입니다. 애플리케이션에 필요한 기능을 제공하는 것 외에도 에지 하드웨어는 애플리케이션의 물리적 제약 조건을 준수하고 전력 소비 관점에서 가장 합리적 일 수 있도록 크기 및 무게 사양을 충족해야합니다. 

비용 

에지 하드웨어의 비용은 코어 유형과 제조업체에 따라 다를 수 있습니다. 프로젝트에 필요한 기능과 사양을 최상의 가격으로 제공하는 것이 무엇인지 결정해야합니다. 

그림 2. 에지 AI 하드웨어의 핵심 유형 비교

직장에서 에지 하드웨어  

다음 예는 에지 하드웨어 혁신을 통해 오늘날 AI가 가치를 제공 할 수있는 많은 사용 사례 중 일부에 불과합니다. 

딥 러닝 가속화 플랫폼 

DLAP (딥 러닝 가속 플랫폼)는 데이터 수집, 이미지 전처리, 이미지 분석 및 AI 가속을 포함한 기능을 지원합니다. 또한 기계에게 자체 성능을 개선하고 결정을 내릴 수있는 능력을 부여합니다. DLAP로 처리하기 위해 데이터를 클라우드로 전송하는 레거시 에지 장치를 대체함으로써 운영에서 더 빠른 응답과 더 큰 보안 및 제어를 볼 수 있습니다. 

예를 들어, DLAP는 CPU를 사용하여 데이터 수집 및 이미지 전처리를 관리하고 GPU를 사용하여 병렬 작업 처리 속도를 높이는 동시에 에지 시스템을 작고 전력 효율적으로 유지하는 등 이기종 설계를 활용할 수 있습니다. 

에이디 링크의 DLAP 시리즈 예를 들어,는 극한의 온도, 높은 습도, 충격과 진동이 일반적인 사용 사례에서 작동하는 열악한 산업 또는 임베디드 환경에서 성능을 발휘하도록 설계되었습니다. 이를 Edge AI에 최적화 된 SWaP라고합니다. 에이디 링크의 컴팩트 유닛은 모듈에 NVIDIA® Quadro® 임베디드 GPU 또는 NVIDIA® Jetson ™ 슈퍼 컴퓨터를 포함하며 AI 기반 추론, 머신 비전 및 자율 머신 제어 애플리케이션에 사용할 수 있습니다. 

예  

AI 셀프 체크 아웃 : 느긋하게 점심을 먹으며 과거의 일을 사람들이 찾고 있습니다. 빠른 식사 구매 방법. 소비자 사이에서 셀프 서비스 채택이 증가하고 있으며 AI는 고객 경험을 현대화 할 수 있습니다. 레스토랑이나 상점의 계산대에서 머신 비전은 ADLINK DLAP-211-JT2를 사용하여 1.5 초 이내에 한 번의 스캔으로 항목을 식별하고 총 만기일을 표시 할 수 있습니다. 고객은 빠르고 편리하게 구매를 완료 할 수 있습니다.

모바일 X-Ray C-Arm : 의료 장비는 신뢰할 수 있고 내구성이 있으며 고성능을 위해 설계되어야합니다. 모바일 장비는 또한 필요한 모든 컴퓨팅 성능을 낮은 전력 소비로 컴팩트 한 디자인에 통합해야합니다. 세계에서 가장 작은 산업용 GPU 지원 시스템 인 CPU와 임베디드 MXM GPU 모듈의 조합은 이러한 사양을 충족합니다. 

모듈의 AI 

모바일 MXM (PCI Express Module) GPU를 사용하면 손바닥 크기의 그래픽 카드에서 AI를 실행할 수 있습니다. 전체 길이 PEG 카드의 일부만 크기를 포함하여 주요 SWaP 이점을 제공합니다. 와트 당 높은 성능을 제공하며 환기가 제한되거나없는 경우, 작은 공간, 고온 또는 저온, 먼지가 많거나 부식성이있는 환경과 같은 극한 조건을 위해 설계되었습니다. 

 

AI 얼굴 인식 : 액세스 제어는 제조 공장, 연구 시설, 데이터 센터 및 기타 고도로 통제 된 영역에 대한 무단 침입을 방지하는 데 필수적입니다. AI 얼굴 인식 게이트는 ID 카드 (위조 일 수 있음)가 필요하지 않으며 이러한 레거시 시스템을 안경이나 모자를 쓰고 있더라도 1 초 이내에 승인 된 사용자를 식별하는 기술로 대체합니다. 실제 사람의 얼굴과 사진을 구별 할 수도 있습니다. 

공항 안전 : 공항 파노라마 감시 시스템은 활주로, 항공 및 지상 교통에 대한 360도 뷰를 제공하며 레거시 모니터링 시스템보다 높은 수준의 상황 인식을 제공합니다. 이러한 AI 기술은 실외용으로 설계된 견고하고 팬이없는 엣지 장치에 의해 지원되며, 주야간 모두 향상된 감시를 지원하는 고성능 GPU와 통합됩니다.   

Edge Robotics 

하드웨어 혁신도 가능한 엣지에서 로봇 공학. 들었어 이클립스 사이클론 DDS 2021 년 5 월 릴리스에서 기본 ROS 2 미들웨어로 선택 되었습니까? 이는 당사 내에서 동일한 데이터 배포 서비스 (DDS) 기술이기 때문에 흥미 롭습니다. ROScube 임베디드 로봇 컨트롤러, 로봇이 자신 및 주변 세계와 소통하는 데 도움이됩니다.  

예: 

제조 분야의 자율 모바일 로봇 : 에지 AI로 구동되는 AMR은 머신 비전, 5G 및 DDS 기술을 사용하여 환경을 협상하고 컨텍스트를 이해할 수 있습니다. 공정한 친구 그룹, 대만에서 가장 큰 제조업체 중 하나는 증강 현실을 통한 원격 유지 관리, 자동화 된 검사를위한 머신 비전 및 현재 공장에서 자재 처리를위한 AMR 스웜을 지원하기 위해 DDS 기반 5G 인프라를 사용하고 있습니다.

일체 포함 머신 비전  

AI 기반 머신 비전 시스템은 통합 산업용 카메라와 고성능 GPU, VPU 및 CPU가 내장 된 에지 컴퓨팅 시스템을 활용하여 작업을 수행합니다. 모든 컴퓨팅 성능이 에지에 있기 때문에 대기 시간 및 대역폭 문제가 제거됩니다. 또한 올바른 에지 하드웨어를 사용하면 스마트 카메라는 AI 머신 비전에 대한 작은 설치 공간, 무게, 전력, 성능 및 비용 요구 사항을 유지할 수 있습니다.  

예: 

창고 처리 : 제 3 자 물류 및 공급망 회사 인 Evans Distribution Systems는 AI 머신 비전 시스템을 사용하여 잘 알려진 비영리 단체의 가장 인기있는 모금 행사 중 하나 인 미국 걸스카우트의 걸스카우트 쿠키 주문을 빠르고 정확하게 이행하고 있습니다. . 에 따르면 최근 인터뷰, 시스템은 99.8% 이상 정확하여 생산성과 정확한 고객 배송을 개선합니다.

Edge AI를위한 혁신적인 임베디드 하드웨어 직접 살펴보기 

에이디 링크는 엣지 AI를위한 다양한 하드웨어를 임베디드 세계 2021 디지털. 이 컨퍼런스는 귀하의 사용 사례에 맞는 최적의 임베디드 하드웨어를 선택하는 데 도움을 줄 준비가되어있는 에이디 링크 엔지니어, 파트너 및 에지 시스템 전문가와 연결할 수있는 기회입니다. 여기에서 #ew21에 무료로 등록하십시오. 프로모션 코드 사용 : ew21456845.

글쓴이: 제인 차이 (Zane Tsai)
글쓴이: 제인 차이 (Zane Tsai)

에이디링크 기술, 임베디드 플랫폼 및 모듈, 플랫폼 제품 센터 디렉터