Edge AI bei #GTC21: NVIDIA DeepStream SDK und TLT

Fürchte dich nicht vor der GPU. ADLINK und NVIDIA helfen Ihnen gerne weiter!  

Die Maximierung der betrieblichen Effizienz eines Systems ist für die meisten Entwickler ein normales Ziel. In einigen Fällen stehen wir jedoch vor der Aufgabe, diese Systeme um neuere GPUs herum zu entwickeln, wie sie von angeboten werden NVIDIA. Während die Aufgabe beim ersten Betrachten entmutigend aussehen mag, zeigt ein tieferer Tauchgang, dass eine ganze Menge Informationen verfügbar sind, um Bedenken auszuräumen. 

Der erste Schritt zur Linderung von Designproblemen ist die Verwendung eines Software Development Kits (SDK), eines von vielen Tools, die normalerweise von einem GPU-Anbieter bereitgestellt werden. Was tun Sie jedoch, wenn Ihre Anforderungen Funktionen enthalten, die nicht im SDK enthalten sind? Zum Beispiel befindet sich die Unterstützung bei der künstlichen Intelligenz (KI) eines Hardware-Designs direkt im Steuerhaus von NVIDIA, und es stehen zahlreiche Informationen zur Verfügung. Aber was passiert, wenn Sie die Hardware für eine bestimmte Anwendung anpassen müssen?  

Angenommen, eine Anwendung erfordert Systeme, die mit einer großen Anzahl von Kameras verbunden sind, die alle in eine KI-Plattform zur Bilderkennung auf Flughäfen oder Bahnhöfen eingespeist werden. Wenn mehrere Kameras verbunden sind, gibt es eine große Datenmenge, die schnell verarbeitet werden muss, und jede Kamera selbst ist ein potenzieller Sicherheitslückenpunkt, der gesperrt werden muss. 

Kennen Sie Ihr Endziel 

Also, was machst du? Konzentrieren Sie sich auf das Endziel. Ich weiß, dass es offensichtlich erscheint, aber ich habe mit vielen Kunden zusammengearbeitet, bei denen dies verloren geht. Die Schlüsselfrage, die Sie stellen müssen, lautet: "Was ist das gewünschte Ergebnis?" oder "Was ist die gewünschte Aktion, die wir als Ergebnis wollen?" Und besuchen Sie es weiter. Sobald diese Frage beantwortet ist, können Sie im Entwurf rückwärts arbeiten, um die Daten zu erstellen, die zu dem gewünschten spezifischen Ergebnis oder der gewünschten Aktion führen. Ohne eine konsistente Antwort oder erneute Beantwortung dieser Frage laufen Sie Gefahr, später neu gestaltet zu werden, und wir alle wissen, dass dies zusätzlichen Aufwand und zusätzliche Kosten bedeutet.  

Wenn Sie beispielsweise eine Objekterkennung durchführen möchten und das Endziel darin besteht, dass das Personal benachrichtigt wird, wenn etwas nicht richtig positioniert ist, besteht eine effiziente Möglichkeit darin, mithilfe der Bildverarbeitung einen Administrator zu warnen, anstatt Monitore in einen Videoraum zu stopfen werden manuell von einem Sicherheitsteam überwacht.  

Hier bei ADLINK behandeln wir diese Art von komplexem Datenerfassungsprozess mit Tools wie DeepStream SDK von NVIDIA. Das DeepStream SDK kann das Video aufnehmen und auf eine Festplatte schreiben, die die für das Deep Learning erforderliche Datenerfassung unterstützt. 

Hilfe finden Sie auch bei NVIDIA Transfer Learning Toolkit. Mit diesem Toolkit können Sie einen bereitstellbaren Prozess viel schneller erstellen, als wenn Sie von vorne beginnen würden. Das Ergebnis könnte / sollte eine höhere Kapitalrendite sein.  

Um Entwicklern zu helfen, haben wir eine Reihe von Anwendungsfällen zusammengestellt, die einen Ausgangspunkt mit optimierten domänenspezifischen Modellen bilden. In einigen Fällen stammen Modelle von NVIDIA, zu denen die öffentliche Sicherheit und Smart Cities gehören. Wenn ein Modell nicht sofort verfügbar ist, kann der Entwickler mit vorhandenen Modellen beginnen, die dem Anwendungsfall ähneln, und bei Bedarf Änderungen vornehmen. 

Um eine bestimmte Aktion oder ein bestimmtes Ergebnis zu erzielen, werden die unstrukturierten Daten durch ein Verarbeitungsmodell wie DeepStream gefiltert, das wiederum strukturiertere Daten erzeugt. Später werden die gesicherten Informationen an andere Anwendungen weitergeleitet, um ihre Funktion auszuführen. 

Dies war ein absichtlicher Teaser - nehmen Sie an meiner On-Demand-Sitzung unter #GTC21 teil, um mehr zu erfahren! Ich werde mich eingehend mit NVIDIAs DeepStream SDK und Transfer Learning Tooklit befassen. Registrieren Sie sich hier.  

Verfasser: Toby McClean
Verfasser: Toby McClean

VP IoT und Innovation, ADLINK-Technologie