Inbetriebnahme von Modellen durch ONNX auf dem iPhone

Modelle können heutzutage mit wenig Aufwand auf verschiedensten Server-Umgebungen in Betrieb genommen werden. Doch wie sehen die Möglichkeiten aus, wenn ein Model auf einem mobilen Endgerät deployt werden muss? Eine Möglichkeit ist Open Neural Network Exchange (ONNX), ein Standard, um Modelle zwischen den Frameworks auszutauschen.

Der Vortrag wird zunächst eine Einführung in ONNX geben und anschließend zeigen, wie ein Modell auf einem Smartphone verwendet werden kann. Dazu wird gezeigt, wie ein mit PyTorch trainiertes Modell mit ONNX konvertiert und anschließend durch CoreML auf einem iOS-Gerät deployt wird. Dabei wird hervorgehoben, welche Details es hierbei zu beachten gilt und weshalb sich Apples AI-Hardware als Laufzeit der Modelle eignet.

Vorkenntnisse

Keine Vorkenntnisse notwendig

Lernziele

Ziel des Vortrags ist es, eine Einführung in ONNX zu geben und anschließend zu zeigen, wie ein Modell auf einem Smartphone verwendet werden kann.