Computer Vision mit TensorFlow

Einführung

Zuerst präsentieren wir das Ziel von Computer Vision sowie traditionelle Computer Vision Verfahren und ihre Limitierungen. Anschließend folgt eine kurze Einführung in das Thema Maschinelles Lernen: Was ist das? Welche Arten gibt es? Welche Grundprinzipien und Fallstricke gibt es?

Grundlagen zu Neuronalen Netzen

Wir besprechen kurz verschiedene neuronale Netze von Perzeptron bis zu state-of-the-art Convolutional Neural Networks für Computer Vision. Letztere nutzen wir im weiteren Verlauf des Kurses.

Computer Vision Workflow und Paradigmen

Computer Vision Workflows sind mehrstufig und iterativ – wir stellen einen typischen Workflow vor. Außerdem grenzen wir die Paradigmen model-centric und data-centric voneinander ab und lernen diese gewinnbringend einsetzen zu können. Entsprechende praktische Anwendungen wie Hyperparameteroptimierung und semi-automatisches Data Cleaning implementieren wir gemeinsam im Rahmen der Praxisbeispiele.

Grundlagen Bildverarbeitung und Arten von Computer Vision

Bevor wir Computer Vision Modelle implementieren, trainieren, evaluieren und deployen, lernen wir Bilder einzulesen und zu manipulieren. Anschließend besprechen wir verschiedene Computer Vision Aufgaben und passende Herangehensweisen und Modellarchitekturen.

Praxisbeispiele:

Dies ist der größte Block dieses Kurses. Gemeinsam bearbeiten wir drei verschiedene Praxisbeispiele: eine Bildklassifikationsaufgabe, eine Objekterkennungsaufgabe und eine Aufgabe bezüglich Semantischer Segmentierung.

Hierbei bearbeiten wir den Gesamtprozess von Datenakquise und Annotation über Datenvorverarbeitung bis hin zu Modelltraining und Evaluation. Wir lernen zu allen Schritten die entsprechenden Tools in TensorFlow 2 oder wenn nötig außerhalb kennen. Wir nutzen zum Beispiel entsprechende Modellarchitekturen, Loss-Funktionen und Evaluationsmetriken. Ein besonderer Fokus liegt hier auf der Evaluation, um eine sinnvolle Nutzung der trainierten Modelle in der realen Welt zu ermöglichen - zu diesem Zweck beschäftigen wir uns mit Verfahren zur Erklärbarkeit der Entscheidungen von neuronalen Netzen wie Saliency Maps und LIME. Des Weiteren beschäftigen wir uns mit der Optimierung von trainierten Modellen für den Betrieb in unterschiedlichen Ausführungsumgebungen, wie der Cloud und Edge Devices.

Praxisbeispiel 1: Bildklassifikation

Mittels Deep Learning trainieren wir ein Computer Vision Modell dafür, Kategorien auf gesamten Bildern zu erkennen.

Beispielhafte Aufgabe: Ist auf diesem Bild eines Metallproduktes ein Defekt zu erkennen: ja oder nein? Welcher Fehlertyp ist auf diesem Bild eines Metallproduktes zu erkennen?

Praxisbeispiel 2: Objekterkennung

Mittels Deep Learning trainieren wir ein Computer Vision Modell dafür, die Kategorie und Lokalisation von Objekten auf Bildern zu erkennen.

Beispielhafte Aufgabe: wo auf diesem Bild eines Metallproduktes ist ein Defekt zu erkennen und zu welcher Klasse gehört er?

Praxisbeispiel 3: Semantische Segmentierung

Mittels Deep Learning trainieren wir ein Computer Vision Modell dafür, jedem Pixel eines Bildes eine Kategorie zuzuordnen.

Beispielhafte Aufgabe: welche Pixel des Bildes eines Metallproduktes gehören zu welche Defektklasse?

Deployment von Machine Learning Modellen

Die meisten Machine Learning Modelle liefern erst im realen Einsatz Mehrwert. Wir lernen verschiedenen Arten des Deployment (z.B. API und Edge Device) kennen und implementieren diese.