2021

Interactive Image Segmentation

Python · Tensorflow · Label Studio · Computer Vision · Image Segmentation · Machine Learning · Bachelor Thesis

2021 habe ich ein Machine-Learning-Werkzeug geschrieben, das Vorschläge zur Bildsegmentierung macht und so das Annotieren beschleunigt. Es war Thema meiner Bachelorarbeit.

Hochwertig annotierte Daten werden für Data-Science- und Deep-Learning-Projekte immer wichtiger. Das Erstellen, Aufbereiten und Annotieren von Trainingsdaten kann aber sehr teuer werden, deshalb ist darum ein eigenes Forschungsfeld entstanden: interaktives Labeling.

Interaktives Labeling soll das Annotieren deutlich erleichtern und Machine Learning auch für Menschen ohne Vorkenntnisse zugänglich machen. Obwohl es in diesem Feld schon viel Forschung gibt, wurde wenig davon als Open Source veröffentlicht. In meiner Bachelorarbeit stelle ich eine Open-Source-Erweiterung für Label Studio vor, ein Open-Source-Annotationswerkzeug für viele Datentypen. Die Erweiterung gibt Label Studio interaktive Lernfähigkeiten, damit Annotieren machbarer und günstiger und Deep Learning zugänglicher wird.

Zuerst annotiert man eine kleine Menge Bilder von Hand und bekommt dann Vorschläge, die man verfeinern oder verwerfen kann. Mit jedem weiteren annotierten Bild soll die Genauigkeit steigen, bis man ein funktionierendes Modell hat, das die Daten zuverlässig vorannotiert.

In meinen Tests mit der Erweiterung in Label Studio wurde das Annotieren im Schnitt um bis zu 142,1 % schneller als von Hand, bei einer Precision von 99,3 % und einem Recall von 65,9 %.

Kurz gesagt habe ich eine Open-Source-Erweiterung für interaktive Instanzsegmentierung in Label Studio entwickelt, die die Annotationszeit senkt und ein funktionierendes Mask-R-CNN-Modell liefert.

Der Quellcode ist auf GitHub verfügbar.