Structure- and Appearance-based Semi-supervised Learning for User Interface Component Detection on sparsely labeled Datasets

 

Computer Vision, Semi-Supervised Learning, Object Detection, Sparse Annotation

Studiengänge: Informatik, Informationstechnik, Maschinenbau, Mechatronik

Hintergrund:

Benutzeroberflächen sind reich an visuellen Eigenschaften wie Symbolen, Texten, Farbkombinationen. Aktuell werden diese visuellen Eigenschaften nur von Menschen benutzt, als Kommunikationsmittel zwischen Mensch und Maschine. Algorithmen greifen meist auf den zugrunde liegenden zu. Dies führt dazu, dass Algorithmen eine UI anders sehen Menschen. Dies ist vor allem problematisch im Bereich des Software Testings, bei denen Programmierer menschliche Intentionen wie ‘klick auf den login button’ in Quelltext umsetzen müssen, um das Verhalten des Nutzers zu simulieren. Um das Software Testing zu automatisieren, ist die Lokalisierung und Klassifizierung aller UI Komponenten eine wichtige Aufgabe.

Der Objektdetektor hat vielversprechende Ergebnisse erzielt, aber er benötigt eine große Anzahl von annotierten Samples, um die gewünschte Leistung zu garantieren. Das Platzieren von Bounding-Boxen für jedes Objekt in jedem Sample ist zeitaufwändig und kostenintensiv. Um Annotationsaufwand zu erleichtern, wird in dieser Arbeit versucht, ein struktur- und erscheinungsbasiertes Semi-supervised Learning für die Objekterkennung zu verwenden. Hierbei werden die strukturellen Beziehungen und Erscheinungsbeziehungen zwischen den UI-Komponenten zur Verbesserung der Erkennungsleistung verwendet, indem die verfügbaren labeled und unlabeled Daten (sparse annotation) vollständig genutzt werden. Strukturelle- und Erscheinungsbeziehungen bedeuten, dass UI-Komponenten in der Regel übersichtlich angeordnet sind und UI-Komponenten von gleichen Typen ähnlich aussehen.

Hypothesis:

Bei sparsely labeled Datasets, ob dieselben oder bessere Leistungen erzielt werden können, mit

  • Struktur- und erscheinungsbasierten Verlustfunktion und
  • Self-training Mechanismen

So kann der Annotationsaufwand reduziert werden.

Ihre Aufgabe

  • Recherche zum Stand der Technik und Wissenschaft (Self training, Object Detector CenterNet)
  • Entwurf Fehlerfunktion unter Berücksichtigung der UI Struktur und Erscheinung
  • Evaluierung des Algorithmus
  • Wissenschaftliche Aufbereitung und Dokumentation

Wir bieten:

  • Intensive Betreuung
  • Arbeiten mit Start Up
  • Eine angenehme Arbeitsatmosphäre und konstruktive Zusammenarbeit

Wir erwarten

  • Selbstständiges Denken und Arbeiten
  • Kenntnisse in Python
  • Kenntnisse neuronaler Netze
  • Erfahrung im Umgang mit Tensorflow, Keras oder Pytorch

Neugierig? Kontaktieren Sie bitte: Yexu Zhou  [email protected] Dominik Klotz  [email protected]

Referenz:

[1] Zhou X, Wang D, Krähenbühl P. Objects as points[J]. arXiv preprint arXiv:1904.07850, 2019.

[2] Sohn K, Zhang Z, Li C L, et al. A simple semi-supervised learning framework for object detection[J]. arXiv preprint arXiv:2005.04757, 2020.

Datasets:

  • UIQA-Dataset
  • AskUI-Dataset