Machine Learning in Industrial Applications: Insights Gained from Selected Studies
Language
Document Type
Issue Date
Issue Year
Authors
Editor
Abstract
Few recent areas of research have had a more significant impact on industrial production than Machine Learning (ML). Ranging from intelligent quality inspection to fully autonomous robots and vehicles, Machine Learning in industrial applications (industrial ML) is aligned to permanently change how production systems operate. By offering powerful tools for automation and intelligent decision-making, it has become a highly sought-after technology across most industries. Applying industrial ML to various applications in the production system has also become a popular focus of recent research efforts. Several breakthrough applications and designs have further fueled the excitement for ML-empowered systems. Thus, many companies have increased their investment in this technology to drive disruptive innovation in cost-effectiveness and performance. Frequently, new scientific findings and discoveries offer new potentials for industrial ML applications. However, these applications depend on several factors, such as the deployment environment, the amount of available data, and the ML approach chosen, which makes application development a non-trivial pursuit. As a result, while ML is applied to a growing number of systems and environments in industry, many aspects of its development remain unclear. To alleviate the issues blocking further advancement in industrial ML, various research endeavors have been undertaken to better understand how ML applications work in industrial information systems, and which requirements and challenges practitioners face during development and implementation. This thesis ties into the current research and further contributes by exploring the development process, the challenges, and the value of libraries and frameworks in industrial ML applications. To this end, this thesis contains an extensive literature review and four independent studies on real-world applications of ML in the context of production at a large automobile OEM. The systematic literature review explores current research on industrial ML applications with a comprehensive quantitative and qualitative analysis. The four studies each contain a Design Science research case on the development and design of an industrial ML application. These four ML applications are 1) An Anomaly Detection System in the brownfield on a Monorail Conveyor, 2) A multi-model Quality Inspection application in Laser Beam Welding with Supervised Learning, 3) A Deep Reinforcement Learning system for fully Autonomous Assembly on industrial robots, and 4) A self-service Quality Inspection Toolkit augmented with Machine Teaching and Interactive ML functions. In these studies, the design and development process of the application is documented in detail. Furthermore, during each study, the benefits, challenges, creative application solutions, and results are reported upon, analyzed, and critically discussed. Finally, the findings across all studies are structured in the discussion, and connections between their insights are reviewed. In our literature review it is discovered that the vast majority of research on industrial applications of ML apply Supervised Learning as their primary AI approach. Unsupervised and Reinforcement Learning are used much less frequently. In our first study an Unsupervised and Semi-Supervised Anomaly Detection system for a Monorail Conveyor system is developed during ramp up that could perform well, even in the absence of labeled data. The system was able to be implemented much quicker and with fewer requirements than a comparable approach using Supervised Learning. In the second study a multi-model Quality Inspection System for Laser Beam Welding is created. The system used multiple ML architectures and algorithms to detect four distinct quality measures purely from a single source of grayscale images. It thereby outperformed the conventional methods in speed, accuracy and range of detected faults.
The third study exhibits the development of a Deep Reinforcement Learning agent on an Industrial Robot that performs fully autonomous assembly of a body part. While the prototype performs well and is able to execute successful assemblies in the real world, the effort and expertise that was required during development are disproportionate to the gained value. However, given specific circumstances that require the particular strengths of DRL, it may present a viable option. In the last study Machine Teaching and Interactive Machine Learning is used to augment a self-service computer vision application. By using readable User Interfaces, explainability, and active learning users are enabled to train and evaluate their own Image Classification and Object Detection models. While also useful for evaluating production related quality inspection or detection use cases, it was especially remarkable that the users reported great enthusiasm in experiencing and better understanding modern ML applications. In this case, Transfer Learning proved to be a major enabler for fast and accessible model training. By developing industrial ML applications, it becomes apparent to us that just as innovation requires invention and commercialization, an industrial ML application requires an ML model with context and utility. In summary, this dissertation presents exploratory insights into the rapidly growing field of industrial Machine Learning applications by researching applications in context. Subsequently, the performed studies may serve as an example of how industrial ML applications can be designed, developed, and evaluated in the context of the manufacturing industry.
Abstract
Kaum ein anderes Forschungsgebiet hat in jüngster Zeit einen so großen Einfluss auf die industrielle Produktion gehabt wie das maschinelle Lernen (ML). Mit Anwendungen, die von der intelligenten Qualitätsprüfung bis hin zu vollautonomen Robotern und Fahrzeugen reichen, ist ML darauf ausgerichtet, Produktionssysteme dauerhaft zu verändern. Infolgedessen ist es in den meisten Branchen zu einer gefragten Schlüsseltechnologie geworden, die leistungsstarke Instrumente für die Automatisierung und intelligente Entscheidungsfindung bietet. Der Einsatz von ML in verschiedenen Anwendungen im Produktionssystem ist ebenfalls zu einem Schwerpunkt der aktuellen Forschungsbemühungen geworden. Zahlreiche zukunftsweisende Anwendungen und Designs haben die Begeisterung für ML-gestützte Systeme weiter angeheizt. Daher haben viele Unternehmen ihre Investitionen in diese Technologie erhöht, um bahnbrechende Innovationen in Bezug auf Kosteneffizienz und Leistung voranzutreiben. Häufig bieten neue wissenschaftliche Erkenntnisse und Entdeckungen neue Potenziale für industrielle ML-Anwendungen. Diese Anwendungen hängen jedoch von mehreren Faktoren ab, wie z. B. von der Einsatzumgebung, der Menge der verfügbaren Daten und dem gewählten ML-Ansatz, was die Anwendung zu einem anspruchsvollen Unterfangen macht. Daher wird ML zwar auf eine wachsende Zahl von Systemen und Umgebungen in der Industrie angewandt, aber viele Aspekte der Entwicklung sind noch unklar. Um die Probleme, die einer weiterführenden Entwicklung von ML in der Industrie im Wege stehen, zu beseitigen, wurde daran geforscht, wie ML-Anwendungen in industriellen Informationssystemen funktionieren, und mit welchen Anforderungen und Herausforderungen Praktiker während der Entwicklung und Implementierung konfrontiert sind. Die vorliegende Arbeit knüpft an diesen Forschungsstand an und leistet einen weiteren Beitrag zur Erforschung des Entwicklungsprozesses, der Herausforderungen und des Wertes von Softwarebibliotheken und Frameworks in industriellen ML-Anwendungen. Zu diesem Zweck enthält diese Arbeit eine umfangreiche Literaturrecherche und vier von einander unabhängige Studien über reale Anwendungen von ML im Produktionssektor eines großen Automobilhersteller. Die systematische Literaturrecherche untersucht die aktuelle Fachliteratur zu industriellen ML-Anwendungen mit einer umfassenden quantitativen und qualitativen Analyse. Die vier Studien enthalten jeweils einen Design Science Use Case zu Entwicklung und Design einer industriellen ML-Anwendung. Bei diesen vier ML-Anwendungen handelt es sich um 1) ein Semi-Supervised Anomaly Detection System bei einer Elektrohängebahn, 2) eine Multi-Modell-Qualitätsprüfungsanwendung beim Laserstrahlschweißen mit Supervised Learning, 3) ein Deep Reinforcement Learning System für die vollautonome Montage mit Industrierobotern und 4) ein Self Service Quality Inspection Toolkit, das mit Machine Teaching und interaktiven ML-Funktionen ausgestattet wurde. Dabei wird jeweils der Design- und Entwicklungsprozess der Anwendung im Detail dokumentiert. Außerdem werden in jeder Studie der Nutzen, die Herausforderungen, die kreativen Lösungsansätze und die Erkenntnisse kritisch analysiert. Schließlich werden die Ergebnisse der einzelnen Studien in der Diskussion zusammengefasst und Zusammenhänge zwischen den Erkenntnissen aufgezeigt. Bei der Literaturrecherche wurde festgestellt, dass die große Mehrheit der Forschungsarbeiten zu industriellen Anwendungen von ML das Supervised Learning als primären KI-Ansatz verwendet. Unsupervised und Reinforcement Learning werden viel seltener eingesetzt. In der ersten Studie wurde ein Unsupervised und Semi-supervised System zur Erkennung von Anomalien bei einer Elektrohängebahn entwickelt, das trotz Fehlen gelabelter Daten gute Leistungen erbringen konnte. Das System konnte viel schneller und mit weniger Anforderungen implementiert werden, als ein vergleichbarer Ansatz mit überwachtem Lernen. In der zweiten Studie wurde ein Multi-Modell-Qualitätsprüfungssystem für das Laserstrahlschweißen entwickelt. Das System verwendet mehrere ML-Architekturen, um vier Qualitätsmerkmale ausschließlich anhand von Bildern zu erkennen. Damit übertraf es konventionelle Methoden in Bezug auf Geschwindigkeit, Genauigkeit und Bandbreite der erkannten Fehler. Die dritte Studie beschreibt die Entwicklung eines Deep Reinforcement Learning-Agenten für einen Industrieroboter, der völlig autonom ein Karosserieteil montiert. Obwohl der Prototyp gute Leistungen zeigt und in der realen Welt die erfolgreiche Montage durchführt, stehen der Aufwand und die erforderliche Expertise in einem unangemessenen Verhältnis zum erzielten Nutzen. Unter bestimmten Umständen, die die besonderen Stärken von DRL erfordern, kann es jedoch eine praktikable Option darstellen. In der letzten Studie wurde mit Machine Teaching und Interactive Machine Learning eine Self-Service-Computer-Vision-Anwendung erweitert. Durch den Einsatz von verständlichen Benutzeroberflächen, Erklärbarkeit und Active Learning wurde es ermöglicht den Nutzern, ihre eigenen Modelle zur Bildklassifizierung und Objekterkennung zu trainieren und bewerten. Obwohl dies auch für die Bewertung von produktionsbezogenen Qualitätsinspektionen oder Erkennungsaufgaben nützlich ist, berichteten die Benutzer besonders von ihrer großen Begeisterung, moderne ML-Anwendungen zu erleben und besser zu verstehen. In diesem Fall erwies sich Transfer Learning als wichtiges Werkzeug für ein schnelles und zugängliches Modelltraining. Durch die Entwicklung industrieller ML-Anwendungen wird deutlich, dass industrielle ML Anwendungen vor allem in ihrem Kontext untersucht werden müssen. Zusammenfassend bietet diese Dissertation explorative Einblicke in das schnell wachsende Feld der industriellen Machine Learning-Anwendungen, indem sie Anwendungen im jeweiligen Kontext untersucht. Die durchgeführten Studien können als Beispiel dafür dienen, wie industrielle ML-Anwendungen im Kontext der Produktion konzipiert, entwickelt und bewertet werden können.