Quelle: Automation New Developments in Vision Technology for Object Location and Inspection. Es werden mehrere neue Techniken zur direkten synthetischen Schulung von Ausrichtungswerkzeugen mithilfe geometrischer Beschreibungen beschrieben. Diese Techniken bieten eine Alternative zum Training mit aufgenommenen Bildern und beheben so Schwierigkeiten des bildbasierten Trainings, wie z. B. begrenzte Genauigkeit und Robustheit aufgrund von Variationen in Beleuchtung und Objektform. Sie umfassen die Möglichkeit, CAD-Daten für die Ausrichtung zu importieren, geometrische Beschreibungen auf hoher Ebene direkt zu bearbeiten, um die Ausrichtung zu optimieren, und geometrische Beschreibungen mithilfe spezialisierter Bildverarbeitungswerkzeuge halbautomatisch zu generieren und zu verfeinern. Ein anschauliches Beispiel dieser Techniken wird im Kontext einer Prototyping-Umgebung für geometrische Beschreibungen vorgestellt. Der Artikel enthält ein Beispiel bei der Einführung einer Modellierungsumgebung für geometrische Beschreibungen. Einleitung: In den letzten Jahren hat die Ausrichtungstechnologie in industriellen Anwendungen einen qualitativen Sprung gemacht. Bis vor wenigen Jahren stellte die normalisierte Graustufenassoziation die höchste Leistungsstufe dar und bot einen signifikanten Fortschritt gegenüber früheren binären Suchmethoden. Insbesondere bot die normalisierte Assoziation eine höhere Genauigkeit und konnte eine Reihe von Beleuchtungsvariationen verarbeiten, ohne das Bild in Vorder- und Hintergrund zu trennen. Seit der Einführung der PatMax®-Technologie von Cognex hat der Markt für Bildverarbeitungsprodukte eine Vielzahl hochpräziser geometrischer Ausrichtungswerkzeuge hervorgebracht, die selbst starke Lichtveränderungen, Änderungen der Objektgröße und -orientierung sowie erhebliche Verdeckungen bewältigen können. Eine typische Konfigurations- oder Trainingsmethode für ein solches Ausrichtungswerkzeug besteht darin, ein Bild mit der Kontur des auszurichtenden Objekts bereitzustellen und zahlreiche Betriebsparameter (z. B. den Bereich der Positionsunsicherheit) festzulegen. Geometrische Ausrichtungswerkzeuge, die mit dieser Methode trainiert wurden, sind in positionsorientierten Anwendungen, die präzise Objektpositionsmessungen erfordern (z. B. Automobilmontage und Halbleiterfertigung), sowie in Qualitätskontrollanwendungen, die eine Lagebestimmung zur Generierung vordefinierter Werte für Inspektion und Messung benötigen (z. B. Druckqualitätsprüfung), unverzichtbar geworden. Obwohl dieser leistungsstarke Ansatz in zahlreichen Anwendungen bemerkenswerte Erfolge erzielt hat, ist er nach wie vor durch einige Einschränkungen begrenzt (die im Folgenden detailliert erläutert werden). Zu diesen Einschränkungen gehören der Mangel an hochauflösenden Trainingsbildern, nichtlineare Variationen der Objektformen, die Unfähigkeit, das Koordinatensystem des Objekts genau zu bestimmen, und die Unfähigkeit, geometrische Informationen aus CAD-Daten zu nutzen. Aufgrund dieser Einschränkungen besteht der Wunsch nach einer Alternative, die Ausrichtungswerkzeuge direkt mithilfe geometrischer Beschreibungsobjekte trainieren kann. Diese Objekte bestehen aus komplexen geometrischen Elementen wie Bögen, Liniensegmenten, Kreisen, Ellipsen, Splines und sogar Drahtgittermodellen. Eine solche Alternative sollte mehrere Funktionsebenen umfassen: den Import von CAD-Daten für die Ausrichtung, die direkte Bearbeitung geometrischer Beschreibungsobjekte zur Optimierung der Ausrichtungsziele sowie die halbautomatische Generierung und Verfeinerung geometrischer Beschreibungsobjekte mithilfe spezialisierter Bildverarbeitungswerkzeuge. Einschränkungen des bildbasierten Trainings: Das erste Problem beim bildbasierten Training ist die Schwierigkeit, qualitativ hochwertige Bilder der Trainingsobjekte zu erhalten. Zweitens: Obwohl die geometrischen Merkmale eines Objekts in allen Bildern kontinuierlich sind, wird ein einzelnes Bild unscharf, wenn es durch instabile künstliche Beleuchtung (z. B. Schatten) oder durch andere Objekte in der Trainingsumgebung hervorgehoben wird. Da Ausrichtungswerkzeuge nur die Genauigkeit des Trainingsmodells erreichen können, reduzieren verrauschte oder unübersichtliche Trainingsbilder die Genauigkeit und Robustheit der Ausrichtungsergebnisse erheblich. Ein damit zusammenhängendes Problem des bildbasierten Trainings ist seine Unfähigkeit, bestimmte nichtlineare Variationen im Erscheinungsbild des Objekts zu kompensieren, die durch Lichteffekte oder tatsächliche physikalische Abweichungen innerhalb der Fertigungstoleranzen verursacht werden. Beispielsweise erscheint eine steile Ecke eines Objekts auf Bildern aus verschiedenen Blickwinkeln oft abgerundet. Idealerweise sollten diese Variationen nicht explizit im Modell berücksichtigt werden, da die Ausrichtungsergebnisse sonst ungenau werden. Eine weitere große Herausforderung beim bildbasierten Training besteht darin, den Ausgangspunkt und die Ausrichtung des auszurichtenden Objekts präzise festzulegen, um hochpräzise Ausrichtungsergebnisse zu erzielen (manchmal bis zu 1/40 Pixel genau). Das Ausrichtungsergebnis ist nicht präziser als die Positionierung des Koordinatensystems des Modells, das typischerweise manuell im Bild des Objekts platziert werden muss. Schließlich ist es schwierig, geometrische Daten des Objekts, die häufig aus CAD-Datenbanken stammen (z. B. Abmessungen und Toleranzen), für mit Bildern trainierte Ausrichtungswerkzeuge vollständig zu nutzen. Ebenso ist das Training von Ausrichtungswerkzeugen allein durch die Angabe parametrischer Formen (z. B. Kreise, Rechtecke und Kreuze) schwierig. Dimensionsinformationen, ein natürliches Attribut, sind räumlich effizienter als Merkmale, die aus realen Bildern extrahiert werden. Darüber hinaus liefern geometrische Elemente höherer Ebene nicht nur spezifische Informationen über die Merkmale eines Objekts, sondern auch (intrinsisch) Informationen über Merkmale, die dem Objekt möglicherweise fehlen. Beispielsweise kann die Information, dass ein Objekt rechteckig ist, genutzt werden, um Merkmale auszuschließen, die über die vier Ecken des Rechtecks ​​hinausgehen. Die vollständige Nutzung der Dimensionsinformationen eines Objekts erleichtert zudem detaillierte Erkennungs- und Messvorgänge, die gegebenenfalls eine anschließende Ausrichtung erfordern. Umfassendes Training mit geometrischen Beschreibungen: Es gibt zwei grundlegende Methoden für das umfassende Training von Ausrichtungswerkzeugen mithilfe geometrischer Beschreibungen: indirekte und direkte Methoden. Indirekte Methoden erfordern das Rendern eines Bildes der geometrischen Beschreibung des Objekts mithilfe von Computergrafik und das anschließende Training des Ausrichtungswerkzeugs. Obwohl diese Methode viele der oben genannten Probleme des bildbasierten Trainings löst, ohne auf die unten beschriebenen Ausrichtungswerkzeugtechniken zurückgreifen zu müssen, besteht weiterhin das Problem des Verlusts wertvoller geometrischer Informationen während des Renderns. Nicht nur lassen sich die genauen Abmessungen des Objekts aus dem gerenderten Bild nicht rekonstruieren, sondern die Genauigkeit des resultierenden Ausrichtungswerkzeugmodells wird zwangsläufig durch die Quantisierungsergebnisse des gerenderten Bildes begrenzt. Darüber hinaus ist das Training von Ausrichtungswerkzeugen für Objekte mit geometrischen Merkmalen, die sich nicht durch geschlossene Kurven beschreiben lassen (wie sie häufig in CAD-Daten vorkommen), äußerst schwierig geworden. Direkte Synthese-Trainingsmethoden hingegen erfordern lediglich die Einrichtung des Ausrichtungswerkzeugs anhand der geometrischen Beschreibung selbst. Hierbei setzt die geometrische Beschreibung voraus, dass die Ausrichtungstechnik eine übergeordnete Geometrie versteht, die sich auf die untergeordnete Geometrie bezieht, welche aus Regionen oder geschlossenen Kurven des Trainingsbildes generiert wird. Dieses Verständnis führt zu einem Ausrichtungsmodell, das sich grundlegend von dem durch Training mit gerenderten Objektbildern generierten Ausrichtungsmodell unterscheidet, da es übergeordnete geometrische Randbedingungen bis zu einem gewissen Grad beibehält und anwendet. Methoden zur Generierung geometrischer Beschreibungen Wie bereits erwähnt, lässt sich eine geometrische Beschreibung eines Objekts beispielsweise durch den Import von Daten aus einer CAD-Datenbank (z. B. einer Datei mit der Endung .DXF) oder (ähnlich) durch die Interpretation von Form- und Größenangaben des Benutzers (z. B. die Abmessungen von Referenzmarken) generieren. Es ist jedoch wichtig zu beachten, dass die zur Beschreibung der physikalischen Abmessungen eines Objekts verwendeten geometrischen Elemente nicht immer für eine hochpräzise Ausrichtung geeignet sind. Erstens können einige modellierte Objektgrenzen aufgrund von Lichteffekten im Bild des Objekts unsichtbar sein. Zweitens können einige Abmessungen aufgrund der hohen Fertigungstoleranzen unzuverlässig werden. Glücklicherweise lassen sich die geometrischen Beschreibungen selbst recht einfach bearbeiten. Die Möglichkeit, CAD-Beschreibungen zu importieren und zur Optimierung der Ausrichtungsleistung zu bearbeiten, ist ein sehr leistungsfähiger Ansatz, der kürzlich in mehreren praktischen Beispielen (z. B. der Platzierung von SMD-Bauteilen auf Leiterplatten) angewendet wurde. Mithilfe des Compilers können Benutzer unzuverlässige geometrische Elemente löschen, fehlende Elemente aus der CAD-Beschreibung ergänzen oder geometrische Elemente verschieben bzw. modifizieren, um sie besser an die tatsächlichen Merkmale im Bild des Objekts anzupassen. Alle diese Bearbeitungsvorgänge können innerhalb des Koordinatensystems der geometrischen Beschreibung selbst oder oberhalb des Bildes des Objekts durchgeführt werden. Im letzteren Fall dient das Bild des Objekts dem Benutzer als grobe Orientierungshilfe für die Objektform und ermöglicht so die Optimierung der geometrischen Beschreibung sowie der Daten für interaktive Tests des Zielwerkzeugs nach jeder Bearbeitung. In gewisser Weise stellt dieser Editor eine wirklich interaktive Modellierungsumgebung dar. Ein weiteres sehr nützliches Merkmal dieses Editors ist seine Fähigkeit, geometrische Beschreibungen mithilfe spezialisierter Bildverarbeitungswerkzeuge halbautomatisch zu erstellen und zu vereinfachen. Diese Werkzeuge lassen sich grob in zwei Typen unterteilen: Werkzeuge, die automatisch zuverlässige übergeordnete Elemente aus dem Bild eines Objekts extrahieren, und Werkzeuge, die übergeordnete geometrische Elemente vereinfachen oder „erfassen“, um sie an die im Bild des Objekts deutlich erkennbaren Merkmale anzupassen. Werkzeuge zur geometrischen Extraktion sind hilfreich, wenn keine CAD-Daten verfügbar sind oder wichtige geometrische Beschreibungselemente aus den CAD-Daten fehlen. Dies ist besonders nützlich für Objekte mit komplexen Geometrien, die andernfalls wiederholtes Zeichnen oder Dateneingaben durch den Benutzer erfordern würden. Im Idealfall wählt der Benutzer einfach einen bestimmten Grafikbereich im Bild aus, den er für die Ausrichtung beschreiben muss. Das Werkzeug analysiert diesen Bereich und generiert geometrische Elemente, die seine Eigenschaften widerspiegeln. Ebenso sind Werkzeuge zur Vereinfachung geometrischer Beschreibungen hilfreich, wenn CAD-Daten die typische Form eines Objekts in einem Bild nicht präzise beschreiben können. Diese Werkzeuge sind auch dann nützlich, wenn keine CAD-Daten verfügbar sind und das Werkzeug zur Geometrieextraktion aus irgendeinem Grund nicht funktioniert oder ungeeignet ist, sodass geometrische Elemente mithilfe eines Bildes des Objekts manuell gezeichnet werden müssen. In diesen Fällen reduzieren die Vereinfachungswerkzeuge den Bedarf an präzisen Zeichnungen oder Datenspezifikationen erheblich. Es ist zu beachten, dass diese spezialisierten Werkzeuge für die Offline-Nutzung konzipiert sind, insbesondere als Teil der Modellierungsaufgabe und nicht für den gesamten Produktionsprozess. Für diesen Zweck ist die Ausführungszeit nicht kritisch, solange sie nicht unerträglich langsam ist (typischerweise einige Sekunden). Aus demselben Grund sind gelegentliche Fehler akzeptabel, solange sie durch manuelle Methoden (z. B. bildbasiert) kompensiert werden können. Selbst bei gelegentlichen Fehlern wird die durchschnittliche Zeit für die Generierung einer gültigen geometrischen Beschreibung mithilfe solcher Werkzeuge deutlich reduziert. Eine Lockerung dieser Bedingungen führt naturgemäß zu einer geringeren Leistung der resultierenden Ausrichtungswerkzeuge. Die Generierung von Ausrichtungswerkzeugen ist ein notwendiger Bestandteil des gesamten Produktionsprozesses mit typischen Ausführungszeiten im Bereich von Zehntelsekunden und einer typischen Erfolgsquote von 99,99 %. Neue Ausrichtungswerkzeuge mit geometrischer Beschreibung: Im vergangenen Jahr hat Cognex ein Verfahren eingeführt, mit dem Ausrichtungswerkzeuge direkt anhand geometrischer Beschreibungen umfassend trainiert werden können – ein standardisierter Bestandteil der PatMax-Ausrichtungstechnologie. Eine geometrische Beschreibung ist aktuell als 2D-Platzierungsmethode für Drahtgitterelemente spezifiziert (siehe Abbildung 1). Jedes Drahtgitter ist ein Abschnitt aus aneinandergereihten Bögen und Liniensegmenten, die die kontrastreichen Kanten eines Objekts modellieren. Drahtgitter können geschlossen oder offen sein. Jedes Drahtgitter enthält Informationen zur Eckenglättung für jeden konvexen Punkt, der zur Bildung der Knoten zwischen verbundenen Abschnitten verwendet wird, sowie optional Informationen zur Neigungspolarität und Maßtoleranz für jeden Abschnitt. Bei der Verwendung von Drahtgitterelementen zur räumlichen Anordnung für das Training eines PatMax-Tools kann jedem Drahtgitter ein Gewicht zugewiesen werden, das proportional zu seiner relativen Bedeutung für die Bestimmung des Gesamtausrichtungseffekts ist. Der Gewichtungswert für jedes Drahtgitter kann sogar negativ sein, sodass Benutzer Merkmale identifizieren können, die nicht im Bild eines Objekts erscheinen sollen. Kürzlich entwickelte Cognex außerdem eine Plattform, die CAD-Daten im DXF-Format importieren kann, um die Funktionalität seiner PatMax-Tools zu integrieren, sowie eine interaktive Plattform für schnelles Modellieren zur Erstellung geometrischer Beschreibungen von Objekten und zur Konfiguration und zum Testen von PatMax-Ausrichtungstools auf Basis dieser Beschreibungen. Die CAD-Importfunktion und die Modellierungsplattform ermöglichen Benutzern gemeinsam eine Reihe von Operationen, darunter: • Kalibrierung mithilfe von Punktnetz-Kalibrierungszielen (ermöglicht die Definition geometrischer Beschreibungen in physikalischen Einheiten, wie z. B. Makros) • Abrufen und/oder Importieren von Bildern von Objekten • Importieren von CAD-Daten von Objekten • Zeichnen oder Bearbeiten von Drahtgitterformen innerhalb der „Blaupause“ der geometrischen Beschreibung des Objekts oder über dem Bild des Objekts • Eingabe präziser Abmessungen und Polarität des Drahtgitterbereichs • Automatische Extraktion von Drahtgitterelementen innerhalb eines festgelegten Bereichs im Bild eines Objekts. • Automatische Vereinfachung (Snapshot) von Drahtgitterelementen zu vorhandenen Objektmerkmalen im Bild. • Automatische Ausrichtung des Koordinatensystems des Objekts am Volumen der geometrischen Beschreibung. • Einrichtung und Training des PatMax-Ausrichtungswerkzeugs anhand der geometrischen Beschreibung, die aus der 2D-Verteilung der Drahtgitterelemente besteht. • Test des trainierten PatMax-Werkzeugs anhand einer Bilddatenbank zur Generierung von Genauigkeits- und Ausführungszeitstatistiken als Feedback. • Import und Export von Beispielen für finale geometrische Beschreibungen, erfasste Bilder, Kalibrierungsinformationen und Ausrichtungsparameter für spätere Produktionsphasen. Dieser Artikel veranschaulicht die Rolle einer Rapid-Modeling-Umgebung anhand der Einrichtung eines Ausrichtungswerkzeugs für ein VME-Panel, das effektiv mit einem Cognex-Erfassungssystem ausgerichtet wird. In diesem Beispiel werden die CAD-Daten im DXF-Format für das VME-Panel als Nebenprodukt des mechanischen Konstruktionsprozesses gewonnen (siehe Abbildung 2). Dies ist häufig der Fall, wenn das gefertigte Objekt ausgerichtet werden muss. Nach einem Ausrichtungsschritt werden die Ebenen mit den Geometriedaten (bezogen auf die Annotationen) in den Editor importiert. Erste Tests, bei denen das PatMax-Tool anhand dieser Verteilung trainiert wurde, nachdem ein Bild des Panels aufgenommen worden war, verliefen zwar erfolgreich, zeigten aber auch eine geringe Ausrichtungsgenauigkeit aufgrund der geometrischen Beschreibungen. Die Übereinstimmung ist nicht perfekt. In vielen Fällen ist die Passgenauigkeit gering, wenn bestimmte Teile der CAD-Beschreibung die äußeren Abmessungen des Objekts aufgrund großer Fertigungstoleranzen nicht genau beschreiben. In anderen Fällen können diese Teile effektiv aus der geometrischen Beschreibung entfernt werden, indem die zu ihrer Beschreibung verwendeten Drahtgitterelemente modifiziert und/oder gelöscht werden (oder indem diesen Elementen im Verhältnis zu anderen Elementen in der Verteilung ein relativ geringes Gewicht zugewiesen wird). Dies setzt voraus, dass auch ohne diese Teile noch ausreichend Informationen für eine genaue Ausrichtung vorhanden sind. Abbildung 3 zeigt die Verteilung der Drahtgitterelemente im Panel nach dem Entfernen bestimmter Teile (z. B. Daten, die jedes Loch beschreiben). Es ist anzumerken, dass die Erstellung einer geometrischen Beschreibung des Panels mithilfe spezialisierter Werkzeuge zur Geometrieextraktion und -vereinfachung auch ohne Zugriff auf die CAD-Daten des Panels relativ einfach ist. Nach Kalibrierung und Bildaufnahme kann der Benutzer einen rechteckigen Bereich in einem Bild auswählen, der die Hauptmerkmale des Panels (z. B. Löcher und Außenkanten) enthält. Das Geometrieextraktionswerkzeug generiert effizient Drahtgittermodelle zur präzisen Modellierung der Panelkontur innerhalb dieser Bereiche (siehe Abbildung 4). Dadurch ist in diesem Fall nur minimaler manueller Eingriff erforderlich (abgesehen vom Entfernen unnötiger Drahtgitterelemente, die ausschließlich zur Erzeugung von Merkmalen in der Nähe von Löchern dienen). Alternativ können jedoch auch schnell einfache Drahtgitterelemente über den Löchern gezeichnet und anschließend mit dem Geometrievereinfachungswerkzeug zu einem Bild zusammengefasst werden. In beiden Fällen wird das Koordinatensystem der geometrischen Beschreibung automatisch zentriert und ausgerichtet, nachdem die rechteckigen Drahtgitterelemente zur Beschreibung der Panelkanten referenziert wurden. Nach diesen Anpassungsschritten war das Ausrichtungswerkzeug erfolgreich für eine hochpräzise Ausrichtung eingerichtet. Seine Leistung wurde anschließend anhand einer Datenbank mit Panelbildern aus verschiedenen Beleuchtungsszenarien umfassend getestet und durch die Anpassung der geometrischen Beschreibung und der PatMax-Parameter weiter optimiert. Das finale Ausrichtungsmodell, das über ein Testbild gelegt wurde, ist in Abbildung 5 dargestellt. Der gesamte Prozess der Erstellung einer optimierten Beschreibung und der Einrichtung des Ausrichtungswerkzeugs dauert nur wenige Minuten. Zusammenfassung: Dieser Artikel stellt mehrere neue Techniken für das direkte Training von Ausrichtungswerkzeugen mithilfe geometrischer Beschreibungen vor. Diese Techniken bieten eine Alternative zum bildbasierten Training, dessen Leistung aufgrund von Schwankungen in Beleuchtung und Objektform mitunter eingeschränkt sein kann. Cognex hat eine Modellierungsplattform entwickelt, die viele dieser Techniken integriert. Diese Plattform ermöglicht den Import von CAD-Daten, die Bearbeitung geometrischer Beschreibungen zur Optimierung der Ausrichtung sowie die halbautomatische Generierung und Vereinfachung geometrischer Beschreibungen. Selbstverständlich ist ein umfassendes Training nicht für alle Anwendungen geeignet. Beispielsweise kann es ungeeignet sein, wenn ein hochauflösendes Bild des auszurichtenden Objekts verfügbar ist, keine CAD-Daten vorliegen oder das Objekt besonders komplex ist. Umgekehrt kann es übertrieben sein, wenn keine hohe Ausrichtungsgenauigkeit erforderlich ist. In diesen Fällen überwiegen die Vorteile des direkten Trainings des Ausrichtungswerkzeugs anhand der geometrischen Beschreibung des Objekts möglicherweise nicht den zusätzlichen Aufwand für deren Erstellung und Vereinfachung. Die Wirksamkeit umfassender Schulungen wurde jedoch in zahlreichen Anwendungsbereichen nachgewiesen, darunter Referenzausrichtung, Platzierung von SMD-Bauteilen auf Leiterplatten, Montage und Inspektion von Computerperipheriegeräten sowie Inspektion von Glasfaserkomponenten.