Photometric Stereo für 3D-Oberflächeninspektion | Computer Vision | Euresys
Einführung
Obwohl ein Großteil der Machine-Vision-Anwendungen eine zweidimensionale Bildverarbeitung einsetzt, nimmt die Anzahl dieser Anwendungen, die 3D-Messungen und -Inspektionen verwenden oder erfordern, erheblich zu. Für die Extraktion von 3D-Informationen aus Szenen werden zahlreiche Techniken eingesetzt. Zu nennen sind hier Sensoren für Structured Light (einschließlich Triangulation durch Laserscanning), Stereo Vision und Time of Flight.
Eine dieser Techniken, die wahrscheinlich weniger bekannt ist, ist Photometric Stereo. Die Funktion „Photometric Stereo“ von Euresys schätzt die Ausrichtung und die Albedo jedes Punktes einer Oberfläche. Dafür werden mehrere Bilder derselben Oberfläche erfasst, die zwar von einem einzigen Blickwinkel, jedoch unter Beleuchtung aus verschiedenen Richtungen, aufgenommen wurden. Die verschiedenen Bilder werden nacheinander und synchron mit der Beleuchtung erfasst, wodurch nur eine Kamera benötigt wird.
Photometric Stereo eignet sich für die Erkennung oder Inspektion von Details (Defekte oder Informationen) auf der Oberfläche von Objekten.
Der Photometric-Stereo-Algorithmus ist in der Open eVision-Bibliothek Easy3D von Euresys verfügbar. Er kann als Vorverarbeitungsphase vor anderen Vorgängen verwendet werden, wie beispielsweise dem Lesen von Codes (mit den Bibliotheken EasyMatrixCode, EasyQRCode oder EasyBarCode), der optischen Zeichenerkennung (EasyOCR), dem Abgleich (EasyMatch oder EasyFind), der Messung (EasyGauge) oder der Fehlererkennung (EasyObject oder EasySegment).
Wie funktioniert das?
Bei einer vorgegebenen Anordnung für die Bildverarbeitung (Positionen und Winkel des zu inspizierenden Objekts, Beleuchtungen – typischerweise 3 oder 4 – und Kamera) muss das Softwaretool zunächst mit einem Referenzobjekt [(Halb-)Kugel] kalibriert oder die genauen geometrischen Merkmale der Anordnung manuell angegeben werden.
Abbildung 1: Inspiziertes Objekt mit mehreren Beleuchtungswinkeln vor der Kamera.
Prozess
Ab da wird die Bilderfassung der inspizierten Objekte in mehreren Schritten entsprechend den verschiedenen Beleuchtungswinkeln durchgeführt.
Je nach Anforderung des Benutzers extrahiert Photometric Stereo einzeln eine Reihe von Variablen (normal zur Oberfläche, Albedo, X- und Y-Gradienten, mittlere und Gaußsche Krümmungen). Diese werden für die Rekonstruktion bzw. das Rendering der 3D-Informationen im 2D-Bereich verwendet, sodass sie anschließend mit anderen Bibliotheken weiterverarbeitet werden können.
Abbildung 2: Bilder eines Blisters unter verschiedenen Beleuchtungsbedingungen und Inspektion.
Abbildung 2 oben veranschaulicht den gesamten Prozess:
- Das von der Kamera unter vier Beleuchtungsbedingungen erfasste Objekt (Bilder 1 bis 4)
- Das anhand der ausgewählten Messungen rekonstruierte Bild (Bild A)
- Die isolierte Teilmenge der Daten, die für die ausgewählte Inspektion nützlich ist (Bild B) – in diesem Beispiel sind dies die Gaußschen Krümmungsinformationen
- Die Ergebnisse der Inspektion mithilfe von Deep Learning unter Verwendung der Open eVision-Bibliothek EasySegment, überwachter Modus (Bild C), angewandt auf das Bild in (B) – die beiden Einstichstellen sind eindeutig zu erkennen
Optimierung
Mithilfe weniger Tests kann der Benutzer die für seine Anwendung am besten geeigneten Variablen ermitteln. Mit diesen Schritten kann ein zeitkritischer Prozess optimiert und potenziell beschleunigt werden.
Zum Beispiel, wenn einige Erkennungen spezifische lineare Erkennungen oder alternativ die Erkennung scharfer Kanten erfordern. Auch die Angabe einer bestimmten Region von Interesse (Region of Interest, ROI) ist möglich. Die Anpassung dieser Parameter an die jeweilige Anwendung führt zu einer erheblichen Geschwindigkeitssteigerung.
In Anbetracht dessen, dass die Objektposition, die Erfassungsbedingungen oder die Beleuchtung nicht immer perfekt sind, ermöglicht diese Funktion auch die Kompensation von:
- Umgebungslicht (dunkles Bild) und
- ungleichmäßiger Beleuchtung (flaches Referenzbild)
Fazit
Sie können sehen, wie die nützlichen Informationen, die mit dem Originalbild ursprünglich nicht erkennbar waren, durch Photometric Stereo verbessert werden können, um dann von einer Standard-eVision-Bibliothek (in diesem Fall EasySegment) effektiv ausgewertet zu werden.
Die Imager-Funktion Photometric Stereo ist in der Open eVision-Bibliothek Easy3D von Euresys verfügbar.