3D görüntü işleme, kameranın parçanın yalnızca görüntüsünü değil, her noktasının yüksekliğini veya mesafesini de ölçtüğü makine görme yöntemidir. 2D kamera size “parça nerede ve neye benziyor” bilgisini verir; 3D kamera buna “ne kadar yüksek, hangi açıyla duruyor, yüzey nerede çukur” bilgisini ekler. Kaynak dikişi yüksekliği, conta varlığı, hacim ölçümü, karışık duran parçaların robotla alınması gibi işlerde 3D görüntü işleme gerekir.
Bu yazıda 3D kamera teknolojilerini, aralarındaki farkları, nokta bulutunu ve robot kılavuzlamada kalibrasyonu anlatıyoruz. Görüntü işlemenin genel yapısı için: endüstriyel görüntü işleme.
Bu yazıda (8 başlık)
3D görüntü işleme nedir, 2D’den farkı ne?
2D görüntüde her pikselin bir gri veya renk değeri vardır. 3D sensörün çıktısında ise her nokta için X, Y ve Z koordinatı bulunur. Bu verinin iki yaygın biçimi vardır:
- Derinlik haritası (depth map / range image): Görüntü gibi bir ızgara, ama piksel değeri parlaklık yerine yükseklik veya mesafedir.
- Nokta bulutu (point cloud): Uzayda X, Y, Z koordinatlı noktalar kümesi. Bazı sensörler her noktaya parlaklık veya renk bilgisi de ekler.
3D verinin büyük avantajı, sonucun ışık ve renk değişimlerinden çok daha az etkilenmesidir. Siyah parça ile beyaz parça aynı yükseklikteyse 3D sensör aynı yüksekliği ölçer. Ama tamamen bağımsız da değildir: Çok parlak, çok koyu veya şeffaf yüzeylerde ölçüm noktaları kaybolabilir.
3D kamera teknolojileri
Stereo, yapısal ışık ve lazer triangulasyon aynı geometrik ilkeye, yani üçgenlemeye dayanır: Bir noktaya iki farklı yerden bakıldığında, iki bakış arasındaki mesafe ve açı biliniyorsa noktanın uzaklığı hesaplanabilir. Time-of-flight ise ışığın gidiş-dönüş süresini kullanır.
Stereo kamera
Belirli bir mesafeyle yan yana duran iki kamera aynı sahneyi görür. Yazılım, iki görüntüde aynı noktayı bulur ve aradaki kaymadan (disparite) mesafeyi hesaplar.
- Artı: Ek ışık kaynağı gerektirmez, ortam ışığına dayanıklıdır, dış mekânda da çalışabilir, maliyeti görece düşüktür.
- Eksi: Eşleştirme için yüzeyde doku olmalıdır. Düz ve desensiz yüzeyde (boyalı sac, beyaz plastik) noktalar eşleşmez. Bu yüzden birçok sistem yüzeye desen yansıtan bir projektör ekler; buna aktif stereo denir.
Yapısal ışık (structured light)
Bir projektör parçaya bilinen desenler (şeritler, kodlu desenler) yansıtır, kamera desenin yüzeyde nasıl büküldüğünü görür. Yakın mesafede yüksek doğruluk verir. Genellikle birkaç görüntü art arda alındığı için ölçüm sırasında parçanın durması gerekir; tek karede ölçüm yapan özel modeller dışında hareketli nesnede uygun değildir. Güçlü ortam ışığında, özellikle gün ışığında performans düşer.
Lazer triangulasyon (profil sensörü)
Bir lazer çizgisi parçaya düşer, belirli bir açıyla yerleştirilmiş kamera bu çizgiyi görür. Çizginin görüntüdeki şekli, o kesitteki yükseklik profilidir. Tek ölçüm bir profil (2D kesit) verir; parça veya sensör hareket ettikçe profiller birleştirilip 3D yüzey elde edilir. Bu yüzden hareket bir enkoderle senkronlanır.
Konveyör üzerinde sürekli akan parçada, kaynak dikişi, conta ve yapıştırıcı boncuğu kontrolünde, lastik ve profil ölçümünde en yaygın 3D yöntemdir. Parlak metalde lazer saçılması ve kameranın göremediği gölge bölgeleri (oklüzyon) dikkat isteyen konulardır.
Time-of-flight (ToF)
Kamera ışık darbeleri veya modüle edilmiş ışık gönderir ve ışığın geri dönüş süresinden (veya faz farkından) her pikselin uzaklığını hesaplar. Tek karede tüm sahnenin derinliğini verir, hızlıdır ve daha uzun mesafelerde çalışır. Doğruluğu genellikle yapısal ışık ve lazer triangulasyondan düşüktür ve mesafe arttıkça gürültü artar. Lojistikte koli boyutlama, palet ve hacim ölçümü, kaba konum belirleme gibi işler için uygundur.
Karşılaştırma
| Teknoloji | Güçlü yanı | Zayıf yanı | Tipik kullanım |
|---|---|---|---|
| Stereo | Ortam ışığına dayanıklı, ekonomik | Dokusuz yüzeyde zorlanır | Robot kılavuzlama, geniş sahneler |
| Yapısal ışık | Yakın mesafede yüksek doğruluk | Çoğu modelde parça durmalı, gün ışığına hassas | Bin picking, hassas yüzey ve şekil ölçümü |
| Lazer triangulasyon | Hareketli parçada yüksek çözünürlüklü profil | Hareket ve senkron gerektirir, gölge bölgeler | Kaynak dikişi, conta, profil ölçümü |
| Time-of-flight | Hızlı, tek kare, uzun mesafe | Daha düşük doğruluk | Koli boyutlama, hacim, kaba konum |
Bu tablo genel eğilimi gösterir. Aynı teknolojide üreticiden üreticiye büyük fark olabilir; seçimde ölçüm hacmi, gereken doğruluk ve çevrim süresi veri sayfalarıyla birlikte değerlendirilmelidir.
Nokta bulutu ile ne yapılır?
Nokta bulutu üzerinde tipik işlemler şunlardır:
- Filtreleme: Gürültülü ve tek başına kalan noktaları temizleme.
- Düzlem uydurma: Konveyör veya masa yüzeyini bulup referans alma; yükseklik bu düzleme göre ölçülür.
- Segmentasyon: Birbirine değen parçaları ayırma.
- Model eşleştirme: Parçanın CAD modelini veya öğretilmiş 3D modelini nokta bulutunda arayıp konum ve açısını (6 serbestlik derecesi) bulma.
- Ölçüm: Yükseklik, düzlemsellik, hacim, boşluk ve kenar farkı (gap and flush) gibi değerler.
Yüzey kalite kontrolünde 3D veri, 2D’de ışık oyunlarıyla görülmeye çalışılan göçük ve kabarıklıkları doğrudan ölçmeyi sağlar. Ayrıntılar: üretimde yüzey kalite kontrol otomasyonu.
Robot kılavuzlama: 2D mi, 3D mi?
Vision ile robot kılavuzlamada kamera parçanın konumunu bulur, robot bu koordinata gider. Robotun temelleri için: endüstriyel robot nedir.
- 2D kılavuzlama: Parça düz bir yüzeyde, bilinen bir yükseklikte ve yatık durmuyorsa kamera X, Y ve dönme açısını verir; robot için bu yeterlidir. Konveyörden düz parça alma, tepsiden alma ve pick and place sistemleri çoğunlukla 2D ile çözülür.
- 3D kılavuzlama: Parça üst üste, eğik veya farklı yükseklikte duruyorsa robotun Z yüksekliğini ve eğim açılarını da bilmesi gerekir. Burada 3D sensör ve 6 serbestlik dereceli konum gerekir.
2D ne zaman yeter? Parçalar tek katman, düz yatıyor, yükseklik değişmiyor ve parçalar birbirine binmiyorsa 2D yeter; daha ucuzdur, daha hızlıdır ve devreye alması kolaydır. Mekanik bir besleyici veya titreşimli tabla parçaları düz yatırabiliyorsa, çoğu zaman 3D kamera almak yerine bu yolu seçmek daha ekonomiktir.
Hand-eye kalibrasyonu
Kamera, parçanın konumunu kendi koordinat sisteminde ölçer. Robotun bu konuma gidebilmesi için kamera koordinatlarının robot koordinatlarına dönüştürülmesi gerekir. Bu dönüşümü bulan işleme hand-eye (el-göz) kalibrasyonu denir. İki yerleşim vardır:
- Eye-in-hand: Kamera robotun ucuna (tutucunun yanına) bağlıdır, robotla birlikte hareket eder. Bulunacak dönüşüm, kamera ile robot flanşı arasındaki ilişkidir. Esnektir, farklı noktalara bakabilir; ama her ölçüm için robotun belirli bir pozisyona gitmesi gerekir.
- Eye-to-hand: Kamera sabit bir yere monte edilmiştir, robotu ve çalışma alanını dışarıdan görür. Bulunacak dönüşüm, kamera ile robot tabanı arasındaki ilişkidir. Robot parçayı alırken kamera bir sonraki görüntüyü hazırlayabilir.
Kalibrasyonda genellikle bir kalibrasyon plakası (satranç tahtası veya nokta deseni) farklı robot pozlarında görüntülenir ve dönüşüm bu çiftlerden hesaplanır. Pratikte kalibrasyonu bozan şeyler bellidir: kamera braketinin gevşemesi, robotun çarpması, tutucu değişimi, ısıl genleşme. Kalibrasyonun periyodik olarak bir referans parçayla doğrulanması gerekir.
Kısa not: robotla kutudan parça alma
Robot ile kutudan parça alma (bin picking), 3D görüntü işlemenin en zor uygulamalarından biridir. Parçalar birbirinin altında kalır (oklüzyon), parlak metal parçalarda nokta bulutu eksik çıkar, tutucunun kutu kenarına veya diğer parçalara çarpmadan yaklaşabileceği bir yol bulunmalıdır ve tüm bunlar hattın çevrim süresine sığmalıdır. Tutucu tasarımı burada başarıyı doğrudan belirler: robot tutucu (gripper) nedir. Uygulama ve devreye alma tarafı için: robotlu kutudan parça alma (bin picking).
Sıkça Sorulan Sorular
3D kamera nasıl çalışır?
Çoğu 3D kamera üçgenleme ilkesini kullanır: iki kamerayla (stereo), yansıtılan desenle (yapısal ışık) veya lazer çizgisiyle bir noktaya farklı açıdan bakıp mesafeyi hesaplar. Time-of-flight kameralar ise ışığın gidiş-dönüş süresini ölçer.
Stereo kamera ile yapısal ışık farkı nedir?
Stereo kamera ek ışık gerektirmez ama yüzeyde doku arar; yapısal ışık yüzeye desen yansıttığı için dokusuz yüzeyde de çalışır ve yakın mesafede daha doğrudur, ancak çoğu sistemde ölçüm sırasında parçanın durması gerekir.
Lazer profil sensörü ne işe yarar?
Parçanın üzerine düşen lazer çizgisinden kesit profilini ölçer. Parça hareket ettikçe profiller birleştirilerek 3D yüzey elde edilir; kaynak dikişi, conta ve yükseklik kontrolünde yaygındır.
Nokta bulutu nedir?
Her noktanın X, Y ve Z koordinatına sahip olduğu 3D veri kümesidir. Üzerinde yükseklik ölçümü, düzlem bulma, parça ayırma ve model eşleştirme yapılır.
Robot kılavuzlama için 3D kamera şart mı?
Hayır. Parçalar düz, tek katman ve sabit yükseklikte duruyorsa 2D kamera yeterlidir. Parçalar üst üste veya eğik duruyorsa 3D kamera gerekir.
Eskişehir’de görüntü işleme desteği
AveA Otomasyon olarak Eskişehir ve çevre illerdeki tesislerde 2D ve 3D görüntü işleme, vision ile robot kılavuzlama ve kalibrasyon konularında destek veriyoruz. Ayrıntılar: robotik otomasyon projeleri, robot tutucu tasarımı ve imalatı ve endüstriyel görüntü işleme. Bize 0533 454 52 32 numarasından ulaşabilirsiniz; mesai dışında da arayabilirsiniz.