Araştırma Alanları

Sürü zekası, otonomi, bilgisayarlı görü, makine öğrenmesi (özellikle derin öğrenme), nesnelerin interneti, simülasyon ve modelleme

Projeler

2018 - 2019, UYAZ: Mini İHA'lar için Otonom Uçuş Yapay Zekası ve Sürü Zekası Geliştirilmesi

Projenin amacı döner kanatlı mikro/mini insansız hava araçlarının (MİHA) otonom uçabilmesi için derin öğrenme tabanlı bilgisayarlı görü kullanan uçuş yapay zekası geliştirilmesidir. Proje kapsamında önce Figür-1'de belirtilen anlık konumlandırma ve haritalandırma (SLAM), engellerden kaçınma, görev planlaması, rota planlama, muhakeme ve çıkarım blokları tek bir MİHA için gerçeklenmektedir. Sonrasında müşterek algılama, müşterek planlama ve müşterek seyrüsefer blokları gerçeklenerek otonom bireylerden sürüler oluşturulacaktır. Projeye Fırat Üniversitesi Bilgisayar Mühendisliği Bölümü'nden Prof. Dr. Erhan Akın akademik danışmanlık yapmaktadır.

system_blocks
Figür-1: UYAZ projesindeki otonomi ve sürü yaklaşımı (Elbanhawi ve diğ., "Enabling technologies for autonomous MAV operations", Progress in Aerospace Sciences 91 (2017) 27–52.)

Proje Çıktılarına Dair Örnek Videolar


Anlık Konumlandırma ve Haritalandırma (SLAM)

Yayın tarihi: 3 Eylül 2018

Videoda döner kanatlı mini İHA’lar (MİHA) için derin öğrenme kullanılarak konumlama ve haritalama (SLAM) gösterilmektedir. MİHA'nın dahili kamerasından gelen görüntüdeki nesneler derin öğrenme ile tanındı. Nesne tanıma için TinyYOLOv3 modeli kullanıldı. Nesnenin MİHA'ya olan uzaklığının hesaplanması için gerçek nesne boyutu ile nesnenin görüntüdeki piksel boyutu arasındaki ilişki kullanıldı. Videoda tanınan nesnelerin MİHA’ya olan uzaklıkları renkler ile kodlandı (kırmızı: tehlikeli derecede yakın, turuncu: neredeyse güvenli, yeşil: güvenli). MİHA kamera görüntüsü için linkteki çekim kullanıldı.

  • Aşağıdaki kutuda MİHA'nın orijinde yer aldığı varsayılarak tanınan nesneler kuş bakışı olarak yerleştirildi.
  • Sol üstteki kutuda, MİHA’dan alınan görüntüden tanınan nesnelerin konumları gösterildi.
  • Sağ üstteki kutuda, MİHA’dan alınan gerçek görüntü gösterildi.

Hareketli Hedefi Sürü Halinde Takip

Yayın tarihi: 4 Kasım 2018

Videoda döner kanatlı üç mini İHA’nın (MİHA) sürü halinde hareket halindeki bir insanı takibi gösterilmektedir. Uzay müsait olduğuna sürü yan yana kol uçuşu gerçekleştirmektedir. İnsan iki bina arasındaki dar bir alandan geçerken sürü yan yana kol uçuşundan arka arkaya kol uçuşuna geçerek uçuş formasyonunu güncellemektedir.

  • Sol tarafta hareketli insan, onu takip eden üç MİHA'dan oluşan sürü ve bunları kamerası ile takip eden kameraman MİHA yer alıyor.
  • Sağ bölümde sürüyü arkadan takip eden dördüncü kameraman MİHA'nın kamera görüntüsü yer alıyor.

Yerleşim Yerini Sürü Halinde İzleme v1

Yayın tarihi: 23 Kasım 2018

Videoda döner kanatlı mini İHA (MİHA) sürüsünün bir yerleşim yerini izlemesi gösterilmektedir. Sürüde alçak irtifa ve yüksek irtifa olmak üzere iki tip MİHA cinsi bulunmaktadır. Yüksek irtifa MİHA'sı yerleşim yerini kuş bakışı olarak izleyip hareketli nesneleri tespit etmektedir. Alçak irtifa MİHA'ları ise yüksek irtifa MİHA'sının tespit ettiği hareketli nesnelerin teşhisini yapmaktadır. Alçak irtifa MİHA'ları yerleşim yerindeki belirli cadde başlarına konumlanmıştır, herbiri birbirine dik iki caddeyi belirli bir periyotta doksan derece dönüşlerle takip etmektedir.

  • Sağ üst bölümde yüksek irtifa MİHA'sının kamera görüntüsü yer alıyor.
  • Sol üst bölümde yüksek irtifa MİHA'sının kamera görüntüsünde tespit edilen hareketli nesneler gri daire ile gösteriliyor.
  • Sağ alt bölümde alçak irtifa MİHA'sının kamera görüntüsü yer alıyor.
  • Sol alt bölümde alçak irtifa MİHA'sının kamera görüntüsünde tespit edilen insanın konumlandırması yapılıyor.

Yerleşim Yerini Sürü Halinde İzleme v2

Yayın tarihi: 22 Aralık 2018

Videoda döner kanatlı mini İHA (MİHA) sürüsünün bir yerleşim yerini izlemesi gösterilmektedir. Sürüde alçak irtifa ve yüksek irtifa olmak üzere iki tip MİHA cinsi bulunmaktadır. Yüksek irtifa MİHA'sı yerleşim yerini kuş bakışı olarak izleyip hareketli nesneleri tespit etmektedir. Alçak irtifa MİHA'ları ise yüksek irtifa MİHA'sının tespit ettiği hareketli nesnelerin teşhisini yapmaktadır. 23 Kasım 2018'de yayınlanan birinci versiyondan farklı olarak alçak irtifa MİHA'ları yerleşim yerindeki belirli cadde başlarında durmak yerine caddelerde uçmaktadırlar. Uçarken insanları tespit edip kırmızı mı yoksa yeşil takıma mı ait olduklarını teşhis etmektedirler. Sağ altta sürünün ürettiği bilgiler terminalden akmaktadır.

  • Sol bölümde yüksek irtifa MİHA'sının kamera görüntüsü üzerinde tespit ve teşhis edilen hareketli nesneler gösteriliyor. MİHA'lar mavi, yeşil takıma dahil insanlar yeşil, kırmızı takıma dahil olanlar kırmızı, takımı teşhis edilmemişler ise siyah renkli daire içine alınarak gösteriliyor.
  • Sağ üst bölümde iki alçak irtifa MİHA'sının kamera görüntüsü yer alıyor.
  • Sağ alt bölümde terminal mesajları yer alıyor.

Yer İşaretine Otonom İniş

Yayın tarihi: 12 Ocak 2019

Videoda derin öğrenme tabanlı bilgisayarlı görü modülü "mobilative® Görü"yü kullanan uçuş yapay zekası modülü "mobilative® UYAZ"ın entegre edildiği bir drone'nin iniş pisti yer işaretçisi olarak kullanılan bir fotoğrafa otonom inişi gösterilmektedir.

  • Sol bölümde dış kameradan drone ve iniş pisti gösterilmektedir.
  • Sağ üst bölümde drone'nin altında yer alan kuşbakışı kameranın görüntüsü yer almaktadır.
  • Sağ alt bölümde "mobilative® Görü" modülünün iniş pistini teşhis etmesinden sonra hesaplanan bilgi paketi (iniş pistinin merkezinin drone'nin burun açısına göre kaldığı yön, iniş pistinin merkezi ile drone arasındaki yatay uzaklık, drone'nin burun yönü ile iniş pistinin merkez noktası arasında oluşan yaw ve pitch açıları, drone'nin yerden anlık yüksekliği) gösterilmektedir.

İç Ortamda Otonom Uçuş

Yayın tarihi: 12 Ocak 2019

Drone iç ortamda GPS ya da başka bir konumlama sinyali altyapısını kullanmadan, komuta sinyali olmadan sadece "mobilative® UYAZ" uçuş yapay zekası modülünü kullanarak otonom uçmaktadır. Sol bölümde drone'nin kendi kamera görüntüsü yer almaktadır. Sağ bölümde dış ortam kamerası görüntüsü yer almaktadır. Drone'ye verilen görevin adımları:

  1. dönerek etrafını tarayıp insanları tespit etmesi
  2. tespit ettiği insana kilitlenmesi
  3. kilitlendiği insana aradaki mesafe 60cm olacak kadar yaklaşması
  4. yaklaştığı insandan serbest kalması
  5. ilk adıma geri dönmesi

Sürü Formasyonu Hizalama

Yayın tarihi: 28 Ocak 2019

Videoda arka arkaya uçuş formasyonunu korumak için arkadaki drone'nin öndeki drone'ye göre kendi konumunu güncellemesi gösterilmektedir. Drone'ler iç ortamda GPS ya da başka bir konumlama altyapısını kullanmadan, sadece "mobilative® Sürü" sürü zekası modülünü kullanarak görerek otonom hizalama yapmaktadır. Sağ üst bölümde arkadaki drone'nin kamera görüntüsünün z eksenine göre yansıması yer almaktadır.


2018 - 2019, Görü: Derin Öğrenme Tabanlı Bilgisayarlı Görü ile Nesne Tanıma ve Konumlandırma

Projenin amacı son kullanıcının belirlediği nesne tiplerini kamera görüntüsünde tanıyan, sahne analizi, olay tespiti yapan gömülü sistem geliştirilmesidir.


2018 - 2019, İMGE: Derin Sinir Ağı Eğitimi için Otomatik Veri Seti Derleme Motoru Geliştirilmesi

Projenin amacı derin sinir ağlarının eğitimi için gerekli olan eğitim büyük verisini internetteki telifsiz imajlardan otomatik olarak derleyen ve derin sinir ağı eğitimi için hazır hale getiren motorun geliştirilmesidir.


2017 - 2019, NİPORT: Nesnelerin İnterneti Ürün Ailesi Geliştirilmesi

Projenin amacı jenerik bir nesnelerin interneti sisteminin ana bileşenleri olan düğüm, ağ geçidi ve portal bileşenlerini yerli ve milli olarak geliştirmektedir.


2017 - 2019, YENİTAY-2: Yenilebilir Enerji Üretimi Tahmini ve Analizi Yazılımının İyileştirilmesi

Projenin amacı makine öğrenmesi tekniklerini kullanarak rüzgar enerjisi santrallerinin güç üretimlerini yüksek doğrulukla tahmin etmektir.


2015 - 2016, YENİTAY-1: Yenilebilir Enerji Üretimi Tahmini ve Analizi Yazılımı Geliştirilmesi

Projenin amacı makine öğrenmesi tekniklerini kullanarak rüzgar enerjisi santrallerinin güç üretimlerini yüksek doğrulukla tahmin etmektir.

Ekip

  • Ş. Burak Selvi Teknik Lider

  • Elazığ Fen Lisesi'ni okul birincisi olarak 2003 yılında bitirdi. Üniversite sınavında 78. olarak Bilkent Üniversitesi Elektrik-Elektronik Mühendisliği Bölümü'nü burslu kazandı. Lisans eğitiminin üçüncü sınıf yazını Harvard Üniversitesi Rowland Araştırma Enstitüsü'nde Doç. Dr. Özgür Şahin'in araştırma grubunda öğrenci araştırmacı olarak geçirdi. Bilkent Üniversitesi'nde Prof. Dr. Abdullah Atalar'ın araştırma grubunda simülasyon ve modelleme üzerine yüksek lisans çalışmalarını gerçekleştirdi ve 2010 yılında yüksek lisans derecesini aldı. 2012 yılından beri Fırat Üniversitesi Bilgisayar Mühendisliği Bölümü'nde Prof. Dr. Erhan Akın'ın araştırma grubunda derin öğrenme tabanlı bilgisayarlı görü ve otonomi üzerine doktora çalışması yapmaktadır.

Yayınlar

Şeref Burak Selvi, Mürsel Yıldız, Erhan Akın "Wind Power Prediction Using EMoFS Technique", ELECO, 2016.

Şeref Burak Selvi, Vahdettin Taş, M. Deniz Aksoy, Abdullah Atalar "Simulation of effective elastic modulus estimation from torsional harmonics of tip-sample interaction in the presence of noise", 2. Multifrequency Atomic Force Microscopy Conference, Madrid, SPAIN, 2009

Şeref Burak Selvi, Vahdettin Taş, Abdullah Atalar "The influence of enhanced higher harmonic vibrations on the steady-state of tip-sample interaction in tapping mode atomic force microscopy", 1. Multifrequency Atomic Force Microscopy Conference, Madrid, SPAIN, 2008