Yapay Zeka ile Uçan İnsansız Hava Araçları

Havacılıkta temel kontrol yöntemlerinin yerini agresif olarak adlandırılan kontrol yöntemleri alıyor. Yakında günlük hayatımızın içerisinde sıkça karşılaşılacağımız yapay zeka teknolojisini kullanan hava araçlarına yönelik araştırmalar, İTÜ Havacılık ve Uzay Teknolojileri Uygulama ve Araştırma Merkezi’nde (Aerospace Research Center-İTÜ ARC) gerçekleştiriliyor.

 Haber Yayın Tarihi: 7 Nisan 2020

İTÜ ARC’de havacılığa yönelik güdüm, navigasyon, kontrol, insansız hava aracı (İHA) teknolojileri, hava trafik kontrol yönetim sistemleri ve pilot karar destek sistemlerinin yanı sıra yenilikçi malzeme ve kompozit sistemleri, giyilebilir sistemler gibi ileri teknoloji alanlarında çalışmalar yapılıyor. İTÜ Haber olarak bu çalışmalarla birlikte, İTÜ ARC’nin yeni geliştirdiği “Deep Reinforcement Learning based Aggresive Collision Avoidance with Limited FOV under Dynamic Constraints” projesi hakkında Dr. Öğretim Üyesi Emre Koyuncu, doktora öğrencilerimiz Mehmet Hasanzade ve Omar Shaadeh ile konuştuk.

Kısaca kendinizden ve içinde bulunduğumuz İTÜ ARC’den bahsedebilir misiniz?

Emre Koyuncu: İTÜ Uçak Mühendisliği Bölümü öğretim üyesiyim. Bu araştırma merkezi de bizim Havacılık ve Uzay Teknolojileri Uygulama ve Araştırma Merkezi diye adlandırdığımız, geniş çaplı disiplinler arası çalışan bir araştırma merkezi. Bu merkezin Kontrol ve Aviyonik Araştırma Grubu Direktörüyüm. Burada kontrol ve aviyonik grubunun yanı sıra özellikle havacılığa ve uzaya yönelik yeni nesil malzemelerin çalışıldığı bir araştırma grubumuz daha var. Sadece bu binada 60 kadar doktora ve yüksek lisans öğrencimiz çalışıyor. Keza, Uçak ve Uzay Bilimleri Fakültesi içerisinde de laboratuvarlarımız var. Orada da 20-30 kadar doktora ve yüksek lisans öğrencimiz çalışıyor. Özetle bu merkezde havacılığa yönelik yapay zeka, güdüm, navigasyon, kontrol, insansız hava aracı teknolojileri, hava trafik kontrol yönetim sistemleri, pilot karar destek sistemleri, malzeme tarafında da yenilikçi kompozit sistemler, giyilebilir sistemler üzerine ileri teknoloji çalışmalarımız mevcut.

Hazırladığınız yapay zekaya sahip hava aracı projesi hakkında bilgi verebilir misiniz?

Emre Koyuncu: Bildiğiniz üzere insansız hava araçlarının günlük kullanımı artık yaygınlaştı ve bu araçları hava sahalarında görmeye başladık. Özellikle drone’ları askeri alanda kullanımlarının yanı sıra artık doğrudan şehirlerde posta dağıtımı ya da eğlence amaçlı olarak daha fazla görür olduk. Daha erişilebilir hale geldiler ve kullanım alanları da farklılaşmaya başladı. Aslında artık her alanda kullanılabilir hale geldiler. Ancak ortada temel bir kontrol problemi var; karar verme problemi… Kontrol problemi kısmen çözülmüş diyebiliriz. Yani bir İHA’nın havada birtakım hareketleri yapabilmesi artık bir pilotun oturup kumanda etmesi ile değil, verilen komutları otonom yapabilmesi ile gerçekleşiyor. Bu çalışmalar kısa bir süre içerisinde klasik kontrol yöntemlerinden agresif diye adlandırdığımız kontrol yöntemlerine doğru bir dönüşüm yaşayacak. Bu araştırma grubu içerisinde uzun zamandır bu konuyu çalışıyoruz. Bunların askeri operasyonlara yansımasıyla birlikte sivil tarafa da yansıması olacak. Mesela askeri tarafta artık drone-drone savaşlarını görmeye başlayacağız. Yeni geliştirilen kamikaze drone’ları ülkemizde de görüyoruz; dahası belirli bir bölgeye girip bilgi toplayıp geri dönen drone’lar gibi çalışmalar var. Sivil tarafta da mesela film çekimlerinde, özel görsellerin oluşturulması ile ilgili birtakım agresif operasyonel yaklaşımlar var. Biz araştırma grubu olarak bunların kontrolleri ile ilgili epeydir çalışıyoruz. Genelde bu araçlar çok küçük ve bu küçük sistemler üzerinde taşıyabileceğiniz işlemcilerin hesaplama yükleri çok düşük. Bundan dolayı çok karmaşık algoritmalar yazarak çalıştıramazsınız. Artık yapay zeka ile bu karmaşık algoritmaları çalıştırabilir hale getirmeye başladık. Bu proje de aslında bunun bir yansıması. Yani biz yapay zekayı bu sistemler üzerinde -oldukça küçük sistemler üzerinde- çalıştırıp, çok agresif seviyede kontrollerini yani engellerden kaçabilme, bir orman alanında uçabilme, bir mağaraya girip çıkabilme, açık gördüğü bir camın içerisinden girip geri çıkabilme vs. gibi konularda artık uygulayabilir hale geldik.

Projenizde kullandığınız İnsansız Hava Aracı Platformunu açıklayabilir misiniz?

Omar Shaadeh: Biz bu projede test çalışmalarımızı temelde dört rotorlu bir platform olan quadrotor üzerinde yaptık. Testlerimiz için ilk aşamada büyük ve yüksek maliyetli bir platform kullanıp algoritmalarımızı onun üzerinde uygulamak istemedik, çünkü başına başka bir durum gelseydi bizim için büyük bir kayıp olacaktı. Bu yüzden, 2016'da bir İsveç şirketi tarafından geliştirilen açık kaynak kodlu, küçük ve hafif olmasıyla bizim projemizin ihtiyaçlarını iyi karşılayan “CrazyFlie” kullanmaya karar verdik. Onunla birlikte VICON Sistemi’ni de kullanmaya başladık. İTÜ ARC’de sekiz VICON kameramız var. “CrazyFlie” üzerine eklediğimiz işaretçileri kullanarak, drone'un konumunu milimetre seviyelerinde bir doğrulukla tespit edebildik. Böylece projemizi uygulama şeklimiz iki katmana dönüştü. Yani denetleyicinin bir katmanı “CrazyFlie” içinde çalışıyordu ve bu yönelim belirleyicisiydi. Temel olarak açıları kontrol eden denetleyici budur. Bu denetleyici sayesinde istediğimiz açıyı elde edebiliyoruz. Dış katmanda pozisyon, hız ve ivme kontrolörü kullanıyoruz. Yani üretilen agresif manevra çıktıları “CrazyFlie”a gönderildi ve bu manevralar oldukça hızlı bir şekilde elde edilebildi.

Derin pekiştirmeli öğrenme (Deep Reinforcement Learning, DRL) nedir?

Emre Koyuncu: Derin Pekiştirmeli Öğrenme (Deep Reinforcement Learning) bizim de projemizde kullandığımız bir yapı. Derin öğrenme son zamanlarda özellikle büyük oyuncuların bu işin içerisine girmesiyle geliştirilmiş, aslında 1960’lardan bu yana bildiğimiz yapay sinir ağlarının farklılaşmış bir yapısı. Ancak özellikle GPU dediğimiz sistemlerin üzerinde derin yapay sinir ağlarının çok verimli çalışabilmesiyle birlikte çok hızlandılar ve bu algoritmalar dünyada herkesin erişebilir olduğu bir noktaya geldi. Ben de zamanında yüksek lisans çalışmalarında ilgilenmiştim; eskiden siz bu sistemleri kendiniz yazıyordunuz, uğraşıyordunuz, kendi kütüphanenizi oluşturuyordunuz, şimdi hazır kütüphaneler ortaya çıktı. Daha sonra biz bunları platformlara da entegre etmeye başladık. Nerede başladı? İlk olarak insansız otomotivlerle başladı. Yani insansız araçların karar verme sistemleri kural tabanlı dediğimiz metodları kullanırken, artık iş yapay zekanın kullanıldığı noktalara doğru gelmeye başladı. “Perception” denen görme, algılama, çok büyük problemlerdi. Kamerayla gördüğünüz, “O işaret nedir?”, “Gördüğünüz ışıklar nelerdir?”, “Kırmızı mı, yeşil mi?” gibi detayları algılayabilmesi zordu. Derin öğrenme birden bu problemlerin çözümü olmaya başladı. Bunlar karmaşık sistemlerdir, karar vermek çok kolay değildir. Özellikle de çevrenizde çok karmaşık noktalar varsa… Dur ya da geç işaretini beyaz arka planda görmek kolay ama karmaşıklık içerisinde o işareti algılamak, onun ne olduğuna karar vermek, oldukça zor bir problemdir. İşte yapay zeka, derin öğrenme bunları yapılabilir, üzerinde çalışılabilir ve hızlı bir şekilde özellikle gerçek zamanlı sistemler üzerinde uygulanabilir hale getirdi. Artık dünyanın da ilgi odağında. “Deep Reinforcement Learning”, bunun üzerine bir nokta daha koyulmuş, farklı optimizasyon algoritmalarının derin öğrenmeyle birleştirilmiş hali. Genelde bunlar offline çalışıyorlar, yani siz daha en baştan Reinforcement Learning ile sisteminiz hakkında birtakım optimizasyonları ve offline öğrenmeleri yapıyorsunuz. Daha sonra gerçek ortama koyduğunuzda sistemleriniz öğrendiği şekilde davranmaya başlıyor. Lineer, non-lineer sistemleri hatırlarsınız, lineer bir modelleme ile ne yapması gerektiğine karar vermek yerine sistemin dinamiği içerisinde bütün non-lineer ilişkilerin algılandığını ve öğrenildiğini düşünün. Yani bir non-lineer fonksiyon olarak öğreniyor ve siz bu non-lineer fonksiyonun ne olduğuyla çok ilgilenmiyorsunuz. Derin yapay sinir ağları kendi içerisinde bu ilişkileri tutabiliyor. Bu sayede derin öğrenme ve Deep Reinforcement Learning-yani optimizasyonun derin öğrenmeye entegre edilmiş hali- bu sistemleri artık yapılabilir ve çok hızlı çalışabilir noktaya getirdi. Biz de bu noktada çalışıyoruz. Derin öğrenme bizim için bir araç çünkü Reinforcement Learning’in (RL) farklı yapıları, onları daha verimli hale getirme çalışmalarımız var. Offline bir çevrede eğitip daha sonra gerçek dünyada da öğrenmenin devamlılığı, tecrübe aktarımının sürekli olması, havacılığa yönelik insansız hava araçları, kokpit içerisinde pilotun karar verme sistemleri gibi pek çok konuda çalışmalar yürütüyoruz.

Algoritmaların RL makine öğrenmesinde izlediği yollar nelerdir?

Mehmet Hasanzade: Bu projede ana sorumuz, bir insansız hava aracı uçarken engelle karşılaştığında bu engellerden agresif bir şekilde nasıl kaçabilir ve bunu optimal bir şekilde nasıl gerçekleştirebilir oldu. Normal şartlarda kullandığımız Reinforcement Learning algoritması hiçbir şey bilmeyen bir sistem, bir bebek gibi gerçekten. Bir şeyleri denediği zaman ailesinin verdiği komutlarla birlikte, doğru veya yanlış yaptığı söylene söylene bu bebek de belli bir noktada öğrenmeye başlıyor artık. Bizim kullandığımız Reinforcement Learning’in arkasındaki mantık da aynı şekilde işliyor. Sistem hiçbir şey bilmiyor fakat hızını ve açısını değiştirme gibi alabileceği aksiyonlar var. Bu farklı aksiyonları deneye deneye ve bizim aksiyonların sürekli doğru veya yanlış olduğunu söylememizle sistem, daha iyi bir şekilde uçmayı öğrenmiş oluyor. Bir engelden kaçmasını istiyoruz ama aracımızın bir büyüklüğü var. O yüzden belli bir güvenli uzaklık belirliyoruz. Mesafeyi belirliyor ve her zaman bu mesafede kaçmasını söyleyerek, birçok test yapıyoruz. Bu testler normalde bilgisayar ortamında yapılıyor. Aynı ortamı yine bir bilgisayar ortamında simülasyonda kurguluyoruz ve daha sonra birçok test gerçekleştiriyoruz. Birçok testten kastım, milyonlarca test. Bu testlerde ona doğru ve yanlışı göstere göstere, aracımız engellere çarpmadan, optimal bir şekilde kaçış manevraları üretmeye başlıyor. Projemizde ve yayınladığımız videoda da aracımızın karmaşık bir çevrede bu engellere çarpmadan optimal manevralarla kaçabilmesini gerçekleştiriyoruz.

IROS 2020 için hazırladığınız bu projeyi ilerleyen yıllarda hayatımızda görecek miyiz? Toplumsal katkısından bahsedebilir misiniz?

Emre Koyuncu: Dünyanın en büyük robotik konferansı olan IROS 2020’de yer robotları ve su robotları ile ilgili oldukça karmaşık karar verme, kontrol, yapay zekâ problemlerinin çalışıldığını görüyorsunuz. Havacılık alanı biraz daha zor. Hem operasyonları riskli hem de daha fazla karmaşıklık var. Biz özellikle durum uzayı açısından baktığımızda, geniş bir uzaya sahip ve bu açıdan karmaşıklığı daha fazla olan sistemler üzerine çalışıyoruz. Özellikle bu karmaşıklıkta problemleri çözdüğünüz zaman aslında probleme dair dünyaya da çözümler sunuyor oluyorsunuz. Mesela, şu anki uçaklardan konuşalım. TCAS diye adlandırdığımız, çarpışmadan kaçınma sistemleri var. Bunlar genelde geometrik algoritmalar ve kendi içinde optimizasyonundan daha çok kural tabanlı seçimler üzerinden ilerliyorlar. Ben ondan daha hızlıysam ve biraz yukarıdaysam tırmanıştayım ya da ben onun altındaysam, o bana doğru geliyorsa ben hızımı koruyayım onun geçmesini bekleyeyim gibi… Bunlar uçakların üzerinde doğrudan olan sistemler. Bu tip kendi kendine öğrenebilen, kendi kendini geliştirebilen sistemler artık doğrudan bu yapıların içerisine entegre olabilecekler. Bu sistemlerle büyük uçaklar için de çok güvenli bir dünya yaratıyoruz aslında. 3 mil öteden birbirlerini gördükleri zaman ayrıştırabilsinler. Şu an dünya zaten çok güvenli, neredeyse tek tip uçaklar var ve kendi içerisinde çok küçük farkları olan performans modelleri var. Ancak insansız hava araçlarının işin içine girdiğini, şehirlerde uçmaya başladığını, havalimanlarından kalkıp sizi şehirlere götüren taksiler gibi çalışan hava araçları olduğunu düşünün. Çok da uzak bir dünyadan bahsetmiyoruz, 4-5 yıl sonra biz bunları görmeye başlayacağız. Boeing ile burada ilk denemeleri yapmak üzere konuşuyoruz. Brezilya gibi farklı farklı ülkeler de buna başladı. Doktora eğitimim sırasında Massachusetts Institute of Technology (MIT)’deyken, Amazon’dan araştırmacılar drone’larla posta göndereceğiz diye bir sunum yapmışlardı. Nasıl yapacaklarını anlattılar ancak biz inanmadık. “Böyle bir şey mümkün olabilir mi?”, “Ne kadar uçabilirsiniz?”, “Ne kadar büyük filonuz olabilir?” diye sorular sormuştuk. 4-5 yıl sonra gerçek oldu… Yani aslında o kadar yavaş değil bu gelişmeler ve biz 4-5 yıl sonra her yerde insansız hava araçlarının birbirleriyle etkileşim içerisinde olduğu noktalara geleceğiz. İşte o zaman bu karmaşıklıkta bir sistemi kural tabanlı yapılarla, bizim sezgisel dediğimiz algoritmalarla çözmek mümkün olmayacak. Bu durumda kendi kendine öğrenen, kendi karmaşıklığını kendi içerisinde çözebilen karar verme sistemleri, yapay zekâ sistemleri olması gerekecek. Biz bu yapıları buralarda kullanacağız ve dediğim gibi hava araçları karmaşık problemler içeriyor, bu problemi çözdüğünüz zaman yerde de farklı sistemler için birtakım problemlere çözüm sunmuş oluyorsunuz.

Son dönem çalışmalarınızın odağında neler bulunuyor? Avrupa Birliği H2020-SESAR-ER Programı altında desteklenen diğer 3 proje hakkında kısaca bilgi verebilir misiniz?

Emre Koyuncu: Bu araştırma merkezinde, insansız hava araçlarıyla ilgili epeyce çalışmamız var. Türkiye’de özellikle savunma sanayiine yönelik farklı agresif uçabilen drone’lar üzerine çalışıyoruz. Aselsan, Havelsan gibi partnerlerimiz var. Büyük bir insansız hava aracı platformu geliştirmek hedefiyle bir savunma sanayi firmamız ile büyük bir projeye başlıyoruz. Yakında projenin lansmanını yapacağız. Bunun yanı sıra Avrupa Birliği projelerinde önemli partnerlerimiz var. Örneğin; Boeing ile performans modelleri karmaşık non-lineer denklemler üzerinde çalışılırken, bazı belirsiz olduğunu bildiğimiz parametreleri uçağın havada iken kendi kendine öğrenmesi ve bu şekilde daha da keskin bir şekilde o uçuş rotası ile ilgili hesaplamaları yapabilmesi gibi noktalarda çalışıyoruz. 3 adet Avrupa Birliği projemiz başlıyor. Bunlardan biri, bizim FACT diye adlandırdığımız projemiz. Yeni 5G gibi sistemlerin, farklı GNSS, GNC diye adlandırılan yeni nesil aviyoniklerin kullanılacağı uçuş sistemleri üzerine… Bu sistemleri genel havacılık, helikopter, insansız hava aracı özelinde çalışacağız. Bunların entegre edilerek operasyonlarda kullanılması ile bu sistemler şehirsel noktalara yaklaştığı zaman sadece uyduları kullanarak değil, baz istasyonları üzerinden de kendini lokalize etmeye başlayacak. Böylece karmaşıklıkları daha yüksek olan algoritmaları çalıştırabilecek, binalardan kaçabilecek ya da girilmesini istemediğimiz alanları baştan belirleyip girilmemesini sağlayabileceğiz. Hava sahalarında oyuncular çok farklılaşacak artık. Sadece büyük ticari uçaklardan bahsetmeyeceğiz. Aynı zamanda küçük insansız hava araçları, insanların kumanda ettiği, taksi olarak taşımada kullanılan sistemlerin her birinin aynı hava sahasında birlikte çalışabiliyor olması gerekecek. İşte, biz yeni Avrupa Birliği projemizde bunlar üzerine çalışmalar yapacağız. Diğer Avrupa Birliği projelerimiz de yine hava sahasının entegrasyonları ile ilgili. Uçakların performans modellerinin geliştirilmesi, hava ulaşım ağını bir bütün olarak görme ve hava sahası içerisinde karşılaşılabilecek bir problemi yine yapay zekâ kullanarak baştan algılayabilme ve buna bağlı olarak da birtakım operasyonel kararlar alabilme noktasında çalışmalarımız olacak. Bir diğeri ise ClimOp diye adlandırdığımız, daha büyük zaman skalalarında oluşan iklimsel değişikliklere nasıl ayak uydurabileceğimizle ilgili çalışmamız… İTÜ’de Avrupa hava sahasının bütün modelini ve simülasyonunu çalışıyoruz. Partnerlerimiz ise iklimsel değişikliği ile ilgili olarak operasyonlarda neyin değiştiğine odaklanacaklar. Bütün bu sistemin simülasyonunu, analizini ve optimizasyonunu burada İTÜ’de gerçekleştireceğiz. Bu çalışmalarımızla birlikte özellikle hava sahalarımızın değerlendirilmesi, analiz edilmesi, operasyonların optimizasyonunun yapılması gibi alanlarda da araştırmalarımız var.

Alışılagelmiş uygulamalar değişecek öyleyse…

Emre Koyuncu: Kesinlikle, artık bunların güvenlik açısından da değişmesi gerektiğini görüyoruz. Belki çok fazla havacılığa dair kaza görmüyoruz ama kazaya çok yakın noktalar hemen biz araştırmacıların radarına giriyor. Neden oluştuğu, sebeplerinin ne olduğu, pilotlarda eğitimle ilgili ne gibi sorunlar yaşandığı, bununla ilgili ne yapmamız gerektiği ve uçaklarda teknik olarak ne gibi sorunlar olduğu, bunları nasıl düzeltmemiz gerektiği gibi konularda sürekli canlı ve aktif kalan bir çalışma alanımız var. Biz de güvenlik konusunu her şeyin başında tutuyoruz ve bu merkez ve çalışma grubu olarak bunun tam merkezinde yer alıyoruz.

Dr. Öğr. Üyesi Emre Koyuncu Hakkında

İstanbul Teknik Üniversitesi Uçak Mühendisliği Bölümünde Dr. Öğretim Üyesi olarak çalışmaktadır. Doktora derecesini SESAR JU Doktora Bursiyeri olarak 2015 yılında İTÜ Uçak ve Uzay Mühendisliği Bölümü’nden alan Koyuncu, 2013-2014 yıllarında Boeing Research and Technology of Europe’da, 2014-2015 yıllarında Massachusetts Institute of Technology (MIT)’de misafir araştırmacı olarak çalışmalar yapmıştır. Araştırmaları yüksek performanslı siber-fiziksel sistemlerde yapay zekâ/optimizasyon-tabanlı kontrol ve olasılık teorisi uygulamaları üzerine odaklanmaktadır. Uygulama alanları; yüksek performanslı hava araçları, uçuş rotası planlama ve optimizasyonu, engelden kaçınma ve ayırma sistemleri, hava trafik kontrol sistemlerinde yüksek seviye otonomi, hava trafik ağı modelleri, uçuş yönetimi ve kokpit karar destek sistemleridir. Koyuncu H2020, SESAR, BOEING, ASELSAN, TAI, TÜBİTAK BİLGEM, STM, Türk Hava Yolları ve IGA gibi paydaşlar ile birçok araştırma ve endüstriyel projeler yönetmiş ve gerçekleştirmiştir. Yayımlanmış 50’den fazla yayını olan Koyuncu, 2015 yılında Boeing Kariyer Ödülü’ne layık görülmüştür. İTÜ Havacılık Enstitüsü Yönetim Kurulu üyesi ve İTÜ Havacılık ve Uzay Teknolojileri Uygulama ve Araştırma Merkezi’nde (İTÜ ARC), Kontrol ve Aviyonik Araştırma Grubu Direktörü olan Koyuncu’nun araştırma grubunda yaklaşık 20 doktora ve yüksek lisans öğrencisi çalışmaktadır. Ayrıca IEEE Access Journal’da Associate Editor ve IEEE Control Systems Society on Hybrid Systems teknik komite üyesidir.