Yapay zekâ (YZ) teknolojisinin uygulama alanlarındaki patlama, havacılık araştırmacıları ve geliştiricilerinin dikkatinden kaçmadı ve kameralar ve göz takibiyle ilgili ilginç bir kullanım alanı ortaya çıktı. Fikir şu ki, bir pilotun gözlerini görebilen ve yakalanan verileri analiz edebilen bir sistem, bilişsel aşırı yüklenmeyi (bazen tünel görüşü olarak da adlandırılır) tespit etmekten ve tahmin etmekten yorgunluğa, hareket hastalığına ve hatta Parkinson veya beyin hasarı gibi hastalıklara kadar her şeyi yapabilir. HarmonEyes ve Honeywell Aerospace adlı iki şirket yakın zamanda bu alanda araştırmalarını açıkladı ve aşağıda bu teknolojinin geleceğin kokpitine nasıl girebileceği özetleniyor.
Pilot yorgunluğu uzun süredir devam eden bir güvenlik endişesi olup, kokpit iş yükünün nasıl yönetilebileceği ve teknolojinin nasıl güvenlik önlemleri sağlayabileceği konusunda yeniliklere yol açmıştır. İngiliz Havayolu Pilotları Birliği’nin 2013 yılında yaptığı bir araştırmaya göre, pilotların %56’sı görevdeyken uyuyakalmış, katılımcıların %29’u ise uyandıklarında yardımcı pilotlarının da uyuduğunu fark etmiştir.
Honeywell Aerospace, ticari yolcu uçakları için geliştirdiği Pilot Durum İzleme çözümüyle bu sorunu ele alıyor. Proje, AB destekli SESAR-3 projesi olan İş Yükünü Azaltmak ve İşbirliğini Artırmak için Dijital Asistanlar (DARWIN) projesinin bir parçasıdır.
Sistem, gerçek zamanlı kamera görüntülerini, pilotun yüz ifadelerini ve olası anormallikleri tespit edip işlemek için yapay zekâ (YZ) kullanan bir yazılımla birleştiriyor. Honeywell’e göre, uyku ve uyuşukluk unsuru halihazırda teknoloji hazırlık seviyesi (TRL) 6’ya ulaşmışken, pilotun görev yapamaz hale gelmesini tespit etme yeteneğinin de önümüzdeki yıl aynı olgunluğa ulaşması bekleniyor.
Çek Cumhuriyeti’nin Brno kentindeki grubun araştırma ve geliştirme merkezinde düzenlenen son bir basın toplantısında konuşan Project Darwin’in kıdemli yazılım mühendisliği sorumlusu Bohdan Blaha, kokpitte uyuşukluk veya yetersizlik tespit etmenin otomobil sürücülerine göre önemli ölçüde daha zor olduğunu açıkladı. Bunun nedeninin, pilotların genellikle dikkatlerini gösterge panellerinden diğer görevlere kaydırmaları ve ayrıca uçak içinde hareket etme veya hatta uçağın kontrollerini terk etme konusunda daha fazla özgürlüğe sahip olmaları olduğunu belirtti.
Honeywell’in teknolojisi, göz pozisyonu gibi yüz özelliklerini gerçek zamanlı olarak izlemek için tek renkli bir kamera kullanıyor; göz kırpma, göz kapanma süresi, esneme ve genel kafa duruşu gibi parametreler her 30 saniyede bir işleniyor. Ardından bir yapay zeka algoritması, pilotun uykulu mu, tamamen uyuyor mu yoksa başka bir şekilde görev yapamaz durumda mı olduğunu tespit edebiliyor.
Uyarılar Pilotları Gizli Bir Şekilde Uyandırıyor
Pilotlar daha sonra sesli uyarı alarmlarıyla daha dikkatli olmaya teşvik edilebilirler. Gizlilik ilkesi gereği, Honeywell’in gerçek zamanlı sistemi olaylardan elde edilen verileri paylaşmaz veya kaydetmez. Honeywell diğer akıllı saatler veya diğer “giyilebilir” teknolojilerle denemeler yapmış olsa da, Blaha bu cihazlardan elde edilen verilerin paylaşılmasının gizlilik endişelerine yol açabileceğini açıkladı. Bu yaklaşım, pilotların cihazı takmayı unutması veya pillerin bitmesi durumunda da sekteye uğrayabilir.
Devam eden değerlendirmelerin bir parçası olarak Honeywell, test uçaklarından elde edilen gerçek dünya verilerini simülatör tabanlı denemelerle birleştirdi. Bu kapsamda, sistemin uyarı işlevselliğini çeşitli uykululuk aşamalarında doğrulamak için çok sayıda yorgun Brno çalışanı davet edildi.
Güneş gözlüğü ve şapka gibi aksesuarların da sistemin işlevselliği üzerinde olumsuz bir etkisi olmadığı tespit edildi. Blaha, tıbbi bir acil durum gibi bir şey nedeniyle uçuş yapamaz hale gelen bir pilotun simülasyon yoluyla doğrulanmasının daha zor olduğunu kabul etse de, sistemin yine de faydalı olacağını belirtti. Örneğin, gelecekteki tek pilotlu kokpitlerde ek bir güvenlik koruma katmanı olarak kullanılabilir.
ainonline.in haberine göre, Honeywell’in Beech Bonanza, Falcon F900 ve Boeing 757 test uçaklarında gerçekleştirilen başarılı testlerin ardından, projenin kapsamı 2025 yılında Embraer 170 yolcu uçağını da içerecek şekilde genişletildi. Ayrıca, kimliği açıklanmayan bir havayolu şirketi de 18 aydır Airbus A321 uçağında pilot izleme sistemini test ediyor ve DARWIN projesinin 2026’da tamamlanmasının ardından sistemin hizmete girmesi potansiyeli bulunuyor.
Göz izleme teknolojisini laboratuvar ortamından çıkarıp pratik uygulamalara taşımak amacıyla 12 yıl önce RightEye adında bir şirket kuran kurucu ortaklar Adam Gross ve Melissa Hunfalvay, HarmonEyes adında yeni bir bölüm başlattılar. RightEye, orduya, hükümete, profesyonel sporlara, hastanelere ve tıp kullanıcılarına binlerce göz izleme cihazı satmıştı, ancak teknoloji, her yerde bulunan kameraları yapay zeka araçlarıyla birleştiren yeni göz izleme çözümleri tasarlamayı mümkün kılacak şekilde birleşiyordu. RightEye donanımı, örneğin bir kokpit gibi kapalı bir ortamda kullanılmak için çok karmaşıktır, ancak akıllı telefon kameraları veya hatta bireysel kameralar için durum böyle değildir.
Gross, HarmonEyes yazılım geliştirme kitinin (SDK) herhangi bir göz izleme verisi depolamak üzere tasarlanmadığını açıkladı. Sistem her saniye çıktı verdiğinden, önceki saniyenin verilerini yok ediyor. “Göz izleme verilerinin hiçbirini depolamıyoruz, toplamıyoruz veya kaydetmiyoruz,” dedi. “Çıktıyı müşteriye iletiyoruz ve müşterinin pilotlarından ve kullanıcılarından onay alması ve bunu istediği gibi kullanması gerekiyor.”
Gross, “HarmonEyes, RightEye cihaz iş kolundan, bilişsel yük, yorgunluk ve Parkinson hastalığı ve travmatik beyin hasarı gibi beyin sağlığı belirtileri gibi performansa dayalı ölçütleri işaret eden yaklaşık 15 milyon benzersiz göz hareketi kaydına erişebiliyordu” dedi.
“Yapay zeka modellerini eğitebileceğimiz bu devasa veri setine sahibiz. Ancak asıl dönüm noktası, göz izleme sinyalini çıkarmanıza olanak tanıyan temel teknolojinin çoğunlukla kamera tabanlı olmasıydı. On yıl önce bunun için özel donanıma ihtiyacımız vardı. Şimdi ise, ister bilgisayarınızdaki bir web kamerası, ister bir telefon, bir tablet, ister kokpitteki karma gerçeklik başlığı olsun, bu kameralar daha iyi, daha hızlı, daha ucuz ve biz de bakış vektörlerini veya göz izleme sinyalini çıkarabiliyoruz.”
Bu durum, bilişsel yük, yorgunluk ve hareket hastalığını ele alan, yapay zeka kullanan performansla ilgili üç aracın geliştirilmesine yol açtı. Gross, bilişsel yükü “bir kişinin bir görevi yerine getirirken harcadığı zihinsel çaba düzeyi ve ardından ortaya çıkan sürprizlerle veya yeni şeylerle başa çıkma kapasitesinde sahip olduğu rezervin ölçülmesi” olarak açıkladı.
Yapay zekanın yardımcı olduğu alan sadece göz izleme verilerini analiz etmek değil, aynı zamanda tahmine dayalı modeller oluşturmaktır. Amaç, örneğin bir pilotun aşırı yüklendiği ve yanlış zamanda yanlış göreve odaklandığı durumlarda müşterilere reaktif bir çözüm oluşturmalarına yardımcı olmak değildi.
“Eğer size bilişsel aşırı yüklenme durumunda olduğunuzu söylersem, ki bu bir uçak uçururken riskli bir durumdur, o zaman çok geçtir. Zaten aşırı yüklenmiş olursunuz. Yaptığımız şey, yapay zekayı ve zaman serisi verilerini kullanarak tahmine dayalı modeller oluşturmak ve böylece aşırı yüklenme durumuna, yüksek yorgunluk seviyesine ve hatta hareket hastalığına ne zaman ulaşacağınızı tahmin eden bir zaman göstergesi sunmaktır. İşte bu bizim farkımız.”
Gross’un “sorunlu bir durum” olarak adlandırdığı şeye doğru ilerleyen bir kişinin farkında olmak, tercihen bilişsel aşırı yüklenme başlamadan önce olası müdahalelere olanak tanır. “Eğer birisi aşırı yüklenmişse, kararı yardımcı pilota devredebilirsiniz,” dedi. “Sistem müdahalesi (örneğin dokunsal geri bildirim, işitsel uyarılar veya yapay zeka ajanı tarafından yönlendirilen diğer teknolojiler) olabilir. Bu, olan bitenin bağlamına bağlıdır. Ancak bu içgörüye sahip olmak, birinin sorunlu bir duruma ulaşacağını bilmek, paydaşın bu müdahaleyi gerçekleştirmesini sağlayabilir ve birkaç farklı müdahale olabilir. Eğer o anda olanların ikili veya üçlü görev unsurlarını ortadan kaldırabilirseniz, pilotun zihinsel kapasitesini ve rezervini artırabilirsiniz.”
Bir eğitim ortamında, eğitmen yüksek bilişsel yük gerektiren bir durumun gelişmesine izin verebilir, ardından değerlendirme toplantısında sorunu ele alabilir ve tekrarlanmasını önlemek için yeniden eğitim verebilir.
HarmonEyes nihayetinde, tespit sistemine entegre edilecek ve otonom müdahale sağlayacak yapay zekâ ajanları sunmayı planlıyor. Bu teknolojinin bir diğer kullanım alanı ise, uzman ve acemi pilot profillerini karşılaştırmak için verilerin kullanılması olabilir; bu da eğitim ve işe alım programlarına rehberlik etmeye yardımcı olabilir.
Bu fikri daha da genişletirsek, HarmonEyes, deneyimli ve yorulmamış bir pilotun orta düzeyde bilişsel yük altındayken kokpitte tam olarak nereye baktığını değerlendirerek, doğru zamanda doğru göstergeleri veya ekranları görüp görmediğini doğrulayabilir.
HarmonEyes halihazırda NASA, ordu ve havayolları ile Formula 1 pilot eğitim simülasyon programlarıyla çalışıyor.
Gross, “Gerçekten değer kattığımız nokta, uçak içi sistemin pilotun içinde bulunduğu durumu anlamasıdır.” derken, “Bu, bağlamsal yapay zekâ gibidir. Ortamı, görevi, durumu ve ardından pilotu anlıyor ve bu üç şeyi bir araya getirdiğinizde gerçek bağlamsal yapay zekâ elde ediyorsunuz ve sadece üstün performans sunmakla kalmayıp aynı zamanda felaket olaylarından kaçınma açısından da değerini hayal etmeye başlıyorsunuz.” vurgusunda bulundu.
