- El-Cezeri
- Vol: 9 Issue: 4 Özel Sayı
- Derin Öğrenme ve Görüntü İşleme Yöntemlerini Kullanarak Yüz ve Göz Hareketleri İle Bilgisayar Kontro...
Derin Öğrenme ve Görüntü İşleme Yöntemlerini Kullanarak Yüz ve Göz Hareketleri İle Bilgisayar Kontrolü
Authors : Muhammet Fatih Çapşek, Abdulkadir Karaci
Pages : 1170-1177
Doi:10.31202/ecjse.1131377
View : 13 | Download : 8
Publication Date : 2022-12-31
Article Type : Research
Abstract :Günümüzde bilgisayar kullanımı her insan için temel ihtiyaçlardan biridir. Bilgisayar kullanımında fare ile birçok işlem gerçekleştirilmektedir. Bilgisayar ile fiziksel temas sağlamakta zorlanan, fiziksel engelli, boyundan aşağısı felçli veya ALS hastası bireyler bilgisayar kullanmakta zorlanmaktadırlar. Bu çalışmada bu bireyler için kafa ve göz hareketleri ile fareyi kontrol edebilecekleri yapay zeka destekli bir sistem geliştirilmiştir. Bu sistemde, kamera üzerinden elde edilen görüntülerden Haar Cascade, Dlib ve Open CV kütüphaneleri vasıtasıyla gerçek zamanlı olarak yüz hareketleri ve gözler tespit edilmektedir. Haar Cascade yüz bölgesini tespit etmek için kullanılırken, Dblib kütüphanesi tespit edilen bu yüz görüntüsünden sağ ve sol göz bölgesi görüntülerini elde etmek için kullanılmaktadır. Elde edilen bu göz bölgeleri görüntüleri 2874 göz verisiyle (https://github.com/iparaskev/simple-blink-detector) eğitilen CNN modeline giriş olarak verilmekte ve gözün kapalı ya da açık olduğu tespit edilmektedir. CNN modeli 1500 açık ve 1374 kapalı göz durumunu temsil eden halka açık göz görüntü veri seti üzerinde eğitilmiştir. Sol gözün kapatılıp açılma durumu farenin sol tıklamasını, sağ gözün kapatılıp açılma durumu ise farenin sağ tıklamasını sağlamaktadır. Bunun yanı sıra, fare hareketini modellemek için Haar Cascade ile tespit edilen yüzün konumu kullanılmaktadır. Geliştirilen sistem farklı yöntemlerin birleştirildiği gerçek zamanlı çalışan hibrit bir sistemdir ve farklı kullanıcılar üzerinde test edilmiştir. Test sonuçlarına göre sistemin gözleri ve bu gözlerin açık kapalı durumunu doğru bir şekilde tespit ettiği, her iki göz içinde göz kırpma olayını CNN ile doğru bir şekilde sınıflandırdığı gözlenmiştir. Ancak fare hareketinin modellenmesinde yavaşlık ya da yüz hareketine tam uyum sağlamama durumlarının yaşandığı tespit edilmiştir. Gelecek çalışma olarak bu sorun üzerine odaklanılacak ve birçok kişiden elde edilen verilerle sistem üzerinde ince ayar yapılarak iyileştirilmesi sağlanacaktır.Keywords : Haar cascade, cnn, dlib, görüntü işleme, fare kontrolü