- Avrupa Bilim ve Teknoloji Dergisi
- Issue: 35
- Resnet based Deep Gated Recurrent Unit for Image Captioning on Smartphone
Resnet based Deep Gated Recurrent Unit for Image Captioning on Smartphone
Authors : Betül Uslu, Özkan Çayli, Volkan Kiliç, Aytuğ Onan
Pages : 610-615
Doi:10.31590/ejosat.1107035
View : 9 | Download : 3
Publication Date : 2022-05-07
Article Type : Research
Abstract :Görüntü altyazılama, görsel içerikler için dilbilgisel ve anlamsal olarak uygun doğal dil cümleleri oluşturmayı amaçlamaktadır. Geçitli tekrarlayan birim (GRU) tabanlı yaklaşımlar, son zamanlarda altyazı oluşturmadaki performanslarından dolayı büyük ilgi görmektedir. Kaybolan gradyan problemi ve derin ağlardaki ilgili bilgi akışının modülasyonunu sağlanması GRU'daki başlıca zorluklardır. Bu çalışmada, ilgili bilgilerin çoklu GRU katmanları kullanılarak aktarılmasını sağlamak, ve kaybolan gradyan sorununun üstesinden gelmek için resnet tabanlı bir derin GRU yaklaşımı önerilmektedir. Derin GRU'nun ardışık katmanları arasında artık bağlantılar kullanılmasıyla alt katmanlardan üst katmanlara doğru gradyan akışının iyileştirilmesi sağlanmıştır. Yaygın olarak kullanılan MSCOCO veri seti üzerindeki deneysel araştırmalar, önerilen yaklaşımın son yaklaşımlarla karşılaştırılabilir performans sağladığını göstermiştir. Ayrıca bu yaklaşım, internet bağlantısı olmaksızın altyazı oluşturma olanağı sunan ve sesle kontrol edilebilen bir arayüzü olan kendi tasarladığımız Android uygulamamıza CaptionEye gömülmüştür.Keywords : Kapılı Tekrarlayan Birim, Artık Bağlantı, Görüntü Altyazılama, Android Uygulama.