- Avrupa Bilim ve Teknoloji Dergisi
- Issue: 31
- A Benchmark for Feature-injection Architectures in Image Captioning
A Benchmark for Feature-injection Architectures in Image Captioning
Authors : Rumeysa Keskin, Özkan Çayli, Özge Taylan Moral, Volkan Kiliç, Aytuğ Onan
Pages : 461-468
Doi:10.31590/ejosat.1013329
View : 16 | Download : 4
Publication Date : 2021-12-31
Article Type : Research
Abstract :Görüntü altyazılama olarak bilinen, bir görüntüyü dilbilgisel ve anlamsal olarak doğru bir cümle olarak tanımlama, bilgisayarlı görme ve doğal dil işleme alanlarındaki son gelişmelerle birlikte önemli ölçüde ilerlemiştir. Bu iki alanın birleştirilmesi, çıkarılan özniteliklerin altyazı oluşturmada nasıl kullanılacağını tanımlayan öznitelik enjeksiyon mimarisinin geliştirilmesine öncülük etmiştir. Bu çalışmada, bilgisayarlı görme ve doğal dil işleme tekniklerini kodlayıcı-kod çözücü tabanlı görüntü altyazılamada kullanan öznitelik enjeksiyon mimarilerinin bir karşılaştırılması raporlanmaktadır. Kıyaslama değerlendirmelerinde, Inception-v3 evrişimsel sinir ağı, kodlayıcıda görüntü özniteliklerini çıkarmak için kullanılırken; init-inject, pre-inject, par-inject ve merge gibi öznitelik enjeksiyon mimarileri altyazı üretmek için çok katmanlı kapılı tekrarlayan birim ile kod çözücüde uygulanmaktadır. Mimariler sekiz performans metriği ile MSCOCO veri kümesi üzerinde kapsamlı bir şekilde değerlendirilmiştir. 3 katmanlı GRU ile init-inject mimarisinin altyazı doğruluğu açısından diğer mimarilerden daha iyi performans gösterdiği sonucuna varılmıştır.Keywords : Evrişimsel Sinir Ağları, Öznitelik Enjeksiyon Mimarileri, Kapılı Tekrarlayan Birim