- Erciyes Üniversitesi Fen Bilimleri Enstitüsü Dergisi
- Vol: 38 Issue: 1
- Yönsel Türev Tabanlı Yakınsama Yaklaşımlarının Karşılaştırmalı Analizi
Yönsel Türev Tabanlı Yakınsama Yaklaşımlarının Karşılaştırmalı Analizi
Authors : Ersan Yazan, Muhammed Fatih Talu
Pages : 137-146
View : 14 | Download : 6
Publication Date : 2022-04-30
Article Type : Research
Abstract :Yönsel türev tabanlı yakınsama yaklaşımları, doğrusal olmayan bir maliyet fonksiyonunu (J(θ)) minimize veya maksimize etmek için θ parametre vektörünü iteratif olarak güncelleme mantığına dayanmaktadır. Yapay öğrenme alanında sık kullanılan bu yaklaşımlarla güncelleme yapılırken maliyet fonksiyonunun ilgili parametreye göre yönsel türev bilgisi kullanılır. Bu çalışmada, literatürde kabul görmüş türev tabanlı yaklaşımların (Gradient Descent, Momentum, Adadelta, Adagrad, Rms, Adam, Newton ve BFGS) doğrusal olmayan fonksiyonlar üzerindeki yakınsama performansları incelenmiştir. Yaklaşım performanslarını kıyaslayabilmek için optimal noktaya yakınsama hızı ve toplam hesaplama maliyeti kıstasları değerlendirilmiştir.Keywords : Yönsel türev, Momentum, Adadelta, Adagrad, Adam, Newton