- Gazi Üniversitesi Fen Bilimleri Dergisi Part C: Tasarım ve Teknoloji
- Vol: 9 Issue: 2
- Investigation of the Standard Deviation of Ornstein - Uhlenbeck Noise in the DDPG Algorithm
Investigation of the Standard Deviation of Ornstein - Uhlenbeck Noise in the DDPG Algorithm
Authors : Mustafa Can Bingol
Pages : 200-210
Doi:10.29109/gujsc.872646
View : 21 | Download : 6
Publication Date : 2021-06-27
Article Type : Research
Abstract :Pekiştirmeli öğrenme, birçok canlının yemek yeme ve yürüme gibi beceriler kazanmak için genellikle farkında olmadan kullandığı bir öğrenme yöntemidir. Bu öğrenme yönteminden ilham alan makine öğrenmesi araştırmacıları, değer öğrenme ve politika öğrenme olarak bu öğrenme yöntemini alt başlıklara indirgemişlerdir. Yapılan bu çalışmada politika öğrenme algoritmalarından biri olan derin deterministtik politika gradienti (deep deterministic policy gradiend-DDPG) yönteminin gürültü standart sapması RR robotunun ters kinematik çözümü için incelenmiştir. Yapılan bu inceleme için eylem yapay sinir ağının çıkışının maksimum değerine bağlı olarak 8 farklı fonksiyon belirlenmiştir. Oluşturulan yapay sinir ağları, bu fonksiyonlar kullanılarak her bir iterasyonda 200 adım olacak şekilde 1000 iterasyon eğitilmiştir. Eğitim sonrasında gruplar arası istatistiksel fark bakılmış ve en iyi üç grup arasında istatistiksel fark olmadığı saptanmıştır. Bu nedenle en iyi üç grup 2500 iterasyon ve 200 adım yeniden eğitilmiş ve eğitim sonrasında 100 farklı test senaryosu için test edilmiştir. Test işleminden sonra minimal hatalar ile RR robotunun ters kinematik denklemi yapay sinir ağları yardımı ile elde edilmiştir. Sonuçlar ışığında, gürültünün standart sapması seçiminin önemi ve hangi aralıkta seçilmesinin daha doğru olacağı bu alanda çalışacak olan araştırmacılar için sunulmuştur.Keywords : Derin Deterministtik Politika Gradient (DDPG), Ornstein–Uhlenbeck Gürültüsü, Pekiştirmeli Öğrenme, Ters Kinematik