- Avrupa Bilim ve Teknoloji Dergisi
- Issue: 32 Special Issue
- Mitigating Data Imbalance Problem in Transformer-Based Intent Detection
Mitigating Data Imbalance Problem in Transformer-Based Intent Detection
Authors : Osman BÜYÜK, Mustafa ERDEN, Levent ARSLAN
Pages : 445-450
Doi:10.31590/ejosat.1044812
View : 9 | Download : 3
Publication Date : 2021-12-31
Article Type : Research
Abstract :Bir niyet tespiti uygulamasını yeni bir müşteri için gerçekleştirirken iki temel problem ile karşılaşılmaktadır. İlki müşteriden gelen alana özgü veri miktarının genellikle az ve her sınıftan dengesiz sayıda örnek içermesidir. Ayrıca, müşteriler benzer alanlarda bir uygulama gerçekleştirmek isteseler de, belirledikleri niyet kategorileri genellikle farklı olmaktadır. Bu durum, farklı müşteriler için toplanan verilerin tek ve daha büyük bir veri seti haline getirilmesini zorlaştırmaktadır. Bu çalışmada veri dengesizliği problemini azaltmak için kayıp fonksiyonunda sınıf ağırlıkları kullanılmıştır. Sınıf ağırlıkları, eğitim verisinde az örneği olan sınıflara daha fazla ağırlık vermek için, sınıftaki örnek sayısı ile ters orantılı olarak belirlenmiştir. Ayrıca, benzer alanlarda toplanmış veri setlerindeki bilgiden faydalanmak için iki uyarlama aşaması olan bir transfer öğrenme yöntemi denenmiştir. Deneylerde, ağırlıklı kayıp fonksiyonu ile iki aşamalı transfer öğrenme yönteminin birlikte kullanılmasının niyet tespiti sınıflandırma başarımını önemli oranda arttırdığı gözlenmiştir. Yüzde tanıma oranındaki net artış dönüştürücü tabanlı referans sisteme göre %2 olarak gerçekleşmiştir.Keywords : Niyet Tespiti, Derin Öğrenme, Dönüştürücüler, Veri Dengesizliği, Transfer Öğrenme