- Avrupa Bilim ve Teknoloji Dergisi
- Issue: 32 Special Issue
- Kısa Metinlerin Sıkıştırılması için BERT Tabanlı bir Yöntem
Kısa Metinlerin Sıkıştırılması için BERT Tabanlı bir Yöntem
Authors : Emir ÖZTÜRK, Altan MESUT
Pages : 177-182
Doi:10.31590/ejosat.1039450
View : 9 | Download : 5
Publication Date : 2021-12-31
Article Type : Research
Abstract :Veri aktarımı ve saklanmasında veri sıkıştırma algoritmalarının kullanılması, aktarım süresi ve saklama maliyeti açısından avantaj sağlamaktadır. En çok üretilen veri türlerinden biri olan doğal dildeki metinlerin sıkıştırılması için farklı yöntemler bulunmaktadır. Geleneksel birçok yöntem kısa metinlerin sıkıştırılmasında başarı gösterememektedir. Kısa metinlerin sıkıştırılması için genel amaçlı sıkıştırma yöntemlerinden daha farklı yöntemlere ihtiyaç duyulmaktadır. Bu çalışmada BERT’in tahmin mekanizmasını kullanan bir kısa metin sıkıştırma algoritması önerilmiş ve geleneksel yöntemler ile karşılaştırılmıştır. Ayrıca önerilen yöntemin başarısı farklı parametreler ve modeller için incelenmiş ve karşılaştırılmıştır. Önerilen yöntem Gzip, Bzip2 ve Zstd gibi bilinen algoritmalara göre %39’a kadar daha başarılı sıkıştırma oranları elde etmiştir.Keywords : Veri Sıkıştırma, Kısa Metin Sıkıştırma, BERT