Dağıtık Mesajlaşma Altyapısı Kullanılarak Büyük Boyutlu Verilerin Gerçek Zamanlı Olarak İşlenmesi

Authors : Ahmet Toprak, Abdül Halim Zaim

Pages : 45-52

View : 28 | Download : 11

Publication Date : 2021-01-15

Article Type : Research

Abstract :Günümüzde IoT (Internet of Things – Nesnelerin İnterneti) cihazların kullanımındaki artış beraberinde yüksek yoğunluklu ve farklı çeşitte verilerin oluşmasına sebep olmuştur. IoT cihazlarından toplanan bu verilerin formatları, şekilleri ve yoğunlukları birbirinden tamamen farklıdır. Bu verilerin anlık olarak işlenmesi ve ilgili kullanıcıya anlık olarak iletilmesi gerekmektedir. Bu makalede, IoT cihazlarından elde edilen verilerin işlenmesi ve son kullanıcıya anlık olarak iletilmesi amacıyla bir model tasarlanmıştır. Çalışmada öncelikli olarak IoT cihazlarından toplanan yapısal olmayan veriler veri ön işleme adımlarına tabi tutulmuştur. Veri ön işleme adımları sonrası elde edilen verilerden anlamlı kelimeler tespit edilmiştir. Bu amaçla TF-IDF metrikleri uygulanmıştır. Anlamlı kelime tespiti sonrası her anlamlı kelimenin konusuna verileri anlık işlemek amacıyla Rabbit MQ dağıtık mesaj işleme kuyruğuna yönlendirilmiştir. Böylece mesajların iletilmesini garanti altına alıyoruz. Rabbit MQ kuyruğuna iletilen mesajların anlık olarak alınması ve işlenmesi amacıyla Apache Storm topolojisi kullanılmıştır. Garantili mesaj işleme alt yapısı kullanan Apache Storm topolojisi, mesajları RabbitMQ dağıtık kuyruklama teknoloji üzerinden okuyup, yapması gereken işlem ve hesaplamaları yaptıktan sonra çıktıları Elasticsearch içerisinde saklayacaktır. Apache Storm topolojisi içerisinde üretilen sonuçlar daha sonra REST API mimarisi kullanılarak son kullanıcı ile paylaşılacaktır.
Keywords : Nesnelerin İnterneti, Büyük Veri, Rabbit MQ, TF-IDF Metrikleri, Apache Storm