Graylog; hız ve düşük kaynak tüketimi için, arama ve analiz işlemlerini optimize etmek amacıyla, bir veya daha fazla Elasticsearch indeks setini yönetmektedir. Elasticsearch verileri indeksleyerek saklar ve log araması yapacağımız zaman belirli indeks setinin içinde arama yapılarak, sonuçlar hızlı bir şekilde listelenir.

Graylog ilk kurulduğunda varsayılan olarak “Default index set” indeksi mevcuttur ve Graylog sunucumuza gelen tüm loglar bu indeks içinde toplanır. Log gönderen cihaz ve uygulamalara göre indekslerimizi kategorize etmek, bu kategorilere göre indeksleri oluşturmak ve yönetmek doğru bir kullanım olacaktır.

İndeks Oluşturma

Evet, şimdi ilk indeksimizi oluşturalım.

Menüden System > Indices tıklayalım. İndekslerin listelendiği ana görünüm açılacaktır. Burada Default index set’in varsayılan olarak seçili olduğunu görebiliyor olacaksınız.

Sağdaki “Create index set” butonuna tıklayalım. Bazı cihazlar ve uygulamalarda her ne kadar log seviyesi belirlenebiliyor olsa da, bazılarında belirlenemiyor. Bu seviye ihtiyacınız olan kadar seçilmiş olsa da, gerekli logların arasında illa ki gereksiz loglar da olabiliyor. Bu yüzden, gereksiz logların toplanacağı bir indeks oluşturmayı prensip olarak belirlemeniz önerilir. Bu indeks yönetiminiz için faydalı olacaktır.

Burada Title, Description ve Index prefix kısımlarını isteğinize göre doldurunuz. Ben düzenli olması açısından aşağıdaki gibi doldurdum. Analyzer ve Index shards, Index replicas, Max. number of segments, Field type refresh interval kısımları varsayılan olarak bu şekilde gelmektedir, ben de bu şekilde bırakıyorum.

Index Message Count, Index Size ve Index Time olarak 3 seçenek geliyor. İlk seçenekte indeks yani log mesaj sayısını belirtebiliyorsunuz. İkinci seçenekte byte cinsinden indeks boyutunu belirtebiliyorsunuz. Üçüncü seçenekte ise ISO8601 standartına göre süre belirtebiliyorsunuz. Burada mesela P2M 2 ay, P1D 1 gün, PT6H 6 saat anlamına geliyor. Saat veya gün bazında süreyi belirtebilirsiniz. Ben mesaj sayısı belirtiyorum. 200000 mesaj olduğunda bu indekse mesaj almayı bıraksın, yeni indekse geçsin istiyorum.

Mesaj sayısını belirttikten sonra maksimum indeks sayısını ve maksimum sayıya ulaşınca hangi aksiyonu alması gerektiğini belirtiyorum. Bize 4 adet eylem stratejisi sunuyor; Archive Index, Delete Index, Close Index, Do nothing. Örneğin görseldeki gibi maksimum indeks sayısı 20 olarak seçiyorum. 21 indekse ulaştığında seçtiğim eyleme göre en eski indeksi arşivler, siler, kapatır ve indekse hiçbir şey yapmaz. Yukarıda da belirttiğim gibi 200000 mesaj olduğunda indekse mesaj toplamayı bırakmasını, yeni indekse geçmesini, toplam indeks sayısı 21 olduğunda da en eski indeksi silmesini istedim.

Böylelikle Graylog’a gelen logları kategorize ederek, mesajları daha verimli yönetmeyi, depolama alanını daha verimli kullanmayı gerçekleştirdik.

Graylog İndeks Yönetimi yazısı ilk önce Bilgi Ambarı üzerinde ortaya çıktı.

Graylog stream; sunucuya gelen tüm mesajların içinden, belirli kriterlere göre belirlenmiş mesajların ayrıldığı ve görüntülendiği alanlardır. Bir stream içinde kurallar oluşturup (belirli bir Windws Event ID’ye göre, mesaj içeriğindeki bir kelimeye göre, mesaj içeriğindeki bir kelimeyi içermemesine göre vb.) gelen mesajları filtreleyebilirsiniz. Daha sonra bu stream sonuçlarını Dashboard’lara aktarıp, log sayılarını görüntüleyebilirsiniz.

Stream Yönetimi

İlk olarak menüden Streams seçerek tüm streamlerin listelendiği alana geliyoruz. Burada “All messages” adında varsayılan olarak bir stream mevcuttur. Sunucuya gelen tüm loglar bu streamde toplanır ve loglar Default index set indeksine aktarılır. Stream düzenini bu şekilde çalışmak verimsiz ve kullanışsız olur. Dolayısıyla burayı kategorize etmek sağlıklı olacaktır. Örneğin; Windows sunucularda gerçekleşen RDP oturum açma/oturum kapatma ve dosya sunucularında dosya silme/oluşturma/kopyalama vb. loglarını topluyorsunuz. Bunun için oturum logları için bir stream, dosya silme logları için bir stream, dosya oluşturma için bir stream, dosya kopyalama için bir stream gayet mantıklı olacaktır.

Stream Oluşturma

Create Stream’e tıklayalım.

Açılan pencerede Title ve Description’ı istediğiniz gibi doldurabilirsiniz. Ben ilk olarak gereksiz logların toplandığı bir stream oluşturmak ve logları daha güzel kategorize etmek istiyorum. Index Set kısmında daha önce oluşturduğum GereksizLoglar’ı seçiyorum. (Graylog İndeks Yönetimi yazısı için bkz: https://www.bilgiambari.com/siberguvenlik/logyonetimi/graylog-indeks-yonetimi) “Remove matches from ‘All messages’ stream seçeneğini seçiyorum. Bunu yaparak varsayılan olarak “All messages” streamine gelen gereksiz logları oradan alıp Gereksiz Loglar streamimize alıyoruz. Bu şekilde streamlerinizi çoğaltıp, “All messages” streamindeki yükü azaltabilir, stream yönetiminizi detaylı ve sağlıklı yönetebilirsiniz. Bu arada gereksiz logları neden ayırıyoruz diye sorabilirsiniz. İleride gözünüzden kaçan veya ihtiyacınız olan bir logu görmek isteyebilirsiniz, bunu da gereksiz loglar içinde arayabilirsiniz.

Save dediğimizde stream oluşacak. Start Stream diyerek artık streami çalışır hale getiriyoruz.

Şimdi “Manage Rules” tıklayarak stream içine girelim. Graylog bize burada 2 adet seçenek sunuyor. Birinci seçenek; bir mesaj içerisinde belirlediğimiz kuralın veya kuralların hepsi uyarsa bu log streame yazılsın anlamına geliyor. İkinci seçenek; bir mesaj içerisinde belirlediğimiz kurallardan herhangi biri bile mesaj içerisinde mevcutsa bu log streame yazılsın anlamına geliyor.

Add stream rule’a tıklayarak kural oluşturalım. Belirleyeceğim Windows EventID’ye göre mesajları filtrelemesini ve streame yazmasını istiyorum. Field alanında Event yazdığım zaman liste otomatik olarak önüme düşüyor ve EventID seçiyorum.

Type kısmında 7 adet seçeneğimiz mevcut. Tam eşleşme ve regex eşleşmesi gibi string karşılaştırmalar, daha büyük ve daha küçük gibi sayısal karşılaştırmalar, alan varlığı gibi mesajın içerisinde o alan varsa mesajı kabul etme, string içerme ve always match. Windows EventID tam bir sayı olduğu için “match exactly” seçiyorum.

Event id belirtiyorum ve isteğe göre bir açıklama yazıyorum. Value kısmı altında “Inverted” seçeneği mevcut. Bu tersi anlamına geliyor. Örneğin; 4725 yazıp, “Inverted” seçtiğimde, event id’si 4725 olmayan tüm mesajlar bu streame gelecek. Veya Field alanından message seçip, “abc” yazdığımda, içeriğinde “abc” geçmeyen tüm mesajlar bu streame gelecek.

Save deyip kaydettiğimizde stream içinde kuralımızı görebileceksiniz.

“I’m done!” tıkladığınızda stream kaydedilecek ve artık gelen loglar içinden EventID alanında 4725 yazan tüm loglar bu streame yönlendirilecek. Streame tıklayıp, gelen logları görüntüleyebilir, dashboarda ekleyebilirsiniz.

Graylog Stream Yönetimi yazısı ilk önce Bilgi Ambarı üzerinde ortaya çıktı.

Graylog 4 ana bileşene sahiptir;

• Graylog Server: Mesajları alan, işleyen, veriyi anlamlı hale getiren, tüm log gönderen cihazlarla iletişim kuran bir çalışan olarak hizmet eder. Çalışma gücü CPU performansına bağlıdır.
• Elasticsearch: Tüm günlükleri ve mesajları saklar. Toplanan loglar Elasticsearch yapısında saklanır, veriye ulaşacağınız zaman Elasticsearch indeks yapısı ile veriye ulaşılır. Performansı RAM’e ve disk okuma/yazma hızına bağlıdır.
• MongoDB: Graylog konfigürasyon verilerini saklar, günlük verilerini saklamaz. Kullanıcı bilgisi, stream bilgileri gibi meta verileri saklar.
• Web Arayüzü: Inputları (log gönderen cihazlar, sunucular vs.), indeksleri (Elasticsearch veri indeksleme yapısı), dashboardları (stream ile toplanan verilerin anlamlı bir biçimde izlendiği yapı), sistem kullanımını takip ettiğimiz ve yapılandırabildiğimiz Graylog web arayüzü.

Sistem Gereksinimleri

• Debian, Ubuntu veya CentOS dağıtımlarından biri
• 4 GB RAM
• 4 core CPU (2 core ile çalışan Graylog’um mevcut fakat yine de kaynağınız varsa 4 öneririm)
• 100 GB disk (Başlangıç için ideal. Zaman ilerledikçe artırmanız gerekebilir)
• Elasticsearch 5 or 6 (Graylog ile beraber kuracağız)
• MongoDB 3.6 or 4.0 (Graylog ile beraber kuracağız)
• Oracle Java SE 8 veya OpenJDK 8 (Graylog ile beraber kuracağız)

İşletim Sistemi Güncellemeleri ve Gerekli Paketlerin Kurulumları

İşletim sistemimizin güncellemelerini yapıyoruz.

sudo apt-get update && sudo apt-get upgrade

Güvenli parola oluşturmak için PWGEN ve Elasticsearch’ün çalışması için gerekli olan Java’yı, yani OpenJDK’yı kuruyoruz.

sudo apt-get install apt-transport-https openjdk-8-jre-headless uuid-runtime pwgen

MongoDB kurulumunu yapıyoruz. MongoDB’nin son sürüm versiyonlarının bulunduğu reposityler ile kurulması önerilir.

sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 9DA31620334BD75D9DCB49F368818C72E52529D4

echo "deb [ arch=amd64 ] https://repo.mongodb.org/apt/ubuntu bionic/mongodb-org/4.0 multiverse" | sudo tee /etc/apt/sources.list.d/mongodb-org-4.0.list

sudo apt-get update
sudo apt-get install -y mongodb-org

MongoDB kurulduktan sonra son aşamaya geçiyoruz. Sistem açılışında MongoDB’yi aktif hale getirip, servisin çalıştığını doğruluyoruz.

sudo systemctl daemon-reload
sudo systemctl enable mongod.service
sudo systemctl restart mongod.service
sudo systemctl --type=service --state=active | grep mongod

Elasticsearch Kurulumu

Graylog 3.x versiyonları Elasticsearch 7.x versiyonları ile çalışmaz, bu yüzden Elasticsearch 6 versiyonunu kuracağız.

wget -q https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -

echo "deb https://artifacts.elastic.co/packages/oss-6.x/apt stable main" | sudo tee -a /etc/apt/sources.list.d/elastic-6.x.list
sudo apt-get update

sudo apt-get install elasticsearch-oss

Aşağıdaki dosyayı açıyoruz.

sudo nano /etc/elasticsearch/elasticsearch.yml

cluster.name: graylogmakineadı olarak değiştiriyoruz ve dosyanın en sonuna action.auto_create_index: false satırını ekliyoruz.

Kaydedip çıkıyoruz.

Elasticsearch servisini aktif hale getirip, başlangıçta çalışacak şekilde ayarlıyoruz.

systemctl daemon-reload
systemctl enable elasticsearch.service
systemctl restart elasticsearch.service
ps aux | grep elasticsearch
netstat -an | grep 9200

Elasticsearch servisini başlattıktan sonra çalıştığını teyit ediyoruz. Elasticsearch kısmını tamamladık, Graylog Server kurulumuna geçelim.

Graylog Server Kurulumu

Graylog paketini indiriyoruz ve açıyoruz.

wget https://packages.graylog2.org/repo/packages/graylog-3.0-repository_latest.deb
sudo dpkg -i graylog-3.0-repository_latest.deb

Güncelleme yapıp Graylog’un eklentilerini yüklüyoruz.

sudo apt-get update && sudo apt-get install graylog-server graylog-enterprise-plugins graylog-integrations-plugins graylog-enterprise-integrations-plugins

Konfigürasyon dosyasında gerekli iki alanı dolduracağız. Bunları düzenlemezsek Graylog çalışmayacaktır. İlk olarak password_secret alanı için

pwgen -N 1 -s 96

kodu ile şifrelenmiş parola oluşturuyoruz. Daha sonrasında

sudo nano /etc/graylog/server/server.conf

kodu ile konfigürasyon dosyasını açıyoruz. Oluşturduğumuz şifrelenmiş parolayı password_secret karşısına yazıyoruz.

Bu işlemlerin ardından root_password_sha2 alanı için de şifrelenmiş bir parola üretmemiz gerekiyor. Aşağıdaki kod ile dilediğimiz bir parolayı girip, şifrelenmiş halini konfigürasyon dosyasındaki root_password_sha2 alanına yazacağız.

echo -n "Enter Password: " && head -1 </dev/stdin | tr -d '\n' | sha256sum | cut -d" " -f1

Şifreli parolayı alıp

sudo nano /etc/graylog/server/server.conf

konfigürasyon dosyasını açalım ve root_password_sha2 karşısına yazalım.

Parola işlemlerini tamamladık.

Konfigürasyon dosyasını kapatmadan önce son bir işlemimiz var.

root_timezone değişkenini bulup, root_timezone = Europe/Istanbul şeklinde güncelleyelim.

Dosyayı kaydedip çıkalım.

Graylog servisini başlangıçta aktif hale getirip, servisi başlatıyoruz. Daha sonra servisi başlatıp, logdan kontrol ediyoruz. Graylog servisinin başlaması biraz vakit almaktadır. “Graylog server up and running.” yazısını gördüğünüzde servis başlamış demektir.

sudo systemctl daemon-reload
sudo systemctl enable graylog-server.service
sudo systemctl start graylog-server.service
tail -f /var/log/graylog-server/server.log

Varsayılan Port (514 TCP/UDP) Yönlendirme İşlemleri

Sırada varsayılan porta gelen logları istediğimiz porta yönlendirme işlemimiz var. Bunun için önce

ifconfig

ile makinemizin IP adresini öğreniyoruz.

Daha sonra

sudo nano /etc/rsyslog.conf

ile syslog konfigürasyon dosyamızı açıyoruz. Dosyanın son satırına

 *.* @makineipadresi:1514;RSYSLOG_SyslogProtocol23Format

yazıyoruz. Dosyayı kaydedip, kapatıyoruz. Burada 1514 port kısmına istediğiniz portu yazabilirsiniz.

Syslog servisini yeniden başlatıyoruz.

systemctl restart rsyslog

Şimdi firewall kurallarını yazacağız. 514 TCP/UDP portuna gelen isteklerin 1514 TCP/UDP portuna yönlendirilmesini belirtiyoruz.

iptables -t nat -A PREROUTING -p tcp --dport 514 -j REDIRECT --to 1514
iptables -t nat -A PREROUTING -p udp --dport 514 -j REDIRECT --to 1514

sudo iptables-save > /etc/iptables.rules

ile kurallarımızı kaydediyoruz.

less /etc/iptables.rules

ile kontrolünü sağlıyoruz.

Yeni dosya açıyoruz.

sudo nano /etc/network/if-pre-up.d/iptables

Yazıp kaydediyoruz.

iptables-restore < /etc/iptables.rules
exit 0

Dosyaya yazma izni veriyoruz.

chmod +x /etc/network/if-pre-up.d/iptables

Son Adımlar

Artık birkaç ufak adımımız kaldı. Aşağıdaki kod ile Graylog Server’ımızın ana sayfa içeriğini basıyoruz.

curl http://127.0.0.1:9000

Daha sonrasında

netstat -an | grep 9000

ile 9000 portunun dinlendiğini teyit ediyor, Graylog’un çalıştığını görüyoruz.

Konfigürasyon dosyasını açıyoruz. http_bind_address adresini değiştirip, servisi yeniden başlatıyoruz.

sudo nano /etc/graylog/server/server.conf
http_bind_address = ipadresi:9000

systemctl restart graylog-server

Graylog servisi yeniden başladığında

netstat -an | grep 9000

ile portu kontrol ediyoruz ve Graylog adresinin ipadresi:9000 olarak değiştiğini görüyoruz.

Artık web tarayıcısından Graylog’a girdiğimizde kullanıcı adı admin, parola ise daha önce belirlediğimiz parola ile oturum açabiliriz.

Graylog artık çalışır halde ve log toplamaya hazır.

Yukarıdaki System menüsünden Inputs seçiyoruz.

Syslog UDP tıklayıp Launch new input diyoruz. Title kısmına istediğinizi yazabilirsiniz. Ben Syslog UDP yazıyorum.

Bind address 0.0.0.0. Port 1514 ve Save diyoruz.

Start input ile log toplamayı aktif hale getiriyoruz. Varsayılan olarak 514 portuna gelen logların 1514 portuna yönlendirilmesi için düzenlemeleri yapmıştık. Bu input ile gelen logları görüntülenebilir hale getirdik.

Graylog kurulumumuzu tamamlamış olduk. İndeks, stream ve input yönetimi için diğer yazılara göz atabilirsiniz.

Graylog 3.0 Kurulumu yazısı ilk önce Bilgi Ambarı üzerinde ortaya çıktı.