Kurumsal Kubernetes kümelerinde (EKS Anywhere, RKE2 veya kubeadm) yüksek hacimli Java/Spring Boot mikroservisleri veya ödeme geçidi uygulamaları çalıştırırken, geleneksel Prometheus + Loki + Jaeger/Tempo gözlemlenebilirlik yığını (Observability Stack) zamanla kendi başına bir operasyonel yük haline gelir. Üç farklı veri deposunun bakımı, yüksek kardinaliteli (high-cardinality) etiketlerde Prometheus’un bellek taşmaları (OOMKill) ve metrikler ile dağıtık izler (Traces) arasında kopuk kalan korelasyon süreçleri kök neden analizini (MTTR) yavaşlatır.
Modern veri merkezlerinde bu üç sütunu (Metrics, Traces, Logs) tek bir yüksek performanslı sütun tabanlı (columnar) analitik veritabanı olan ClickHouse üzerinde birleştiren SigNoz, OpenTelemetry (OTel) yerel desteğiyle öne çıkıyor. Bugünkü yazımızda; Kubernetes üzerinde çalışan Java (Micrometer / HikariCP) uygulamaları için sıfır kod değişikliğiyle OpenTelemetry enstrümantasyonunu, ClickHouse depolama optimizasyonunu ve üretim ortamı için kritik RED (Rate, Errors, Duration) alarm tanımlarını inceliyoruz.
- Mimari Fark: Neden Sütun Tabanlı ClickHouse ve OpenTelemetry?
Geleneksel zaman serisi veritabanları (TSDB) ve belge tabanlı indeksleyiciler, saniyede yüz binlerce trace ve metrik noktası geldiğinde yüksek disk IOPS ve RAM tüketir:
| Kriter / Özellik | Klasik Yığın (Prometheus + Jaeger + Loki) | SigNoz + ClickHouse + OpenTelemetry |
|---|---|---|
| Veri Depolama Motoru | 3 ayrı motor (TSDB + Elasticsearch/Cassandra + Object Store). | Tek motor: ClickHouse (Yüksek sıkıştırma ve paralel vektörel sorgulama). |
| Yüksek Kardinalite (User ID, Trace ID) | Prometheus etiketlerinde ciddi RAM tüketimi ve performans düşüşü. | ClickHouse sütun sıkıştırması sayesinde yüksek kardinalitede düşük maliyet. |
| Korelasyon (Metric -> Trace -> Log) | Manuel etiket eşleştirme ve farklı arayüzler arası geçiş. | Tek ekranda gecikme grafiğindeki zirveye tıklayıp doğrudan ilgili Trace ve Log’a iniş. |
| Ajan Standardı | Özel exporter’lar (jmx_exporter, promtail, jaeger-agent). | Tek standart: OpenTelemetry Collector (Vendor-neutral). |
2. Sıfır Kod Değişikliğiyle JVM Enstrümantasyonu (OpenTelemetry Java Agent)
Kubernetes üzerinde çalışan mevcut Java uygulamalarınızın kaynak koduna dokunmadan; HTTP istek gecikmelerini, JVM Garbage Collection (GC) duraklamalarını, HikariCP veritabanı bağlantı havuzu doluluklarını ve Kafka/Redis çağrılarını otomatik toplamak için OpenTelemetry Java Agent kullanılır.
Kubernetes Deployment Yapılandırması (JAVA_TOOL_OPTIONS):
Uygulama imajınıza opentelemetry-javaagent.jar dosyasını ekledikten sonra (veya Kubernetes OpenTelemetry Operator ile otomatik enjekte ederek) ortam değişkenlerini tanımlayın:
apiVersion: apps/v1
kind: Deployment
metadata:
name: payment-core-service
namespace: production
spec:
template:
spec:
containers:
- name: payment-core
image: registry.internal/payment-core:2.4.1
env:
- name: JAVA_TOOL_OPTIONS
value: "-javaagent:/opt/otel/opentelemetry-javaagent.jar"
- name: OTEL_SERVICE_NAME
value: "payment-core-service"
- name: OTEL_EXPORTER_OTLP_ENDPOINT
value: "http://signoz-otel-collector.observability.svc.cluster.local:4317"
- name: OTEL_EXPORTER_OTLP_PROTOCOL
value: "grpc"
# Yüksek trafikli servislerde tüm hatalı/yavaş istekleri tutup normal trafiğin %20'sini örneklemek için:
- name: OTEL_TRACES_SAMPLER
value: "parentbased_traceidratio"
- name: OTEL_TRACES_SAMPLER_ARG
value: "0.2"
- name: OTEL_RESOURCE_ATTRIBUTES
value: "deployment.environment=prod,k8s.cluster.name=dc1-eks-anywhere"
Üretim İpucu (Tail-Based Sampling): %20 oranında Head-Based örnekleme yaptığınızda nadir gerçekleşen HTTP 500 veya 3 saniye süren bir gecikmeyi kaçırma ihtimaliniz vardır. Bunun yerine uygulamadan tüm trace’leri (1.0) küme içindeki OpenTelemetry Collector katmanına gönderip, Collector üzerinde Tail-Based Sampling politikası tanımlayarak tüm hatalı (status_code == ERROR) ve gecikmeli (latency > 1000ms) trace’lerin %100’ünü, sağlıklı trafiğin ise yalnızca %5’ini ClickHouse’a yazdırabilirsiniz.
3. Üretim Ortamı İçin Kritik RED ve JVM Alarm Sorguları (PromQL / SigNoz)
Gözlemlenebilirlik sistemlerinde CPU veya RAM alarmlarından önce, doğrudan son kullanıcı deneyimini ve servis sağlığını ölçen RED Metrikleri (Rate, Errors, Duration) ve JVM iç darboğazları için alarmlar kurgulanmalıdır:
A. P99 Gecikme (Latency) Sıçrama Alarmı (Duration)
Ortalama gecikme (avg) çoğu zaman yanıltıcıdır; 100 isteğin 99’u 10 ms sürerken 1 isteğin 8 saniye sürmesi ortalamayı sadece 89 ms’ye çıkarır. Her zaman 99. yüzdelik dilimi (P99) izleyin:
histogram_quantile(0.99, sum(rate(http_server_request_duration_seconds_bucket{service_name="payment-core-service"}[5m])) by (le, http_route)) > 1.5
B. HikariCP Bağlantı Havuzu Tükenme (Pool Exhaustion) Alarmı
Mikroservislerdeki anlık kilitlenmelerin en yaygın sebebi veritabanı bağlantı havuzunda bekleyen iş parçacıklarıdır (hikaricp_connections_pending):
sum(hikaricp_connections_pending{service_name="payment-core-service"}) by (pool) > 5
- Eğer
pending(bekleyen) bağlantı sayısı 1 dakika boyunca5‘in üzerindeyse, veritabanı sorgularınız yavaşlamıştır veya uygulamamaximumPoolSizesınırına dayanmıştır.
C. JVM Garbage Collection (GC) Duraklama Süresi Alarmı
G1GC veya ZGC kullanırken JVM’in uygulamayı durdurduğu (Stop-the-World) toplam süre saniyede 200 milisaniyeyi aşıyorsa bellek baskısı başlamış demektir:
rate(jvm_gc_pause_seconds_sum{service_name="payment-core-service"}[5m]) > 0.2
4. ClickHouse Depolama ve TTL (Saklama Süresi) Optimizasyonu
Günlük yüz milyonlarca span ve log kaydı alan bir SigNoz kurulumunda NVMe disklerin dolmasını önlemek için ClickHouse tablolarında TTL (Time-To-Live) ve ZSTD sıkıştırma politikalarının doğru ayarlandığından emin olun:
- Traces & Logs TTL: Yüksek hacimli ortamlarda ham trace ve log verileri için 14 – 30 gün sıcak saklama (NVMe), daha eski veriler için S3 uyumlu soğuk depolamaya (MinIO / Ceph RGW) aktarım yapılandırın.
- Metrics TTL: Toplanmış metrik verileri çok az yer kapladığı için kapasite planlaması ve yıllık karşılaştırmalar adına 180 – 365 gün saklanabilir.