Kafka ve event streaming rehberi
Kafka Mimarisi Nedir? Topic, Partition, Broker ve Consumer Group
Kısa cevap
Kafka mimarisi, olayların producer tarafından topic'lere yazıldığı, topic'lerin partition'lara ayrıldığı ve broker kümesi üzerinde tutulduğu event streaming düzenidir. Consumer'lar olayları ihtiyaç duydukları akıştan okur; bu yapıdaki tasarım kararları veri anlamı, sıralama, saklama ve işletim sorumluluklarıyla birlikte ele alınır.
Son güncelleme: 30 Ağustos 2026. Bu rehber, kurumsal veri yönetimi ve raporlama çalışmalarında sık karşılaşılan kavramları sadeleştirmek amacıyla hazırlanmıştır.
Kafka mimarisi nedir?
Kafka, olayları kaydetmek, okumak ve işlemek için kullanılan dağıtık event streaming yaklaşımıdır. Mimaride önce hangi iş olaylarının üretildiği, bu olayların hangi kullanıcı veya sistemler tarafından tüketileceği ve hangi sürede saklanacağı belirlenir.
Mimariyi yalnızca bileşen adlarıyla açıklamak yeterli değildir. Olayın iş anlamı, veri şeması, değişiklik kuralları, erişim sınırları ve hata halinde sorumluluğun kimde olduğu; teknik düzenle birlikte tanımlanmalıdır.
Topic, partition, broker ve consumer group nasıl çalışır?
Topic, aynı iş bağlamındaki olayları mantıksal olarak düzenler. Bir topic partition'lara ayrılabilir; partition'lar broker kümesinde tutulur. Producer'lar olayları uygun topic'e yazar, consumer'lar ise ihtiyaç duydukları olayları okur ve işler.
Consumer group, aynı kullanım ihtiyacı için çalışan consumer'ların tüketimi paylaşmasını sağlar. Partition düzeni, event key kullanımı, tüketici grupları ve saklama süresi; verinin sırası, tekrar işleme ihtiyacı ve iş kuralı dikkate alınarak planlanmalıdır.
Kimler kullanır ve hangi probleme yardımcı olur?
Veri mühendisliği, platform, uygulama ve analitik ekipleri; sistemler arasında olay akışını ele almak, değişiklik verisini birden fazla kullanım alanına ulaştırmak veya stream tabanlı süreçleri değerlendirmek için bu mimariyi inceleyebilir.
Amaç her veri hareketini stream'e dönüştürmek değildir. Olayların farklı tüketicilerce bağımsız ele alınması, veri akışının sürekliliği veya değişiklik verisinin kullanımı gibi açık bir ihtiyaç varsa Kafka mimarisi değerlendirilebilir.
Kafka, CDC ve ETL ilişkisi
CDC, bir kaynaktaki değişiklik bilgisini ele alma yaklaşımıdır; Kafka ise bu değişikliklerin olay akışı olarak taşınabildiği mimari bağlamlardan biridir. Şema değişikliği, olay sırası, tekrar işleme ve hedef tüketim modeli bu ilişkiyi belirler.
ETL; alma, dönüştürme ve yükleme adımlarına odaklanır. Kafka bir ETL aracı değildir; ancak bazı mimarilerde event streaming ile ETL süreçleri farklı sorumluluklarla birlikte yer alabilir.
Avantajlar ve sınırlar
Doğru kapsamda tasarlanan bir mimari, olayın üreticisi ile tüketicisinin sorumluluklarını daha görünür hale getirebilir ve aynı olayın farklı kullanım senaryolarında değerlendirilmesine yardımcı olabilir. Hangi yararın öncelikli olduğu, kurumun veri ve iş akışına göre değişir.
Mimari; veri sözleşmesi, şema yönetimi, saklama, erişim, izleme, hata inceleme ve işletim sorumluluğu gerektirir. Bu rehber belirli bir ürün bağlantısı, uyumluluk, gecikme düzeyi veya sonuç garantisi sunmaz.
Ne zaman danışmanlık gerekir?
Topic yapısı, veri şeması, consumer sorumlulukları veya CDC ve ETL ile ilişki net değilse teknik değerlendirme gerekebilir. Başlangıçta iş olayları, kaynaklar, hedef kullanım, hata toleransı ve sahiplik modeli birlikte ortaya konmalıdır.
Danışmanlık değerlendirmesi, belirli bir teknolojiyi zorunlu kılmak için değil; mimari soruları, kontrol noktalarını ve uygulama öncesi kabul ölçütlerini açık hale getirmek için kullanılabilir.
İlgili çözüm ve hizmet bağlantıları
Kafka mimarisi araştırılırken genel kavram, CDC, veri aktarımı ve ETL rolleri ayrı sayfalarda incelenebilir. Bu ayrım, kullanıcıların aynı ihtiyacı tek bir araç ya da teknoloji adıyla değerlendirmesini önlemeye yardımcı olur.
Hizmet ve çözüm sayfaları ticari değerlendirme için ayrı başlangıç noktalarıdır. Bu bağlantılar belirli bir entegrasyon veya kapsam garantisi anlamına gelmez; uygunluk gerçek gereksinimlerle doğrulanmalıdır.
Sık sorulan sorular
Kafka mimarisi nedir?
Kafka mimarisi; olayların producer tarafından topic'lere yazıldığı, topic'lerin partition'lara ayrıldığı ve broker kümesi üzerinde tutulduğu event streaming düzenidir. Consumer'lar bu olayları kullanım senaryosuna göre okur ve işler.
Kafka'da topic nedir?
Topic, aynı türdeki olayların mantıksal olarak düzenlendiği akıştır. Topic adı, olayın iş anlamını ve hangi üretici ya da tüketicilerin bu akışla ilgilendiğini açıkça ifade etmelidir.
Kafka'da partition nedir?
Partition, bir topic içindeki olayların bölümlenmiş kaydıdır. Partition sayısı; tüketim düzeni, sıralama ihtiyacı ve işletim sorumluluklarıyla birlikte değerlendirilir.
Kafka broker nedir?
Broker, Kafka kümesinde olay verisini tutan ve istemcilerin okuma-yazma isteklerini ele alan sunucu bileşenidir. Bir mimaride broker düzeni, veri saklama ve işletim kararlarından ayrı düşünülemez.
Consumer group nedir?
Consumer group, aynı topic'i tüketen consumer'ların işi paylaşmak üzere oluşturduğu mantıksal gruptur. Hangi grubun hangi iş ihtiyacı için veri tükettiği, veri sözleşmesi ve hata yönetimiyle birlikte tanımlanmalıdır.
Kafka ETL'nin yerine mi geçer?
Kafka olay akışı için değerlendirilir; ETL ise veriyi alma, dönüştürme ve hedefe yükleme yaklaşımıdır. Bir veri mimarisinde birlikte kullanılabilirler, ancak aynı sorumluluğu üstlenmeleri gerekmez.