Data Lake Nedir?

Data Lake (veri gölü), farklı türde verilerin kullanım amacı, erişim kuralları ve yaşam döngüsüyle birlikte ele alınması. Kavramın doğru anlaşılması için önce hangi verinin, hangi kullanıcı veya süreç tarafından ve hangi karar sorusu için kullanılacağının netleşmesi gerekir. Aynı terim, farklı kurumlarda farklı teknik düzenekleri anlatabilir.

Data Lake (veri gölü) için tanımı yalnızca bir araç adı veya kısa teknik etiket olarak ele almak yeterli değildir. Veri kaynağı, hedef kullanım, veri sahibi, güncellik beklentisi ve erişim kuralları birlikte değerlendirildiğinde kapsam daha sağlıklı belirlenir.

Data lake; tablo gibi yapılandırılmış veriyi, JSON ve XML gibi yarı yapılandırılmış veriyi, belge ve görsel gibi yapılandırılmamış veriyi aynı depolama alanında tutabilir. Veri çoğunlukla kaynaktaki haline yakın biçimde saklanır.

Bu esnekliği şema okuma (schema-on-read) yaklaşımı sağlar: verinin yapısı yazılırken değil, okunurken uygulanır. Böylece bugün net olmayan bir analiz sorusu için veri önceden biçimlendirilmeden saklanabilir ve sonradan farklı amaçlarla işlenebilir.

Veri ambarı, önceden tanımlanmış şemaya göre düzenlenmiş ve seçilmiş yapılandırılmış veriyi raporlama ve analiz için hazır tutar. Data lake ise esnek ve ham veriyi saklamaya odaklanır; yapı çoğunlukla veri okunurken uygulanır.

Bu nedenle ikisi birbirinin rakibi olmak zorunda değildir; göl, ambara veri besleyen kaynak olarak da kullanılabilir. Ayrıntılı karşılaştırma için bu sayfadaki ilgili bağlantılar arasında yer alan blog yazısına bakabilirsiniz.

Sensör verisi, log kayıtları ve olay akışı gibi çok türlü kaynaklardan gelen veri, nasıl kullanılacağı henüz netleşmeden önce göle alınabilir. Makine öğrenmesi çalışmaları ve keşif analizleri de ham veriye erişmekten yarar görebilir.

Geçmiş verinin uzun süre ve denetlenebilir biçimde arşivlenmesi ve ambara ya da raporlama araçlarına aktarılacak verinin ilk durağı olması da sık görülen kullanımlardır.

Bu yaklaşımın amacı farklı veri türlerinin hangi iş sorusu için saklandığını ve nasıl yönetileceğini görünür hale getirmeye yardımcı olmaktır. Ekipler aynı bilgi üzerinde çalışırken hangi verinin güvenilir kabul edildiği, ne zaman güncellendiği ve hangi koşulda kullanılacağı daha görünür hale gelir.

Data Lake (veri gölü) değerlendirmesinde beklenen fayda yalnızca teknik hız değildir. İş birimleri ve teknik ekipler, veriyle ilgili sorumlulukları, kontrol noktalarını ve istisna durumlarını ortak bir dilde değerlendirebildiğinde karar süreci de daha anlaşılır olur.

Verinin kaynağı, yapısı, sahipliği, erişim sınırları, kalite kontrolleri ve analitik kullanım amacı birlikte değerlendirilir. İlk adımda mevcut kaynaklar ve hedefler envanterlenir. Ardından verinin anlamı, gerekli dönüşümler, çalışma sıklığı, yetkiler ve hata halinde izlenecek yol yazılı hale getirilir.

Data Lake (veri gölü) uygulaması sırasında örnek veriyle doğrulama yapmak, beklenen sonuç ile gerçekleşen sonucu karşılaştırmak ve değişikliklerin kaydını tutmak önemlidir. Bu adımlar, sürecin daha sonra bakımını üstlenecek ekiplerin de aynı bağlamı görmesini sağlar.

Doğru kapsamda ele alındığında data lake (veri gölü) için yapılan çalışma; belirsizliği azaltmaya, sorumlulukları görünür kılmaya ve veriyle ilgili kararların daha tutarlı verilmesine yardımcı olabilir. Hangi yararın öncelikli olduğu kullanım senaryosuna göre değişir.

farklı veri türlerinin hangi iş sorusu için saklandığını ve nasıl yönetileceğini görünür hale getirmeye yardımcı olmaktır hedefi; raporlama, analitik, operasyon veya uyum ihtiyacında farklı beklentiler oluşturabilir. Bu nedenle veri sürecini tasarlarken yalnızca bugünkü ihtiyacı değil, değişikliklerin ve yeni kullanıcıların nasıl yönetileceğini de düşünmek gerekir.

Data Lake, veri ambarı veya Lakehouse ile eş anlamlı değildir; tek başına veri kalitesi, analitik sonuç ya da belirli bir teknoloji desteği garanti etmez. Ayrıca veri güvenliği, gizlilik, erişim yetkisi ve saklama gereksinimleri yalnızca projenin son aşamasına bırakılmamalıdır.

Data Lake (veri gölü) için başarı ölçütü başlangıçta tanımlanmalıdır: hangi kayıtların işlendiği, hangi kontrolün geçerli sayıldığı, gecikmenin nasıl ölçüldüğü ve istisnaların kim tarafından incelendiği açıklanmadığında teknik olarak çalışan bir süreç iş açısından yeterli olmayabilir.

Veri bataklığı, göle giren verinin katalog, metadata ve yönetişim olmadan birikmesi sonucu verinin erişilemez ya da yanlış anlaşılır hale gelmesidir.

Riski azaltmak için metadata (veri hakkındaki açıklayıcı bilgi) kaydı, yönetişim kuralları, erişim denetimi ve kalite standartları baştan planlanabilir. Verinin ham, temizlenmiş ve kullanıma hazır gibi kavramsal katmanlara ayrılması da veri kalitesini ve yönetişimi iyileştirebilir.

Data Lake (veri gölü) için çalışmaya başlamadan önce kararın kapsamı yazılı hale getirilmelidir. Hangi kaynakların dahil olduğu, hangi kullanıcıların sonucu tüketeceği, verinin ne kadar güncel olması gerektiği ve hangi koşulda yeniden çalışma yapılacağı netleştiğinde teknik seçenekler daha sağlıklı karşılaştırılabilir.

farklı türde verilerin kullanım amacı, erişim kuralları ve yaşam döngüsüyle birlikte ele alınması bağlamında güvenlik, erişim yetkisi, saklama süresi ve değişiklik yönetimi de aynı değerlendirmeye dahil edilmelidir. Bu soruların yanıtı her kurumda farklı olabilir; bu nedenle rehberdeki açıklamalar bir uygulama veya entegrasyon taahhüdü değil, değerlendirme çerçevesidir.

Data Lake (veri gölü) ile ilgili kararların sürdürülebilir olması için veri sözlüğü, sorumluluklar ve kabul ölçütleri erişilebilir biçimde kayda alınmalıdır. Kaynakta veya iş kuralında gerçekleşen bir değişikliğin hangi raporu, akışı ya da kullanıcıyı etkileyebileceğini bilmek; yalnızca ilk kurulumda değil, günlük işletimde de belirsizliği azaltır. Kapsam, geçici istisnalar ve bu istisnaların sona erme koşulları da kayıt altında tutulmalıdır.

Verinin kaynağı, yapısı, sahipliği, erişim sınırları, kalite kontrolleri ve analitik kullanım amacı birlikte değerlendirilir. Bu kayıtların düzenli gözden geçirilmesi, hataların nedenini daha hızlı incelemeyi ve sonraki iyileştirmeleri gerçek kullanım bilgisine dayandırmayı destekler. Böylece data lake (veri gölü) konusu tek seferlik bir teknik iş olarak değil; veri sahipleri, teknik ekipler ve kullanıcılar arasında sürdürülen ortak bir çalışma düzeni olarak ele alınabilir.

Bu konu araştırılırken Data Lakehouse rehberi sayfası, ürün ve çözüm bağlamını incelemek için kullanılabilir. Bu bağlantı belirli bir teknoloji için doğrulanmamış entegrasyon, performans veya uyumluluk iddiası taşımaz; uygunluk gerçek gereksinimlerle değerlendirilmelidir.

Kavramsal ayrıntı için Veri ambarı rehberi içeriğine de göz atabilirsiniz. Bilgi rehberi ile ticari çözüm sayfasının niyeti farklı tutulduğundan, kullanıcı ihtiyacına göre doğru sayfadan ilerlemek cannibalization riskini azaltır.