Büyük Veri (Big Data) Nedir?

Büyük verinin tanımı, daha fazla çeşitlilik içeren, artan hacimlerde ve daha hızlı gelen veridir. Bu aynı zamanda üç V’si olarak da bilinir.

Basitçe söylemek gerekirse, büyük veri, özellikle yeni veri kaynaklarından gelen daha büyük, daha karmaşık veri setleridir. Bu veri setleri o kadar hacimlidir ki geleneksel veri işleme yazılımları bunları yönetemez. Ancak bu devasa veri hacimleri, daha önce üstesinden gelemeyeceğiniz iş sorunlarını ele almak için kullanılabilir.

Büyük Verinin Üç V’si

Hacim (Volume)	Veri miktarı önemlidir. Büyük veri ile yüksek hacimli, düşük yoğunluklu, yapılandırılmamış verileri işlemeniz gerekecektir. Bu, Twitter veri akışları, bir web sayfasındaki veya bir mobil uygulamadaki tıklama akışları veya sensör özellikli ekipman gibi değeri bilinmeyen veriler olabilir. Bazı kuruluşlar için bu onlarca terabaytlık veri olabilir. Diğerleri içinse yüzlerce petabayt olabilir.
Hız (Velocity)	Hız, verilerin alındığı ve (belki de) üzerinde işlem yapıldığı hızlı orandır. Normalde en yüksek veri hızı, diske yazılmak yerine doğrudan belleğe akar. Bazı internet özellikli akıllı ürünler gerçek zamanlı veya neredeyse gerçek zamanlı olarak çalışır ve gerçek zamanlı değerlendirme ve eylem gerektirir.
Çeşitlilik (Variety)	Çeşitlilik, mevcut olan çok sayıda veri türünü ifade eder. Geleneksel veri türleri yapılandırılmıştı ve ilişkisel bir veritabanına düzgün bir şekilde sığıyordu. Büyük verinin yükselişiyle birlikte, veriler yeni yapılandırılmamış veri türlerinde gelmektedir. Metin, ses ve video gibi yapılandırılmamış ve yarı yapılandırılmış veri türleri, anlam çıkarmak ve meta verileri desteklemek için ek ön işleme gerektirir.

Büyük Verinin Değeri ve Gerçekliği

Son birkaç yılda iki tane daha V’si ortaya çıktı: değer (value) ve doğruluk (veracity). Verinin kendine özgü bir değeri vardır. Ancak bu değer keşfedilene kadar hiçbir işe yaramaz. Aynı derecede önemli: Verileriniz ne kadar doğru ve onlara ne kadar güvenebilirsiniz?

Günümüzde büyük veri sermaye haline gelmiştir. Dünyanın en büyük teknoloji şirketlerinden bazılarını düşünün. Sundukları değerin büyük bir kısmı, daha fazla verimlilik üretmek ve yeni ürünler geliştirmek için sürekli analiz ettikleri verilerinden geliyor.

Son teknolojik atılımlar, veri depolama ve hesaplama maliyetlerini katlanarak düşürdü ve her zamankinden daha fazla veri depolamayı daha kolay ve daha ucuz hale getirdi. Artık daha ucuz ve daha erişilebilir olan büyük veri hacmi sayesinde daha doğru ve kesin iş kararları alabilirsiniz.

Büyük veride değer bulmak sadece onu analiz etmekten ibaret değildir (ki bu tamamen başka bir faydadır). Bu, doğru soruları soran, kalıpları tanıyan, bilinçli varsayımlarda bulunan ve davranışları tahmin eden anlayışlı analistler, iş kullanıcıları ve yöneticiler gerektiren bütün bir keşif sürecidir.

Peki buraya nasıl geldik?

Büyük Verinin Tarihçesi

Büyük veri kavramının kendisi nispeten yeni olsa da, büyük veri setlerinin kökenleri, veri dünyasının ilk veri merkezleri ve ilişkisel veritabanının geliştirilmesiyle yeni başladığı 1960’lı ve 70’li yıllara kadar uzanıyor.

2005 yılı civarında insanlar Facebook, YouTube ve diğer çevrimiçi hizmetler aracılığıyla kullanıcıların ne kadar çok veri ürettiğini fark etmeye başladı. Aynı yıl Hadoop (özellikle büyük veri setlerini depolamak ve analiz etmek için oluşturulmuş açık kaynaklı bir çerçeve) geliştirildi. NoSQL de bu dönemde popülerlik kazanmaya başladı.

Hadoop (ve son zamanlarda Spark) gibi açık kaynaklı çerçevelerin geliştirilmesi büyük verinin büyümesi için çok önemliydi çünkü bunlar büyük veriyle çalışmayı kolaylaştırıyor ve depolamayı daha ucuz hale getiriyordu. O zamandan bu yana geçen yıllar içinde büyük veri hacmi hızla arttı. Kullanıcılar hala büyük miktarlarda veri üretiyor ancak bunu yapanlar sadece insanlar değil.

Nesnelerin İnterneti‘nin (IoT) ortaya çıkmasıyla birlikte daha fazla nesne ve cihaz internete bağlanarak müşteri kullanım modelleri ve ürün performansı hakkında veri topluyor. Makine öğreniminin ortaya çıkışı daha da fazla veri üretti.

Büyük veri çok yol kat etmiş olsa da, kullanışlılığı daha yeni başlıyor. Bulut bilişim büyük veri olanaklarını daha da genişletti. Bulut, geliştiricilerin bir veri alt kümesini test etmek için geçici kümeler oluşturabilecekleri gerçek anlamda elastik ölçeklenebilirlik sunuyor. Ayrıca grafik veritabanları da büyük miktarda veriyi analitiği hızlı ve kapsamlı hale getirecek şekilde görüntüleme yetenekleriyle giderek daha önemli hale geliyor.

Büyük verinin faydaları:

• Büyük veri, daha fazla bilgiye sahip olduğunuz için daha eksiksiz yanıtlar almanızı mümkün kılar.
• Daha eksiksiz yanıtlar, verilere daha fazla güven anlamına gelir; bu da sorunların üstesinden gelmek için tamamen farklı bir yaklaşım anlamına gelir.

Büyük Veri Kullanım Örnekleri

Büyük veri, müşteri deneyiminden analitiğe kadar bir dizi iş faaliyetini ele almanıza yardımcı olabilir. İşte bunlardan sadece birkaçı.

Ürün geliştirme	Netflix ve Procter & Gamble gibi şirketler müşteri talebini tahmin etmek için büyük veri kullanmaktadır. Geçmiş ve mevcut ürün veya hizmetlerin temel niteliklerini sınıflandırarak ve bu nitelikler ile tekliflerin ticari başarısı arasındaki ilişkiyi modelleyerek yeni ürün ve hizmetler için tahmin modelleri oluştururlar. Ayrıca P&G, yeni ürünleri planlamak, üretmek ve piyasaya sürmek için odak gruplarından, sosyal medyadan, test pazarlarından ve erken mağaza sunumlarından elde edilen verileri ve analizleri kullanır.
Öngörücü bakım	Mekanik arızaları öngörebilecek faktörler, ekipmanın yılı, markası ve modeli gibi yapılandırılmış verilerin yanı sıra milyonlarca günlük girişini, sensör verilerini, hata mesajlarını ve motor sıcaklığını kapsayan yapılandırılmamış verilerde derin bir şekilde gömülü olabilir. Kuruluşlar, olası sorunlara ilişkin bu göstergeleri sorunlar ortaya çıkmadan önce analiz ederek bakımı daha uygun maliyetli bir şekilde uygulayabilir ve parça ve ekipman çalışma süresini en üst düzeye çıkarabilir.
Müşteri deneyimi	Müşteriler için yarış devam ediyor. Müşteri deneyimini daha net bir şekilde görmek artık her zamankinden daha mümkün. Büyük veri, etkileşim deneyimini iyileştirmek ve sunulan değeri en üst düzeye çıkarmak için sosyal medyadan, web ziyaretlerinden, çağrı kayıtlarından ve diğer kaynaklardan veri toplamanızı sağlar. Kişiselleştirilmiş teklifler sunmaya başlayın, müşteri kaybını azaltın ve sorunları proaktif olarak ele alın.
Dolandırıcılık ve uyumluluk	Güvenlik söz konusu olduğunda, sadece birkaç serseri bilgisayar korsanı değil, tüm uzman ekiplerle karşı karşıyasınız. Güvenlik ortamları ve uyumluluk gereksinimleri sürekli olarak gelişmektedir. Büyük veri, verilerde sahtekarlığa işaret eden kalıpları belirlemenize ve yasal raporlamayı çok daha hızlı hale getirmek için büyük hacimli bilgileri bir araya getirmenize yardımcı olur.
Makine öğrenimi	Makine öğrenimi şu anda sıcak bir konu. Bunun nedenlerinden biri de veri özellikle de büyük veri. Artık makineleri programlamak yerine onlara öğretebiliyoruz. Makine öğrenimi modellerini eğitmek için büyük verinin kullanılabilirliği bunu mümkün kılıyor.
Operasyonel verimlilik	Operasyonel verimlilik her zaman haberlere konu olmayabilir, ancak büyük verinin en fazla etkiye sahip olduğu alanlardan biridir. Büyük veri ile kesintileri azaltmak ve gelecekteki talepleri öngörmek için üretimi, müşteri geri bildirimlerini ve iadelerini ve diğer faktörleri analiz edebilir ve değerlendirebilirsiniz. Büyük veri aynı zamanda mevcut piyasa talebi doğrultusunda karar verme sürecini iyileştirmek için de kullanılabilir.
İnovasyonu teşvik edin	Büyük veri, insanlar, kurumlar, varlıklar ve süreçler arasındaki karşılıklı bağımlılıkları inceleyerek ve ardından bu içgörüleri kullanmanın yeni yollarını belirleyerek yenilik yapmanıza yardımcı olabilir. Finansal ve planlama konularıyla ilgili kararları iyileştirmek için veri içgörülerini kullanın. Yeni ürün ve hizmetler sunmak için trendleri ve müşterilerin ne istediğini inceleyin. Dinamik fiyatlandırma uygulayın. Sonsuz olasılıklar var.

Büyük Veri Zorlukları

Büyük veri çok şey vaat etse de, zorlukları da yok değil.

İlk olarak, büyük veri… büyüktür. Veri depolama için yeni teknolojiler geliştirilmiş olsa da, veri hacimleri her iki yılda bir yaklaşık iki katına çıkmaktadır. Kuruluşlar hala verilerine ayak uydurmakta ve bunları etkili bir şekilde depolamanın yollarını bulmakta zorlanıyor.

Ancak verileri yalnızca depolamak yeterli değildir. Verinin değerli olabilmesi için kullanılması gerekir ve bu da iyileştirmeye bağlıdır. Temiz veri ya da müşteriyle alakalı ve anlamlı analizlere olanak tanıyacak şekilde düzenlenmiş veri, çok fazla çalışma gerektirir. Veri bilimciler, zamanlarının yüzde 50 ila 80’ini verileri gerçekten kullanılmadan önce düzenlemek ve hazırlamak için harcıyor.

Son olarak, büyük veri teknolojisi hızlı bir şekilde değişmektedir. Birkaç yıl önce, Apache Hadoop büyük veriyi işlemek için kullanılan popüler teknolojiydi. Ardından 2014 yılında Apache Spark tanıtıldı. Bugün, bu iki çerçevenin bir kombinasyonu en iyi yaklaşım gibi görünüyor. Büyük veri teknolojisine ayak uydurmak süregelen bir zorluktur.

Büyük Veri Nasıl Çalışır?

Büyük veri size yeni fırsatlar ve iş modelleri sunan yeni içgörüler sağlar. Başlamak için üç temel eylem gereklidir:

1.  Bütünleştirmek

Büyük veri, birçok farklı kaynak ve uygulamadan gelen verileri bir araya getirir. Ayıklama, dönüştürme ve yükleme (ETL) gibi geleneksel veri entegrasyon mekanizmaları genellikle bu görevi yerine getiremez. Terabayt ve hatta petabayt ölçeğindeki büyük veri setlerini analiz etmek için yeni stratejiler ve teknolojiler gerekir.

Entegrasyon sırasında verileri getirmeniz, işlemeniz ve iş analistlerinizin kullanmaya başlayabileceği bir biçimde biçimlendirilmiş ve kullanılabilir olduğundan emin olmanız gerekir.

2.  Yönetmek

Büyük veri depolama gerektirir. Depolama çözümünüz bulutta, şirket içinde veya her ikisinde birden olabilir. Verilerinizi istediğiniz biçimde depolayabilir ve istediğiniz işleme gereksinimlerini ve gerekli işlem motorlarını isteğe bağlı olarak bu veri setlerine getirebilirsiniz. Birçok kişi depolama çözümünü, verilerinin şu anda nerede bulunduğuna göre seçmektedir. Bulut, mevcut işlem gereksinimlerinizi desteklediği ve gerektiğinde kaynakları döndürmenize olanak tanıdığı için giderek popülerlik kazanıyor.

3.  Analiz

Büyük veriye yaptığınız yatırım, verilerinizi analiz edip bunlara göre hareket ettiğinizde karşılığını verir. Çeşitli veri setlerinizin görsel analizi ile yeni bir netlik elde edin. Yeni keşifler yapmak için verileri daha fazla keşfedin. Bulgularınızı başkalarıyla paylaşın. Makine öğrenimi ve yapay zeka ile veri modelleri oluşturun. Verilerinizi işe koyun.

Büyük Veri En İyi Uygulamaları

To help you on your big data journey, we’ve put together some key best practices for you to keep in mind. Here are our guidelines for building a successful big data foundation.

Büyük veriyi belirli iş hedefleriyle uyumlu hale getirin	Daha kapsamlı veri setleri yeni keşifler yapmanızı sağlar. Bu amaçla, devam eden proje yatırımlarını ve finansmanını garanti altına almak için becerilere, organizasyona veya altyapıya yapılan yeni yatırımları iş odaklı güçlü bir bağlama dayandırmak önemlidir. Doğru yolda olup olmadığınızı belirlemek için, büyük verinin en önemli iş ve BT önceliklerinizi nasıl desteklediğini ve mümkün kıldığını sorun. Örnekler arasında e-ticaret davranışını anlamak için web günlüklerinin nasıl filtreleneceğini anlamak, sosyal medya ve müşteri destek etkileşimlerinden duyarlılık elde etmek ve istatistiksel korelasyon yöntemlerini ve bunların müşteri, ürün, üretim ve mühendislik verileriyle ilgisini anlamak sayılabilir.
Standartlar ve yönetişim ile beceri eksikliğini gidermek	Büyük veriye yaptığınız yatırımdan fayda sağlamanın önündeki en büyük engellerden biri beceri eksikliğidir. Büyük veri teknolojileri, değerlendirmeleri ve kararlarının BT yönetişim programınıza eklenmesini sağlayarak bu riski azaltabilirsiniz. Yaklaşımınızı standartlaştırmak, maliyetleri yönetmenize ve kaynaklardan yararlanmanıza olanak tanıyacaktır. Büyük veri çözümleri ve stratejileri uygulayan kuruluşlar beceri gereksinimlerini erken ve sık sık değerlendirmeli ve olası beceri eksikliklerini proaktif olarak belirlemelidir. Bunlar mevcut kaynakları eğiterek/çapraz eğitim vererek, yeni kaynaklar işe alarak ve danışmanlık firmalarından yararlanarak ele alınabilir.
Bir mükemmellik merkezi ile bilgi aktarımını optimize edin	Bilgiyi paylaşmak, gözetimi kontrol etmek ve proje iletişimini yönetmek için bir mükemmellik merkezi yaklaşımı kullanın. Büyük veri ister yeni ister genişleyen bir yatırım olsun, yumuşak ve sert maliyetler kurum genelinde paylaşılabilir. Bu yaklaşımdan yararlanmak, büyük veri yeteneklerini ve genel bilgi mimarisi olgunluğunu daha yapılandırılmış ve sistematik bir şekilde artırmaya yardımcı olabilir.
En büyük getiri yapılandırılmamış verilerin yapılandırılmış verilerle hizalanmasıdır	Büyük veriyi tek başına analiz etmek kesinlikle değerlidir. Ancak düşük yoğunluklu büyük verileri bugün kullanmakta olduğunuz yapılandırılmış verilerle birleştirip entegre ederek daha da büyük iş içgörüleri elde edebilirsiniz. İster müşteri, ister ürün, ister ekipman veya çevresel büyük verileri yakalıyor olun, amaç temel ana ve analitik özetlerinize daha alakalı veri noktaları ekleyerek daha iyi sonuçlara ulaşmaktır. Örneğin, tüm müşteri duyarlılığını yalnızca en iyi müşterilerinizin duyarlılığından ayırt etmek arasında fark vardır. Bu nedenle birçok kişi büyük veriyi mevcut iş zekası yeteneklerinin, veri ambarı platformunun ve bilgi mimarisinin ayrılmaz bir uzantısı olarak görmektedir. Büyük veri analitik süreçlerinin ve modellerinin hem insan hem de makine tabanlı olabileceğini unutmayın. Büyük veri analitik yetenekleri arasında istatistik, uzamsal analiz, semantik, etkileşimli keşif ve görselleştirme yer alır. Analitik modelleri kullanarak, ilişkilendirmeler ve anlamlı keşifler yapmak için farklı veri türlerini ve kaynaklarını ilişkilendirebilirsiniz.
Keşif laboratuvarınızı performans için planlayın	Verilerinizdeki anlamı keşfetmek her zaman kolay değildir. Bazen ne aradığımızı bile bilmeyiz. Bu beklenen bir durumdur. Yönetim ve BT’nin bu “yönlendirme eksikliğini” veya “net gereksinim eksikliğini” desteklemesi gerekir. Aynı zamanda, analistlerin ve veri bilimcilerin temel iş bilgisi boşluklarını ve gereksinimlerini anlamak için iş dünyasıyla yakın bir şekilde çalışması önemlidir. Verilerin etkileşimli olarak keşfedilmesini ve istatistiksel algoritmaların denenmesini sağlamak için yüksek performanslı çalışma alanlarına ihtiyacınız vardır. Sandbox ortamlarının ihtiyaç duydukları desteğe sahip olduğundan ve uygun şekilde yönetildiğinden emin olun.
Bulut işletim modeliyle uyum sağlama	Büyük veri süreçleri ve kullanıcıları, hem yinelemeli denemeler hem de üretim işlerini yürütmek için geniş bir kaynak yelpazesine erişim gerektirir. Bir büyük veri çözümü, işlemler, ana veriler, referans veriler ve özetlenmiş veriler dahil olmak üzere tüm veri alanlarını içerir. Analitik kum havuzları talep üzerine oluşturulmalıdır. Kaynak yönetimi, işlem öncesi ve sonrası, entegrasyon, veritabanı içi özetleme ve analitik modelleme dahil olmak üzere tüm veri akışının kontrolünü sağlamak için kritik öneme sahiptir. İyi planlanmış bir özel ve genel bulut sağlama ve güvenlik stratejisi, bu değişen gereksinimleri desteklemede ayrılmaz bir rol oynar.