Data Engineering Project Bootcamp

Data Engineering Project Bootcamp

Bu 6 haftalık uygulamalı proje eğitiminde katılımcılarla birlikte canlı olarak sıfırdan başlayıp son aşamaya kadar uçtan uca bir proje gerçekleştireceksiniz. Sektörde uzun yıllar tecrübesi olan birçok veri mühendisinin görüş ve önerileri alınarak titizlikle tasarlanan bu eğitimde altyapı, veri platformu ve üzerinde analitik dashboard'u besleyen bir data pipeline'ı gerçek hayat standart ve senaryolarına uygun olarak oluşturacaksınız. Sıfır teori, %100 proje geliştirme prensibiyle çalışan bu eğitimde altyapı, platform ve DataOps kurulum süreçlerini de deneyimleyeceksiniz. NYC Sarı Taksi Veri Analizi ve Görselleştirme Projesi üzerinde çalışarak modern veri mühendisliği araçları ve gerçek dünya verileri ile uygulamalı deneyim kazanacaksınız.

İçerik

Proje Tanımı ve Gereksinim Analizi:

• İş gereksinimleri

• Veri kaynakları ve veri kullanıcıları

Proje Altyapısını Hazırlama:

• Minikube ve kubectl kurulumu

• Data Platform bileşenlerinin kurulumu

• Object storage

• CI/CD altyapısı

• Apache Spark

• Superset

• Catalog

• Airflow

• Trino

• Altyapı ve platform kurma: Kubernetes ve data platformu

Veri Modelleme (Data Modeling)

Veri Kaynağından Alınması:

• NYC TLC sarı taksi verileri günlük olarak indirme

• Tarih, saat, lokasyon, ücret detayları, mesafe ve yolcu sayısı verilerini işleme

Veri Temizleme ve Zenginleştirme:

• Eksik, hatalı veya tutarsız veri kayıtlarını temizleme

• Tarih ve saat bilgilerinden yeni sütunlar oluşturma (gün, saat, ay)

• Pick-up/drop-off noktalarını NYC bölge haritasıyla eşleştirme

Veri Yükleme:

• Temizlenmiş ve zenginleştirilmiş verileri analitik ortama aktarma (Lakehouse)

• Verileri Bronze, Silver ve Gold katmanlarına ayırma

Görselleştirme ve Raporlama:

• Superset ve Trino ile yoğunluk haritaları

• Zaman serisi analizleri

• Havalimanı transferleri için özel dashboard'lar

• Etkileşimli görselleştirmeler oluşturma

Proje Kapsamı:

• Yoğunluk Analizi: En sık kullanılan bölgeler ve yoğun saatler

• Havalimanı Transfer Analizi: Ücret, yolcu sayısı ve diğer metrikler

• Zaman Bazlı Trendler: Günlük, haftalık ve aylık trendler

• Kilit Performans Göstergeleri (KPI): Ortalama yolculuk süresi, mesafesi ve ücreti

Kimler Katılabilir?

• VBO Data Engineering Bootcamp eğitimi mezunları

• Projeyi yapmak için kendini yeterli seviyede hissedenler

• Data Engineering konularında kendini yeterli hissedenler

Sertifika

• Proje çalışmasının en az %70'ine katılım

• Projeyi canlı olarak başarıyla sunma koşullarıyla sertifika verilir

Kariyer Fırsatları

• Veri mühendisliğinde seviye atlama ve proje deneyimi kazanma

• Portföyü gerçek projelerle donatma ve CV'yi güçlendirme

• İş görüşmeleri ve mülakatlarda anlatacak somut proje deneyimi

• Kubernetes üzerinde proje geliştirme deneyimi

• GitHub'da developer olarak çalışma deneyimi

• Modern veri mühendisliği araçları (Python, Apache Spark, Airflow3, Trino, Iceberg, Nessie, Kubernetes, Helm) kullanımı

Eğitmen

• Erkan Şirin (Senior Data/ML Engineer, AWS Solution Architect)