Data Engineering Bootcamp

Data Engineering Bootcamp

Bu 18 haftalık (2-4 hafta ön hazırlık + 14 hafta canlı ders + 2 hafta final projesi) bootcamp eğitiminde veri mühendisliği dünyasına kapsamlı bir giriş yapacaksınız. Verinin istenilen yer, zaman, format, doğruluk ve tutarlılıkta hazır edilmesini sağlayan sistemlerin tasarımını, inşasını ve idaresini öğreneceksiniz. Türkiye, Avrupa ve Amerika'da geniş sektör deneyimine sahip eğitmen tarafından hazırlanan güncel içeriklerle en çok talep edilen yetenekleri elde edeceksiniz. Apache Spark, Hadoop, Kafka, Airflow, AWS gibi modern veri mühendisliği araçlarını kullanarak gerçek dünya senaryolarında uçtan uca veri akış hatları (pipelines) kurabileceksiniz. Bu eğitim ile Apache Spark'ın en önemli sertifikası olan Databricks Certified Associate Developer for Apache Spark'ı alma şansınızı artırabilirsiniz.

İçerik

1. Hafta (Ön Hazırlık):

• Linux Basic, Bash Script

• Git Basic

• Crontab

• Bonus: Azure Data Engineering Intro

2. Hafta (Ön Hazırlık):

• PostgreSQL & SQL Basics

• Docker & Kubernetes

• Python Programming

• Bonus: Airflow MCP Server DAG Management

3. Hafta:

• Introduction to Data Engineering

• Introduction to Big Data

• Apache Hadoop HDFS, YARN, MapReduce

• Setting-up working environment

• Multi-node Hadoop cluster on Docker

• Basic HDFS operations

• MapReduce Demo (Dried fruits WordCount)

• Bonus: Block, File, and Object Storage

4. Hafta:

• Hive Intro

• Hadoop file formats and compression

• Querying big data

• Hive connection, database, and creating tables

• Creating external tables in Hive and AWS Athena

• Bonus: Database CRUD Operations with Python

5. Hafta:

• Hive partitioning and bucketing

• Apache Sqoop

• Introduction to Apache Kafka

• Multinode Kafka setup with Docker

• Apache Kafka topics

• Console producer and consumer

• Bonus: Python Tests (Unit, Integration etc.)

6. Hafta:

• Kafka consumer groups

• Data Generator: Stream your datasets

• Create Producer and Consumer with Python

• Kafka Python Admin Client

• Bonus: Change Data Capture with Debezium and Kafka Connect

7. Hafta:

• Data transformations with Spark Dataframe and Spark SQL

• Built-in data sources (Parquet, Avro, JSON, CSV, ORC)

• Bonus: Query big data with Trino

8. Hafta:

• Spark integration with external data sources (PostgreSQL, MinIO, AWS S3)

• Spark cluster managers (YARN, Standalone, Kubernetes)

• Submit Spark applications

• Bonus: SQL window functions

9. Hafta:

• Spark optimizations

• Spark Streaming Intro

• Spark Streaming file source & sink

• Bonus: Databricks vs Snowflake

10. Hafta:

• Spark Streaming window operations

• Spark Streaming ForEachBatch sink

• Spark Streaming Kafka source and sink

• Data Storage Architectures: DWH, Data Lake, Lakehouse

• Modern Data Management: Data Mesh, Data Fabric

• Data Reliability & Governance: Data Contracts, Schema Validation

• Open Table Formats: Delta, Iceberg, Hudi

• Bonus: Creating amazing dashboards with Apache Superset

11. Hafta:

• Introduction to Data Modeling

• Business Rules and Data Modeling

• Database Normalization ve Cardinality

• Design States/Phases: Conceptual, Logical, Physical Data Modeling

• Modeling for Data Warehouse: Dimensional Modeling

• Tools for Data Modeling

• Bonus: DBT

12. Hafta:

• Introduction to Airflow

• Airflow Dummy, Bash Operators

• Airflow PythonOperator

• Airflow DB Connection ve SQLExecuteQueryOperator

• Airflow SSHConnection

• Bonus: Clickhouse

13. Hafta:

• Airflow BranchOperator

• Airflow PostgresOperator, PostgresqlHook

• Python Pandas Object storage and DB write and read

• Bonus: Big Query

14. Hafta:

• DataOps Intro

• DataOps Processes and Tools

• DataOps Implementation and Best Practices

• Bonus: Schema Registries in Streaming

15. Hafta:

• Introduction to NoSQL

• Elasticsearch

• Kibana

• Bonus: Spark ML

16. Hafta:

• Introduction to Cloud and AWS Basics

• Data Engineering on AWS

• Athena, Lambda, Glue

• Bonus: Infrastructure as Code (IaC - Terraform)

17-18. Hafta:

• Final Projects (self-study)

• Final Project presentations

Kimler Katılabilir?

• Data Engineer, ML Engineer ve Data Scientist rollerinde bulunanlar

• Bu rollere aday olanlar

• Ekibinde bu rollere sahip ekip liderleri

• Sektörde yönünü bulmak ve nereye doğru gitmek istediğine karar vermek isteyenler

• Python bilgisi olanlar (ön hazırlıkta mevcut)

• Temel Docker bilgisi olanlar (ön hazırlıkta mevcut)

• Temel SQL ve veri tabanı bilgisine sahip olanlar (ön hazırlıkta mevcut)

Sertifika

• Derslerin en az %70'ine katılım

• Ödevlerin en az %70'ini tamamlama

• Bitirme projesinden 100 üzerinden en az 70 puan alma koşullarıyla sertifika verilir

Kariyer Fırsatları

• Data Engineer rolünde çalışma fırsatı

• Databricks Certified Associate Developer for Apache Spark sertifikası alma şansını artırma

• Veri akış hatları (pipelines) kurabilme ve yönetebilme

• Modern veri mühendisliği araçlarını kullanabilme

• Büyük veri üzerinde update, delete ve datawarehouse kullanımı

• Lakehouse mimarisi ve açık tablo formatları (Delta, Iceberg, Hudi) kullanımı

• Streaming veri işleme ve realtime prediction

• AWS üzerinde veri mühendisliği yapabilme

• Change Data Capture (CDC) sistemleri kurabilme

• DataOps süreçlerini uygulayabilme

Eğitmen

• Erkan Şirin (Senior Data/ML Engineer, AWS Solution Architect)