دوره آموزشی Data Engineering

دوره آموزشی Data Engineering

بخش 1 :  مفاهیم مهندسی داده

• نقش های حوزه دیتا
  • Data Analysts
  • Data Engineer
  • Data Scientist
  • Data Administrator
• وظایف مهندس داده
• تفاوت مهندس داده و مهندس نرم افزار
• توانمندی های نرم افزاری و توسعه نرم افزار که یک مهندس داده نیاز دارد

بخش 2 :  طراحی و پیاده سازی دیتابیس – RDBMS Fundamentals

• پایگاه داده های رابطه ای و ویژگی های آن
• مروری بر ساختار دیتابیس‌ها
• طراحی دیتابیس و نرمال سازی
• مقدمه ای بر پیاده سازی دیتا بیس در MS SQL Server و Oracle
• دستورات SQL و کار با دیتابیس
• مباحث پیشرفته در دستورات SQL
• توسعه procedure و function و کاربرد آن
• مقدمه ای بر بهبود کارایی در دیتابیس و indexing

بخش 3: طراحی و پیاده سازی انبار داده  – Data Warehousing

• انبارداده و ویژگی ها و کاربرد های آن
• تفاوت DW و سیستم های OLTP
• روش های طراحی DW
  • Star and Snowflake
• Fact and Dimension Modeling
• ETL و روش های پیاده سازی آن
  • استفاده از SP ها
  • استفاده از ابزارهای ETL
  • استفاده از زبان های برنامه نویسی
• پیاده سازی ETL به کمک SSIS
• چالش های Dimension Update و انواع SCD

بخش4: نصب و راه اندازی نرم افزاها و روش های آن – Software Deployment and Installation

• مقدمه ای بر روش های نصب نرم افزارها
• استفاده از سرور فیزیکی برای استقرار نرم افزار
• استفاده از VM ها برای استقرار نرم افزار
• معرفی Docker و استفاده از Docker برای استقرار نرم افزار
• نصب SQL Server و Oracle در بستر داکر

بخش 5: مصورسازی و ابزارهای آن – Visualization

• Visualization و اهمیت آن برای مهندسان داده
• معرفی کلی ابزارهای Visualization
• کار با Power BI جهت مصور سازی داده های DW

بخش6:  پلتقرم های Cloud برای DB  و DW – RDBMS and DW in Cloud Platforms

• معرفی پلتفرم های Cloud و ماهیت آنها
• معرفی و کار با سرویس های AWS برای DW و DB
  • AWS RDS
  • AWS Redshift
• معرفی و کار با سرویس های Azure برای DW و DB
  • Azure SQL DB
  • Azure Synapse

بخش7:  برنامه نویسی Functional

• زبان های برنامه نویسی مهم برای مهندسان داده
• انواع زبان های برنامه نویسی
• مقدمه ای بر OOP
• مقدمه ای بر Functional Programing
• دلایل استفاده از بان های برنامه نویس functional برای کار با دیتا
• توسعه روال های مختلف به کمک زبان برنامه نویسی Python
• استفاده از Python جهت توسعه روال های ETL

بخش 8:  کار با Git و فرآیند CICD

• انجام integration IDE and Git
• انجام Poll – Commit – Push
• CI and CD
• مقدمه ای بر Jenkins
• مقدمه ای بر Chef

بخش 9:  سیستم های توزیع شده – Distribute Systems

• موازی کاری و توزیع شدگی
• توزیع دیتا و پردازش
• Scalability
• Sharding
• Fault Tolerance
• High Availability
• چالش های توزیع دیتا
• چالش های توزیع پردازش

بخش 10:  سیستم های NoSQL  – NoSQL Systems and Databases

• تعریف و ویژگی NoSQL Databases
• معرفی و کار با MongoDB
  • مفاهیم
  • نصب و راه اندازی
  • کار با MongoDB و مدل سازی داده
  • Replication and Sharding
• معرفی و کار با Elastic
  • مفاهیم
  • نصب و راه اندازی
  • کار با Elastic و مدل سازی داده
  • Replication and Sharding
  • مقدمه ای بر ELK
• معرفی و کار با Cassandra
  • مفاهیم
  • نصب و راه اندازی
  • کار با Cassandra و مدل سازی داده
  • Replication and Data Distribution

بخش 11: پلتقرم های Cloud برایDB  NoSQL – NoSQL Databases in Cloud Platforms

• معرفی و کار با سرویس های AWS برای NoSQL
  • AWS OpenSearch
  • AWS Document DB
  • AWS Dynamo DB
• معرفی و کار با سرویس های Azure برای NoSQL
  • Azure Search
  • Azure Cosmos DB

بخش 12: کلان داده و ابزارهای ذخیره و پردازش آن – Big Data and Big Data Processing Platforms

• تعریف big data و مثال های ان
• تعریف data lake و lakehouse
• معرفی Hadoop و نحوه کارکرد ان
  • HDFS
  • YARN
• معرفی و کار با Object Storage
  • MinIO
• معرفی و کار با Trino
  • توسعه روال های ETL با Trino
• معرفی و کار با Spark
  • توسعه روال های ETL با Spark SQL
• معرفی NiFi و استفاده از آن برای Ingestion
• معرفی Kafka و ویژگی های آن
  • Topic – Partition
  • Producer and Consumer

بخش 13: پلتقرم های Cloud برای Big Data– Big Data Processing in Cloud Platforms

• معرفی و کار با سرویس های AWS برای Big Data
  • AWS S3
  • AWS Athena
  • AWS EMR
  • AWS Glue
• معرفی و کار با سرویس های Azure برای Big Data
  • Azure Data Factory
  • Azure Data Lake Storage
  • Azure Databricks
  • Azure Synapse