Apache Airflow 및 Amazon MWAA를 활용한 서버리스 데이터 파이프라인 자동화 - 안효빈, 솔루션즈 아키텍트, AWS

thumbnail

제목: Apache Airflow와 Amazon MWAA를 활용한 서버리스 데이터 파이프라인 자동화

1. 서론

  • 데이터 오케스트레이션의 중요성과 어려움 소개
  • Apache Airflow의 역할과 기능 소개

2. Apache Airflow 소개

  • Apache Airflow의 개념과 특징 소개
  • Apache Airflow를 사용하여 데이터 워크플로 구성하는 방법 소개
  • Apache Airflow의 예약, 실행, 모니터링, 관리 기능 소개

3. Amazon MWAA 소개

  • Amazon MWAA의 개념과 특징 소개
  • Amazon MWAA로 Apache Airflow 환경 설정 및 관리하는 방법 소개
  • Amazon MWAA를 통해 데이터 워크플로를 손쉽게 배포하는 방법 소개

4. 완전 관리형 서버리스 데이터 워크플로 구성 방법

  • Apache Airflow와 Amazon MWAA를 활용하여 완전 관리형 서버리스 데이터 워크플로 구성하는 방법 소개
  • 데이터 워크플로를 단순화하는 방법 소개
  • 완전 관리형 서버리스 데이터 워크플로의 장점과 활용 사례 소개

5. 결론

  • Apache Airflow와 Amazon MWAA의 장점과 활용성 요약
  • 완전 관리형 서버리스 데이터 워크플로 구성의 중요성 강조

오픈소스 기반의 데이터 파이프라인 자동화를 위해 Apache Airflow와 Amazon MWAA를 적극 활용할 수 있는 방법과 장점을 소개하는 세션입니다. Apache Airflow와 Amazon MWAA를 이용하여 완전 관리형 서버리스 데이터 워크플로를 구성함으로써 데이터 통합과 처리의 효율성을 높일 수 있습니다.