Amazon Redshift Serverless를 활용한 LG이노텍의 데이터 분석 플랫폼 혁신 과정 :: AWS Summit Seoul 2023
- 데이터 분석 파이프라인과 어려움
- 데이터 분석 파이프라인 구축 시 어려움이 발생할 수 있음
- 데이터 처리 시간과 비용 관리가 필요함
- 아마존 레드 시프트 서버리스의 도움
- 레드 시프트 서버리스를 활용하여 비용 효율적인 데이터 분석 파이프라인 구축 가능
- 아키텍처 패턴 예시
- 레드 시프트, 프로비저닝된 클러스터, 서버리스 등 다양한 기술을 결합하여 유연한 아키텍처 구성 가능
- LG이노텍의 데이터 플랫폼 혁신 과정 소개
- 데이터 적재량이 증가하여 저장 공간 부족 문제 발생
- 배치 성능 저하로 적재 수행 시간 증가
- 배치와 조회 영역 분리를 위한 클러스터 분리 고민
- 조회 영역 리소스 활용 최적화를 위한 서비스 선택 고민
- 해결 방안
- 데이터 적재 주기를 시간 단위로 변경
- 배치 성능 저하 문제 해결을 위해 배치와 조회 영역 분리
- 조회 영역 리소스 최적화를 위한 선택 고민
- 데이터 분석 파이프라인 확장과 비용 최적화를 위한 AWS 솔루션 활용