Debezium으로 로그 기반 CDC 구현하기

1. 변경 사항을 감지하는 방법

• 데이터베이스에서 발생한 변경 사항을 감지하는 Debezium의 방식
• 소스 커넥터를 통해 다양한 데이터베이스의 변경 사항을 Kafka로 스트리밍
• Kafka Connect를 통해 Sink 커넥터로 실시간으로 타겟 시스템으로 전송

2. 함수의 작동 방식

1️⃣ 1 단계 : 가져오자 의 함수를 호출 2️⃣ 2 단계 : 가 실행되며, 데이터를 처리 3️⃣ 3 단계 : 기록하자 작업을 반복하며, 변화를 감지

3. 스냅샷 수행과 데이터 동기화

• 스냅샷 : 데이터베이스의 모든 레코드를 조회하여 초기 데이터 동기화
• CDC를 통해 변경 사항을 스트리밍하고 Source와 Target의 데이터를 일치시킴
• Schema Change 및 Schema History 토픽을 활용하여 스키마 변경 이벤트를 처리

4. Debezium의 핵심 구조

• Source 데이터의 변경 이벤트와 스키마 변경 이벤트를 효과적으로 처리해 Kafka로 안정적으로 스트리밍
• 메시지 내에서 발생하는 문제에 대한 해결책 구현

Debezium은 트랜잭션 로그를 이용한 CDC 구현과 스냅샷을 활용한 데이터 동기화로 데이터베이스의 변경 사항을 실시간으로 감지하고 처리하는 기능을 제공하고 있다.