마이다스 아이티의 OpenSearch 자동 임베딩 고객 사례

사용자 입력과 데이터 저장 (User Input 및 정보 저장)

• 사용자 입력과 정보 등을 사용자의 재접속 시 이력 출력을 위해 DynamoDB에 저장
• OpenSearch의 Hybrid Search를 지원하며, Pinecone Vector Search와 성능 차이 없음

DynamoDB와 OpenSearch 간 데이터 정합성 확보를 위한 신규 아키텍처

1. OpenSearch를 도입하여 Vector 및 Keyword 검색 모두 가능하도록 변경
2. zero-ETL 통합 기능을 도입하여 데이터 정합성 유지
   • 데이터 저장: User Input과 채팅 정보를 DynamoDB에 저장 후 S3로 내보냄
   • 데이터 수집 (Auto Sink up): OpenSearch가 지정된 S3의 데이터를 수집
   • Vector 값 저장 (Auto Embedding): OpenSearch ML Connector를 사용하여 자동 임베딩 및 vector 값 저장

OpenSearch Embedding Pipeline 구축

1. 파이프라인 역할 생성: 수집 경로 지정 및 파이프라인 생성
2. 파이프라인 구성: source, processor, sink로 구분하여 설정
3. 권한 설정과 pipeline 생성: Amazon OpenSearch Service Integration 기능을 활용하여 간편한 구성

사용자 경험 개선을 위한 변창언 엔지니어 노력

• AI 챗봇 서비스의 UI/UX 개발과 고도화에 전념 중

참고 자료: Amazon OpenSearch Service와 DynamoDB zero-ETL 통합, Amazon DynamoDB와 함께 OpenSearch 수집 파이프라인 사용, Amazon OpenSearch Ingestion을 사용한 데이터 수집, Amazon OpenSearch Service Integration 기능을 활용한 임베딩 파이프라인