AI 이것만은 알고가자 1편 : LangChain이란?
LangChain이란?
- LangChain은 강력하고 차별화된 애플리케이션을 개발하기 위해 언어 모델을 호출하고 개발하는 기능을 제공하는 도구이다.
- LangChain은 에이전트 기능과 함께 작동하여 언어 모델이 환경과 상호 작용할 수 있도록 도와준다.
- ChatGPT 3.5는 2021년까지의 데이터를 학습한 초거대 언어 모델이지만 2022년부터의 정보에 대해 도와줄 수 없다.
LangChain의 해결방안
- VectorStore 기반 정보 탐색 (RAG)이나 Agent를 활용한 검색 결합으로 대응 가능하다.
- TextSplitter를 활용한 문서 분할이 가능하며, 프롬프트 입력을 통해 문서에 대한 답변을 할 수 있다.
- LangChain을 사용하여 ChatGPT를 개량하고 업그레이드할 수 있으며, N-shot learning과 파인튜닝을 통해 문제를 해결할 수 있다.
LangChain을 활용한 예시
- PDF 챗봇 구축을 위해 문서 업로드와 분할, 문서 임베딩, 검색, 답변 생성 등의 작업을 수행한다.
- PyPDFLoader를 이용해 문서를 가져오고, TextSplitter를 이용해 문서를 분할한다.
- 각 청크 문서를 임베딩하여 LLM이 이해할 수 있도록 수치화하고, 벡터 스토어를 통해 검색을 수행한다.
- QA Chain을 사용하여 사용자 질문에 대한 답변을 생성한다.
LangChain을 통한 종합적 솔루션
- LangChain은 파일 로딩, 분할, 임베딩, 검색 작업을 처리하고 ChatGPT LLM 모델을 활용하여 종합적인 솔루션을 제공한다.
- 개발자들이 LangChain을 통해 언어 모델을 활용하여 복잡한 애플리케이션을 구축하고 확장할 수 있도록 도와준다.