RAG 에이전트 실무
RAG 시스템, LangGraph 멀티에이전트, FastAPI 백엔드, 벡터 데이터베이스 등 AI 시스템을 직접 설계하고 구현하는 과정을 다룹니다. 실제 프로젝트 경험을 바탕으로 한 구현 가이드와 트러블슈팅을 공유합니다.
한 달 전쯤 회사 워크플로우 자동화를 새로 짜야 하는 상황이 생겼다. 고객 문의가 들어오면 RAG 파이프라인으로 관련 문서를 검색하고, 답변 초안을 만들고, 담당자에게 슬랙으로 알림을 보내는 구조였다. 처음엔 Dify로 전체를 구축했다. 화면이 깔끔하고 LLM 워크플로우를 만드는 데 특화된 느낌이 강해서 며칠은 만족스러웠다. 그런데 외부 API 몇 개를 붙이고, 조건 분기가 복잡해지고, 커스텀 로직이 필요해지는 순간부터 … Read more
새벽 두 시에 vLLM 서버가 또 죽었다. Azure GPU 인스턴스 로그를 열어보니 텐서 병렬 설정이 꼬여서 워커 프로세스끼리 서로 못 찾고 있었다. 이런 순간에 손이 가는 도구가 무엇인지가, 그 도구의 진짜 실력을 말해준다고 생각한다. 나는 그날 Claude Code를 켰다. 다음 날 비슷한 유형의 FastAPI 비동기 버그가 났을 때는 Codex를 열었다. 그렇게 3개월을 두 도구를 번갈아 … Read more
몇 달 전만 해도 멀티모달 RAG라는 말을 들으면 그냥 이미지 업로드 버튼 하나 붙이면 되는 줄 알았다. 실제로 손대보니 완전히 다른 이야기였다. 문서 안의 표와 다이어그램을 검색 가능하게 만드는 것부터, 어떤 VLM을 골라서 어떻게 서빙할지, 그리고 사용자가 실제로 사진을 찍어 들고 와서 묻는 순간까지, 각 단계마다 텍스트 RAG에서는 겪어보지 못한 문제들이 쌓여 있었다. 세 편에 … Read more
2편까지 정리하고 나니 인덱싱 쪽은 어느 정도 자신이 붙었다. 그런데 정작 데모 날짜가 다가오면서 진짜 부담스러웠던 건 따로 있었다. 현장 엔지니어가 설비 사진을 찍어서 바로 질문하는 시나리오였다. 사용자가 이미지를 올리는 순간부터 답변이 나오기까지, 텍스트 전용 RAG에서는 신경 쓸 필요 없던 문제들이 줄줄이 튀어나왔다. 이미지를 받는 엔드포인트를 어떻게 설계할지, 이미지에서 뽑은 정보와 벡터 검색 결과를 어떻게 … Read more
지난달 사내 RAG 시스템에 PDF 하나가 들어왔는데, 절반이 회로도와 표였다. 텍스트만 청킹하던 기존 파이프라인은 그 페이지들을 통째로 건너뛰었고, 사용자가 “이 다이어그램에서 전류 방향이 어떻게 되나요”라고 물었을 때 시스템은 완전히 엉뚱한 답을 내놨다. 그때 처음으로 “멀티모달 RAG를 진지하게 붙여야겠다”는 결심을 했다. 그런데 막상 자료를 찾아보니 다들 멀티모달이라는 단어를 너무 쉽게 쓰고 있었다. 이미지 하나 첨부 가능하게 … Read more