멀티모달 RAG란 무엇인가? 이미지 캡셔닝과 벡터 임베딩은 어떻게 다른가
지난달 사내 RAG 시스템에 PDF 하나가 들어왔는데, 절반이 회로도와 표였다. 텍스트만 청킹하던 기존 파이프라인은 그 페이지들을 통째로 건너뛰었고, 사용자가 “이 다이어그램에서 전류 방향이 어떻게 되나요”라고 물었을 때 시스템은 완전히 엉뚱한 답을 내놨다. 그때 처음으로 “멀티모달 RAG를 진지하게 붙여야겠다”는 결심을 했다. 그런데 막상 자료를 찾아보니 다들 멀티모달이라는 단어를 너무 쉽게 쓰고 있었다. 이미지 하나 첨부 가능하게 … Read more
