RAG 에이전트 실무
지난달 사내 RAG 시스템에 PDF 하나가 들어왔는데, 절반이 회로도와 표였다. 텍스트만 청킹하던 기존 파이프라인은 그 페이지들을 통째로 건너뛰었고, 사용자가 “이 다이어그램에서 전류 방향이 어떻게 되나요”라고 물었을 때 시스템은 완전히 엉뚱한 답을 내놨다. 그때 처음으로 “멀티모달 RAG를 진지하게 붙여야겠다”는 결심을 했다. 그런데 막상 자료를 찾아보니 다들 멀티모달이라는 단어를 너무 쉽게 쓰고 있었다. 이미지 하나 첨부 가능하게 … Read more
AI를 도입한 기업의 70% 이상이 적어도 하나의 업무 기능에 AI를 붙였다. 그런데 프로덕션 규모로 성공적으로 배포한 곳은 11%에 불과하다는 조사 결과가 있다. 파일럿에서 멈추는 이유는 대부분 모델이 나빠서가 아니다. 모델에 들어가는 데이터가 준비가 안 돼 있어서다. Graphwise는 이 문제를 정면으로 겨냥한 플랫폼이다. 2024년 Ontotext와 Semantic Web Company가 합병해서 만들어진 회사인데, 두 곳 모두 20년 넘게 … Read more
핵심 인력이 퇴사하면 그 사람이 갖고 있던 지식도 함께 나간다는 게 조직에서 오래된 고민이다. 문서화를 열심히 해도 해결이 안 되는 이유가 있다. 문서는 텍스트로 저장되지만, 그 텍스트들이 서로 어떻게 연결되는지는 저장이 안 된다. 담당자가 머릿속에서 연결하고 있던 맥락과 관계가 사라지는 거다. AI가 사내 문서를 다루면 이 문제가 더 선명하게 드러난다. RAG를 붙여서 사내 문서를 검색하게 … Read more
pgvector를 RAG에 붙이고 꽤 만족스럽게 쓰고 있었다. 이미 PostgreSQL을 쓰고 있었고, 확장 하나 설치하면 벡터 검색까지 되니까 인프라를 늘리지 않아도 됐다. 문서 수가 수십만 건 수준일 때는 HNSW 인덱스로 응답 속도도 충분했고, BM25 하이브리드 검색까지 붙이니까 검색 품질도 나쁘지 않았다. 그러다 어느 날 질문 하나가 들어왔다. “이 계약서에 등장하는 모든 법인이 서로 어떻게 연결돼 있고, … Read more
RAG를 붙이면 환각이 줄어든다고 했다. 분명히 줄긴 했다. 그런데 없어지지는 않았다. LangGraph 기반 RAG 시스템을 직접 운영하면서 가장 자주 들은 피드백이 “왜 이 질문에는 제대로 답을 못 하지?”였다. 단순한 사실 조회는 잘 됐다. 그런데 조금만 복잡해지면 흔들렸다. 여러 개체의 관계를 엮어서 추론해야 하는 질문, 전체 데이터에서 패턴을 찾아야 하는 질문에서 벡터 검색 기반 RAG는 근본적인 … Read more