RAG 에이전트 실무
2편까지 정리하고 나니 인덱싱 쪽은 어느 정도 자신이 붙었다. 그런데 정작 데모 날짜가 다가오면서 진짜 부담스러웠던 건 따로 있었다. 현장 엔지니어가 설비 사진을 찍어서 바로 질문하는 시나리오였다. 사용자가 이미지를 올리는 순간부터 답변이 나오기까지, 텍스트 전용 RAG에서는 신경 쓸 필요 없던 문제들이 줄줄이 튀어나왔다. 이미지를 받는 엔드포인트를 어떻게 설계할지, 이미지에서 뽑은 정보와 벡터 검색 결과를 어떻게 … Read more
1편에서 캡셔닝과 임베딩의 차이를 정리하고 나서, 바로 다음에 부딪힌 질문이 있었다. 그래서 어떤 VLM을 쓸 건데. 처음에는 이 질문을 너무 가볍게 봤다. 어차피 비슷한 모델들일 텐데 인기 많은 걸로 고르면 되겠지 싶었다. 그런데 실제로 후보군을 놓고 벤치마크를 돌려보니, 같은 회로도 이미지를 넣어도 모델에 따라 캡션 품질이 확연히 갈렸다. 어떤 모델은 다이어그램 안의 화살표 방향을 완전히 … Read more
지난달 사내 RAG 시스템에 PDF 하나가 들어왔는데, 절반이 회로도와 표였다. 텍스트만 청킹하던 기존 파이프라인은 그 페이지들을 통째로 건너뛰었고, 사용자가 “이 다이어그램에서 전류 방향이 어떻게 되나요”라고 물었을 때 시스템은 완전히 엉뚱한 답을 내놨다. 그때 처음으로 “멀티모달 RAG를 진지하게 붙여야겠다”는 결심을 했다. 그런데 막상 자료를 찾아보니 다들 멀티모달이라는 단어를 너무 쉽게 쓰고 있었다. 이미지 하나 첨부 가능하게 … Read more
AI를 도입한 기업의 70% 이상이 적어도 하나의 업무 기능에 AI를 붙였다. 그런데 프로덕션 규모로 성공적으로 배포한 곳은 11%에 불과하다는 조사 결과가 있다. 파일럿에서 멈추는 이유는 대부분 모델이 나빠서가 아니다. 모델에 들어가는 데이터가 준비가 안 돼 있어서다. Graphwise는 이 문제를 정면으로 겨냥한 플랫폼이다. 2024년 Ontotext와 Semantic Web Company가 합병해서 만들어진 회사인데, 두 곳 모두 20년 넘게 … Read more
핵심 인력이 퇴사하면 그 사람이 갖고 있던 지식도 함께 나간다는 게 조직에서 오래된 고민이다. 문서화를 열심히 해도 해결이 안 되는 이유가 있다. 문서는 텍스트로 저장되지만, 그 텍스트들이 서로 어떻게 연결되는지는 저장이 안 된다. 담당자가 머릿속에서 연결하고 있던 맥락과 관계가 사라지는 거다. AI가 사내 문서를 다루면 이 문제가 더 선명하게 드러난다. RAG를 붙여서 사내 문서를 검색하게 … Read more