RAG 에이전트 실무
AI 에이전트 이야기를 하면 개발자들은 보통 LangGraph나 MCP, 오픈소스 프레임워크 이야기부터 꺼낸다. 그런데 정작 기업 현장에서 구매, 재무, 재고, 인사 같은 핵심 데이터가 들어 있는 시스템을 떠올려 보면 상당수가 SAP다. 에이전트가 진짜 일을 하려면 결국 그 데이터와 프로세스 안으로 들어가야 한다는 얘기다. 그래서 요즘 SAP가 Joule이라는 이름으로 내놓는 에이전트 전략을 유심히 볼 필요가 있다. 이 … Read more
얼마 전 뉴스를 훑어보다가 이상한 걸 발견했다. SK텔레콤, KT, 카카오가 거의 같은 시기에, 거의 같은 방향의 이야기를 하고 있었다. 세 회사 모두 “질문하면 답해주는 AI”가 아니라 “일을 대신 처리해주는 AI”를 준비하고 있다는 내용이었다. 통신사와 플랫폼 기업이 이렇게 비슷한 타이밍에 같은 카드를 꺼내는 건 흔한 일이 아니다. 우연이라기엔 너무 겹쳤고, 그래서 조금 더 파고들어 봤다. 결론부터 … Read more
제미나이 3.6 플래시 뜯어보니, 결국 문제는 에이전트 운영비였다 지난주에 LangGraph로 돌리던 멀티 에이전트 파이프라인 하나가 새벽에 갑자기 API 비용을 두 배로 잡아먹은 적이 있다. 원인을 추적해보니 에이전트가 판단을 못 내리고 도구 호출을 반복하면서 토큰을 계속 태운 거였다. 그날 이후로 나는 모델 선택 기준에서 순수 추론 성능보다 토큰 효율과 도구 호출 안정성을 더 위에 두게 됐다. … Read more
지난달 사내 RAG 시스템에 PDF 하나가 들어왔는데, 절반이 회로도와 표였다. 텍스트만 청킹하던 기존 파이프라인은 그 페이지들을 통째로 건너뛰었고, 사용자가 “이 다이어그램에서 전류 방향이 어떻게 되나요”라고 물었을 때 시스템은 완전히 엉뚱한 답을 내놨다. 그때 처음으로 “멀티모달 RAG를 진지하게 붙여야겠다”는 결심을 했다. 그런데 막상 자료를 찾아보니 다들 멀티모달이라는 단어를 너무 쉽게 쓰고 있었다. 이미지 하나 첨부 가능하게 … Read more
에이전트가 멈춰야 할 때 멈추지 않거나, 멈추지 말아야 할 때 멈추는 문제를 LangGraph로 멀티에이전트 시스템을 운영하면서 꽤 오래 고민했다. 이론적으로 Human-in-the-Loop는 단순하다. 에이전트가 스스로 판단하기 어려운 지점에서 사람에게 확인을 요청하고, 사람의 입력을 받아서 다시 진행하는 것이다. 그런데 실제로 구현해보면 “어느 노드에 interrupt를 거냐”와 “체크포인터를 어떻게 설계하냐”가 에이전트 전체 흐름을 좌우한다는 걸 알게 된다. 이 글은 … Read more