RAG 에이전트 실무
폐쇄망 프로젝트를 하다 보면 요구사항 회의 후반부에 꼭 나오는 질문이 있습니다. “국산 모델은 없나요? 엑사원 쓰면 안 되나요?” 인터넷이 막힌 환경에서 LLM을 돌려야 하는 고객에게 모델 선택은 단순한 성능 비교가 아닙니다. 외부 API를 쓸 수 없으니 모델을 서버에 직접 올려야 하고, 그러려면 GPU가 필요하고, 그 GPU는 예산과 납기와 보안 심의를 모두 통과해야 하거든요. 그래서 멋진 … Read more
공식 문서는 설치까지는 친절하다. 그 다음부터가 문제다. vLLM 깃허브 star 수는 이미 수만을 넘었고, 한국어로 된 설치 가이드도 제법 나온다. 그런데 막상 추론 서버를 실제 운영 환경에 올려보면 공식 문서가 다루지 않는 영역이 금방 나타난다. GPU 메모리 설정을 어떻게 잡아야 안정적으로 돌아가는지, 배치 사이즈가 응답 시간에 어떻게 영향을 주는지, 모델을 스왑해야 할 때 서비스를 얼마나 … Read more
며칠 전 한 고객사에서 토큰 청구서를 받아 든 부서장이 “이거 진짜 맞느냐”라고 두 번 물어왔다. 원래 챗봇 PoC 한 달 비용으로 300만 원 정도 잡아두었던 항목이, 정식 운영에 들어간 다음 달 청구서에서 1,800만 원으로 찍혀 나왔다고 한다. 무엇이 잘못된 게 아니었다. 챗봇이 단순 질의응답에서 다단계 추론과 도구 호출이 들어간 ‘에이전트’로 진화하면서 토큰 사용량이 6배 가까이 … Read more