RAG 에이전트 실무
어느 순간부터 RAG 파이프라인을 짜는 것보다 운영하는 게 더 어렵다는 걸 알게 됐다. 처음에는 임베딩 모델을 골라서 벡터 DB에 인덱싱하고, 유사도 검색으로 컨텍스트를 뽑아서 LLM에 넘기면 끝이라고 생각했다. 실제로 돌려보기 전까지는 그렇게 생각했다. 그런데 막상 프로덕션에 올리면 다른 세계가 펼쳐진다. 검색 정확도가 쿼리 유형마다 들쭉날쭉하고, FastAPI 서버는 동시 요청 몇 개에 응답이 뭉개지고, 벡터 DB … Read more
분명히 비동기로 짰는데 왜 느려지는 거지. RAG 서버 운영하면서 가장 많이 했던 생각이 이거다. FastAPI는 처음부터 async를 전제로 설계된 프레임워크다. 동시성 처리에 강하다는 게 거의 상식처럼 통한다. 그런데 실제로 RAG 파이프라인을 얹어서 운영해보면, “비동기로 썼다”는 사실 자체가 성능을 보장해주지 않는다는 걸 몸으로 배운다. 이 글은 내가 운영하던 RAG API가 동시 요청 몇 개만 들어와도 응답 … Read more
대화형 AI 모델을 로컬에서 실행하고 싶지만 어떤 도구를 선택해야 할지 고민이신가요? sLLM과 vLLM은 각각 다른 장점을 가진 훌륭한 LLM 추론 도구입니다. 이 가이드에서는 두 도구의 차이점부터 다양한 설치 방법, 그리고 FastAPI를 통한 서비스 배포까지 모든 과정을 상세하게 다뤄보겠습니다. sLLM vs vLLM: 핵심 차이점 이해하기 sLLM (Small Language Model Manager)의 특징 sLLM은 작은 규모의 언어 모델들을 … Read more
fastapi‑mcp란 무엇인가? FastAPI‑MCP는 FastAPI 앱의 모든 엔드포인트를 Model Context Protocol(MCP) 도구로 자동 노출해주는 라이브러리입니다. zero‑config 방식: FastApiMCP(app).mount() 한 줄이면 /mcp 경로에 자동으로 MCP 서버가 세팅됩니다. OpenAPI 스키마 기반으로 엔드포인트의 요청/응답 형태, docstring 등 정보를 그대로 유지합니다 (FastAPI MCP). 내부의 FastAPI 종속성 주입(Dependency‑Inject)이나 인증 로직도 자연스럽게 통합되어 안심하고 사용 가능합니다 (GitHub). ASGI transport 사용: HTTP 요청 … Read more