RAG 에이전트 실무
며칠 전 지인이 챗GPT에게 이메일 하나 써달라고 했다가 실망했다는 이야기를 했다. “거래처에 사과 메일 좀 써줘”라고 입력했더니 나온 답이 너무 형식적이고 딱딱해서 결국 자기가 처음부터 다시 썼다는 것이다. 나는 그 이야기를 듣고 챗GPT 문제가 아니라 질문 방식의 문제라는 걸 바로 알아챘다. 나는 매일 LangGraph로 멀티에이전트 시스템을 짜고 RAG 파이프라인을 튜닝하는 일을 한다. 그 과정에서 가장 … Read more
작년 이맘때쯤 지인 회사에서 이런 이야기를 들었다. AI 챗봇 하나 들이면서 고객센터 인원의 삼분의 일을 줄였다고, 이제 야근도 없고 인건비도 확 줄었다고 자랑처럼 말했다. 반년쯤 지나 그 회사 소식을 다시 들었는데, 이번엔 정반대였다. 고객센터 경력자를 다시 뽑는다는 채용 공고가 떴다는 것이다. 나는 이 이야기를 듣고 놀라지 않았다. RAG 시스템을 매일 다루는 입장에서, 이런 결말은 이미 … Read more
며칠 전 팀 슬랙에 링크 하나가 올라왔다. 중국 AI 스타트업 문샷이 3조 파라미터급 오픈 웨이트 모델을 냈다는 소식이었다. 처음엔 그냥 또 하나의 중국산 초거대 모델이겠거니 하고 넘겼다. 그런데 며칠 지나 알리바바가 이 모델을 만드는 데 엔비디아 칩 2만 개를 몰래 빌려줬다는 기사가 떴을 때는 조금 다른 눈으로 다시 보게 됐다. 나는 RAG 파이프라인을 매일 만지는 … Read more
한 달 전쯤 회사 워크플로우 자동화를 새로 짜야 하는 상황이 생겼다. 고객 문의가 들어오면 RAG 파이프라인으로 관련 문서를 검색하고, 답변 초안을 만들고, 담당자에게 슬랙으로 알림을 보내는 구조였다. 처음엔 Dify로 전체를 구축했다. 화면이 깔끔하고 LLM 워크플로우를 만드는 데 특화된 느낌이 강해서 며칠은 만족스러웠다. 그런데 외부 API 몇 개를 붙이고, 조건 분기가 복잡해지고, 커스텀 로직이 필요해지는 순간부터 … Read more
새벽 두 시에 vLLM 서버가 또 죽었다. Azure GPU 인스턴스 로그를 열어보니 텐서 병렬 설정이 꼬여서 워커 프로세스끼리 서로 못 찾고 있었다. 이런 순간에 손이 가는 도구가 무엇인지가, 그 도구의 진짜 실력을 말해준다고 생각한다. 나는 그날 Claude Code를 켰다. 다음 날 비슷한 유형의 FastAPI 비동기 버그가 났을 때는 Codex를 열었다. 그렇게 3개월을 두 도구를 번갈아 … Read more