RAG 에이전트 실무
몇 달 전 우연히 유튜브 광고 하나를 봤다. “AI 하나로 하루 30분, 월 천만원” 이런 문구가 화면 가득 떠 있었다. 나는 매일 vLLM 서버를 돌리고 LangGraph로 에이전트를 짜는 사람이다. 이 바닥에서 AI가 실제로 뭘 할 수 있고 뭘 못하는지 누구보다 잘 안다고 자부하는데, 저런 광고를 볼 때마다 답답함이 밀려온다. AI로 돈을 버는 게 불가능하다는 뜻이 … Read more
지난주 친구가 물었다. 회사에서 유료 AI 구독을 하나만 지원해준다는데, 챗GPT랑 제미나이 중에 뭘 골라야 하냐고. 나는 잠깐 말문이 막혔다. 매일 LangGraph로 에이전트를 짜고 vLLM 서버를 운영하는 입장에서는 두 모델을 API로 자주 비교하지만, 정작 일반 사용자 입장에서 “그래서 뭘 써야 하나요”라는 질문에 한 줄로 답하기는 생각보다 어려운 문제였다. 벤치마크 점수만 나열해서는 친구의 실제 업무에 도움이 안 … Read more
며칠 전 지인이 챗GPT에게 이메일 하나 써달라고 했다가 실망했다는 이야기를 했다. “거래처에 사과 메일 좀 써줘”라고 입력했더니 나온 답이 너무 형식적이고 딱딱해서 결국 자기가 처음부터 다시 썼다는 것이다. 나는 그 이야기를 듣고 챗GPT 문제가 아니라 질문 방식의 문제라는 걸 바로 알아챘다. 나는 매일 LangGraph로 멀티에이전트 시스템을 짜고 RAG 파이프라인을 튜닝하는 일을 한다. 그 과정에서 가장 … Read more
작년 이맘때쯤 지인 회사에서 이런 이야기를 들었다. AI 챗봇 하나 들이면서 고객센터 인원의 삼분의 일을 줄였다고, 이제 야근도 없고 인건비도 확 줄었다고 자랑처럼 말했다. 반년쯤 지나 그 회사 소식을 다시 들었는데, 이번엔 정반대였다. 고객센터 경력자를 다시 뽑는다는 채용 공고가 떴다는 것이다. 나는 이 이야기를 듣고 놀라지 않았다. RAG 시스템을 매일 다루는 입장에서, 이런 결말은 이미 … Read more
며칠 전 팀 슬랙에 링크 하나가 올라왔다. 중국 AI 스타트업 문샷이 3조 파라미터급 오픈 웨이트 모델을 냈다는 소식이었다. 처음엔 그냥 또 하나의 중국산 초거대 모델이겠거니 하고 넘겼다. 그런데 며칠 지나 알리바바가 이 모델을 만드는 데 엔비디아 칩 2만 개를 몰래 빌려줬다는 기사가 떴을 때는 조금 다른 눈으로 다시 보게 됐다. 나는 RAG 파이프라인을 매일 만지는 … Read more