AI 에이전트, LangGraph, RAG
작년 여름, 스타트업에서 “고객 지원 챗봇을 만들어야 하는데, 비용이 적게 들어야 한다”는 요청을 받았다. 당시 우리 팀의 상황은 이러했다. 개발자는 3명, 월 예산은 총 500만 원대, 24시간 운영이 필수였다. 기존 방식대로 EC2 인스턴스를 띄우고 OpenAI API를 쓰면? 월 비용이 족히 200만 원은 넘을 거였다. 회사가 감당할 수 없는 금액이었다. 그때 생각한 게 Azure Functions다. 서버리스 … Read more
어제 점심시간, 다니던 김밥천국에 들어갔다. 주문했던 김밥 한 줄이 7500원이라고 했다. 작년에는 6천 원대였던 것 같은데. “어? 언제 또 올랐어?”라고 물었더니 점주가 말했다. “그게 말이지, 재료가 자꾸 올라서 어쩔 수가 없어. 라면도 같이 드리지만 그래도 힘들어”라고. 그 말을 들으면서 정말 한숨이 나왔다. 요즘 서울의 김밥 평균 가격은 3624원이라고 한다. 1년 전에는 3400원대였으니까 거의 6% 정도 … Read more
어제 지인들과 술을 마시다가 나온 얘기가 있다. “코스피 5300이라니, 정말 오를 대로 올랐네. 이제 뭘 사야 수익을 낼까?” 모두가 고민하는 건 비슷했다. 무조건 오르는 마켓에서 어떻게 하면 더 많이 벌까? 그런데 정부가 딱 좋은 상품을 내놨다고 한다. 삼성전자 같은 우량주가 오르면 수익을 2배로 벌 수 있는 레버리지 ETF를 허용한다는 거다. 처음 들었을 땐 “와, 이런 … Read more
Azure AI Search와 Blob Storage 연동하기, RAG 시스템 구축을 위한 실전 아키텍처 지난 3개월간 RAG(Retrieval-Augmented Generation) 시스템을 구축하면서 깨닫게 된 게 있다. LLM의 가장 큰 문제는 “모르는 것도 마치 아는 것처럼 답변한다”는 거다. 이를 hallucination이라고 부르는데, 정말 위험하다. 금융 상담을 한다고 했는데 완전히 잘못된 정보를 제시하면? 의료 조언을 한다고 했는데 엉뚱한 약을 추천하면? 재앙이다. 하지만 … Read more
3년 전부터 달리기를 시작했다. 처음엔 주 3회, 5km 정도였다. 1년이 지나니까 주 4~5회, 10km까지 늘었다. 지금은 마라톤도 완주했고, 자존감도 많이 올라갔다. 근데 정말 신기한 게, 주변 사람들이 자주 하는 말이 “넌 왜 계속 달리기만 해? 헬스장도 가고, 요가도 해보고, 수영도 해봐”라는 거였다. 처음엔 무시했다. “달리기면 충분하지, 뭘 더 필요해?”라고 생각했거든. 근데 최근에 발표된 대규모 연구 … Read more