AI 에이전트, LangGraph, RAG
RAG 시스템, LangGraph 멀티에이전트, FastAPI 백엔드, 벡터 데이터베이스 등 AI 시스템을 직접 설계하고 구현하는 과정을 다룹니다. 실제 프로젝트 경험을 바탕으로 한 구현 가이드와 트러블슈팅을 공유합니다.
Azure AI 시스템을 처음 설계하려고 Portal 앞에 앉았을 때 솔직히 말하면 나도 처음엔 Azure Portal 앞에서 멍하니 앉아 있었다. 수백 개 서비스가 화면 가득 펼쳐져 있는데, 뭘 먼저 눌러야 할지 도통 감이 안 잡혔다. 주변에서는 AI Foundry가 어쩌고, Managed Identity가 저쩌고 하는데, 나는 OpenAI API Key 하나 .env 파일에 넣고 직접 호출하면 되지 왜 이렇게 … Read more
솔직히 고백하자면, 나도 처음에는 Azure에서 AI 시스템을 설계한다고 했을 때 막막했다. Portal에 로그인하면 수백 개의 서비스가 펼쳐지고, 어디서부터 손대야 할지 감이 안 왔다. OpenAI API를 직접 호출하면 되는 걸 왜 굳이 Azure를 끼고 복잡하게 만들어야 하지? 그때는 진심으로 그렇게 생각했다. 그런데 실제로 기업 환경에서 AI 서비스를 운영하면서 생각이 완전히 바뀌었다. API Key 하나 유출되면 수천만 … Read more
솔직히 말하면, 나도 처음에는 오픈클로가 뭔지 정확히 몰랐다. 트위터에서 “AI가 내 대신 이메일 정리하고, 일정 잡고, 코드까지 돌린다”는 글을 봤을 때 반신반의했다. 그런데 실제로 깔아보니까 진짜였다. 텔레그램으로 “내일 오전 10시 미팅 잡아줘”라고 보내면 캘린더에 알아서 등록되고, “어제 온 메일 중에 급한 거 정리해줘”라고 하면 요약본이 날아온다. 이건 챗봇이 아니라 진짜 비서다. 그런데 문제가 하나 있다. … Read more
솔직히 말하면 멀티에이전트 시스템이라는 말을 처음 들었을 때 나는 좀 회의적이었다. 에이전트 하나도 제대로 만들기 어려운데 여러 개를 동시에 돌린다고? 그게 정말 프로덕션 환경에서 돌아갈까? 그런데 LangGraph 1.0이 2025년 10월에 정식 릴리스되면서 이 생각이 완전히 바뀌었다. Uber, LinkedIn, Klarna 같은 글로벌 기업들이 이미 프로덕션에서 LangGraph를 쓰고 있다는 사실을 알게 되면서 나도 본격적으로 파고들기 시작했다. 특히 … Read more
작년 여름, 스타트업에서 “고객 지원 챗봇을 만들어야 하는데, 비용이 적게 들어야 한다”는 요청을 받았다. 당시 우리 팀의 상황은 이러했다. 개발자는 3명, 월 예산은 총 500만 원대, 24시간 운영이 필수였다. 기존 방식대로 EC2 인스턴스를 띄우고 OpenAI API를 쓰면? 월 비용이 족히 200만 원은 넘을 거였다. 회사가 감당할 수 없는 금액이었다. 그때 생각한 게 Azure Functions다. 서버리스 … Read more