knowledge-based content
RAG 시스템, LangGraph 멀티에이전트, FastAPI 백엔드, 벡터 데이터베이스 등 AI 시스템을 직접 설계하고 구현하는 과정을 다룹니다. 실제 프로젝트 경험을 바탕으로 한 구현 가이드와 트러블슈팅을 공유합니다.
솔직히 말하면 멀티에이전트 시스템이라는 말을 처음 들었을 때 나는 좀 회의적이었다. 에이전트 하나도 제대로 만들기 어려운데 여러 개를 동시에 돌린다고? 그게 정말 프로덕션 환경에서 돌아갈까? 그런데 LangGraph 1.0이 2025년 10월에 정식 릴리스되면서 이 생각이 완전히 바뀌었다. Uber, LinkedIn, Klarna 같은 글로벌 기업들이 이미 프로덕션에서 LangGraph를 쓰고 있다는 사실을 알게 되면서 나도 본격적으로 파고들기 시작했다. 특히 … Read more
작년 여름, 스타트업에서 “고객 지원 챗봇을 만들어야 하는데, 비용이 적게 들어야 한다”는 요청을 받았다. 당시 우리 팀의 상황은 이러했다. 개발자는 3명, 월 예산은 총 500만 원대, 24시간 운영이 필수였다. 기존 방식대로 EC2 인스턴스를 띄우고 OpenAI API를 쓰면? 월 비용이 족히 200만 원은 넘을 거였다. 회사가 감당할 수 없는 금액이었다. 그때 생각한 게 Azure Functions다. 서버리스 … Read more
Azure AI Search와 Blob Storage 연동하기, RAG 시스템 구축을 위한 실전 아키텍처 지난 3개월간 RAG(Retrieval-Augmented Generation) 시스템을 구축하면서 깨닫게 된 게 있다. LLM의 가장 큰 문제는 “모르는 것도 마치 아는 것처럼 답변한다”는 거다. 이를 hallucination이라고 부르는데, 정말 위험하다. 금융 상담을 한다고 했는데 완전히 잘못된 정보를 제시하면? 의료 조언을 한다고 했는데 엉뚱한 약을 추천하면? 재앙이다. 하지만 … Read more
지난주 금요일, 보안팀에서 한 통의 전화가 왔다. “Azure OpenAI API 키가 GitHub에 커밋된 게 발견됐어요. 즉시 로테이션 해주세요.” 상황이 얼마나 심각한지는 말할 필요가 없다. 한 명의 개발자가 실수로 키를 노출시켰는데, 그 키로 누구나 당신의 AI 서비스를 이용할 수 있다. 월 청구액이 수천 달러에 이를 수도 있다. 이게 처음 겪는 일이 아니다. 여러 프로젝트를 하면서 API … Read more
최근 몇 달간 Azure에서 대형 언어 모델을 서빙해야 하는 상황이 자주 생긴다. 특히 한국 기업들이 AI를 실제 서비스에 녹여내려고 할 때 그렇다. 그럼 대부분 이런 고민을 한다. “OpenAI API만 쓰면 안 되나? 왜 굳이 직접 모델을 서빙해야 하지?” 그 답은 간단하다. 비용, 지연시간, 그리고 데이터 프라이버시다. 직접 모델을 서빙하면 OpenAI 같은 외부 API에 의존하지 않아도 … Read more
저도 처음 Azure를 배울 때 정말 헷갈렸습니다. “App Registration이 있고, App Service도 있고, 그럼 뭐가 다른데?” 특히 회사에서 Databricks를 연결하고, PostgreSQL을 사용하라고 하면서 “App Registration도 해야 하나요?” 라는 질문을 받을 때마다 제대로 설명하기 어려웠습니다. 그런데 한 가지 깨달았습니다. 이 둘을 올바르게 이해하면 Azure의 80% 이상의 작업이 명확해진다는 것입니다. 이번 글에서는 정말로 실무에 필요한 개념들을 명확하게 … Read more
첫 메시지는 10초, 100번째는 30초가 되는 이유 당신의 에이전트가 처음에는 빠르지만 대화가 길어질수록 느려지는 현상을 겪었나요? 사용자와 나눈 대화가 50개, 100개를 넘어가면서 응답 속도가 점점 떨어집니다. 가끔 타임아웃이 나기도 합니다. 같은 모델인데 왜 이런 일이 일어날까요? 문제는 모델이 아닙니다. 문제는 당신이 과거의 모든 대화를 프롬프트에 집어넣고 있다는 점입니다. 지금 이 순간, 사용자의 마지막 메시지 하나를 … Read more
이런 경험 있나요? 도구 목록이 30개만 되어도 LLM이 헤맨다 개발자들이 LLM 에이전트를 만들면서 가장 흔하게 겪는 문제가 뭘까요? 바로 Tool Calling입니다. 사용자 요청을 받은 LLM이 필요한 도구를 선택해서 호출하는 것 같은데, 도구 개수가 조금 늘어나면 정확도가 확 떨어집니다. 웹 검색 도구, 데이터베이스 조회 도구, API 호출 도구, 계산기, 캘린더, 이메일 등 실무에서 쓸 만한 도구들을 … Read more
요약: Python은 더 이상 AI의 유일한 선택지가 아니다 2024년까지만 해도 생성형 AI 에이전트와 RAG 시스템을 구축하려면 Python이 필수였습니다. LangChain, LangGraph, AutoGen 등 모든 주요 프레임워크가 Python을 먼저 지원했거든요. 하지만 2025년은 달라졌습니다. Flowise, LangChain.js, LangGraph.js를 중심으로 Node.js 생태계가 빠르게 성숙하고 있고, 실제로 프로덕션 환경에서 성공 사례들이 나타나고 있습니다. 특히 주목할 점은 LangChain.js 코어 패키지가 주당 120만 … Read more
파인튜닝 프로젝트에서 맞닥뜨리는 가장 흔한 실수 데이터 품질 문제로 파인튜닝이 실패하는 경우가 점점 늘어나고 있습니다. 작년만 해도 글로벌 데이터 라벨링 시장이 224억 달러에 달했으며, 2035년까지 834억 달러로 성장할 것으로 예상되는 시점에서 흥미로운 현상입니다. 기업들이 엄청난 규모의 데이터를 수집하고 있지만, 정작 모델 성능 개선으로는 이어지지 않는 경우가 많다는 뜻이거든요. 최근 실무에서 파인튜닝 프로젝트를 진행하면서 깨닫게 된 … Read more