AI 실무 가이드와 엔지니어링 노트
RAG 시스템, LangGraph 멀티에이전트, FastAPI 백엔드, 벡터 데이터베이스 등 AI 시스템을 직접 설계하고 구현하는 과정을 다룹니다. 실제 프로젝트 경험을 바탕으로 한 구현 가이드와 트러블슈팅을 공유합니다.
솔직히 말하면, 처음 LangGraph를 접했을 때 “이게 왜 필요하지?”라는 생각이 먼저 들었다. LangChain만으로도 충분하지 않나. 프롬프트 엔지니어링 잘하면 그만 아닌가. 그런데 실제로 멀티에이전트 시스템을 프로덕션에 올려본 사람이라면 알 것이다. 에이전트가 두 개만 넘어가도 상태 관리가 지옥이 된다는 걸. 2024년부터 2025년에 걸쳐 AI 개발 생태계에서 가장 뜨거운 키워드 중 하나가 바로 LangGraph였다. GPT-5 시대를 앞두고 단순한 … Read more
Azure AI 시스템을 처음 설계하려고 Portal 앞에 앉았을 때 솔직히 말하면 나도 처음엔 Azure Portal 앞에서 멍하니 앉아 있었다. 수백 개 서비스가 화면 가득 펼쳐져 있는데, 뭘 먼저 눌러야 할지 도통 감이 안 잡혔다. 주변에서는 AI Foundry가 어쩌고, Managed Identity가 저쩌고 하는데, 나는 OpenAI API Key 하나 .env 파일에 넣고 직접 호출하면 되지 왜 이렇게 … Read more
솔직히 고백하자면, 나도 처음에는 Azure에서 AI 시스템을 설계한다고 했을 때 막막했다. Portal에 로그인하면 수백 개의 서비스가 펼쳐지고, 어디서부터 손대야 할지 감이 안 왔다. OpenAI API를 직접 호출하면 되는 걸 왜 굳이 Azure를 끼고 복잡하게 만들어야 하지? 그때는 진심으로 그렇게 생각했다. 그런데 실제로 기업 환경에서 AI 서비스를 운영하면서 생각이 완전히 바뀌었다. API Key 하나 유출되면 수천만 … Read more
솔직히 말하면, 나도 처음에는 오픈클로가 뭔지 정확히 몰랐다. 트위터에서 “AI가 내 대신 이메일 정리하고, 일정 잡고, 코드까지 돌린다”는 글을 봤을 때 반신반의했다. 그런데 실제로 깔아보니까 진짜였다. 텔레그램으로 “내일 오전 10시 미팅 잡아줘”라고 보내면 캘린더에 알아서 등록되고, “어제 온 메일 중에 급한 거 정리해줘”라고 하면 요약본이 날아온다. 이건 챗봇이 아니라 진짜 비서다. 그런데 문제가 하나 있다. … Read more
솔직히 말하면 멀티에이전트 시스템이라는 말을 처음 들었을 때 나는 좀 회의적이었다. 에이전트 하나도 제대로 만들기 어려운데 여러 개를 동시에 돌린다고? 그게 정말 프로덕션 환경에서 돌아갈까? 그런데 LangGraph 1.0이 2025년 10월에 정식 릴리스되면서 이 생각이 완전히 바뀌었다. Uber, LinkedIn, Klarna 같은 글로벌 기업들이 이미 프로덕션에서 LangGraph를 쓰고 있다는 사실을 알게 되면서 나도 본격적으로 파고들기 시작했다. 특히 … Read more
작년 여름, 스타트업에서 “고객 지원 챗봇을 만들어야 하는데, 비용이 적게 들어야 한다”는 요청을 받았다. 당시 우리 팀의 상황은 이러했다. 개발자는 3명, 월 예산은 총 500만 원대, 24시간 운영이 필수였다. 기존 방식대로 EC2 인스턴스를 띄우고 OpenAI API를 쓰면? 월 비용이 족히 200만 원은 넘을 거였다. 회사가 감당할 수 없는 금액이었다. 그때 생각한 게 Azure Functions다. 서버리스 … Read more
Azure AI Search와 Blob Storage 연동하기, RAG 시스템 구축을 위한 실전 아키텍처 지난 3개월간 RAG(Retrieval-Augmented Generation) 시스템을 구축하면서 깨닫게 된 게 있다. LLM의 가장 큰 문제는 “모르는 것도 마치 아는 것처럼 답변한다”는 거다. 이를 hallucination이라고 부르는데, 정말 위험하다. 금융 상담을 한다고 했는데 완전히 잘못된 정보를 제시하면? 의료 조언을 한다고 했는데 엉뚱한 약을 추천하면? 재앙이다. 하지만 … Read more
지난주 금요일, 보안팀에서 한 통의 전화가 왔다. “Azure OpenAI API 키가 GitHub에 커밋된 게 발견됐어요. 즉시 로테이션 해주세요.” 상황이 얼마나 심각한지는 말할 필요가 없다. 한 명의 개발자가 실수로 키를 노출시켰는데, 그 키로 누구나 당신의 AI 서비스를 이용할 수 있다. 월 청구액이 수천 달러에 이를 수도 있다. 이게 처음 겪는 일이 아니다. 여러 프로젝트를 하면서 API … Read more
최근 몇 달간 Azure에서 대형 언어 모델을 서빙해야 하는 상황이 자주 생긴다. 특히 한국 기업들이 AI를 실제 서비스에 녹여내려고 할 때 그렇다. 그럼 대부분 이런 고민을 한다. “OpenAI API만 쓰면 안 되나? 왜 굳이 직접 모델을 서빙해야 하지?” 그 답은 간단하다. 비용, 지연시간, 그리고 데이터 프라이버시다. 직접 모델을 서빙하면 OpenAI 같은 외부 API에 의존하지 않아도 … Read more
저도 처음 Azure를 배울 때 정말 헷갈렸습니다. “App Registration이 있고, App Service도 있고, 그럼 뭐가 다른데?” 특히 회사에서 Databricks를 연결하고, PostgreSQL을 사용하라고 하면서 “App Registration도 해야 하나요?” 라는 질문을 받을 때마다 제대로 설명하기 어려웠습니다. 그런데 한 가지 깨달았습니다. 이 둘을 올바르게 이해하면 Azure의 80% 이상의 작업이 명확해진다는 것입니다. 이번 글에서는 정말로 실무에 필요한 개념들을 명확하게 … Read more