RAG 에이전트 실무
생성형 AI의 핵심 개념부터 모델 비교, RAG 전략, 최신 기술 트렌드까지 AI 전반을 다루는 카테고리입니다.
기술의 흐름을 이해하고 방향을 잡고 싶은 개발자와 기획자를 위한 분석 중심 콘텐츠를 제공합니다.
Azure AI Search와 Blob Storage 연동하기, RAG 시스템 구축을 위한 실전 아키텍처 지난 3개월간 RAG(Retrieval-Augmented Generation) 시스템을 구축하면서 깨닫게 된 게 있다. LLM의 가장 큰 문제는 “모르는 것도 마치 아는 것처럼 답변한다”는 거다. 이를 hallucination이라고 부르는데, 정말 위험하다. 금융 상담을 한다고 했는데 완전히 잘못된 정보를 제시하면? 의료 조언을 한다고 했는데 엉뚱한 약을 추천하면? 재앙이다. 하지만 … Read more
지난주 금요일, 보안팀에서 한 통의 전화가 왔다. “Azure OpenAI API 키가 GitHub에 커밋된 게 발견됐어요. 즉시 로테이션 해주세요.” 상황이 얼마나 심각한지는 말할 필요가 없다. 한 명의 개발자가 실수로 키를 노출시켰는데, 그 키로 누구나 당신의 AI 서비스를 이용할 수 있다. 월 청구액이 수천 달러에 이를 수도 있다. 이게 처음 겪는 일이 아니다. 여러 프로젝트를 하면서 API … Read more
AI 모델을 만들었다. 이제 이걸 API로 서빙해야 한다. 그런데 Azure에서 뭘 써야 할까? 이 질문으로 밤을 샌 개발자가 얼마나 될까. Stack Overflow나 GitHub 이슈를 찾아봐도 대부분 일반적인 답변만 있다. “Container Apps는 마이크로서비스용이고, App Service는 전통적인 웹앱용이다”라는 식으로. 하지만 이건 AI API 서빙에는 정확한 답이 아니다. 지난 6개월간 실제로 AI 모델을 여러 환경에서 서빙해봤다. 처음엔 App … Read more
작년까지만 해도 Azure에서 OpenAI 모델을 쓰려면 Azure OpenAI Service를 직접 다뤄야 했다. 약간 복잡했다. 여러 서비스를 오가야 했고, 모니터링도 헷갈렸고, 모델 배포도 손이 많이 갔다. 그런데 올해 1월 기준으로 Azure AI Foundry가 본격적으로 작동하면서 판이 바뀌었다. 이건 단순한 UI 개선이 아니라, 전체 개발 경험을 다시 생각한 플랫폼이다. 내가 처음 Azure AI Foundry를 켰을 때 느낀 … Read more
데이터 엔지니어라면 이런 상황을 겪어본 적 있을 거다. AI 팀에서 “이거 어디 올려놨어? 다운로드 링크 줄 수 있어?” 하면서 물어오고, 보안팀은 “공개 접근? 절대 안 돼. 데이터 유출 위험 있어”라고 말한다. 그 사이에서 어떻게 적절히 관리할지 고민하다가 결국 복잡한 권한 설정에 빠져든다. 지난 2년간 여러 AI 프로젝트를 하면서 Azure Blob Storage를 많이 다뤘다. 처음엔 단순히 … Read more