RAG 에이전트 실무
Tech Leader 
작년까지만 해도 Azure에서 OpenAI 모델을 쓰려면 Azure OpenAI Service를 직접 다뤄야 했다. 약간 복잡했다. 여러 서비스를 오가야 했고, 모니터링도 헷갈렸고, 모델 배포도 손이 많이 갔다. 그런데 올해 1월 기준으로 Azure AI Foundry가 본격적으로 작동하면서 판이 바뀌었다. 이건 단순한 UI 개선이 아니라, 전체 개발 경험을 다시 생각한 플랫폼이다. 내가 처음 Azure AI Foundry를 켰을 때 느낀 … Read more
지난 1월 16일의 은행 금리 현황을 보면 정말 눈물이 난다. 5년 고정형 주담대 금리가 3.88%에서 6.286% 사이를 오가고 있다는 건데, 혼합형은 더 심하다. 4.130%부터 6.297%까지, 거의 7%에 코앞이다. 5년 전만 해도 2.5~4.0% 수준이었는데 말이다. 정확히 2배 가까이 올랐다는 뜻이다. 누군가는 말할 수 있다. “그래도 6%대면 괜찮지 않나?” 하지만 이게 남의 얘기가 아니라 자신의 월급으로 집을 … Read more
데이터 엔지니어라면 이런 상황을 겪어본 적 있을 거다. AI 팀에서 “이거 어디 올려놨어? 다운로드 링크 줄 수 있어?” 하면서 물어오고, 보안팀은 “공개 접근? 절대 안 돼. 데이터 유출 위험 있어”라고 말한다. 그 사이에서 어떻게 적절히 관리할지 고민하다가 결국 복잡한 권한 설정에 빠져든다. 지난 2년간 여러 AI 프로젝트를 하면서 Azure Blob Storage를 많이 다뤘다. 처음엔 단순히 … Read more
최근 몇 달간 Azure에서 대형 언어 모델을 서빙해야 하는 상황이 자주 생긴다. 특히 한국 기업들이 AI를 실제 서비스에 녹여내려고 할 때 그렇다. 그럼 대부분 이런 고민을 한다. “OpenAI API만 쓰면 안 되나? 왜 굳이 직접 모델을 서빙해야 하지?” 그 답은 간단하다. 비용, 지연시간, 그리고 데이터 프라이버시다. 직접 모델을 서빙하면 OpenAI 같은 외부 API에 의존하지 않아도 … Read more
요즘 IT 담당자들이 자주 받는 질문이 있다. “AI 도입할 때 Azure OpenAI를 써야 하나, 아니면 OpenAI API를 직접 쓰면 되지 않나?” 겉으로는 단순한 질문이지만, 이 선택이 회사의 보안, 비용, 그리고 향후 AI 전략에 미치는 영향은 생각보다 크다. 지난 몇 년간 여러 기업의 AI 도입 과정을 지켜보면서 느낀 거지만, 많은 기업들이 처음엔 “API 직접 쓰면 간단하고 … Read more