AI 에이전트, LangGraph, RAG
AI 서비스 배포, Docker 컨테이너화, GPU 서버 운영, vLLM 추론 최적화, Kubernetes 오케스트레이션, 폐쇄망 환경 구축 등 AI 인프라 전반을 다룹니다. 클라우드부터 온프레미스까지 실전 배포 노하우를 공유합니다.
요즘 오픈클로(OpenClaw)가 화제다. AI가 직접 내 컴퓨터에서 일을 해준다는 이야기에 솔깃해서, 나도 직접 설치해봤다. 결론부터 말하면, 생각보다 쉽다. 물론 “원클릭 설치” 수준은 아니지만, 터미널을 한 번이라도 열어본 적 있는 사람이라면 20분이면 첫 대화까지 가능하다. 처음에는 깃허브 스타가 19만 개를 넘긴 프로젝트라길래 대단히 복잡한 걸 예상했는데, 온보딩 위저드라는 대화형 설치 시스템이 대부분의 과정을 자동으로 처리해준다. 오늘은 … Read more
AI 모델을 만들었다. 이제 이걸 API로 서빙해야 한다. 그런데 Azure에서 뭘 써야 할까? 이 질문으로 밤을 샌 개발자가 얼마나 될까. Stack Overflow나 GitHub 이슈를 찾아봐도 대부분 일반적인 답변만 있다. “Container Apps는 마이크로서비스용이고, App Service는 전통적인 웹앱용이다”라는 식으로. 하지만 이건 AI API 서빙에는 정확한 답이 아니다. 지난 6개월간 실제로 AI 모델을 여러 환경에서 서빙해봤다. 처음엔 App … Read more
작년까지만 해도 Azure에서 OpenAI 모델을 쓰려면 Azure OpenAI Service를 직접 다뤄야 했다. 약간 복잡했다. 여러 서비스를 오가야 했고, 모니터링도 헷갈렸고, 모델 배포도 손이 많이 갔다. 그런데 올해 1월 기준으로 Azure AI Foundry가 본격적으로 작동하면서 판이 바뀌었다. 이건 단순한 UI 개선이 아니라, 전체 개발 경험을 다시 생각한 플랫폼이다. 내가 처음 Azure AI Foundry를 켰을 때 느낀 … Read more
데이터 엔지니어라면 이런 상황을 겪어본 적 있을 거다. AI 팀에서 “이거 어디 올려놨어? 다운로드 링크 줄 수 있어?” 하면서 물어오고, 보안팀은 “공개 접근? 절대 안 돼. 데이터 유출 위험 있어”라고 말한다. 그 사이에서 어떻게 적절히 관리할지 고민하다가 결국 복잡한 권한 설정에 빠져든다. 지난 2년간 여러 AI 프로젝트를 하면서 Azure Blob Storage를 많이 다뤘다. 처음엔 단순히 … Read more
올해 들어 기업의 IT 환경이 또 한 번 변화하고 있습니다. 특히 지난 1월 7일, 마이크로소프트는 Microsoft Entra ID의 보안 인증서를 대대적으로 교체했고, 이와 함께 새로운 기능들이 속속 출시되고 있습니다. 저도 며칠 전 회사 IT팀으로부터 긴급 공지를 받았을 때 “또 뭐가 바뀐 건가”라고 생각했습니다. 하지만 자세히 살펴보니 이번 변화들은 우리가 꼭 이해해야 할 중요한 업데이트들이었습니다. 특히 … Read more