knowledge-based content
AI 서비스 배포, Docker 컨테이너화, GPU 서버 운영, vLLM 추론 최적화, Kubernetes 오케스트레이션, 폐쇄망 환경 구축 등 AI 인프라 전반을 다룹니다. 클라우드부터 온프레미스까지 실전 배포 노하우를 공유합니다.
AI 모델을 만들었다. 이제 이걸 API로 서빙해야 한다. 그런데 Azure에서 뭘 써야 할까? 이 질문으로 밤을 샌 개발자가 얼마나 될까. Stack Overflow나 GitHub 이슈를 찾아봐도 대부분 일반적인 답변만 있다. “Container Apps는 마이크로서비스용이고, App Service는 전통적인 웹앱용이다”라는 식으로. 하지만 이건 AI API 서빙에는 정확한 답이 아니다. 지난 6개월간 실제로 AI 모델을 여러 환경에서 서빙해봤다. 처음엔 App … Read more
작년까지만 해도 Azure에서 OpenAI 모델을 쓰려면 Azure OpenAI Service를 직접 다뤄야 했다. 약간 복잡했다. 여러 서비스를 오가야 했고, 모니터링도 헷갈렸고, 모델 배포도 손이 많이 갔다. 그런데 올해 1월 기준으로 Azure AI Foundry가 본격적으로 작동하면서 판이 바뀌었다. 이건 단순한 UI 개선이 아니라, 전체 개발 경험을 다시 생각한 플랫폼이다. 내가 처음 Azure AI Foundry를 켰을 때 느낀 … Read more
데이터 엔지니어라면 이런 상황을 겪어본 적 있을 거다. AI 팀에서 “이거 어디 올려놨어? 다운로드 링크 줄 수 있어?” 하면서 물어오고, 보안팀은 “공개 접근? 절대 안 돼. 데이터 유출 위험 있어”라고 말한다. 그 사이에서 어떻게 적절히 관리할지 고민하다가 결국 복잡한 권한 설정에 빠져든다. 지난 2년간 여러 AI 프로젝트를 하면서 Azure Blob Storage를 많이 다뤘다. 처음엔 단순히 … Read more
올해 들어 기업의 IT 환경이 또 한 번 변화하고 있습니다. 특히 지난 1월 7일, 마이크로소프트는 Microsoft Entra ID의 보안 인증서를 대대적으로 교체했고, 이와 함께 새로운 기능들이 속속 출시되고 있습니다. 저도 며칠 전 회사 IT팀으로부터 긴급 공지를 받았을 때 “또 뭐가 바뀐 건가”라고 생각했습니다. 하지만 자세히 살펴보니 이번 변화들은 우리가 꼭 이해해야 할 중요한 업데이트들이었습니다. 특히 … Read more
들어가며: 예측에서 방어로 패러다임이 바뀌다 회사 서버가 갑자기 먹통이 되는 악몽을 꿔본 적 있나요? 아니면 어느 날 갑자기 본인인 척 메일을 보내는 누군가를 발견한 적이 있나요? 2026년은 이런 악몽이 현실이 될 확률이 훨씬 높아지는 해가 될 것 같습니다. 단순히 기술 발전이 아니라 공격 방식 자체가 완전히 달라지고 있거든요. 지난해까지만 해도 사이버 공격이 터진 후 대응하는 … Read more
2025년 전체 클라우드 지출이 7,234억 달러를 넘어섰지만, 그중 30% 이상이 사실상 낭비된 돈이라는 것을 아는 사람은 드물다. 더 심각한 건 하이브리드 환경에서 온프레미스와 퍼블릭 클라우드를 동시에 운영할 때 그 낭비가 기하급수적으로 늘어난다는 점이다. 하지만 여기에 희소식이 있다. 현명한 워크로드 최적화 전략을 통해 2026년에는 40% 이상의 비용을 절감하는 것이 현실적으로 가능하다. 이미 산업 선두 기업들은 이를 … Read more
주요 기사 요약 LG전자가 6일(현지시간) CES 2026에서 양팔과 다섯 손가락을 갖춘 홈로봇 ‘LG 클로이드’를 공개했다. 클로이드는 세탁물 정리, 요리, 청소 등 실제 가사 작업을 수행할 수 있으며, AI 기반으로 거주자의 라이프스타일과 일정을 학습해 가전을 제어하는 AI 비서 역할도 한다. LG전자는 이를 통해 ‘제로 레이버 홈'(가사노동 해방) 비전을 구현한다고 발표했다. 글로벌 서비스 로봇 시장이 연평균 20% … Read more
주요 기사 요약 2026년 벡터 DB 벤치마크에서는 단순 성능 비교를 넘어 운영 복잡도와 비용 효율성이 중요한 요소로 떠올랐다. Pinecone은 관리 부담이 거의 없지만 월 $3,300(10M 벡터 기준), Qdrant는 50M 벡터에서 QPS 41.47(99% recall)로 강력하지만 자체 관리 필요, PGvector는 pgvectorscale로 50M 벡터에서 471 QPS를 달성하며 AWS 대비 75% 비용 절감이 가능하다. 실제 스타트업과 엔터프라이즈의 선택 기준은 … Read more
요약 올라마는 로컬 머신에서 대형 언어 모델을 간단하게 실행할 수 있는 오픈소스 플랫폼으로, 최근 v0.10.0 업데이트를 통해 더욱 강력해졌습니다. 이 글에서는 올라마의 최신 기술을 활용한 10가지 실전 활용 방법을 소개합니다. 개인 PC부터 엔터프라이즈 서버까지, 올라마로 할 수 있는 모든 것을 알아보세요. “클라우드 AI 서비스 비용이 너무 비싸다” “내 데이터를 외부 서버에 보내고 싶지 않다” “인터넷 … Read more
핵심 요약 새로 구매한 L40S GPU 서버에 Docker 기반 vLLM을 설치하고 Qwen3-30B-A3B-Instruct 모델을 구동하는 전체 과정을 다룹니다. 서버 초기 설정부터 모델 실행까지 실제 작업 순서대로 정리했으며, 중간에 발생할 수 있는 문제 해결 방법도 함께 담았습니다. 요즘 AI 모델 서빙에 관심 있는 분들 사이에서 vLLM이 화제입니다. 특히 대용량 언어 모델을 빠르고 효율적으로 운영할 수 있다는 점 … Read more