knowledge-based content
“생성형 AI, RAG, 모델 활용 전략부터 최신 트렌드까지—AI 기술의 깊이를 함께 탐구하는 지식 공간입니다.
개발자와 기획자, 그리고 AI에 관심 있는 누구나 실질적인 도움을 받을 수 있는 실무 중심의 콘텐츠를 제공합니다.”
작년 여름, 스타트업에서 “고객 지원 챗봇을 만들어야 하는데, 비용이 적게 들어야 한다”는 요청을 받았다. 당시 우리 팀의 상황은 이러했다. 개발자는 3명, 월 예산은 총 500만 원대, 24시간 운영이 필수였다. 기존 방식대로 EC2 인스턴스를 띄우고 OpenAI API를 쓰면? 월 비용이 족히 200만 원은 넘을 거였다. 회사가 감당할 수 없는 금액이었다. 그때 생각한 게 Azure Functions다. 서버리스 … Read more
Azure AI Search와 Blob Storage 연동하기, RAG 시스템 구축을 위한 실전 아키텍처 지난 3개월간 RAG(Retrieval-Augmented Generation) 시스템을 구축하면서 깨닫게 된 게 있다. LLM의 가장 큰 문제는 “모르는 것도 마치 아는 것처럼 답변한다”는 거다. 이를 hallucination이라고 부르는데, 정말 위험하다. 금융 상담을 한다고 했는데 완전히 잘못된 정보를 제시하면? 의료 조언을 한다고 했는데 엉뚱한 약을 추천하면? 재앙이다. 하지만 … Read more
AI 모델을 만들었다. 이제 이걸 API로 서빙해야 한다. 그런데 Azure에서 뭘 써야 할까? 이 질문으로 밤을 샌 개발자가 얼마나 될까. Stack Overflow나 GitHub 이슈를 찾아봐도 대부분 일반적인 답변만 있다. “Container Apps는 마이크로서비스용이고, App Service는 전통적인 웹앱용이다”라는 식으로. 하지만 이건 AI API 서빙에는 정확한 답이 아니다. 지난 6개월간 실제로 AI 모델을 여러 환경에서 서빙해봤다. 처음엔 App … Read more
작년까지만 해도 Azure에서 OpenAI 모델을 쓰려면 Azure OpenAI Service를 직접 다뤄야 했다. 약간 복잡했다. 여러 서비스를 오가야 했고, 모니터링도 헷갈렸고, 모델 배포도 손이 많이 갔다. 그런데 올해 1월 기준으로 Azure AI Foundry가 본격적으로 작동하면서 판이 바뀌었다. 이건 단순한 UI 개선이 아니라, 전체 개발 경험을 다시 생각한 플랫폼이다. 내가 처음 Azure AI Foundry를 켰을 때 느낀 … Read more
데이터 엔지니어라면 이런 상황을 겪어본 적 있을 거다. AI 팀에서 “이거 어디 올려놨어? 다운로드 링크 줄 수 있어?” 하면서 물어오고, 보안팀은 “공개 접근? 절대 안 돼. 데이터 유출 위험 있어”라고 말한다. 그 사이에서 어떻게 적절히 관리할지 고민하다가 결국 복잡한 권한 설정에 빠져든다. 지난 2년간 여러 AI 프로젝트를 하면서 Azure Blob Storage를 많이 다뤘다. 처음엔 단순히 … Read more
최근 몇 달간 Azure에서 대형 언어 모델을 서빙해야 하는 상황이 자주 생긴다. 특히 한국 기업들이 AI를 실제 서비스에 녹여내려고 할 때 그렇다. 그럼 대부분 이런 고민을 한다. “OpenAI API만 쓰면 안 되나? 왜 굳이 직접 모델을 서빙해야 하지?” 그 답은 간단하다. 비용, 지연시간, 그리고 데이터 프라이버시다. 직접 모델을 서빙하면 OpenAI 같은 외부 API에 의존하지 않아도 … Read more
요즘 IT 담당자들이 자주 받는 질문이 있다. “AI 도입할 때 Azure OpenAI를 써야 하나, 아니면 OpenAI API를 직접 쓰면 되지 않나?” 겉으로는 단순한 질문이지만, 이 선택이 회사의 보안, 비용, 그리고 향후 AI 전략에 미치는 영향은 생각보다 크다. 지난 몇 년간 여러 기업의 AI 도입 과정을 지켜보면서 느낀 거지만, 많은 기업들이 처음엔 “API 직접 쓰면 간단하고 … Read more
제조업 R&D 담당자라면 이런 고민을 해봤을 거다. 신제품 개발할 때마다 수십억 원대의 시제품 제작비가 들어가고, 테스트 비용도 만만치 않다. 실패할 수도 있는데 투자는 이미 다 한 상황. 그런데 요즘 몇몇 선진 제조업체들은 다르게 움직이고 있다. 물리적 시제품을 만들기 전에 가상 공간에서 수백 번, 수천 번 시뮬레이션을 하는 거다. 비용은 몇 분의 일로 줄이면서도 더 정확한 … Read more
들어가며: AI가 스스로 결정하는 시대가 온다 요즘 기업의 AI 도입 현황을 보면 정말 흥미로운 일이 벌어지고 있습니다. 자동화된 AI 에이전트가 구매 발주를 승인하고, 고객 신용을 판단하고, 심지어 직원 채용 여부까지 판단하는 상황입니다. 과거에는 이런 일이 상상도 못했던 것 같은데, 지금은 현실이 되어 있네요. 그런데 여기서 중요한 질문이 하나 생깁니다. 만약 AI가 내린 결정이 잘못되었다면? 고객이 … Read more
지난 2년간 나는 GitHub Copilot, Cursor, Claude Code를 모두 실무에서 써봤다. 팀 프로젝트도 있고 혼자 하는 프로젝트도 있었다. 프로덕션 배포 경험도 있고, 마감 시간에 쫓겨서 쓴 경우도 있다. 그 과정에서 깨달은 게 하나 있다. 가장 비싼 도구가 가장 좋은 도구가 아니라는 것이다. 오히려 어떤 순간에 어떤 도구를 쓸지를 아는 게 진짜 스킬이다. 2026년에 AI 코딩 … Read more