작년까지만 해도 Azure에서 OpenAI 모델을 쓰려면 Azure OpenAI Service를 직접 다뤄야 했다. 약간 복잡했다. 여러 서비스를 오가야 했고, 모니터링도 헷갈렸고, 모델 배포도 손이 많이 갔다. 그런데 올해 1월 기준으로 Azure AI Foundry가 본격적으로 작동하면서 판이 바뀌었다. 이건 단순한 UI 개선이 아니라, 전체 개발 경험을 다시 생각한 플랫폼이다.
내가 처음 Azure AI Foundry를 켰을 때 느낀 건 “아, 이게 바로 원했던 거구나”라는 생각이었다. 모델 배포, 프롬프트 테스트, API 호출, 모니터링이 모두 한 곳에서 가능하다. 그리고 가장 중요한 건, 진짜 개발자 입장에서 만들어졌다는 거다. 불필요한 기능은 없고, 필요한 건 다 있다. 심지어 처음 시작하는 사람도 30분 안에 첫 모델을 배포할 수 있다. 과장이 아니다. 내가 그랬거든.
이 글에서는 Azure AI Foundry가 정확히 뭔지, 그리고 실제로 어떻게 시작하는지를 단계별로 설명한다. 개발 경험이 없는 사람도 따라갈 수 있게 썼다.
Azure AI Foundry, 정확히 뭐 하는 곳인가
먼저 기본부터 정리하자. Azure AI Foundry는 Microsoft가 2024년 말에 공식 출시한 통합 AI 개발 플랫폼이다. 예전의 Azure OpenAI Service는 뭐였냐면, “OpenAI의 모델을 Azure 위에서 쓰는 서비스”였다. 하지만 Azure AI Foundry는 다르다. 이건 “AI 애플리케이션 전체를 개발하고 배포하고 모니터링하는 플랫폼”이다.
구체적으로 뭘 할 수 있는가? 프롬프트를 짜고 테스트하고, 모델을 배포하고, API를 호출하고, 응답을 평가하고, 성능을 모니터링한다. 이 모든 게 한 곳에서 가능하다. 더 좋은 건, 여러 모델을 동시에 다룰 수 있다는 거다. OpenAI의 GPT-4, Meta의 Llama, Mistral 같은 것들을 전부 한 플랫폼에서 관리할 수 있다.
그리고 2026년 현재 가장 기대되는 부분이 뭐냐면, GPT-5가 출시되면 바로 Azure AI Foundry에서도 쓸 수 있다는 거다. 별도의 설정이 필요 없다. 그냥 모델 목록에서 GPT-5를 선택하고 배포하면 된다. 이건 정말 편하다.
Azure 계정 생성부터 AI Hub 세팅까지
시작하려면 당연히 Azure 계정이 필요하다. 없으면 azure.microsoft.com에 가서 만들면 된다. 첫 달은 무료 크레딧 300달러를 준다. 이 정도면 충분히 이것저것 시험해볼 수 있다.
계정을 만들고 로그인했다면, Azure Portal에 들어가자. 검색 창에 “AI Foundry”라고 치면 Azure AI Foundry 포털로 바로 갈 수 있다. 아니면 ai.azure.com으로 직접 갈 수도 있다.
처음 접속하면 “Hub 생성” 또는 “Project 생성” 버튼이 보인다. Azure AI Foundry는 Hub와 Project 두 가지 구조로 이루어져 있다. Hub는 조직 수준의 설정이고, Project는 실제 작업을 하는 공간이다. 처음이라면 일단 Hub를 하나 만들자. 이름은 아무거나 해도 되는데, 보통 회사 이름이나 팀 이름으로 한다.
Hub를 만들 때 리소스 그룹을 선택해야 한다. 새로 만들어도 되고 기존 것을 선택해도 된다. 처음이라면 새로 만드는 게 나중에 관리하기 편하다. 그리고 지역을 선택해야 한다. 한국에서 작업한다면 East US를 선택하는 게 지연시간 면에서 낫다. 물론 한국 센터가 생기면 그걸 쓰면 되겠지만, 현재는 East US가 가장 가깝다.
Hub가 만들어지면 자동으로 여러 리소스들이 생성된다. Azure OpenAI 리소스, Blob Storage, Cognitive Search 같은 것들 말이다. 이건 Azure AI Foundry가 백그라운드에서 자동으로 준비해주는 거니까 신경 쓰지 않아도 된다.
첫 번째 프로젝트 만들기
이제 실제로 AI 작업을 할 Project를 만들 차례다. Hub 안에서 “New Project”를 클릭하면 된다. 프로젝트 이름을 정하면, 역시 자동으로 필요한 리소스들이 생성된다.
프로젝트가 생성되면 Dashboard가 나타난다. 여기서 여러 가지를 할 수 있는데, 가장 먼저 할 일은 모델을 배포하는 거다. Dashboard 왼쪽 사이드바를 보면 “Models + endpoints”라는 메뉴가 있다. 거기를 클릭하자.
Models + endpoints 페이지에 가면 “Deploy model”이라는 버튼이 있다. 이걸 클릭하면 Deployment 마법사가 시작된다. 첫 번째 단계에서 모델을 선택해야 한다. GPT-4 Turbo, GPT-4o, Claude 같은 여러 모델이 보일 거다. 초보자라면 GPT-4 Turbo를 추천한다. 성능도 좋고, 비용도 합리적이기 때문이다.
모델을 선택하고 다음으로 가면, 배포 이름을 정하는 화면이 나온다. 이건 나중에 API 호출할 때 필요한 정보니까 기억하기 쉬운 이름으로 하자. 예를 들어 “gpt4-turbo-prod” 같은 식으로. 그리고 인스턴스 타입과 용량을 선택해야 한다. 처음이라면 기본값으로 해도 괜찮다. 나중에 트래픽이 늘어나면 조정하면 된다.
배포 설정을 완료하면 몇 분 기다려야 한다. 모델이 실제로 Azure의 컴퓨팅 리소스에 로드되는 중이거든. 보통 2~5분 정도면 끝난다. 배포가 완료되면 상태가 “Succeeded”로 바뀐다.
프롬프트를 짜고 테스트하기
이제 실제로 모델을 가지고 뭔가를 해야 한다. Playground로 들어가서 프롬프트를 테스트해보자. Dashboard에서 “Playground”를 찾아서 들어가면 된다. 또는 Models + endpoints에서 배포한 모델을 선택한 후 “Test” 탭을 누르면 바로 Playground가 열린다.
Playground는 ChatGPT 같은 인터페이스다. 왼쪽에 시스템 프롬프트를 쓸 수 있는 칸이 있고, 아래 부분이 채팅 입력창이다. 시스템 프롬프트는 모델의 전체 동작 방식을 정의하는 거다. 예를 들어 “너는 Korean financial advisor야. 투자 조언을 할 때는 항상 위험성을 먼저 언급하고, 구체적인 수치는 피해야 해”라는 식으로 쓸 수 있다.
시스템 프롬프트를 설정한 후 실제 질문을 입력해보자. 응답이 어떻게 나오는지 보면서 프롬프트를 계속 조정할 수 있다. 이 과정이 정말 중요하다. 같은 모델이라도 프롬프트에 따라 결과가 완전히 달라지니까.
Playground에서는 몇 가지 고급 설정도 할 수 있다. Temperature를 조정하면 응답의 창의성을 컨트롤할 수 있다. 0에 가까울수록 일관되고 정확한 응답이 나오고, 1에 가까울수록 다양하고 창의로운 응답이 나온다. Max tokens는 응답의 길이를 정하는 거다. Top-p 같은 고급 파라미터도 있지만, 처음에는 건드리지 않아도 된다.
여러 번 테스트하면서 프롬프트를 다듬은 후, 그 설정을 저장해야 한다. Playground 상단에 “Save” 버튼이 있다. 클릭하면 이 설정이 저장되고, 나중에 배포할 때 이 설정을 그대로 가져갈 수 있다.
프롬프트 플로우로 복잡한 로직 만들기
단순한 질문-답변이 아니라 좀 더 복잡한 로직을 원한다면? Prompt Flow를 써야 한다. 이건 Azure AI Foundry의 숨은 보석이다. 여러 개의 프롬프트와 조건문을 연결해서 복잡한 워크플로우를 만들 수 있다.
예를 들어 고객 상담 챗봇을 만든다고 하자. 첫 번째 프롬프트에서 고객의 의도를 파악하고, 그 의도에 따라 다른 프롬프트로 라우팅하는 식이다. 고객이 환불을 요청했으면 환불 처리 프롬프트로, 기술 지원을 원하면 기술 지원 프롬프트로. 이런 복잡한 로직을 시각적으로 만들 수 있는 게 Prompt Flow다.
Prompt Flow를 만들려면 Dashboard에서 “Prompt flow”를 찾아서 클릭하면 된다. “Create new flow”를 누르고 이름을 정하면 비어있는 캔버스가 나타난다. 여기에 여러 노드를 추가해서 연결하면 된다. Input node부터 시작해서 LLM node를 추가하고, 그 다음 조건 분기를 추가하고, 각 분기에서 또 다른 LLM node를 추가할 수 있다.
각 노드를 더블클릭하면 설정을 할 수 있다. LLM node를 클릭하면 모델, 프롬프트, 파라미터 같은 것들을 설정할 수 있다. 조건 분기를 추가하려면 “Activate” 노드를 사용하면 된다.
Prompt Flow를 만든 후 테스트하려면 상단의 “Test” 버튼을 누르면 된다. Input 값을 입력하면 전체 플로우가 실행되고, 각 단계의 결과를 볼 수 있다. 이렇게 시뮬레이션해보면서 로직이 제대로 작동하는지 확인할 수 있다.
API 호출로 실제 애플리케이션에 연결하기
Playground에서 테스트 완료했으면 이제 실제 코드에서 호출해야 한다. 가장 간단한 방법은 Python을 사용하는 거다.
먼저 Azure AI Foundry 포털에서 API 정보를 얻어야 한다. Models + endpoints 페이지에서 배포한 모델을 선택하고 “Deploy” 탭을 클릭하면 API 엔드포인트와 키가 표시된다. 이 정보를 복사해놨다가, Python 코드에서 써야 한다.
Python 코드는 이런 식이다. 먼저 필요한 라이브러리를 설치한다. openai 라이브러리면 된다. pip install openai로 간단하게 설치할 수 있다.
그 다음 코드는 이렇게 쓴다. api_key는 Azure Portal에서 복사한 키를, api_endpoint는 엔드포인트를 입력한다. model_name은 배포할 때 정한 이름이다.
실제로 호출하면 응답이 JSON 형식으로 돌아온다. 응답 안에는 생성된 텍스트, 토큰 사용량, finish_reason 같은 정보들이 들어있다. 이 정보들을 파싱해서 원하는 형식으로 변환해서 사용하면 된다.
성능을 고려한다면, 스트리밍 응답을 사용하는 게 좋다. stream=True 파라미터를 추가하면, 응답이 한 번에 오지 않고 조각조각 나눠서 온다. 이렇게 하면 사용자 입장에서는 더 빨리 응답을 받은 것처럼 느껴진다. 특히 긴 응답이 필요할 때 유용하다.
모니터링과 평가, 성능 개선
배포한 모델이 실제 환경에서 어떻게 작동하는지 추적해야 한다. Azure AI Foundry에는 Monitoring 기능이 있다. Models + endpoints에서 배포한 모델을 선택하고 “Monitor” 탭을 누르면 된다.
여기서 볼 수 있는 정보는 여러 가지다. 하루에 몇 개의 요청이 들어왔는지, 평균 응답 시간은 얼마나 되는지, API 에러율은 몇 퍼센트인지. 이런 정보들을 보면서 모델이 제대로 작동하고 있는지 확인할 수 있다.
그리고 Evaluation이라는 기능도 있다. 이건 모델의 응답이 얼마나 좋은지 자동으로 평가해주는 거다. 여러 메트릭이 있는데, 정확성(Accuracy), 관련성(Relevance), 유창성(Fluency) 같은 것들이다. 이런 지표들을 보면서 프롬프트를 더 개선할 수 있다.
실제로 나는 처음 만든 프롬프트로는 Accuracy가 65% 정도였다. 프롬프트를 여러 번 수정한 후엔 82%까지 올렸다. 이 과정에서 매우 도움이 된 게 바로 이 Evaluation 기능이었다.
비용 최적화와 실제 운영 팁
Azure AI Foundry를 쓰면서 중요한 게 비용 관리다. 모델 사용에 따라 비용이 청구되니까, 똑똑하게 관리해야 한다.
첫째, 프롬프트를 최적화해서 불필요한 토큰 사용을 줄여야 한다. 프롬프트가 길수록 비용이 많이 든다. 따라서 꼭 필요한 정보만 담아서 프롬프트를 짧게 유지하는 게 좋다.
둘째, 모델 선택을 신중하게 해야 한다. GPT-4o가 가장 강력하지만 비용도 많이 든다. 간단한 작업이라면 더 저렴한 모델도 충분할 수 있다. Azure AI Foundry에서는 같은 문제를 여러 모델에 물어봐서 비교할 수 있다.
셋째, 캐싱을 활용해야 한다. 같은 요청이 반복된다면 이전 응답을 저장했다가 재사용하면 된다. Azure AI Foundry 자체에서 제공하는 캐싱 기능도 있지만, 애플리케이션 레벨에서 Redis 같은 캐시를 쓰는 것도 좋다.
실제로 운영하면서 가장 중요한 건 정기적인 모니터링이다. 매주 한 번씩 Monitor 탭을 확인하면서 에러율, 응답시간, 비용 추이를 본다. 이상한 패턴이 보이면 바로 원인을 파악하고 대응한다.
결론: 지금이 시작하기 최적의 타이밍
Azure AI Foundry는 정말 인상적인 플랫폼이다. 예전에 Azure OpenAI를 다룰 때보다 훨씬 쉽고, 훨씬 강력하다. UI도 직관적이고, 문서도 충실하다. 한국의 개발자들 중에 아직 모르는 사람들이 많아서 아까울 정도다.
특히 지금은 최적의 타이밍이다. 왜냐하면 GPT-5가 출시되면 Azure AI Foundry에 바로 추가될 거거든. 그때쯤 되면 더 많은 사람들이 밀려들 것 같다. 지금 시작하면 새로운 기능들을 먼저 경험하고, 숙달할 수 있다.
만약 당신이 AI 프로젝트를 하고 있는데 어디서 배포할지 고민한다면, Azure AI Foundry는 정말 좋은 선택이다. 초기 진입 장벽도 낮고, 나중에 확장하기도 쉽다. 비용도 합리적이고, 기술 지원도 좋다. 무엇보다 한국 기업들이 많이 쓰니까 커뮤니티에서 한글 정보도 쉽게 찾을 수 있다.
지금 바로 Azure 계정을 만들고 AI Foundry에 들어가보자. 30분이면 충분히 첫 모델을 배포할 수 있다. 그 다음엔 자신의 프로젝트에 맞게 커스터마이징하면 된다. 처음엔 작더라도, 처음이 중요하다. 그 작은 시작이 나중에 큰 프로젝트로 성장할 수 있으니까.