AI 실무 가이드와 엔지니어링 노트
작년까지만 해도 Azure에서 OpenAI 모델을 쓰려면 Azure OpenAI Service를 직접 다뤄야 했다. 약간 복잡했다. 여러 서비스를 오가야 했고, 모니터링도 헷갈렸고, 모델 배포도 손이 많이 갔다. 그런데 올해 1월 기준으로 Azure AI Foundry가 본격적으로 작동하면서 판이 바뀌었다. 이건 단순한 UI 개선이 아니라, 전체 개발 경험을 다시 생각한 플랫폼이다. 내가 처음 Azure AI Foundry를 켰을 때 느낀 … Read more
“이게 진짜 되나? 프롬프트 한 줄만 추가했는데?” 처음 이 현상을 본 건 어떤 개발자의 깃허브 이슈였다. 수학 문제를 푸는 LLM의 정확도가 18%에서 57%로 올라갔다는 내용이었다. 처음엔 믿기지 않았다. 모델을 다시 학습시킨 것도 아니고, 더 큰 모델로 바꾼 것도 아닌데 어떻게 40% 가까이 올라갈 수 있을까. 하지만 더 찾아본 결과 이건 실제로 일어나는 일이었고, 지금 업계에서는 … Read more
주요 내용 요약 2025년 현재, AI 기술과 운영(Operations)이 결합된 다양한 신조어들이 등장하며 기업의 AI 도입 전략을 근본적으로 바꾸고 있습니다. LLMOps는 MLOps(머신러닝 운영)의 하위 범주로, 대형언어모델(LLM)의 라이프사이클 프로세스를 관리하는 관행과 도구를 의미하며, 기업 환경에서 LLM 기반 복합 시스템의 60%가 어떤 형태로든 검색 증강 생성(RAG)을 활용하고 있어 RAGOps의 중요성이 부각되고 있습니다. 동시에 2025년에는 생성형 AI를 사용하는 기업의 … Read more