AI 실무 가이드와 엔지니어링 노트
인텔 신임 CEO 립부 탄이 1분기 실적 발표 자리에서 슬쩍 흘린 숫자 하나가 며칠째 머릿속에서 맴돌고 있다. “AI 학습은 CPU 1개와 GPU 7~8개를 조합했다면, AI 추론은 CPU 1개와 GPU 3~4개를 결합한다.” 그러면서 그는 “에이전틱(자율) AI와 멀티 에이전트 시대에는 반대 방향으로 바뀔 수도 있다”고 덧붙였다. 별것 아닌 비율 이야기처럼 들리지만, 인프라 쪽 일을 해본 사람이라면 이 … Read more
회사에서 ChatGPT 쓰다가 한 번쯤 이런 생각 해본 적 없는가. “이 데이터, 외부 서버로 나가도 괜찮은 건가?” 실제로 2023년 삼성전자 반도체 부문에서 챗GPT에 소스코드를 입력한 사건 이후, 국내 대기업 상당수가 외부 AI 서비스 이용을 제한하기 시작했다. 그리고 2026년 지금, 상황은 더 심각해졌다. AI 기본법 시행을 앞두고 데이터 거버넌스에 대한 압박이 커지면서, 기업이든 개인 개발자든 “내 … Read more
최근 몇 달간 Azure에서 대형 언어 모델을 서빙해야 하는 상황이 자주 생긴다. 특히 한국 기업들이 AI를 실제 서비스에 녹여내려고 할 때 그렇다. 그럼 대부분 이런 고민을 한다. “OpenAI API만 쓰면 안 되나? 왜 굳이 직접 모델을 서빙해야 하지?” 그 답은 간단하다. 비용, 지연시간, 그리고 데이터 프라이버시다. 직접 모델을 서빙하면 OpenAI 같은 외부 API에 의존하지 않아도 … Read more
요즘 IT 담당자들이 자주 받는 질문이 있다. “AI 도입할 때 Azure OpenAI를 써야 하나, 아니면 OpenAI API를 직접 쓰면 되지 않나?” 겉으로는 단순한 질문이지만, 이 선택이 회사의 보안, 비용, 그리고 향후 AI 전략에 미치는 영향은 생각보다 크다. 지난 몇 년간 여러 기업의 AI 도입 과정을 지켜보면서 느낀 거지만, 많은 기업들이 처음엔 “API 직접 쓰면 간단하고 … Read more