AI 에이전트, LangGraph, RAG 등 AI 엔지니어링 실무 노트
지난주 한 게임사 임원이 받은 청구서 이야기를 들었다. 월 3천만원으로 계약한 AI 도구 비용이 다음 달에 1억 8천만원으로 청구됐다고 한다. 사용량 기반 종량제로 자동 전환된 것을 모르고 있다가, 청구서를 받고 나서야 부랴부랴 구조를 다시 짜고 있다는 후일담이었다. 이 이야기를 들으면서 머릿속에 한 장면이 그려졌다. 곧 이런 청구서가 한국 기업 절반 이상의 IT 부서에 도착하기 시작할 … Read more
지난주 한 공공기관 자문 자리에서 나온 한 마디가 며칠째 머릿속에서 맴돌고 있다. “업무 결재를 모바일에서 AI로 처리하라고 합니다. 이게 그냥 챗봇 도입 수준이 아닌 것 같은데, 우리는 뭘 준비해야 하나요?” 담당 사무관이 던진 질문이었다. 답을 하기 전에 잠깐 머뭇거렸다. 평소 같으면 “데이터 정리부터 시작하시고, 그다음에 RAG 파이프라인을…” 같은 표준 답변을 내놓겠지만, 지금 정부가 그리는 그림은 … Read more
며칠 전 한 컨퍼런스 자료를 정리하다가 한 장의 슬라이드 앞에서 한참을 멈췄다. 판별 AI(Discriminative AI), 생성 AI(Generative AI), 판단 AI(Decisive AI)를 한 표에서 직접 비교한 슬라이드였다. 주요 역할, 기술적 특징, 데이터 의존성, 협업 방식, 한계까지 모두 나란히 놓고 보여주는데, 이 표가 흥미로웠던 이유는 그동안 머릿속에서 흩어져 있던 개념들이 한 그림으로 정렬됐기 때문이다. 한 줄로 표현하면 … Read more
작년부터 고객사 PoC에 들어갈 때마다 같은 장면이 반복된다. “저희도 RAG 한번 깔아봤는데, 답을 너무 자주 지어내요.” 이 말을 듣는 빈도가 한 달이 멀다 하고 늘어났다. 얼마 전에는 한 제조 대기업 IT 본부장이 더 솔직한 표현을 던졌다. “이거 자료에서 직접 가져온 답인지, GPT가 그럴듯하게 만든 답인지 내가 판별할 수 없으면 임원 보고에 못 올려요.” 그분 입장이 … Read more
작년 한 해 동안 가장 많이 받은 질문 중 하나가 “팔란티어가 도대체 뭐 하는 회사예요”였다. 흥미롭게도 질문하는 사람들의 직군이 완전히 갈렸다. 주식 투자를 하는 분들은 이미 답을 알고 있었다. 시가총액이 천문학적으로 뛰어오른 그 미국 회사. 반면 AI 엔지니어 쪽에서 일하는 분들은 의외로 잘 몰랐다. 알아도 “정부 데이터 분석하는 회사 아니에요?” 정도에서 멈췄다. 이 격차가 흥미로웠다. … Read more