3개월짜리 개발 프로젝트가 2주로 줄었다. MVP가 1시간에 나온다. 1시간짜리 회의에서 실시간으로 시제품을 만들어 보여준다. 판교 IT 대기업 수석 개발자 황민호 씨 얘기다. 과장이 아니다. 본인이 직접 검증하고 커뮤니티에 공개한 결과물들이다.
이 얘기를 처음 들었을 때 솔직히 두 가지 생각이 교차했다. 하나는 “맞다, 나도 비슷한 변화를 느끼고 있다”는 공감이었고, 다른 하나는 “그런데 그 에이전트들이 처리하는 데이터는 지금 어디로 가고 있는가”라는 질문이었다.
개인이 AI 에이전트 팀을 운영하는 시대가 열렸다는 선언과, 그 에이전트가 기업 기밀을 외부 서버로 흘려보낼 수 있다는 현실은 동전의 양면이다. 오늘은 이 두 가지를 같이 뜯어본다.
하네스 엔지니어링, 개인이 팀을 운영하는 방식
황민호 수석이 말하는 에이전트 운영 방식의 핵심은 하네스 엔지니어링이라는 개념이다. 앤트로픽이 지난해 11월 블로그에서 소개한 방법론으로, 여러 에이전트에 역할과 페르소나를 부여하고 배경 지식과 스킬을 구성해서 이들이 협력하는 워크플로를 만드는 것이다.
구성 요소는 세 가지다. 실제로 일을 수행하는 에이전트, 에이전트가 활용할 지식과 방법론인 스킬, 에이전트들이 협력하는 순서와 규칙을 정하는 오케스트레이션이다. 이게 낯설게 들리면 LangGraph로 멀티에이전트 시스템을 설계할 때의 구조를 떠올리면 된다. 슈퍼바이저가 서브에이전트들에게 작업을 분배하고 결과를 취합하는 방식이 정확히 같은 개념이다.
황 수석이 부동산 계약에 빗댄 비유가 꽤 정확하다. 챗GPT 이전에는 부동산 지식을 직접 공부하고 갔다. 코파일럿 수준에서는 AI를 조수석에 태워 같이 갔다. 하네스 엔지니어링 단계에서는 나 대신 부동산에 가서 계약까지 직접 해오는 에이전트를 만드는 것이다. 인간이 지시하는 게 아니라 위임하는 것이다.
실제로 그가 SF 웹소설을 쓸 때 한 줄 요청에 캐릭터 설계 에이전트, 세계관 구축 에이전트, 과학 자문 에이전트가 자동 생성됐다. 이들이 챕터 아웃라인과 복선을 먼저 설계하고 집필에 들어갔다. 12장 웹툰에 360장의 이미지가 생성됐고, 그 중 40장은 리뷰 에이전트가 기준 미달로 판단해 스스로 재작업했다. 황 수석이 직접 개입한 건 20장뿐이었다.
이게 가능해진 배경에는 Claude Code, 커서 같은 도구들의 성숙이 있다. 코딩 능력이 없어도 자연어로 에이전트 워크플로를 구성할 수 있는 수준이 됐다. 황 수석 본인도 “AI 에이전트를 잘 다루는 건 코딩 능력과 별개”라고 강조했다. 이제 개발자와 비개발자의 경계가 흐려지고, 개인이 사실상 작은 팀처럼 일할 수 있는 환경이 됐다.
그런데 그 에이전트가 처리하는 데이터는 어디로 가는가
여기서 멈춰야 한다.
개인이 에이전트 팀을 굴린다는 건 멋진 이야기다. 근데 그 에이전트들이 처리하는 내용이 뭔지 생각해보면 이야기가 달라진다. 회사 내부 문서, 고객 데이터, 미공개 기술 자료, 영업 전략, 재무 수치. 이런 정보들이 에이전트를 통해 GPT-4, Claude, Gemini 같은 외부 클라우드 API로 전송되고 있다.
삼성전자가 2023년에 ChatGPT를 사내 허용한 직후 반도체 설비 소스코드와 회의록이 외부로 유출된 사례는 이미 잘 알려진 이야기다. 그 이후로 국내 기업들의 생성 AI 사용 정책이 급격히 강화됐다. 근데 에이전트 시대에는 이 문제가 훨씬 복잡해진다.
단순히 사람이 챗GPT에 질문을 입력하는 게 아니다. 에이전트가 자율적으로 수십 번, 수백 번 API를 호출하면서 필요한 데이터를 자동으로 첨부하고 처리한다. 사람이 매번 확인할 수 없는 속도와 규모로 정보가 외부 서버를 오간다. 에이전트가 “이 파일을 분석해서 결과를 알려줘”라는 요청을 받으면, 그 파일 전체가 OpenAI 서버로 전송되는 구조다.
글로벌이코노믹이 보도한 “내 AI는 외부와 대화하지 않는다”는 흐름이 바로 이 문제에 대한 산업의 반응이다. 기밀 유출 0%를 표방하는 프라이빗 AI, 온프레미스 LLM 시대가 열리고 있다.
프라이빗 AI가 의미하는 것, 구체적으로
프라이빗 AI는 말 그대로 내부에서만 돌아가는 AI다. 모든 데이터 처리와 LLM 추론이 외부 서버가 아니라 자사 인프라 안에서 이루어진다. 외부 클라우드 API를 쓰지 않으니 데이터가 회사 밖으로 나가지 않는다.
구현 방식은 크게 세 가지다. 온프레미스는 회사 자체 서버에 LLM을 직접 구축하고 운영하는 방식이다. 보안이 가장 강하지만 초기 하드웨어 투자 비용이 크고 운영 부담도 상당하다. GPU 서버 구매, 유지보수, 전력, 냉각 시스템까지 모두 직접 관리해야 한다. VPC 기반 전용 클라우드는 AWS, Azure 같은 클라우드 인프라 안에서 격리된 전용 환경을 구성하는 방식이다. 온프레미스보다 구축이 빠르고 확장도 유연하지만, 물리적으로 완전히 격리된 건 아니다. 온디바이스는 개인 PC나 노트북에서 소형 LLM을 직접 돌리는 방식이다. 인터넷 연결 없이 완전 오프라인으로 처리가 가능하고 초기 비용이 거의 없지만, 모델 성능에 한계가 있다.
에이전트 아키텍처를 직접 설계하는 입장에서 보면 이 세 가지 방식이 에이전트 운영에서 어떤 차이를 만드는지 분명하다. 온프레미스 LLM 위에 에이전트를 구성하면 에이전트가 수행하는 모든 도구 호출, 데이터 조회, 문서 처리의 로그가 내부에 남는다. 어떤 데이터로 어떤 추론을 했는지 감사 추적이 가능하다. 규제가 강한 금융, 의료, 공공 영역에서 AI 에이전트를 실제로 쓰려면 이 부분이 필수 조건이 된다.
반면 외부 API 기반으로 에이전트를 구성하면 에이전트의 추론 과정이 전부 외부 서버에서 이루어진다. 비용은 낮고 성능은 좋지만, 내부에서 무슨 일이 일어났는지 온전히 파악하기 어렵다. 에이전트가 오작동했을 때 추적이 제한된다.
하이브리드 전략이 현실적인 이유
그렇다고 모든 걸 온프레미스로 전환하는 건 현실적이지 않다. 비용, 성능, 유지보수 모두 만만치 않다. 실제로 국내 중소기업이나 스타트업 입장에서 수억 원짜리 GPU 서버를 들여놓는 건 현실적인 선택지가 아니다.
지금 업계의 방향은 하이브리드다. 민감 데이터가 포함된 작업은 내부 프라이빗 LLM으로 처리하고, 비민감 일반 작업은 외부 클라우드 API를 활용하는 분리 운영 구조다. 이게 에이전트 설계에서는 어떻게 구현되느냐면, 에이전트 워크플로 안에서 데이터 분류 레이어를 두고 라우팅하는 방식으로 가능하다. 개인정보나 기밀 데이터가 포함된 요청은 내부 LLM으로 보내고, 그렇지 않은 요청은 GPT-4나 Claude API로 보내는 것이다.
LangGraph로 이 구조를 만들면 슈퍼바이저 에이전트가 작업 분류를 담당하고, 분류 결과에 따라 내부 서빙 엔드포인트와 외부 API 중 어디로 라우팅할지 결정하는 노드를 구성하면 된다. vLLM으로 온프레미스 서빙 환경을 구성하면 외부 API와 동일한 인터페이스로 내부 모델을 호출할 수 있기 때문에, 에이전트 코드 변경 없이 엔드포인트만 교체하는 방식으로 운영이 가능하다.
개인의 시대와 기업의 책임이 충돌하는 지점
황민호 수석의 이야기로 돌아오면, 그가 구현한 것들은 개인 개발자 입장에서는 혁신적인 생산성 도구다. 근데 이걸 기업 환경에서 직원들이 동일하게 쓰기 시작하면 IT 보안 부서 입장에서는 통제 불가능한 상황이 된다.
에이전트가 회사 내부 자료를 첨부해서 외부 LLM API에 질의하는 행위를 개인의 판단으로 허용했을 때의 리스크는, 단순히 ChatGPT에 질문 한 번 입력하는 것과 차원이 다르다. 에이전트는 자율적으로 반복 실행하고, 다음 작업을 계획하고, 여러 도구를 호출한다. 한번 실행 허가를 내리면 그 이후 단계에서 어떤 데이터가 어디로 흘러가는지 사람이 실시간으로 따라가기 어렵다.
이게 2026년 현재 기업 AI 도입의 가장 큰 실질적 긴장이다. 개인의 생산성 혁명과 기업의 데이터 거버넌스 요구가 정면으로 충돌한다. 이 긴장을 해소하는 방법이 프라이빗 AI, 하이브리드 아키텍처, 에이전트 라우팅 정책이다.
미국에서는 NIST AI 위험 관리 프레임워크가 핵심 인프라 관련 기업에 데이터 거버넌스 투명성을 강하게 요구하고 있고, 국내에서도 한국인터넷진흥원이 금융, 의료, 공공 분야의 프라이빗 AI 환경 구축을 권고하고 있다. 규제 흐름이 이쪽으로 가고 있다는 건 이미 정해진 방향이다.
마무리: 개인이 에이전트 팀을 굴리는 시대의 진짜 조건
개인이 AI 에이전트 팀을 운영하는 시대가 왔다는 건 맞다. 황민호 수석의 사례가 그걸 증명한다. 그리고 동시에, 그 에이전트들이 처리하는 데이터의 행방에 대한 책임도 함께 온다는 게 2026년의 현실이다.
에이전트를 잘 쓰는 것과 안전하게 쓰는 것은 별개의 문제가 아니다. 특히 기업 환경에서 에이전트 도입을 설계하는 사람이라면 처음부터 어떤 데이터가 어디서 처리되는지, 외부로 나가도 되는 데이터와 절대 나가면 안 되는 데이터를 어떻게 구분할지를 아키텍처 설계 단계에서 결정해야 한다. 나중에 붙이는 보안은 항상 불완전하다.
개인의 생산성 혁명을 기업이 안전하게 흡수하려면, 에이전트 팀을 굴리는 것만큼이나 그 팀이 어떤 규칙 안에서 일하는지를 설계하는 것이 핵심이다. 프라이빗 AI는 그 규칙의 가장 현실적인 출발점이다.