제미나이 3.6 플래시 뜯어보니, 결국 문제는 에이전트 운영비였다

지난주에 LangGraph로 돌리던 멀티 에이전트 파이프라인 하나가 새벽에 갑자기 API 비용을 두 배로 잡아먹은 적이 있다. 원인을 추적해보니 에이전트가 판단을 못 내리고 도구 호출을 반복하면서 토큰을 계속 태운 거였다. 그날 이후로 나는 모델 선택 기준에서 순수 추론 성능보다 토큰 효율과 도구 호출 안정성을 더 위에 두게 됐다. 그런데 며칠 전 구글이 발표한 제미나이 3.6 플래시 소식을 보면서, 나만 그런 고민을 하는 게 아니었구나 싶었다. 구글이 아예 대놓고 “코딩 최강 모델”이 아니라 “에이전트가 실전에서 덜 헤매는 모델”을 만들겠다고 선언한 거다.

구글이 이번에 내놓은 건 프로가 아니라 플래시였다

원래 업계에서는 이번 발표에서 차세대 플래그십인 제미나이 3.5 프로가 나올 거라는 기대가 있었다. 나도 개인적으로 서빙 인프라 쪽 벤치마크를 미리 준비해뒀을 정도였는데, 정작 공개된 건 프로가 아니라 플래시 계열 세 종이었다. 제미나이 3.6 플래시, 제미나이 3.5 플래시-라이트, 그리고 코드 보안에 특화된 제미나이 3.5 플래시 사이버까지. 구글은 3.5 프로가 아직 파트너들과 테스트 중이라고 밝혔고, 심지어 그다음 세대인 제미나이 4는 벌써 사전학습에 들어갔다고 한다. 순서로 보면 지금 이 플래시 라인업은 본진이 아니라 전초전에 가깝다. 그런데 이 전초전이 오히려 더 흥미로웠다.

왜냐하면 실무에서 매일 API 요금을 체감하는 입장에서는, 최고 성능 모델보다 이런 실무형 모델의 방향성이 훨씬 더 직접적으로 와닿기 때문이다. 나는 평소 Azure에서 vLLM으로 추론 서버를 직접 운영하면서 텐서 병렬화 설정 하나 잘못 건드려서 서버가 통째로 죽는 경험까지 해본 사람인데, 그런 입장에서 보면 이번 발표는 “이제 클라우드 대형 모델 업체들도 우리가 겪는 비용 문제를 진짜 심각하게 받아들이기 시작했구나”라는 신호로 읽혔다.

토큰을 얼마나 줄였길래 이렇게 자신만만한가

구체적인 수치를 보면 이해가 간다. 제미나이 3.6 플래시는 이전 세대인 3.5 플래시 대비 출력 토큰 사용량을 17퍼센트 줄였고, 소프트웨어 엔지니어링 벤치마크인 딥SWE에서는 무려 65퍼센트까지 토큰을 절감했다고 한다. 작업 하나당 출력 토큰이 27만 개에서 9만7천 개 수준으로 줄었다는 얘기인데, 이 숫자를 보고 나는 바로 내가 운영하는 RAG 파이프라인의 재검색 루프를 떠올렸다. 답변 품질을 위해 컨텍스트를 재요약하고 재질의하는 구조를 짜다 보면 토큰이 기하급수적으로 늘어나는 경험을 다들 한 번쯤 해봤을 거다. 그 구간에서 65퍼센트를 줄인다는 건 단순 수치 이상의 의미가 있다.

가격도 함께 내려갔다. 입력 토큰 100만 개당 1.5달러, 출력 토큰 100만 개당 7.5달러로 책정됐는데, 이전 3.5 플래시의 출력 단가가 9달러였던 걸 감안하면 확실히 낮아진 수준이다. 여기에 토큰 절감 효과까지 곱해지면 체감 비용은 산술적인 가격 인하폭보다 훨씬 크게 느껴질 수밖에 없다. 나도 실제로 FastAPI 기반 서비스에서 비동기 호출 병목을 잡아본 경험이 있는데, 이런 구조에서는 초당 처리량과 토큰 단가가 동시에 개선되면 인프라 팀 입장에서는 체감상 비용이 반토막 나는 것처럼 느껴진다.

코딩은 밀렸지만 에이전틱 워크플로우에서는 확실히 앞섰다

여기서 솔직하게 짚고 넘어가야 할 부분이 있다. 종합 지능 지수로 보면 제미나이 3.6 플래시는 프론티어급 모델들에 크게 못 미친다. 아티피셜 애널리시스 지능 지수 기준으로 50점을 기록했는데, 이는 경쟁 모델보다 낮은 수준이다. 코딩 벤치마크에서도 딥SWE, SWE-벤치 프로, 터미널 벤치 전 영역에서 다른 최상위 코딩 모델들에 밀렸다. 나 역시 평소 클로드 코드와 코덱스를 병행해서 실무 코드를 짜는 입장에서, 이번 플래시 모델을 순수 코딩 도구로 놓고 비교하면 굳이 갈아탈 이유는 크지 않다고 본다.

다만 방향이 다르다. 이 모델이 진짜 강한 건 컴퓨터 사용 능력, 차트나 문서 해석, 그리고 긴 컨텍스트를 다루는 능력이다. 컴퓨터 조작 능력을 평가하는 지표에서 83점을 기록했고, 지식 기반 업무 평가에서도 이전 세대를 확실히 앞질렀다. 다시 말해 이 모델은 처음부터 코드를 완벽하게 짜는 걸 목표로 만든 게 아니라, 문서를 읽고 도구를 호출하고 반복 작업을 스스로 처리하는 에이전트의 손발 역할에 최적화된 거다. 실제로 API와 엔터프라이즈 플랫폼에는 컴퓨터 사용 기능이 기본 도구로 내장됐고, 법률 문서 분석이나 데이터 분석 업무를 하는 초기 고객사들이 문서 파싱과 보고서 작성 영역에서 성능 향상을 체감했다고 밝혔다.

내가 LangGraph로 멀티 에이전트를 설계할 때 가장 골치 아픈 부분이 바로 이거였다. 추론 능력은 뛰어난데 도구 호출 타이밍을 못 잡거나, 같은 작업을 반복 호출하면서 루프에 빠지는 모델을 계속 써야 했던 경험이 있다. 이번 발표에서 강조된 게 바로 이 부분, 즉 내부 추론 단계와 도구 호출 횟수 자체를 줄였다는 점인데, 이게 실제 운영 환경에서 얼마나 안정적으로 작동하는지는 직접 붙여봐야 알겠지만 방향성만큼은 실무자 입장에서 정확히 짚었다고 느꼈다.

초저가 라이트 모델과 코드 보안 특화 모델까지 같이 나온 이유

같이 공개된 제미나이 3.5 플래시-라이트는 속도와 비용에 완전히 몰빵한 모델이다. 초당 350개의 출력 토큰을 처리하고, 입력 토큰 100만 개당 0.3달러라는 파격적인 가격으로 책정됐다. 이 정도 가격이면 대량의 문서를 순차적으로 처리하거나 검색 결과를 재순위화하는 작업에 그대로 투입해도 부담이 크지 않다. 흥미로운 건 개발자가 사고 단계를 최소, 낮음, 높음 세 단계로 직접 조절할 수 있다는 점이다. 나는 이 부분이 실무적으로 꽤 의미 있다고 본다. 왜냐하면 실제 서비스에서는 모든 요청에 동일한 추론 깊이가 필요하지 않기 때문이다. 단순 검색이나 분류 작업에는 최소 사고 단계로 지연시간을 줄이고, 복잡한 다단계 판단이 필요한 구간에서만 높은 사고 단계를 쓰는 식으로 설계하면 인프라 비용을 훨씬 세밀하게 통제할 수 있다.

여기에 코드 보안 전용 모델인 제미나이 3.5 플래시 사이버도 함께 나왔는데, 이건 구글의 코드 취약점 탐지 에이전트인 코드멘더와 결합해 여러 에이전트가 협업하며 통합 분석 보고서를 만드는 구조로 설계됐다. 다만 이 모델은 정부기관과 신뢰할 수 있는 파트너에게만 제한적으로 제공된다고 한다. 세 모델을 한꺼번에 내놓은 걸 보면, 구글이 에이전트 시장을 하나의 범용 모델이 아니라 용도별로 세분화해서 공략하겠다는 전략을 명확히 세운 것으로 보인다.

안전 장치도 슬쩍 끼워 넣은 걸 놓치면 안 된다

성능과 가격 얘기에 묻히기 쉽지만, 이번 모델에는 화학·생물·방사능·핵 분야와 사이버 공격 악용을 막기 위한 강화된 안전 체계도 함께 적용됐다. 탈옥 공격에 대한 저항성도 높아졌다고 한다. 에이전트가 실제로 컴퓨터를 조작하고 외부 도구를 호출하는 권한까지 갖게 되면서, 모델의 능력치만큼이나 오작동이나 악용 가능성에 대한 책임도 함께 커졌다는 걸 구글 스스로도 인지하고 있는 셈이다. 나는 이 부분을 단순히 구색 맞추기라고 보지 않는다. 에이전트에게 실제 실행 권한을 부여하는 순간부터는 성능 지표보다 이런 안전장치의 완성도가 실무 도입 여부를 가르는 기준이 될 가능성이 크다.

프로 모델을 미룬 진짜 이유는 따로 있는 것 같다

이번 발표에서 가장 의미심장했던 대목은 사실 제미나이 3.5 프로가 빠졌다는 점 자체다. 구글은 현재 파트너들과 테스트 중이며 준비되는 대로 공개하겠다고만 밝혔다. 동시에 제미나이 4의 사전학습이 이미 시작됐다는 소식도 함께 전했다. 나는 이 타이밍을 단순한 일정 지연으로 보지 않는다. 오히려 최상위 모델 경쟁에서 잠시 숨을 고르는 대신, 지금 당장 기업들이 가장 민감하게 반응하는 지점, 즉 에이전트 운영 비용과 응답 속도부터 먼저 잡아두겠다는 계산으로 읽힌다. 실제로 요즘 기업 고객들과 이야기해보면 모델의 절대적인 지능보다 월별 API 청구서가 더 큰 화두인 경우가 많다. 최고 성능 모델을 아무리 잘 만들어도 그걸 실제 서비스에 상시로 붙여 쓸 만한 비용 구조가 안 나오면 채택률이 오르지 않는다는 걸 구글도 체감한 것 같다.

정리하면, 이번 발표는 최고 성능 경쟁이 아니라 실전 배치 경쟁이었다

결국 이번 제미나이 3.6 플래시 발표를 관통하는 키워드는 하나다. 에이전트를 진짜로 서비스에 올려서 굴리는 사람들이 겪는 문제, 즉 토큰 비용과 응답 지연, 도구 호출 안정성을 정면으로 겨냥했다는 것이다. 코딩 성능 하나만 놓고 보면 이 모델은 분명 최상위권이 아니다. 하지만 나처럼 매일 API 청구서를 확인하고 vLLM 서버 로그를 들여다보는 입장에서는, 이런 실무형 개선이 오히려 더 체감도가 크다. 최고 성능 모델들이 벤치마크 1위 경쟁을 벌이는 동안, 정작 현장에서는 그 성능을 얼마나 저렴하고 안정적으로 반복 실행할 수 있느냐가 채택을 결정짓는다. 구글이 이번에 프로 모델 대신 플래시 라인업을 먼저 내놓은 건, 그 현실을 정확히 읽었다는 증거로 보인다. 다음에 나올 제미나이 3.5 프로와 제미나이 4가 이 에이전트 최적화 기조를 그대로 이어갈지, 아니면 다시 순수 성능 경쟁으로 돌아갈지가 앞으로 지켜볼 지점이다.