AI와 일해 본 사람이라면 한 번쯤 이런 경험이 있을 것이다. 어제 분명히 조건을 다 설명해 줬는데 오늘 새 대화창을 열면 처음부터 다시 설명해야 한다. 작업 중간에 오류가 나면 AI가 같은 방법을 세 번 연속으로 시도하다가 멈춰 버린다. 똑똑하긴 한데 일을 맡기기엔 어딘가 불안한 이유가 바로 이 두 가지, 기억이 이어지지 않는다는 것과 막혔을 때 돌파구를 못 찾는다는 것이다.
메타가 12일(현지시간) 공개한 뮤즈 원더와 뮤즈 원더 풀은 정확히 이 두 가지를 정면으로 겨냥한 모델이다. 모델 이름보다 기능 이름이 더 눈에 띈다. 액티브 메모리와 액티브 포커스다. 이 글에서는 발표 내용을 따라가면서 어떤 문제를 풀려는 모델인지, 숫자들을 어떻게 읽어야 하는지, 그리고 실무자가 어디를 조심해서 봐야 하는지를 정리해 보려 한다.
뮤즈 원더는 어떤 모델인가
뮤즈 원더와 뮤즈 원더 풀은 개인과 기업의 복잡한 업무를 장시간 수행하도록 설계된 차세대 모델이다. 메타가 앞서 내놓은 뮤즈 스파크를 바탕으로 사전학습과 강화학습을 모두 끌어올린 결과물이라고 한다. 학습은 메타의 기가와트급 데이터센터인 프로메테우스에서 이뤄졌고, 메타는 이번 모델을 개인화된 AI 에이전트로 가는 확장 전략의 다음 단계라고 소개했다.
지원하는 업무의 폭은 넓다. 보험금 청구 절차 처리나 임대차 계약서 분석, 금융 정보 해석처럼 전문 지식이 필요한 일부터, 웹 브라우저와 여러 애플리케이션을 오가며 하는 작업, 그리고 실제로 돌아가는 소프트웨어를 만드는 개발까지 포함된다. 한마디로 질문에 대답하는 모델이 아니라 일을 끝내는 모델을 만들겠다는 방향이다.
다만 메타는 이번 발표에서 학습 데이터의 전체 구성이나 파라미터 규모, 학습에 들어간 연산량은 공개하지 않았다. 그래서 성능이 어디서 얼마나 나왔는지를 특정 기법이나 하나의 규모 지표로 설명하기는 어렵다. 이 점은 뒤에서 벤치마크를 읽을 때도 계속 염두에 두는 게 좋다.
액티브 메모리, 요약이 아니라 다시 찾아 쓰는 기억
액티브 메모리는 여러 대화에 걸쳐 사용자에게 중요한 정보를 유지하고, 지금 하는 작업에 필요한 과거 맥락을 능동적으로 찾아서 쓰는 기능이다. 여기서 능동적이라는 단어가 핵심이다. 이전 대화를 요약해서 들고 있는 것과, 현재 목표와 관련된 정보를 그때그때 다시 찾아 작업에 반영하는 것은 전혀 다른 이야기이기 때문이다.
예를 들어 사용자의 일정과 선호 조건, 예전에 정해둔 요구사항을 바탕으로 새 계획을 세우거나, 여러 문서에 흩어진 정보를 모아 개인화된 결과물을 만드는 작업이 여기에 해당한다. 메모리 기능을 붙여 본 사람은 알겠지만, 기억을 저장하는 건 쉬운데 필요한 순간에 맞는 기억을 꺼내는 게 진짜 어렵다. 저장된 게 많아질수록 오히려 엉뚱한 과거 정보가 끼어들거나, 예전 정보와 새 정보가 충돌하는 문제가 생긴다.
메타가 기억 능력을 따로 시험하는 평가를 만든 것도 같은 이유로 보인다. 메모리벤치라는 자체 평가에서는 6만 4000에서 10만 토큰에 이르는 긴 다중 대화 기록을 주고 핵심 정보를 정확히 떠올리는지 본다. 중간에 관련 없는 대화를 섞어 넣고, 기존 정보와 충돌하는 내용이나 나중에 바뀐 정보를 넣어서 단순한 키워드 검색으로는 풀리지 않게 만들었다고 한다. 최신 정보와 옛 정보를 구별할 수 있는지를 보겠다는 뜻이다. 기억의 양보다 기억의 질을 시험하겠다는 설계라서 방향은 설득력이 있다.
액티브 포커스, 막혔을 때 다른 길을 찾는 능력
액티브 포커스는 작업 도중 만나는 장애물에 대응하는 기능이다. 처음 시도한 방법이 실패하면 다른 방법을 써 보고, 새로운 정보가 들어오면 계획을 고치고, 오류가 나면 그걸 해결해서 작업을 이어간다. 필요한 정보가 부족하면 사용자에게 추가 설명을 요청하고, 중요한 행동을 실행하기 전에는 확인을 받도록 설계했다.
실제 업무를 떠올려 보면 이 기능이 왜 중요한지 바로 이해된다. 현실의 일은 질문 하나 답변 하나로 끝나지 않는다. 예약 사이트가 갑자기 다른 화면을 보여주기도 하고, 중간에 조건이 바뀌기도 하고, 예상하지 못한 오류가 튀어나오기도 한다. 에이전트가 이럴 때마다 멈춰서 사람을 부른다면 자동화의 의미가 없다. 반대로 확인 없이 무작정 밀어붙이면 되돌릴 수 없는 일을 저지를 수 있다. 막히면 우회하되 중요한 행동 앞에서는 멈춰 서서 묻는 것, 이 균형을 모델 차원에서 훈련했다는 점이 눈여겨볼 대목이다.
이 능력은 포커스벤치라는 평가로 따로 측정한다. 주거, 여행, 정보기술, 금융 같은 여러 분야의 개인 에이전트 과제에서 상호작용이 여러 차례 이어지는 동안 실제 장애물을 해결하고 환경 변화에 맞춰 작업을 조정하는지를 본다. 기억과 작업 지속성, 이 두 가지를 결합해서 장시간 업무의 완수율을 높이겠다는 것이 뮤즈 원더 시리즈의 핵심 구상이다.
100만 토큰 문맥과 멀티모달 입력
모델 카드에 따르면 입력은 텍스트뿐 아니라 이미지, 동영상, 오디오까지 받을 수 있고 출력은 텍스트다. 추론 시점의 문맥 길이는 최대 100만 토큰이다. 긴 문서와 대화 기록, 여러 자료를 한 작업의 맥락 안에 올려놓고 다룰 수 있다는 뜻이다.
다만 문맥이 길다고 해서 기억 문제가 저절로 풀리는 것은 아니다. 긴 문맥은 작업 중인 자료를 한꺼번에 들고 있는 능력이고, 액티브 메모리는 대화가 끝난 뒤에도 이어지는 장기 기억에 가깝다. 두 가지는 역할이 다르다. 그리고 다국어 데이터로 학습했지만 모든 언어에서 같은 수준의 성능이 보장되는 것은 아니라고 메타 스스로 밝혔다. 한국어로 업무를 맡길 계획이라면 이 부분은 반드시 직접 검증해 봐야 한다. 발표 자료의 성능이 한국어 환경에서 그대로 재현된다고 가정하는 건 위험하다.
법률, 금융, 헬스케어, 그리고 코딩
뮤즈 원더가 겨냥하는 영역은 크게 전문 지식 업무와 소프트웨어 개발이다. 법률에서는 계약서와 관련 자료를 검토하고 주어진 지침에 맞춰 문서 초안을 쓴다. 금융에서는 공시 자료와 시장 정보를 조사해 분석 결과를 정리한다. 헬스케어에서는 전문적인 건강 질문에 답하고 제공된 정보를 해석한다.
검증에는 외부 평가 체계와 자체 벤치마크를 함께 썼다. 법률은 하비의 법률 에이전트 벤치마크를 바탕으로 문서와 지침을 활용한 결과물의 품질을 평가했다. 금융은 밸스 파이낸스 에이전트를, 전문 건강 지식은 헬스벤치 프로를 사용했다. 헬스벤치 프로는 의사가 작성한 평가 기준으로 전문 수준의 건강 질문 525개에 대한 응답을 채점하는데, 이번에는 도구 없이 답을 만들게 해서 모델 자체의 전문 지식과 응답 품질을 봤다고 한다.
코딩은 코드를 짜는 능력만 본 게 아니다. 오류 수정, 테스트, 반복 개선, 그리고 오래 걸리는 프로젝트를 끝까지 끌고 가는 능력까지 평가했다. SWE-마라톤은 규모가 큰 소프트웨어 프로젝트를 대상으로 하고 실제 프로젝트 테스트를 돌려서 결과를 채점한다. 여기에 딥스위 같은 다른 코딩 평가도 곁들여 여러 저장소와 프로그래밍 언어에 걸친 개발 능력을 확인했다. 코드 한 조각을 맞히는 문제와 몇 시간짜리 프로젝트를 완주하는 문제는 난이도의 종류가 다르다. 후자를 따로 시험했다는 점에서 에이전트용 모델이라는 방향성이 분명히 드러난다.
공개된 작업 사례도 재미있다. 사용자가 지정한 이미지로 플레이 가능한 3차원 주방 게임을 만들고, 개인의 선호와 상황을 반영해 달리기 계획을 세우고, 복잡한 조건에 맞춰 결혼식 좌석 배치도를 작성하고, 실제 인스타그램 사진을 활용해 맞춤형 상품을 설계하고 주문하는 사례까지 나왔다. 하나같이 브라우저와 여러 애플리케이션을 오가며 결과물을 만드는 작업이다. 답변을 생성하는 수준을 넘어 결과물을 완성하는 쪽으로 가고 있다는 신호로 읽힌다.
능력을 쪼개서 검증하는 메타의 방식
이번 발표에서 인상 깊었던 건 종합 점수 하나로 모델을 설명하지 않았다는 점이다. 실제 에이전트 업무를 이루는 능력을 기억, 작업 지속성, 장시간 개발, 조사 능력으로 나눠 각각 다른 평가로 시험했다. 기억은 메모리벤치, 지속성은 포커스벤치, 장시간 개발은 SWE-마라톤으로 본다. 웹 조사 능력은 DRACO라는 평가가 맡는데, 복잡한 다분야 질문 100개를 두고 모델이 브라우저 검색과 자료 열람, 코드 실행을 활용해 조사 결과를 만드는 과정을 정확성과 완전성, 객관성 기준으로 살핀다.
에이전트를 평가하는 일이 어려운 이유는 실패가 한 군데서 나지 않기 때문이다. 기억은 좋은데 중간에 막히면 못 빠져나오거나, 코드는 잘 짜는데 긴 프로젝트에서 맥락을 놓치는 식이다. 능력을 분리해서 보면 어디가 약한지 드러나고 개선 방향도 잡힌다. 모델을 쓰는 입장에서도 내가 맡길 업무가 어느 능력에 더 기대는지를 따져 보는 기준이 된다.
이 발표의 진짜 포인트는 일반화
메타가 가장 힘주어 강조한 건 학습 과정에서 직접 겨냥하지 않은 과제에 대한 일반화 능력이다. 연구진은 추론 시점 연산을 늘려 가면서, 학습 때 집중한 과제와 그렇지 않은 과제의 성능이 어떻게 달라지는지를 비교했다.
메타의 설명으로는 뮤즈 원더 풀이 뮤즈 스파크 1.3과 비교했을 때, 학습에서 직접 겨냥한 과제의 수준을 감안하더라도 학습 대상에서 벗어난 과제에서 더 높은 성능을 보이는 경향이 있었다고 한다. 메타는 이를 더 강력한 기반 모델을 만든 뒤 사후학습을 적용했을 때 그 효과가 새로운 과제로 번져 나가기 쉬운 것으로 해석했다.
이 이야기가 왜 중요하냐면, 개인용 에이전트는 어떤 업무가 들어올지 미리 다 알 수 없기 때문이다. 사용자가 어떤 도구를 조합하고 어떤 조건을 붙일지는 설계자가 전부 예측할 수 없다. 모든 업무 유형을 미리 학습시키는 건 불가능하니, 처음 보는 상황에서도 잘 해내는 기초 체력이 곧 에이전트의 실용성을 좌우한다. 메타가 사전학습을 키운 이유를 에이전트 전략과 연결해서 설명한 셈이다.
물론 한 가지 단서가 붙는다. 이번에 공개된 평가에는 메타 자체 평가와 외부 기관의 결과, 모델 제공업체가 보고한 결과가 함께 섞여 있고, 일부 비교는 같은 실행 환경에서 이뤄지지 않았다. 그래서 모든 수치를 통제된 일대일 비교로 받아들이면 안 된다. 발표 자료의 점수는 방향을 읽는 참고 자료이지 순위표가 아니라는 점을 기억하자.
안전성 수치를 읽는 법
에이전트가 메시지와 일정, 개인 문서에 접근하고 실제 행동까지 대신하게 되면 개인정보 보호와 오용 방지가 훨씬 중요해진다. 메타는 뮤즈 원더 시리즈가 허락 없이 개인정보를 공유하지 않고, 실질적으로 해로운 행위를 돕는 요청은 거절하도록 훈련했다고 밝혔다. 동시에 개발자와 보안 담당자가 자기 코드의 취약점을 찾고 방어를 강화하는 데 필요한 사이버보안 기능은 유지했다. 막기만 하면 방어하는 쪽도 쓸 수 없게 되니 균형을 잡은 것이다.
평가는 메타의 초지능 확장 프레임워크에 따라 사이버보안, 화학과 생물학, 통제 상실 위험을 대상으로 진행했고 레드팀 시험도 거쳤다. 모델 카드에 공개된 뮤즈 원더 풀의 결과를 보면 사이버짐에서 88.4퍼센트, 익스플로잇벤치에서 58.9퍼센트를 기록했다. 여기서 주의할 점이 있다. 이 수치는 사이버 공격과 취약점 분석 능력을 재는 지표라서 높다고 해서 안전하다는 뜻이 아니다. 모델이 그만큼 그 분야에 능하다는 뜻이다.
안전장치가 얼마나 뚫리는지는 별도의 평가로 본다. 사이버벤치에서 단일 대화와 다중 대화 공격의 성공률은 각각 0.8퍼센트였고, 폴리가드의 사이버 분야 평가에서는 1.1퍼센트와 2.3퍼센트였다. 이쪽은 낮을수록 좋다. 생물학 쪽에서는 고위험 질문에 대한 거부 능력을 보는 바이오티어에서 영어, 다국어, 적대적 프롬프트 조건별로 98.7퍼센트, 98.7퍼센트, 98.2퍼센트를 기록했고, 내부 화학 평가에서는 같은 조건에서 100퍼센트, 100퍼센트, 99.8퍼센트였다. 이런 숫자는 높을수록 좋다는 점이 다르다. 같은 퍼센트라도 어떤 방향이 좋은 것인지 헷갈리기 쉬우니 표를 볼 때마다 지표의 의미부터 확인해야 한다.
메타는 안전성 훈련과 시스템 수준의 분류기 같은 완화 조치를 적용한 뒤 주요 위험 영역의 남은 위험을 자체 프레임워크 기준으로 중간 또는 그 이하로 평가했다. 다만 이것은 메타가 공개한 평가 결과일 뿐 모든 실제 환경에서의 안전을 보장하지는 않는다. 모델 카드도 새로운 상황에서 다단계 추론 오류가 날 수 있고 부정확하거나 편향된 답을 낼 수 있다고 명시했다. 그래서 실제 행동을 수행하는 에이전트로 배포할 때는 용도에 맞는 추가 안전장치와, 되돌릴 수 없는 행동에 대한 사람의 확인 절차를 마련하라고 권고하고 있다. 발표 자료에서 가장 현실적이고 중요한 문장이라고 생각한다.
어디서 쓸 수 있고 앞으로 어떻게 되나
뮤즈 원더는 개발자와 빌더를 대상으로 메타 모델 API와 뮤즈 코드를 통해 제공된다. 상위 모델인 뮤즈 원더 풀은 지금은 뮤즈 코드 구독자에게 열려 있다. 메타는 앞으로 뮤즈 서비스에도 뮤즈 원더를 적용할 계획이고, 먼저 구독자를 대상으로 기능을 넓히면서 결과물 생성이나 더 높은 지능이 필요한 작업에 활용할 예정이다. 장기적으로는 뮤즈 원더를 기반으로 특화 모델을 만들어 서비스 이용자에게 제공한다는 방침이다.
일반 사용자 입장에서는 당장 써 보기 어렵고 개발자 중심으로 풀린다는 점을 기억해 두자. 그리고 모델 하나가 좋다고 에이전트의 성과가 보장되지는 않는다. 같은 모델이라도 어떤 도구를 연결하느냐, 실행 환경이 어떻게 구성되느냐, 사용자가 어느 정도로 감독하느냐에 따라 결과가 크게 달라진다. 발표 자료의 능력이 실제 업무 환경에서도 안정적으로 재현되는지가 앞으로의 관건이다.
마무리하며
정리하면 이렇다. 뮤즈 원더와 뮤즈 원더 풀은 메타가 개인과 기업의 복잡한 업무를 오래, 끝까지 수행하도록 만든 에이전트 지향 모델이다. 핵심은 두 가지다. 액티브 메모리로 여러 대화에 걸쳐 중요한 정보를 기억하고 필요할 때 다시 찾아 쓰며, 액티브 포커스로 작업이 막혀도 다른 방법을 시도하며 목표를 이어간다. 여기에 100만 토큰 문맥과 이미지, 동영상, 오디오 입력, 법률과 금융, 헬스케어, 코딩까지 넓은 활용 범위가 더해졌다.
이번 발표가 흥미로운 건 모델의 추론 점수를 자랑하는 데 그치지 않고, 기억과 계획 조정, 도구 활용, 오류 복구, 작업 완료를 하나의 실행 흐름으로 이으려 했다는 점이다. 학습 대상 밖의 과제에서도 성능을 유지하는 일반화 능력을 앞세운 것도 사용자의 요청을 미리 예측할 수 없는 개인용 에이전트의 현실을 반영한다.
다만 수치는 조심해서 읽어야 한다. 평가 환경이 서로 달라 완전한 직접 비교가 아니고, 안전성 지표는 방향이 제각각이며, 한국어를 포함한 모든 언어에서 같은 성능이 나오는 것도 아니다. 이 모델을 실제 업무에 붙이려는 사람이라면 점수표보다 먼저, 되돌릴 수 없는 행동 앞에 사람의 확인 단계를 어디에 넣을지부터 설계하길 권한다. 결국 에이전트 시대의 경쟁력은 얼마나 잘하느냐와 함께 얼마나 안전하게 맡길 수 있느냐로 결정될 것이다.