2026년 6월 4일, 앤트로픽이 블로그에 글 하나를 올렸다. 제목은 조용했지만 내용은 조용하지 않았다. “When AI Builds Itself.” AI가 스스로를 만들고 있다는 선언.
그 안에 이런 숫자가 박혀 있었다. 현재 앤트로픽 프로덕션 코드베이스에 병합되는 코드의 80% 이상이 클로드가 작성한 것이다. 엔지니어 한 명은 5개월째 코드를 한 줄도 직접 쓰지 않았다고 한다. 클로드 코드가 2025년 2월에 출시되기 전 한 자릿수였던 AI 코드 비중이, 불과 1년 사이에 80%를 넘어섰다. 엔지니어들은 분기당 2021~2025년 평균의 8배 분량의 코드를 내보내고 있다.
이 숫자들을 처음 봤을 때 솔직히 머릿속이 잠깐 멈췄다. AI가 쓴 코드로 AI를 학습시키고, 더 나은 AI가 또 다음 AI를 만드는 흐름이 이미 시작됐다는 뜻이기 때문이다. 앤트로픽은 이걸 “재귀적 자기개선(Recursive Self-Improvement)”으로 가는 궤도라고 직접 표현했다.
그러면서 동시에, 이 흐름을 늦추거나 멈출 수 있는 국제적 장치가 필요하다고 요청했다. 자신들이 만들고 있는 것에 대해 스스로 경고를 날린 셈이다.
재귀적 자기개선이란 무엇인가
이 개념을 제대로 짚고 넘어갈 필요가 있다. 재귀적 자기개선은 AI가 스스로 더 나은 AI를 설계하거나 개선하는 단계를 가리킨다. 쉽게 말하면 AI가 AI를 만드는 일을 반복하면서 능력이 폭발적으로 향상되는 구조다. 일부 연구자들은 이를 인류 역사의 진짜 변곡점으로 본다.
SF에서나 나올 것 같은 개념인데, 앤트로픽이 공개한 데이터가 그게 이미 시작됐다는 증거를 제시하고 있다. 완전한 자율적 자기개선은 아니다. 아직 인간이 문제를 선택하고 평가 기준을 만들고 핵심 단계마다 검토한다. 그러나 AI가 학습 방법을 제안하고, 실험을 돌리고, 실패 원인을 분석해서 다음 모델 설계에 반영하는 흐름이 이미 내부 파이프라인에 들어와 있다는 게 앤트로픽의 주장이다.
클로드가 현재 앤트로픽 프로덕션 코드의 80% 이상을 작성하고 있고, 엔지니어들은 분기당 코드 출력이 2024년 대비 8배 늘었다. 이 수치가 무서운 이유는 속도다. 2021~2023년에는 사람이 모든 코드를 직접 짰다. 2023~2025년에는 AI가 짧은 코드 조각을 보조했다. 2025~2026년에는 코딩 에이전트가 상당 부분을 처리했다. 그리고 지금은 자율 에이전트가 인간 개입을 점점 줄이며 시스템을 운영한다. 불과 3~4년 사이에 역할이 완전히 뒤집혔다.
앤트로픽이 소개한 내부 실험 결과도 흥미롭다. 실제 클로드 코드 세션에서 연구자가 잘못된 방향으로 갔을 때, 모델에게 그 이전 맥락만 주고 다음 단계를 제안하게 한 실험에서, 2025년 11월 모델은 인간 선택을 51% 확률로 앞질렀고 2026년 4월 모델은 64%로 올라갔다. 아직 완벽하지 않고 실험 조건도 제한적이지만, 방향성이 뚜렷하다.
“브레이크가 필요하다”는 말의 무게
앤트로픽의 연구 책임자 마리나 파바로와 공동 창립자 잭 클라크는 이번 블로그에서 직접적인 표현을 썼다. “사회 제도와 AI 정렬 연구가 기술 발전 속도를 따라잡을 수 있도록, 최전선 AI 개발을 늦추거나 일시적으로 중단할 수 있는 선택권을 인류가 보유하는 것이 바람직하다.”
국가 간 글로벌 합의 체계와, 경쟁 기업들이 감속 규정을 지키는지 확인할 검증 메커니즘을 만들자는 제안도 덧붙였다. 앤트로픽은 앞으로 몇 달 동안 각국 정부, 연구자, 경쟁 AI 기업들을 모아 국제적 감속이 실제로 작동할 수 있는지 논의할 계획이라고 밝혔다.
클라크 공동 창립자는 한 달 전 런던 강연에서 “이런 종류의 기술은 역사상 존재한 적이 없지만, 앞으로 2년 이내 혹은 그보다 빠르게 등장할 수 있다”고 말했다. 재귀적 자기개선이 아직 현실화된 건 아니고 반드시 발생하는 것도 아니라는 단서를 달면서도, “대부분의 기관이 대비하기 전에 예상보다 빨리 도래할 수 있다”는 경고를 함께 냈다.
앤트로픽은 이 경고가 실효성을 가지려면 모든 주요 행위자가 동시에 따라야 하며, 검증 체계가 필수라고 강조했다. 그러면서 핵무기 통제보다 이게 훨씬 어렵다는 점도 인정했다. 미사일 사일로보다 AI 학습 작업을 숨기는 게 훨씬 쉽기 때문이다.
이 지점에서 나는 이 경고가 진지하다고 본다. 동시에 실현 가능성에 대해서는 솔직히 회의적이다. 미국이 브레이크를 밟는 순간 중국이 밟지 않으면, 기술 패권을 스스로 내준다는 계산이 작동한다. 이건 냉전 시대 핵 군비 경쟁이 왜 멈추기 어려웠는지와 구조가 같다. 의지의 문제가 아니라 유인 구조의 문제다.
비판론도 무시할 수 없다
공정하게 보려면 반대쪽 목소리도 들어야 한다.
트럼프 행정부의 비공식 자문 역할을 맡고 있는 데이비드 색스는 이를 “규제 포획(regulatory capture)” 전략이라고 비판했다. 이미 앞서가는 기업이 규제를 이용해 후발주자의 진입을 막는다는 논리다. 오픈소스 AI 모델에 대한 규제로 이어질 수 있다는 우려도 제기했다. 조지아텍의 마크 리들 교수는 소셜미디어에서 “대형 AI 기업들이 모두 재귀적 자기개선 과대선전 열차에 올라타고 있다”고 꼬집었다.
나는 이 비판이 완전히 틀렸다고 생각하지 않는다. 앤트로픽이 클로드 미토스 프리뷰 같은 모델의 공개 범위를 제한하면서 기술력을 홍보하는 효과를 얻는 건 사실이다. 경고 자체가 마케팅의 성격을 일부 갖는다는 지적도 틀리지 않다.
그런데 그렇다고 경고 자체가 거짓이라는 뜻은 아니다. 앤트로픽 엔지니어들이 분기당 2021~2025년 평균 대비 8배의 코드를 내보내고 있다는 데이터는 실제 내부 수치다. 이 숫자가 경고의 진정성을 완전히 부정할 수는 없다. 의도와 사실은 분리해서 봐야 한다. 앤트로픽이 경쟁 우위를 위해 규제를 원한다는 것과, 재귀적 자기개선이 실제로 가까이 오고 있다는 것은 동시에 참일 수 있다.
동시에 진행 중인 일 – 콘웨이와 오빗
그런데 흥미로운 건 이 경고와 동시에 앤트로픽이 내부적으로 준비하는 것들이다. 이게 이번 두 뉴스를 같이 봐야 하는 이유다.
코드 유출 사고를 통해 알려진 앤트로픽의 내부 프로젝트 ‘콘웨이’는 상시 작동형 AI 에이전트다. 지금까지의 클로드는 반응형이다. 사용자가 프롬프트를 입력하면 응답하고, 탭을 닫으면 멈춘다. 콘웨이는 이와 다르다. 관리형 컨테이너 환경에서 독립적으로 실행되는 에이전트로, 사용자가 자리를 비워도 백그라운드에서 계속 돌아간다. 웹훅, 브라우저 제어, 알림 기능을 지원하고, 외부 서비스의 호출에 따라 자동으로 깨어나 작업을 수행한다.
능동형 AI 비서 ‘오빗’도 준비 중이다. 지메일, 슬랙, 깃허브, 캘린더, 드라이브, 피그마 같은 서비스에서 정보를 수집해 사용자의 업무 패턴을 이해하고, 필요할 때 먼저 연락하거나 정보를 제공한다. 질문에 답하는 게 아니라 먼저 움직이는 에이전트다.
메모리 시스템도 근본적으로 바뀐다. 지금의 단순 요약 방식이 아니라 파일 기반 메모리 구조로 전환해, 여러 클로드 서비스 간에 공유되는 지식 레이어가 된다. 한 곳에서 나와 나눈 대화의 맥락이 다른 클로드 서비스에서도 유지된다는 뜻이다.
생명과학 전용 환경인 ‘오페론’은 CRISPR 유전자 편집 실험 설계나 단일세포 RNA 분석 같은 전문 연구를 지원하고, 버그 추적 도구 ‘버그크롤’은 깃허브, 지라, 리니어에서 버그 티켓을 불러와 테스트를 만들고 수정 사항을 검증해 배포까지 모니터링한다.
경고와 확장 사이의 모순, 그런데 사실 모순이 아니다
여기서 한 가지 질문이 생긴다. 앤트로픽은 한편으로 “AI 개발을 늦춰야 한다”고 경고하면서, 다른 한편으로는 콘웨이, 오빗, 오페론, 버그크롤 같은 기능들을 빠르게 만들고 있다. 이게 앞뒤가 맞지 않아 보일 수 있다.
그런데 나는 이게 실제로는 모순이 아니라고 생각한다. 앤트로픽의 논리는 이렇다. “우리가 멈춰도 다른 누군가는 계속 달린다. 그러니 우리가 일방적으로 멈출 수는 없다. 다만 모두가 동시에 멈출 수 있는 국제 협약이 있어야 한다.” 개인이 자발적으로 무장 해제하는 게 아니라 모두가 동시에 협약을 맺어야 한다는 논리다. 그 협약이 없는 한 앤트로픽도 계속 달릴 수밖에 없다는 결론이 된다.
이걸 이중성이라고 비판할 수도 있다. 하지만 다른 각도에서 보면, 가장 앞서가는 회사가 가장 큰 목소리로 “이렇게 계속 가면 안 된다”고 말하는 게 더 설득력이 있을 수도 있다. 뒤처진 회사가 하는 경고보다, 지금 가장 빠르게 달리는 회사가 하는 경고가 더 무겁게 들린다.
엔지니어 관점에서 이 흐름이 의미하는 것
이 블로그를 읽는 분들 상당수가 AI 엔지니어링 현장에 있을 거다. 그 관점에서 이 흐름이 뭘 의미하는지 짚어보고 싶다.
첫째, AI가 코드를 쓰는 비중이 80%가 됐다는 건 엔지니어의 역할이 바뀌고 있다는 신호다. 앞으로 엔지니어의 핵심 역량은 코드를 직접 짜는 것보다 AI가 짠 코드를 검토하고, 문제를 정의하고, 평가 기준을 만드는 방향으로 이동할 가능성이 높다. 지금 LangGraph로 멀티에이전트를 짜든 vLLM으로 서빙을 최적화하든, 이 역할 변화를 미리 준비하는 게 중요하다.
둘째, 콘웨이 같은 상시 에이전트가 실제로 나오면, 지금까지 우리가 만들어온 RAG 파이프라인이나 에이전트 워크플로우와 연결되는 방식이 완전히 달라진다. 요청에 반응하는 구조가 아니라, 백그라운드에서 지속적으로 작업하는 에이전트를 어떻게 설계하고 모니터링할지가 새로운 엔지니어링 문제가 된다.
셋째, 앤트로픽이 내부 데이터로 증명하고 있는 건 AI 에이전트가 실제로 복잡한 작업을 장기적으로 처리할 수 있게 됐다는 사실이다. 12시간 동안 논문을 재현하고, 24시간 동안 GPU 커널을 최적화한 사례들은 데모지만, 그 방향이 프로덕션으로 오는 건 시간 문제다.
앤트로픽의 재귀적 자기개선 경고
앤트로픽의 재귀적 자기개선 경고와 콘웨이·오빗 같은 에이전트 플랫폼 확장 소식은, 따로 보면 모순처럼 보이지만 같이 보면 하나의 그림이 된다.
AI가 자신을 만드는 단계로 접어들고 있다는 증거가 실제로 나오고 있고, 그 속도를 조절할 사회적 장치는 아직 없다. 동시에 그 AI는 점점 더 자율적이고 상시적인 에이전트로 진화하면서 우리 일상과 업무에 깊이 파고들 준비를 하고 있다.
어느 쪽이 먼저 완성될까. 재귀적 자기개선에 대응하는 국제 거버넌스 체계일까, 아니면 그 단계에 도달한 AI 시스템일까. 나는 지금까지의 패턴을 보면 후자가 더 빠를 것 같다고 생각한다.
그렇다면 우리가 할 수 있는 건 무엇인가. 적어도 이 흐름을 제대로 이해하는 것에서 시작한다고 생각한다. 무슨 일이 벌어지고 있는지 모르는 채로 그 안에 있는 것보다, 알면서 그 안에 있는 게 낫다. 이 글이 그 이해의 작은 조각이 되길 바란다.