데모 영상에서 완벽하게 작동하는 AI 에이전트와, 실제 업무 현장에서 굴러가는 AI 에이전트는 완전히 다른 물건이다.
지난달 LangGraph 기반 멀티에이전트 시스템을 한 고객사에 납품하면서 다시 한 번 절감한 점이다. POC 단계에서는 시연이 매끄러운데, 실제 데이터와 실제 업무 플로우에 붙이는 순간 문제가 줄줄이 터져 나온다. 문서 포맷이 제각각이고, 결재선이 뒤엉켜 있고, 예외 케이스가 전체의 20%를 넘어간다. 이걸 길들이는 데 보통 전체 프로젝트 공수의 절반이 들어간다.
그런데 이번 주 쏟아진 AI 관련 기사들을 한데 놓고 보니, ‘진짜 현장’에서 AI 에이전트가 드디어 자리를 잡기 시작했다는 신호가 여기저기서 포착됐다. 영주시의 챗영주가 2시간 걸리던 문서를 10분 만에 처리한다는 소식부터, 우리은행 창구에 AI 비서가 들어온다는 발표, LG 구광모 회장이 IT 계열사를 총동원해 AX 드라이브를 건다는 소식, 심지어 조경 설계 현장에서도 AI 서브 에이전트가 돌고 있다는 뉴스까지.
그냥 흩뿌려진 점들이 아니다. 하나로 꿰어 보면 AI 에이전트 실무 투입의 지도가 또렷하게 그려진다. 몇 년 동안 ‘챗봇’이라는 이름 아래 한계를 드러냈던 자리에 이제 ‘에이전트’가 들어선다. 무엇이 달라졌고, 어디까지 와 있으며, 아직 어떤 벽이 남아 있는지, 현장에서 모델을 붙여본 실무자의 시선으로 정리해 봤다.
공공 AX 최전방에 선 영주시 ‘챗영주’와 인사혁신처의 실험
가장 먼저 눈길을 끈 건 영주시 사례다. 약 2개월간 챗영주 이용 실적을 분석한 결과, 주요 활용 분야가 지능형 Q&A 48%, 인사말·문서 작성 19%, 당직자 민원 안내 7% 순으로 나왔다고 한다. 숫자만 봐서는 “그래서 뭐?” 싶을 수 있지만, 공공부문 현장을 조금이라도 아는 사람이라면 이 수치가 던지는 무게를 짐작할 것이다.
공공기관 대상 AI 도입 자문을 몇 차례 해본 경험으로 말하자면, 공무원들은 새로 떨어진 시스템을 절대 쉽게 쓰지 않는다. 기존 업무 방식이 이미 결재 경로와 매뉴얼로 굳어져 있고, 새 도구가 한 번이라도 오답을 내놓으면 금세 외면당한다. 그런데 2개월 만에 Q&A가 48%까지 치고 올라왔다는 건, 단순 시범 운영을 넘어 실질적인 업무 도구로 녹아들기 시작했다는 뜻이다.
특히 중요한 포인트는 “시 내부 보안 서버에서 데이터를 처리해 정보 유출 우려를 낮췄다”는 대목이다. 공공 AI 도입에서 가장 큰 병목이 바로 이 데이터 유출 리스크인데, 이 부분을 제어할 수 있는 구조를 만들었기 때문에 실제 도입이 가능해진 것이다. 거꾸로 말하면, 이 문제를 해결하지 못한 기관은 아무리 좋은 모델이 나와도 도입이 늦어질 수밖에 없다.
인사혁신처의 움직임은 더 흥미롭다. ‘e-사람’이라는 인사업무 특화 모델을 만들었다는데, 직장 교육 시 대상자 선정, 출석 서명부 관리, 상시 학습 실적 등록 같은 수작업 업무를 자동화했다고 한다. ‘지능형 출장 앱’ 사례도 등장하는데, 기존에는 출장 증빙을 모아 회계 시스템에 일일이 입력해야 했지만 이제 앱을 통해 자동으로 처리된다는 설명이다.
공공 AX의 진짜 가치는 ‘거창한 챗봇’이 아니라 바로 이런 ‘업무 자동화의 마지막 20%’를 해결하는 데 있다. 나머지 80%는 RPA나 기존 ERP로 어떻게든 굴러가는데, 결재선과 예외 처리가 얽힌 이 20%가 공무원들의 야근을 만드는 주범이다. 에이전트가 이 영역을 먹기 시작했다는 건 양적 변화가 아니라 질적 변화다. 그리고 지방자치단체와 중앙부처가 동시에 이 방향으로 움직인다는 점에서, 2026년 공공 AX는 분명한 변곡점을 지나고 있다.
“LLM만 붙이면 끝”이라는 환상, AI-Ready 데이터라는 두꺼운 벽
그렇다고 마냥 낙관할 수 있는 상황은 아니다. 같은 맥락에서 “공공 AX, LLM 도입만으로는 한계”라는 지적이 함께 나왔다. 영수증, 계약서, 청구서 같은 단일 문서 처리 효율은 솔루션으로 분명 올릴 수 있지만, 수작업 중심 기록관리의 한계를 지능형 기록관리로 전환하려면 ‘AI-Ready’ 기록관리 현장의 인력 문제가 발목을 잡는다는 내용이었다.
이 대목, 실무에서 뼈저리게 공감하는 부분이다. RAG 파이프라인을 구축할 때 가장 많은 시간이 드는 작업이 뭐냐고 물으면, 나는 1초의 망설임도 없이 ‘데이터 전처리’라고 답한다. 모델 성능 튜닝보다, 프롬프트 엔지니어링보다, 심지어 벡터 DB 인덱싱보다 데이터를 AI가 먹을 수 있는 형태로 정제하는 작업이 전체 공수의 60%를 차지한다. 나머지 40% 안에 모델링, 튜닝, 배포, 모니터링이 다 들어간다.
공공기관 문서는 난이도가 더 올라간다. 스캔한 PDF 안에 표가 들어 있고, 표 안에는 손글씨가 섞여 있으며, 파일명은 ‘붙임1_최종_진짜최종_v3’다. 결재선 주석이 본문보다 더 길 때도 있다. 이 데이터를 아무 전처리 없이 LLM에 던지면 할루시네이션이 터지거나, 엉뚱한 담당자 이름이 튀어나오거나, 심하면 민원인 정보를 뒤섞어 버린다. 초기 POC에서 정말 자주 보게 되는 장면이다.
‘AI-Ready 전환’이라는 말이 그래서 나온다. 단순히 LLM API를 호출하는 게 아니라, 기관이 가진 문서와 데이터 자체를 다시 정의하고 분류하고 라벨링해야 한다는 의미다. 이건 IT 예산으로 해결되는 일이 아니라 기록관리 인력이 몸으로 해야 하는 일인데, 바로 그 인력이 턱없이 부족한 것이 현장의 진짜 벽이다.
그래서 개인적으로는 공공 AX 투자 순위를 묻는 자리에서 이렇게 답한다. 거창한 LLM 파인튜닝보다 문서 디지털화와 메타데이터 표준화에 먼저 돈을 쓰라고. 재미없는 작업이지만, 이 기반이 없으면 그 위에 아무리 멋진 에이전트를 올려도 결국 모래성이 된다. 챗영주의 성공 이면에 얼마나 많은 사전 작업이 깔려 있었을지, 기사 한 줄만 읽어도 충분히 짐작이 간다.
엔터프라이즈로 번진 불씨, 우리은행·삼성SDS·LG·엘레븐랩스
기업 쪽으로 건너가면 그림이 또 달라진다. 우리은행이 전사 시스템과 결합한 엔터프라이즈 레벨 AI 에이전트 구축 사업을 진행 중이고, 삼성SDS가 우선협상대상자로 선정됐다는 소식이다. 고객 상담뿐 아니라 기업여신, 자산관리, 내부통제 등 29개 핵심 업무 영역에 연내 적용한다는 계획이 공개됐다.
숫자를 한 번 더 보자. 29개 업무 영역. 이게 어떤 의미인지 에이전트를 실제로 만들어본 사람은 바로 안다. 단일 에이전트로 커버할 수 있는 규모가 아니다. 필연적으로 멀티에이전트 오케스트레이션이 들어가고, 각 에이전트가 접근할 수 있는 데이터와 권한이 칼같이 분리되어야 한다. LangGraph 같은 프레임워크 혹은 동급의 도구가 쓰일 만한 규모이고, 더 중요하게는 에이전트 간 통신 프로토콜이 표준화되지 않으면 유지보수 비용이 기하급수로 늘어난다.
금융권은 특히 감사 로그 요구사항이 까다롭다. 어떤 에이전트가 어떤 판단을 내렸고, 그 판단의 근거가 무엇인지 모두 재현 가능해야 한다. 그래서 프로덕션 금융 에이전트는 대부분 ‘결정 이력 저장 → 원본 소스 연결 → 재현 가능한 추론 체인’ 구조를 의무적으로 갖춘다. 이 설계가 빠지면 외부 감사에서 바로 걸린다.
LG 쪽은 구광모 회장이 LG AI연구원을 중심으로 금융 AI 에이전트 ‘엑사원-BI’를 런던증권거래소그룹(LSEG), 키움증권, 개인 투자자 대상으로 추진하고 있다. 핵심 포지셔닝은 “예측 점수만 산출하는 AI가 아닌, ‘이유’를 알려줄 수 있는 금융 AI 에이전트”라는 부분이다.
이 ‘이유를 설명하는 에이전트’ 방향은 매우 중요하다. 금융 규제는 설명 가능성(Explainability)을 강하게 요구한다. 블랙박스 예측 모델만으로는 규제를 통과하기 어렵다. 그래서 LLM 기반 에이전트가 오히려 기회가 되는데, LLM은 자연어로 판단 근거를 제시할 수 있기 때문이다. 다만 그 근거가 할루시네이션이 아니라 실제 소스에 정박되어 있다는 걸 검증하는 파이프라인이 함께 들어가야 한다. 여기서 RAG와 에이전트의 하이브리드 구조가 사실상 필수가 된다.
엘레븐랩스는 AI EXPO KOREA 2026에서 ElevenAgents를 공개하면서, 코드 없이 문서·FAQ·SOP 등을 업로드하는 것만으로 수분 내 맞춤형 음성 에이전트를 생성할 수 있다고 밝혔다. 노코드 에이전트 플랫폼 경쟁이 본격화된 것이다. 솔직히 말하면, 노코드 솔루션은 POC 단계에서는 놀라운 생산성을 보여주지만, 프로덕션 환경으로 넘어가면 결국 커스텀 개발로 돌아가는 경우가 많다. 그럼에도 저변을 빠르게 넓힌다는 점에서는 분명 긍정적인 신호다. 일단 조직이 ‘에이전트를 써본 경험’을 확보해야 그다음 투자 결정이 빨라진다.
조경 설계까지 파고든 AI 에이전트, 전문 도메인의 마지막 퍼즐
가장 신선하게 다가온 기사는 조경 실무에 AI 에이전트가 들어왔다는 소식이었다. 한국조경협회가 ‘조경 서브 에이전트’ 사례를 발표하면서 법규 검토, 설계 구상, 보고서 작성까지 AI가 수행한다는 내용을 공개했다. 특히 MCP(Model Context Protocol)가 여러 도구를 연결하고 사람이 지시를 내리는 구조라는 대목이 가장 주목할 만했다.
MCP는 올해 에이전트 판에서 가장 빠르게 부상한 키워드다. 에이전트가 외부 도구와 데이터에 접근하는 표준 프로토콜인데, 이게 없으면 에이전트마다 커넥터를 따로따로 개발해야 해서 유지보수 비용이 감당 안 되는 수준으로 뛴다. 조경이라는 상당히 좁고 전문적인 도메인에서 MCP가 실제로 쓰이고 있다는 건, 이 프로토콜이 생각보다 훨씬 빠르게 저변을 넓히고 있다는 증거다.
그리고 이 뉴스가 던지는 진짜 메시지는 따로 있다. AI 에이전트가 더 이상 IT·금융·고객 상담 같은 ‘뻔한’ 영역에만 머물지 않는다는 것이다. 조경, 건축, 법률, 의료, 농업까지, 전문성이 요구되는 모든 도메인이 에이전트 도입 사정권에 들어간다. 각 도메인의 지식 베이스를 RAG로 구축하고, 도메인 특화 도구들을 MCP로 연결하며, 오케스트레이션으로 워크플로를 엮는 구조가 일종의 템플릿으로 굳어지고 있다.
개인적으로 이 지점이 2026년 하반기 가장 뜨거운 경쟁 지형이 될 거라고 본다. 범용 에이전트 시장은 이미 빅테크끼리의 싸움이지만, 버티컬 에이전트 시장은 도메인 전문성을 가진 중소 플레이어에게도 충분히 기회가 있다. 조경협회가 협회 주도로 에이전트를 만들 수 있었다는 사실 자체가 강력한 방증이다. 도메인 지식과 오픈소스 에이전트 프레임워크만 있으면, 거대 AI 회사를 거치지 않고도 실용적인 결과물을 만들 수 있는 시대가 열렸다.
AI 에이전트 보안, 양자 내성 암호까지 가야 하는 이유
이 모든 확산의 이면에는 보안이라는 묵직한 숙제가 걸려 있다. 시스코가 이스라엘 AI 에이전트 보안 스타트업 아스트릭스 시큐리티(Astrix Security) 인수를 위한 협상을 진행 중이라는 소식이 전해졌고, LLM이 핵심 보안 인프라로 자리잡으면서 양자 내성 암호 분야까지 흐름이 이어지고 있다는 분석이 함께 나왔다.
에이전트 보안이 기존 애플리케이션 보안과 본질적으로 다른 점이 뭘까. 핵심은 ‘행동’을 한다는 것이다. 기존 앱은 데이터를 주고받지만, 에이전트는 데이터를 읽고, 판단하고, 외부 시스템에 쓰기 명령을 직접 내린다. 그래서 에이전트 하나가 탈취됐을 때의 피해 반경이 기존 정보 유출과는 비교할 수 없을 만큼 넓어진다.
우리은행 사례를 다시 가져와 보자. 29개 업무 영역에 에이전트가 들어간다는 건, 바꿔 말하면 29개 영역 각각에 새로운 공격 표면이 생긴다는 뜻이다. 프롬프트 인젝션으로 에이전트를 탈취해 내부통제 로직을 우회하거나, 자산관리 판단을 교묘하게 비틀거나, 특정 고객 정보를 조회하도록 유도하는 시나리오는 공상이 아니다. 실제로 레드팀 모의침투에서 자주 재현되는 패턴이다. 그래서 시스코 같은 전통 보안 업체가 에이전트 보안 스타트업을 사들이는 것이고, 장기적으로 양자 내성 암호 이야기까지 맞물려 들어가는 것이다.
실무자 입장에서 한 마디 덧붙이면, 프로덕션 에이전트를 배포할 때 최소 세 가지 방어선은 반드시 필요하다. 입력 단계의 프롬프트 인젝션 필터, 에이전트 행동 로그 기반의 이상 탐지, 그리고 외부 시스템에 쓰기 명령을 내릴 때의 Human-in-the-loop 승인 구조다. 이 세 가지를 생략하면 POC 때는 멀쩡해 보이다가 프로덕션에서 반드시 사고가 난다. 나도 이 교훈을 몇 번의 실패 끝에 체득했다.
현장이 말하는 진짜 결론, AI 에이전트 경쟁의 다음 라운드
지금까지 살펴본 뉴스들을 한 줄로 요약하면 이렇다. AI 에이전트는 더 이상 데모가 아니라 실무다. 영주시 챗영주가 2시간짜리 문서 작업을 10분으로 줄였고, 우리은행 29개 업무 영역에 에이전트가 들어가며, LG는 설명 가능한 금융 에이전트를 내놓았고, 조경 설계 현장에서는 MCP 기반 서브 에이전트가 실제로 돈다. 엘레븐랩스는 노코드 음성 에이전트로 저변을 넓히고, 시스코는 에이전트 보안 스타트업을 사들인다.
그러나 동시에 세 가지 벽이 분명하게 드러났다. 첫째, AI-Ready 데이터 전환이라는 선결 과제다. 이 단계를 건너뛰면 아무리 좋은 LLM을 써도 의미 있는 성과가 안 나온다. 둘째, 보안이다. 행동하는 AI에 어울리는 새로운 방어 체계가 필요하다. 셋째, 설명 가능성이다. 규제 영역일수록 ‘왜 그렇게 판단했는가’를 답할 수 있는 에이전트만 살아남는다.
이 세 가지 벽을 넘는 플레이어가 2026년 후반 엔터프라이즈 AI 시장의 주도권을 가져갈 것이다. 공공부문은 이미 챗영주와 인사혁신처 사례로 레퍼런스가 나왔고, 은행과 LG 같은 엔터프라이즈는 본격 투자에 들어갔으며, 조경 같은 특수 도메인까지 전선이 확대됐다. 에이전트 겨울을 걱정하던 시절은 지나갔다. 이제는 누가 더 탄탄한 데이터 파이프라인과 보안 체계, 그리고 도메인 전문성을 결합하느냐의 싸움이다.
만약 지금 조직에서 AI 에이전트 도입을 고민하고 있다면, 화려한 데모 영상에 현혹되기 전에 세 가지 질문을 먼저 던져 보기를 권한다. 우리 조직의 문서와 데이터가 AI-Ready 상태인가. 에이전트가 실수했을 때의 책임 분담과 복구 프로세스가 정의되어 있는가. 그리고 에이전트가 내린 결정의 근거를 사람이 사후에 추적할 수 있는가. 이 세 질문에 ‘그렇다’라고 답할 수 있는 조직이라면, 챗영주의 성공 방정식은 그대로 적용 가능하다. 답이 막힌다면, 지금 해야 할 일은 모델 선정이 아니라 바로 그 질문에 답할 수 있는 기반을 만드는 것이다.