폐쇄망 프로젝트를 하다 보면 요구사항 회의 후반부에 꼭 나오는 질문이 있습니다. “국산 모델은 없나요? 엑사원 쓰면 안 되나요?”
인터넷이 막힌 환경에서 LLM을 돌려야 하는 고객에게 모델 선택은 단순한 성능 비교가 아닙니다. 외부 API를 쓸 수 없으니 모델을 서버에 직접 올려야 하고, 그러려면 GPU가 필요하고, 그 GPU는 예산과 납기와 보안 심의를 모두 통과해야 하거든요. 그래서 멋진 벤치마크 점수보다 “우리 서버실에서 돌아가나”가 먼저 궁금해집니다.
LG AI연구원이 올해 1월 공개한 K-엑사원은 이 질문에 꽤 흥미로운 재료를 던졌어요. 독자 AI 파운데이션 모델 프로젝트 평가에서 좋은 성적을 거뒀고, 오픈 웨이트로 풀렸고, 고가 인프라 없이도 돌릴 수 있다고 강조했으니까요. 그런데 “돌릴 수 있다”와 “고객 폐쇄망에서 경쟁력이 있다”는 꽤 다른 이야기입니다. 이 글에서는 공개된 수치를 폐쇄망 구축 현장의 눈으로 다시 읽어보려고 합니다.
K-엑사원, 공개된 숫자부터 정리해 볼게요
먼저 기사에 나온 내용을 짚고 가겠습니다. K-엑사원은 독자 AI 파운데이션 모델 프로젝트 1차 평가의 13개 벤치마크 중 10개에서 1위를 했고, 평균 72점으로 5개 정예팀 모델 중 가장 높았습니다. 글로벌 평가 기관 아티피셜 어낼리시스의 인텔리전스 지수에서는 32점으로, 가중치를 공개한 오픈 웨이트 모델 중 세계 7위, 국내 1위에 올랐고요. 오픈 웨이트 상위 10개가 중국 6개, 미국 3개로 채워진 상황에서 한국 모델로는 유일하게 이름을 올렸다는 점도 눈에 띕니다.
구조도 중요합니다. 전체 파라미터는 2,360억 개인데, 실제로 추론할 때 활성화되는 건 약 10%인 230억 개인 전문가 혼합 방식입니다. 한 번에 처리할 수 있는 문맥은 26만 토큰으로, A4 400장이 넘는 분량이라고 해요. 여기에 슬라이딩 윈도우와 글로벌 어텐션을 섞은 하이브리드 어텐션으로 메모리와 연산량을 엑사원 4.0 대비 70% 줄였고, 토크나이저를 손봐서 같은 메모리로 1.3배 긴 문서를 다룰 수 있게 했으며, 멀티 토큰 예측으로 추론 속도를 150% 끌어올렸다고 합니다.
여기까지는 LG의 발표 내용입니다. 폐쇄망 입장에서 눈여겨볼 건 이 숫자들이 “그래서 우리 서버에서 어떻게 되는데”로 번역되는 방식이에요.
폐쇄망에서는 순위표가 다르게 읽힙니다
클라우드 API를 쓰는 환경이라면 모델 선택은 쉽습니다. 가장 똑똑하고 싼 걸 고르면 되죠. 모델이 크든 작든 내 서버 사정과 상관이 없으니까요.
폐쇄망은 정반대입니다. 모델이 아무리 똑똑해도 반입 절차를 통과해야 하고, 고객이 가진 GPU에 올라가야 하고, 운영팀이 장애 때 다룰 수 있어야 합니다. 순위표에서 7위인 모델과 3위인 모델의 차이보다, 서버 몇 대가 필요한지의 차이가 프로젝트를 좌우하는 경우가 훨씬 많아요.
제가 폐쇄망에서 모델 후보를 비교할 때 보는 기준은 대략 이렇습니다. 가중치 파일이 반입 가능한 형태로 제공되는가, 현실적인 GPU 구성에서 응답 속도가 나오는가, 동시 접속이 몰려도 버티는가, 한국어 문서를 제대로 이해하는가, 에이전트처럼 도구를 부르는 작업이 안정적인가, 그리고 라이선스가 고객 납품에 문제없는가. 성능 점수는 이 중 하나일 뿐이에요. 그래서 K-엑사원도 이 기준에 하나씩 대 보겠습니다.
가장 먼저 부딪히는 벽은 GPU 메모리입니다
솔직히 이 대목에서 많은 분이 오해하십니다. 활성 파라미터가 230억 개라고 하니 “230억짜리 모델이구나, 가볍겠네” 하고 생각하기 쉬운데, 전문가 혼합 모델은 그렇게 계산하면 안 됩니다.
활성 파라미터가 적다는 건 토큰 하나를 만들 때 계산해야 하는 양이 적다는 뜻입니다. 그래서 속도에는 유리해요. 하지만 어떤 전문가가 선택될지는 요청마다 달라지기 때문에, 전체 2,360억 개 가중치는 전부 GPU 메모리에 올려둬야 합니다. 도서관 사서가 한 번에 책 몇 권만 꺼내 쓰더라도, 서가 전체는 건물 안에 있어야 하는 것과 같아요.
단순 계산을 해보면 감이 옵니다. 2,360억 개 파라미터를 16비트로 올리면 가중치만 약 470GB, 8비트로 줄이면 약 240GB, 4비트까지 내려도 120GB 안팎이에요. 여기에 문맥 길이에 따라 커지는 KV 캐시와 서빙 프레임워크가 쓰는 여유 공간이 추가로 붙습니다. 정확한 값은 양자화 방식과 서빙 설정에 따라 달라지겠지만, 80GB급 GPU 한두 장으로 해결될 규모가 아니라는 건 분명합니다.
그래서 “고객 서버에 L40S 두세 장 있는데요”라는 상황이라면 K-엑사원은 애초에 후보가 되기 어려워요. 반대로 H100이나 H200 급을 여러 장 묶은 서버를 이미 확보한 고객이라면 이야기가 달라집니다. 모델의 경쟁력은 고객의 GPU 예산이라는 전제 위에서만 성립한다는 걸 먼저 인정해야 합니다.
A100급에서도 돌아간다는 말은 어떻게 읽어야 할까
LG 측은 K-엑사원이 고가 인프라가 아닌 A100급 GPU 환경에서도 구동할 수 있다고 밝혔습니다. 인프라가 부족한 기업도 프런티어급 모델을 도입할 수 있게 하겠다는 취지예요.
저는 이 말이 거짓이라고 생각하지 않지만, 해석에는 주의가 필요하다고 봅니다. “돌아간다”는 말에는 여러 층위가 있거든요. 모델이 메모리에 올라가서 답을 내놓는 것과, 사내 수십 명이 동시에 쓰는데도 몇 초 안에 응답하는 것은 완전히 다른 이야기입니다. PoC 단계에서 한 명이 테스트할 때는 멀쩡하다가, 부서 단위로 오픈하는 순간 대기열이 길어지는 일을 겪어보신 분이라면 이 차이가 얼마나 큰지 아실 거예요.
하이브리드 어텐션으로 메모리와 연산을 70% 줄였다는 대목은 실제로 의미가 큽니다. 긴 문맥을 다룰 때 KV 캐시가 GPU 메모리를 크게 잡아먹는데, 그 부담이 줄어들면 같은 장비로 더 많은 동시 요청을 받을 수 있으니까요. 멀티 토큰 예측으로 추론 속도가 빨라진다는 것도 응답 지연이 중요한 업무 시스템에서는 반가운 소식입니다.
다만 A100은 8비트 부동소수점 연산을 하드웨어로 가속하지 못하는 세대라서, 양자화 선택지와 서빙 효율이 최신 세대 GPU와 다르게 나옵니다. 그래서 “A100에서도 된다”는 문장은 출발점이지 결론이 아니에요. 고객이 실제로 보유한 장비와 서빙 프레임워크 조합에서 직접 부하를 걸어보기 전까지는 확답할 수 없습니다.
26만 토큰 문맥, 폐쇄망 RAG에서는 얼마나 필요할까
한국 모델 중 가장 긴 26만 토큰을 한 번에 처리한다는 점은 홍보 포인트이지만, 폐쇄망 RAG를 만드는 입장에서는 한 번 더 생각해 봐야 합니다.
RAG의 기본 철학은 긴 문서를 통째로 모델에 넣는 대신, 질문과 관련 있는 조각만 골라서 넣는 것입니다. 하이브리드 검색으로 후보를 모으고 리랭커로 걸러서, 몇 개의 청크만 모델에 전달하죠. 이 방식에서는 문맥 길이가 10만 토큰이든 26만 토큰이든 실제로 채워 넣는 양은 그보다 훨씬 적습니다. 오히려 검색과 리랭킹의 품질이 답변 정확도를 좌우하는 경우가 대부분이에요. 모델을 바꿔서 얻는 개선보다 검색 파이프라인을 다듬어서 얻는 개선이 더 큰 프로젝트를 저는 여러 번 봤습니다.
그렇다고 긴 문맥이 쓸모없다는 건 아닙니다. 수백 페이지짜리 규정집을 통째로 비교하거나, 긴 보고서를 한 번에 요약하거나, 여러 문서를 가로질러 모순을 찾는 작업에서는 확실한 강점이에요. 제약이나 제조처럼 문서 한 건이 방대한 업종이라면 더욱 그렇고요. 다만 긴 문맥을 실제로 채워 쓰면 그만큼 메모리와 시간이 들기 때문에, 이 기능은 “있으면 든든한 옵션”이지 “이것 때문에 모델을 고르는 이유”까지는 아니라고 봅니다.
국산 모델이 갖는 진짜 강점은 한국어와 심의 과정에 있습니다
그러면 K-엑사원이 폐쇄망에서 가장 설득력 있는 지점은 어디일까요. 저는 성능 숫자보다 한국 맥락에서의 신뢰라고 생각합니다.
LG AI연구원은 학습 데이터 전체에 대해 데이터 컴플라이언스 평가를 진행하고, 저작권 문제가 있는 데이터는 미리 가려내 제외했다고 밝혔습니다. 그리고 한국의 문화적 맥락에서 안전성과 신뢰성을 재기 위해 KGC-SAFETY라는 자체 지표를 만들어, 4개 부문 평균 97.83점을 받았다고 해요. 같은 지표에서 GPT-OSS 120B는 92.48점, 알리바바의 큐웬3 235B는 66.15점이었다는 비교도 제시했습니다.
이 부분은 해석을 조심해야 합니다. 평가 지표를 개발한 곳이 모델을 만든 곳이라는 점은 감안해서 봐야 하니까요. 하지만 방향성 자체는 현장에서 꽤 와닿아요. 공공이나 금융, 제약처럼 보안과 규제 심의가 까다로운 고객은 모델의 출처와 학습 데이터 성격을 따지는 경우가 많습니다. 이럴 때 국내 기업이 만들었고, 데이터 컴플라이언스 절차를 밟았고, 기술 보고서까지 공개했다는 사실은 설득 자료가 됩니다. 해외 모델, 특히 특정 국가 모델에 거부감이 있는 고객에게는 선택지가 분명히 넓어지는 셈이죠.
한국어 이해력 자체도 기대할 만한 부분입니다. 한국어로 된 사내 규정이나 공문서, 업무 용어를 다루는 폐쇄망 서비스에서는 한국어 토큰 효율과 문맥 이해가 체감 품질을 크게 좌우하거든요. 어휘를 15만 개로 늘리고 자주 쓰는 조합을 묶었다는 토크나이저 개선이 한국어 문서에서 얼마나 효과를 내는지는 직접 확인해 봐야 하지만, 기대를 걸어볼 만합니다.
진짜 시험대는 에이전트로 쓸 수 있느냐입니다
요즘 폐쇄망 프로젝트는 단순 질의응답을 넘어 에이전트로 옮겨가고 있습니다. 문서를 검색하고, 도구를 호출하고, 여러 단계를 거쳐 결과를 만들어내는 흐름이죠. 이런 구조에서는 벤치마크 점수보다 도구 호출의 안정성이 훨씬 중요해집니다.
모델이 정해진 형식으로 함수를 정확히 호출하는가, 구조화된 출력을 깨뜨리지 않고 내놓는가, 여러 단계를 거치는 동안 원래 목표를 잃지 않는가. 이런 항목들은 일반 벤치마크에는 잘 드러나지 않지만, 에이전트가 운영 환경에서 얼마나 믿을 만한지를 가릅니다. 점수가 높은데 JSON 형식을 자주 깨먹는 모델과, 점수는 약간 낮아도 형식을 꼬박꼬박 지키는 모델 중 어느 쪽이 현장에서 사랑받을지는 말할 것도 없고요.
K-엑사원은 학습 과정에서 정답만 알려주는 대신 문제를 푸는 사고 과정을 가르치는 사고 궤적 데이터를 썼고, 오답에서도 배울 점을 찾는 강화학습 알고리즘을 적용했다고 합니다. 추론 능력을 키우는 방향의 설계라서 에이전트 용도에 긍정적인 신호일 수 있어요. 하지만 이건 어디까지나 설계 의도이고, 실제 도구 호출과 구조화 출력의 안정성은 우리 에이전트 프레임워크에 붙여서 직접 돌려봐야 알 수 있습니다. 기사만으로는 이 부분이 판단되지 않는다는 점을 솔직히 말씀드립니다.
계약서를 쓰기 전에 확인해야 할 두 가지, 라이선스와 생태계
기사에 나오지 않는 것 중에서 폐쇄망 납품에 가장 중요한 게 라이선스입니다. 오픈 웨이트로 공개됐다고 해서 곧바로 상업적 용도로 자유롭게 쓸 수 있다는 뜻은 아니에요. 오픈 웨이트 모델의 라이선스는 연구용으로만 허용하거나, 상업 이용 시 조건을 두거나, 재배포에 제한을 거는 등 천차만별입니다. 고객 서버에 모델을 설치해서 납품하는 구조라면, 그게 허용되는 범위인지 사전에 약관을 꼼꼼히 읽어야 해요. 이 부분은 글을 쓰는 지금 제가 단정할 수 없으니, 도입을 검토하신다면 반드시 최신 라이선스 문서를 직접 확인하세요.
생태계도 현실적인 변수입니다. 오픈 웨이트 상위권을 중국 모델이 6개나 차지하고 있다는 건, 그만큼 커뮤니티의 양자화 버전, 서빙 최적화, 파인튜닝 레시피, 트러블슈팅 자료가 풍부하다는 뜻이기도 해요. 폐쇄망에서는 문제가 생겼을 때 인터넷 검색으로 해결하기 어렵기 때문에, 서빙 프레임워크가 해당 모델을 얼마나 안정적으로 지원하는지, 문제가 터졌을 때 기댈 곳이 있는지가 운영 난이도를 크게 가릅니다. 신생 모델일수록 이 부분에서 초기 진통이 있을 수 있어요. 국내 벤더 지원을 받을 수 있다면 장점이 되겠지만, 그 조건 역시 확인이 필요합니다.
그래서 경쟁력이 있을까, 제 결론은 조건부입니다
여러 요소를 종합해서 제 결론을 말씀드리겠습니다. K-엑사원은 폐쇄망에서 경쟁력이 있는가. 조건이 맞으면 분명히 있습니다. 그리고 조건이 안 맞으면 거의 후보가 될 수 없습니다.
경쟁력이 생기는 조건은 이렇습니다. 고객이 H100이나 H200 급을 여러 장 쓸 수 있는 예산과 인프라를 갖고 있고, 국산 모델에 대한 선호나 심의상 이점이 필요하고, 긴 문서를 다루거나 추론 품질이 중요한 업무여서 큰 모델의 이득이 비용을 상쇄하고, 라이선스가 납품 구조와 충돌하지 않을 때입니다. 이 네 가지가 겹치면 K-엑사원은 해외 대형 오픈 모델과 정면으로 비교할 만한 선택지예요.
반대로 GPU가 한정된 환경, 응답 속도와 동시 접속이 핵심인 환경, 단순 질의응답이나 정형 업무 위주의 환경에서는 훨씬 작은 모델이 더 합리적일 때가 많습니다. 파라미터가 작은 모델이 서버 한 대로 빠르게 답하면서 정확도 차이는 크지 않다면, 큰 모델을 고집할 이유가 없거든요. 폐쇄망에서 모델은 클수록 좋은 게 아니라 업무에 맞을수록 좋은 거예요.
그래서 제가 권하는 방법은 모델을 먼저 정하지 않는 것입니다. 고객의 실제 문서로 평가용 질문 세트를 만들고, 후보 모델 몇 개를 같은 조건에서 돌려서 정확도, 응답 시간, 동시 접속 한계, 필요한 GPU 수를 나란히 비교합니다. 그 위에 서비스 코드가 특정 모델에 묶이지 않도록 모델 호출 계층을 분리해 두면, 나중에 더 좋은 모델이 나와도 갈아끼우는 비용이 크게 줄어요. K-엑사원이 1차수라는 점을 생각하면 이 설계는 더욱 중요합니다. LG도 앞으로 성능을 끌어올린 버전을 내놓겠다고 했으니까요.
마무리, 숫자보다 먼저 확인해야 할 것들
정리하겠습니다. K-엑사원은 독자 AI 파운데이션 모델 평가에서 13개 중 10개 벤치마크 1위를 했고, 오픈 웨이트 모델 기준 글로벌 7위, 국내 1위에 오른 모델입니다. 2,360억 개 파라미터에 활성 230억 개의 전문가 혼합 구조, 26만 토큰 문맥, 하이브리드 어텐션으로 메모리와 연산을 줄인 설계가 특징이고, LG는 A100급 환경에서도 구동할 수 있다고 밝혔어요. 한국 맥락의 안전성과 데이터 컴플라이언스까지 챙겼다는 점은 규제가 까다로운 고객에게 분명한 장점입니다.
하지만 폐쇄망의 눈으로 보면 질문이 달라져요. 전체 파라미터가 GPU 메모리에 올라가야 하니 필요한 장비 규모는 만만치 않고, 에이전트 안정성과 서빙 생태계는 직접 검증해야 하며, 라이선스는 계약 전에 반드시 확인해야 합니다. 그리고 첫 번째 버전이라는 점에서 이후 업데이트에 대한 기대와 불확실성이 함께 있습니다.
결국 K-엑사원이 경쟁력이 있느냐는 질문의 답은 모델 안이 아니라 고객 쪽에 있습니다. 어떤 GPU를 가졌고, 어떤 업무를 맡기고, 어떤 심의를 통과해야 하는지에 따라 같은 모델이 최고의 선택이 되기도, 애초에 후보가 아니기도 해요. 순위표를 보기 전에 우리 현장의 조건부터 적어보는 것, 그게 폐쇄망 모델 선택에서 가장 먼저 해야 할 일이라고 생각합니다.