비정형 데이터가 돈이 되는 순간 – VLM·RAG·sLLM이 기업 AX를 현실로 만드는 방식

AI 전환이라는 말이 워낙 많이 쓰이다 보니 실제로 어디서 돈이 나는지 흐릿해진 감이 있다. 컨퍼런스에서 “우리도 AI 도입했다”는 발표는 넘쳐나는데, 재무제표에 숫자가 찍히는 경우는 생각보다 적다. 그래서 최근 두 가지 사례가 눈에 들어왔다.

플래티어는 2025년 매출을 전년 대비 30% 늘렸다. 적자 폭도 37% 가까이 줄었다. 3년 가까이 이어지던 실적 하락을 뒤집은 핵심 동력이 AX 부문이었다. 그리고 AIWORKX는 국내 주요 카드사의 비대면 기업카드 심사 자동화 프로젝트를 수주했다. VLM, LLM, RAG를 결합해 주주명부와 정관 같은 비정형 문서를 AI가 직접 읽고 심사 등급까지 분류하는 구조다.

두 사례를 따로 보면 각자의 성공 스토리다. 묶어서 보면 지금 기업 AI 전환의 핵심 기술 패턴이 보인다. 비정형 데이터 처리, 지능형 라우팅, 그리고 이것들이 실제 워크플로에 연결되는 방식. 오늘은 이 패턴을 엔지니어링 관점에서 뜯어보려 한다.

왜 비정형 데이터가 AX의 병목이었나

기업이 AI를 도입하려다 막히는 지점은 대부분 같다. 정작 쓸 만한 데이터가 정형화돼 있지 않다는 거다.

ERP에 쌓인 트랜잭션 데이터, 정해진 포맷의 DB는 SQL 한 줄이면 꺼낼 수 있다. 근데 실제 업무에서 의사결정에 필요한 정보들은 대부분 이런 형태가 아니다. 스캔된 계약서, 손으로 쓴 신청서, 각기 다른 양식의 세금계산서, 사진으로 찍은 현장 보고서, PDF로 제출된 정관. 이게 비정형 데이터다.

금융권에서 기업카드 심사를 예로 들면 상황이 명확해진다. 비대면 채널에서 카드 신청을 받기 시작했는데, 심사 프로세스는 여전히 대면 방식과 동일한 수작업 구조였다. 채널만 비대면이 됐을 뿐, 심사 담당자가 주주명부와 정관을 직접 열어서 핵심 정보를 확인하고 등급을 판단하는 흐름은 그대로였다. 비대면 신청이 늘수록 심사 병목이 심해지는 구조다.

이 병목을 AI로 풀려면 두 가지가 필요하다. 하나는 비정형 문서를 AI가 이해하는 것, 다른 하나는 이해한 내용을 심사 로직에 맞게 구조화하는 것이다. AIWORKX가 이번 프로젝트에서 선택한 기술 조합이 VLM + LLM + RAG인 이유가 바로 여기 있다.

VLM이 하는 일 – 문서를 보는 AI

VLM(Vision Language Model)은 이미지와 텍스트를 동시에 처리하는 멀티모달 모델이다. 일반적인 LLM이 텍스트만 입력받는 것과 달리, VLM은 문서 이미지를 직접 입력받아 시각적 구조를 이해하면서 텍스트를 읽는다.

이게 왜 중요하냐면, 기업 서류의 상당수가 단순한 텍스트 파일이 아니기 때문이다. 스캔된 PDF, 팩스로 받은 서류, 사진으로 찍은 신분증. 이런 문서를 일반 OCR로 처리하면 레이아웃 정보가 사라진다. 표의 셀 구조, 도장 위치, 서명란, 항목 간 관계가 텍스트 추출 단계에서 무너진다.

VLM은 이미지 자체를 입력으로 받기 때문에 이 문제를 다르게 접근한다. 주주명부 이미지를 입력받으면 표 구조를 인식하면서 주주명, 지분율, 취득일 같은 항목을 맥락과 함께 파악한다. 정관 PDF를 넣으면 조항 번호와 내용의 관계를 유지하면서 핵심 조항을 추출한다. OCR이 “이 이미지에 어떤 글자가 있냐”를 묻는다면, VLM은 “이 문서가 어떤 내용을 담고 있냐”를 묻는 셈이다.

실무에서 이 차이가 어떻게 나타나는지는 직접 써보면 안다. 동일한 주주명부 문서를 OCR로 처리하면 글자들이 나열되고, VLM으로 처리하면 “이 기업의 대주주는 A이며 지분율은 51%이고 특수관계인 B가 23%를 보유하고 있습니다”라는 요약이 나온다. 심사 담당자 입장에서 후자가 얼마나 다른지는 말할 필요도 없다.

RAG가 하는 일 – 심사 지식을 구조화하는 AI

VLM이 문서에서 정보를 뽑아냈다면, 이 정보를 어떻게 심사 기준과 연결하느냐가 다음 문제다. 여기서 RAG가 들어온다.

RAG(Retrieval-Augmented Generation)는 LLM이 답을 생성하기 전에 관련 문서를 먼저 검색해서 근거로 활용하는 방식이다. 금융 심사 맥락에서 이걸 쓰면, AI가 추출한 기업 정보와 내부 심사 기준·규정집·유사 사례를 연결해서 심사 의견을 생성할 수 있다.

AIWORKX의 프로젝트 구조를 보면 이게 구체적으로 어떻게 작동하는지 보인다. 비대면 카드 신청이 들어오면 먼저 접수 정보 검증과 신용평가로 사전 판단이 이루어진다. 그 다음 심사 유형이 자동 분류된다. 자동발급, 심사대기, 심사진행, 정밀심사 네 가지로. 이 분류 자체가 RAG 기반 판단이다. 과거 심사 사례, 내부 승인 기준, 규정 문서를 검색해서 현재 신청 건이 어떤 경로로 가야 하는지를 결정한다.

분류된 이후에도 RAG는 계속 작동한다. 심사진행으로 분류된 건이라면 VLM이 추출한 기업 정보에 외부 마이데이터와 CB 데이터를 더하고, 심사 기준 문서를 검색해서 심사 등급과 의견을 구성한다. 마지막에 심사 담당자는 AI가 정리한 내용을 검토하고 최종 승인 여부만 결정하면 된다.

이게 기존 업무 흐름과 어떻게 다른지 생각해보면, 담당자의 인지 부하 자체가 달라진다. 이전에는 담당자가 서류를 직접 읽고, 기준을 머릿속에서 대조하고, 판단을 만들었다. 지금은 AI가 읽고 대조하고 초안을 만들어 주면, 담당자는 그 초안을 검토하고 최종 판단을 내린다. 같은 시간 안에 처리할 수 있는 건수가 달라지고, 판단의 일관성도 달라진다.

sLLM 라우팅 – 플래티어가 매출을 만든 방식

플래티어의 SmartRouter는 다른 각도에서 같은 문제를 푼다. 비정형 데이터 처리보다는 AI 연산 효율의 문제다.

기업이 LLM을 도입할 때 가장 먼저 부딪히는 현실적 문제가 비용이다. GPT-4 같은 대형 모델을 모든 질의에 쓰면 비용이 폭발적으로 늘어난다. 그렇다고 소형 모델만 쓰면 복잡한 작업에서 품질이 나오지 않는다. 모든 질의가 동일한 무게를 가지지 않는다는 걸 시스템이 알아야 한다는 얘기다.

플래티어가 1년간 자체 모델을 개발한 끝에 만든 SmartRouter의 핵심 아이디어가 바로 이거다. 1.5B 규모 sLLM을 바탕으로 입력 질의의 복잡도와 도메인을 판단해서 적절한 모델로 라우팅한다. 단순한 FAQ성 질의는 소형 모델이 처리하고, 복잡한 추론이 필요한 질의는 대형 모델로 보내는 구조다.

이걸 LangGraph 관점에서 보면 라우터 노드를 중심으로 한 조건부 엣지 패턴이다. 슈퍼바이저 역할을 하는 sLLM이 먼저 질의를 분류하고, 분류 결과에 따라 다음 노드로 라우팅된다. 소형 모델 노드, 대형 모델 노드, 또는 RAG 파이프라인 노드. 이 구조가 비용 효율을 만들면서 동시에 응답 품질을 유지하는 방법이다.

롯데홈쇼핑, 시중은행, 방산, 반도체 제조 분야에서 레퍼런스를 확보한 것도 이 구조 덕분이다. 업종마다 질의 패턴이 다르고, 그 패턴에 맞는 라우팅 전략이 필요하다. 커머스에서는 상품 추천과 검색 관련 질의가 많고, 금융에서는 규정 검색과 이상 거래 분류가 많고, 제조에서는 매뉴얼 참조와 불량 판단이 많다. 도메인 특화 sLLM이 이 패턴 차이를 학습해서 분류 정확도를 높이는 게 SmartRouter의 경쟁력이다.

두 사례가 공통으로 보여주는 것

플래티어와 AIWORKX의 접근 방식이 표면적으로는 다르지만, 기저에 있는 기술 패턴은 같다.

첫 번째 공통점은 단일 모델이 아닌 모델 조합으로 문제를 푼다는 거다. VLM이 문서를 읽고, LLM이 추론하고, RAG가 지식을 연결한다. SmartRouter의 sLLM이 분류하고, 도메인별 모델이 실행한다. 어떤 단일 모델도 혼자서 이 전체 흐름을 최적으로 처리하지 못한다. 파이프라인을 어떻게 설계하느냐가 결과를 결정한다.

두 번째는 AI가 의사결정을 대체하는 게 아니라 의사결정의 준비 과정을 자동화한다는 거다. AIWORKX의 심사 시스템은 심사 담당자를 없애지 않는다. 담당자가 최종 판단에 집중할 수 있도록 정보를 구조화해 제공한다. SmartRouter도 사람이 답을 요청하는 행위 자체를 바꾸지 않는다. 그 요청이 어떤 경로로 처리될지를 자동으로 최적화한다. AI가 인간을 대체하는 게 아니라 인간의 판단 품질을 높이는 방향으로 설계됐다는 공통점이 있다.

세 번째는 기존 시스템과의 통합 방식이다. 두 사례 모두 기존 업무 시스템을 갈아엎는 방식이 아니다. 카드사의 심사 프로세스 위에 AI 레이어를 얹는 방식, 기존 LLM API 호출 구조에 라우팅 레이어를 삽입하는 방식이다. 현실에서 기업 AI 도입이 성공하려면 이 방식이 불가피하다. 수십 년에 걸쳐 구축된 내부 시스템과 프로세스를 한 번에 교체하는 건 현실적으로 불가능하기 때문이다.

구현할 때 실제로 어려운 부분

이 구조를 실제로 만들어보면 개념보다 어려운 지점들이 있다.

VLM의 경우 문서 이미지 품질에 따른 성능 편차가 생각보다 크다. 선명하게 스캔된 PDF는 잘 처리되지만, 팩스로 받았거나 사진으로 찍은 문서는 인식률이 급격히 떨어질 수 있다. 전처리 파이프라인, 이미지 보정 로직을 얼마나 잘 갖추느냐가 전체 시스템 품질을 좌우한다. 그리고 문서 양식이 바뀌면 처음부터 다시 테스트해야 하는 경우도 생긴다. 정관 양식이 회사마다 다르고, 주주명부 형식이 표준화돼 있지 않다는 게 금융권 문서 처리의 현실적 어려움이다.

RAG에서는 청킹(chunking) 전략이 핵심이다. 심사 기준 문서를 어떤 단위로 나눠서 벡터로 저장하느냐에 따라 검색 정확도가 달라진다. 너무 크게 나누면 관련 없는 내용이 함께 검색되고, 너무 작게 나누면 맥락이 끊어진다. 금융 규정 문서처럼 조항 간 참조 구조가 있는 경우에는 단순 텍스트 청킹만으로는 부족하고, 구조를 인식하는 파싱 레이어가 필요하다.

sLLM 라우팅에서는 분류 오류 처리가 중요하다. 복잡한 질의를 소형 모델로 잘못 라우팅하면 품질 저하가 생기고, 단순한 질의를 대형 모델로 보내면 비용 낭비가 된다. 경계에 있는 케이스들을 어떻게 처리하느냐, 분류 신뢰도가 낮을 때 어떤 폴백 로직을 쓰느냐가 운영 안정성을 결정한다. 플래티어가 1년간 자체 모델 개발에 투자한 이유가 바로 이 분류 정확도를 높이기 위해서였을 거다.

마무리: AX가 실제 매출이 되는 조건

플래티어의 매출 30% 반등과 AIWORKX의 금융권 수주가 공통적으로 보여주는 건 AI 전환이 실제 비즈니스 성과로 이어지는 조건이다.

기술 스택이 화려한 게 아니라, 기존 워크플로의 실제 병목을 정확하게 짚어야 한다. 비정형 문서 처리가 병목이면 VLM이 그 지점을 뚫는다. 모델 비용이 병목이면 지능형 라우팅이 그 지점을 뚫는다. 병목이 어디냐에 따라 기술 선택이 달라진다.

그리고 기존 시스템과 통합되는 방식으로 설계해야 한다. 혁명적인 교체가 아니라 점진적인 레이어 추가. 담당자의 업무 방식을 바꾸지 않으면서 그 업무의 효율을 높이는 것. 이게 기업 현장에서 AI 도입이 실제로 작동하는 방식이다.

VLM이 주주명부를 읽고 RAG가 심사 기준과 연결하고 sLLM이 복잡도를 판단해서 라우팅하는 이 파이프라인들이, 지금 기업 AI 전환의 실질적 엔진이 되고 있다.

Leave a Comment