지난주에 클라이언트한테서 받은 계약서 PDF가 87페이지였다. 처음 몇 장을 넘기다가 문득 이런 생각이 들었다. 어차피 요즘 AI 세 개나 매일 켜놓고 사는데, 굳이 내가 눈 아프게 다 읽을 필요가 있나. 그래서 ChatGPT, Gemini, Claude에 똑같은 파일을 넣고 요약을 시켜봤다. 처음에는 그냥 시간 아끼려고 시작한 일이었는데, 결과를 보다 보니 세 개가 생각보다 너무 다르게 반응해서 오히려 더 흥미로워졌다.
평소에 RAG 파이프라인을 만들면서 문서 파싱 문제로 골치를 앓아본 사람이라면 알겠지만, PDF라는 포맷 자체가 생각보다 훨씬 까다롭다. 텍스트가 이미지로 박혀 있거나, 표가 레이아웃만 흉내 낸 텍스트박스로 되어 있거나, 페이지 나누기가 이상하게 걸려서 문장이 중간에 잘리는 경우가 허다하다. 그런데 일반 사용자 입장에서는 이런 내부 사정을 알 필요 없이 그냥 챗봇에 파일 던지고 요약해달라고 하면 끝이다. 그래서 이번 테스트는 최대한 일반 사용자 시점에서, 별다른 프롬프트 튜닝 없이 그냥 파일 올리고 요약해달라고만 요청하는 방식으로 진행했다.
테스트에 사용한 문서와 조건
이번에 사용한 문서는 세 가지였다. 하나는 앞서 말한 87페이지짜리 계약서, 다른 하나는 표와 그래프가 많이 섞인 45페이지짜리 사업보고서, 마지막은 손글씨 주석이 곳곳에 달린 스캔본 논문이었다. 세 문서를 고른 이유는 각각 성격이 완전히 다르기 때문이다. 계약서는 조항 간의 논리적 연결이 중요하고, 사업보고서는 숫자와 표를 얼마나 정확히 읽어내는지가 관건이며, 스캔본 논문은 OCR 성능 자체가 시험대에 오른다.
세 서비스 모두 유료 플랜을 기준으로 테스트했다. 무료 버전은 파일 업로드 자체에 제한이 걸려 있는 경우가 많아서 공정한 비교가 어렵다고 판단했기 때문이다. 프롬프트는 전부 동일하게 이 문서의 핵심 내용을 요약해줘라는 문장 하나만 사용했다. 실제로 대부분의 사람들이 이렇게 짧게 물어보지, 처음부터 정교한 프롬프트를 짜서 넣는 경우는 드물다는 걸 감안했다.
계약서 요약에서 갈린 승부
계약서 테스트에서 가장 먼저 눈에 띈 차이는 조항 번호를 얼마나 정확하게 유지하느냐였다. 계약서는 특정 조항을 인용하면서 참조하는 구조가 많은데, 제3조에서 정한 손해배상 범위는 제7조의 예외 조항에 따라 달라진다는 식의 문장이 곳곳에 있었다. 이런 상호 참조 구조를 얼마나 놓치지 않고 요약에 반영하느냐가 실제 업무에서는 굉장히 중요하다.
Claude는 이 부분에서 확실히 강점을 보였다. 조항 번호를 그대로 유지하면서 어떤 조항이 어떤 조항과 연결되어 있는지를 설명 안에 자연스럽게 녹여냈다. 반면 ChatGPT는 전체적인 흐름은 잘 잡았지만 몇몇 조항 번호를 요약 과정에서 생략해버려서, 나중에 원문을 다시 찾아봐야 하는 번거로움이 있었다. Gemini는 세 서비스 중 가장 간결하게 정리해주긴 했는데, 간결함이 과해서 정작 계약서에서 가장 민감한 부분인 위약금 조항의 뉘앙스가 좀 뭉개진 느낌이었다.
여기서 하나 재밌었던 건, 세 서비스 모두 87페이지 전체를 한 번에 처리하긴 했지만 처리 속도 차이가 꽤 컸다는 점이다. Claude가 가장 오래 걸렸고, Gemini가 체감상 가장 빨랐다. 속도와 꼼꼼함이 어느 정도 트레이드오프 관계에 있다는 인상을 받았다.
표와 그래프가 많은 사업보고서에서는 결과가 완전히 뒤집혔다
사업보고서 테스트에서는 양상이 완전히 달라졌다. 이 문서에는 분기별 매출 추이를 보여주는 표가 여러 개 있었고, 일부는 표 형태가 아니라 이미지로 삽입된 그래프였다. 개인적으로 이 부분이 가장 궁금했다. 실제로 멀티모달 RAG 작업을 하면서 이미지 안에 들어있는 숫자를 얼마나 정확하게 읽어내느냐가 늘 골칫거리였기 때문이다.
여기서는 Gemini가 의외로 좋은 성적을 보였다. 이미지로 삽입된 그래프에서 대략적인 증감 추세를 정확히 짚어냈고, 특히 3분기 실적이 전 분기 대비 얼마나 늘었는지에 대한 수치를 표 안의 값과 거의 일치하게 뽑아냈다. ChatGPT도 나쁘지 않았지만 일부 표에서 행과 열이 뒤바뀐 채로 해석하는 실수가 한 번 있었다. 실제 매출은 3분기가 가장 높았는데, 요약문에는 2분기가 최고치였다고 잘못 적혀 있었던 것이다. 이런 실수는 숫자를 다루는 문서에서는 꽤 치명적이다.
Claude는 표를 다루는 정확도 자체는 나쁘지 않았지만, 이미지로 된 그래프를 해석하는 부분에서는 다소 보수적으로 접근했다. 정확히 확인하기 어려운 수치는 추정하기보다 대략적인 경향만 언급하는 식이었다. 이게 안전한 선택이긴 한데, 빠르게 숫자만 확인하고 싶은 사용자 입장에서는 답답하게 느껴질 수도 있겠다는 생각이 들었다.
스캔본 논문에서 드러난 OCR 격차
세 번째 테스트인 손글씨 주석이 있는 스캔본 논문에서는 격차가 가장 크게 벌어졌다. 이 문서는 원래 텍스트 레이어가 없는 순수 이미지 스캔본이었고, 여백에 손글씨로 짧은 메모가 달려 있었다.
세 서비스 모두 본문 텍스트 자체는 무리 없이 읽어냈다. 다만 손글씨 주석을 인식하는 부분에서 확연한 차이가 났다. ChatGPT는 손글씨 부분을 아예 언급하지 않고 넘어갔고, Gemini는 손글씨가 있다는 사실 자체는 언급했지만 내용까지 해석하지는 못했다. Claude는 필체가 비교적 명확한 몇 군데는 실제로 내용을 읽어내서 요약에 반영했는데, 흘려 쓴 부분은 인식하지 못했다는 점을 스스로 밝히기도 했다.
개인적으로 이 부분에서 인상 깊었던 건 정확도 자체보다, 자신이 확실하지 않은 부분을 얼마나 솔직하게 드러내느냐였다. 업무에서 AI 요약을 활용할 때 가장 위험한 순간은 AI가 틀린 걸 마치 맞는 것처럼 자신 있게 말할 때다. 이번 테스트에서는 Claude가 이 부분에서 가장 신중한 태도를 보였다.
실제 업무에 적용한다면 어떻게 나눠 쓸까
세 번의 테스트를 거치면서 정리된 생각은, 상황에 따라 도구를 다르게 골라 쓰는 게 훨씬 효율적이라는 것이었다. 계약서나 법률 문서처럼 조항 간 논리 구조가 중요한 문서라면 Claude가 확실히 더 신뢰가 갔다. 표와 숫자가 많은 재무 자료나 보고서라면 Gemini의 처리 속도와 수치 인식 능력이 유용했다. ChatGPT는 전반적으로 균형이 잡혀 있었고, 특히 요약 결과물의 문장이 자연스러워서 그대로 보고서에 붙여 넣어도 어색하지 않다는 장점이 있었다.
한 가지 덧붙이자면, 이번 테스트는 어디까지나 특정 시점에 특정 문서 세 개를 기준으로 한 결과다. AI 모델은 업데이트 주기가 워낙 짧아서, 지금 이 글을 쓰는 시점의 결과가 몇 달 뒤에는 완전히 달라질 수도 있다. 그래서 이런 종류의 비교는 한 번 해보고 끝내기보다, 주기적으로 다시 테스트해보는 습관이 필요하다고 느꼈다.
또 하나, 문서 요약을 AI에게 맡길 때는 원문을 아예 안 보는 것보다 핵심 부분만이라도 눈으로 한 번 확인하는 습관을 들이는 게 좋다. 특히 숫자나 계약 조건처럼 실수가 곧바로 문제가 되는 내용이라면 더더욱 그렇다. 이번 테스트에서도 확인했듯이, 세 서비스 모두 완벽하지 않았고 각자 다른 지점에서 실수를 했다.
마무리
결국 이번 테스트를 통해 확인한 건 하나의 정답이 없다는 사실이었다. ChatGPT, Gemini, Claude는 각자 잘하는 영역이 뚜렷하게 갈렸다. 조항이 복잡하게 얽힌 계약서라면 Claude, 표와 그래프가 많은 재무 문서라면 Gemini, 자연스러운 문장으로 다시 정리해야 하는 보고서라면 ChatGPT가 상대적으로 나은 선택이었다. 손글씨나 스캔본처럼 인식 난도가 높은 문서에서는 세 서비스 모두 한계가 있었고, 이런 경우에는 결과를 그대로 믿기보다 원문 대조가 반드시 필요하다는 것도 확인했다.
앞으로 PDF 요약을 AI에게 맡길 계획이라면, 문서 성격에 맞춰 도구를 골라 쓰는 것부터 시작해보길 권한다. 하나의 서비스에 모든 걸 맡기기보다 문서 종류에 따라 유연하게 바꿔가며 쓰는 게 지금 시점에서는 가장 현실적인 답인 것 같다.