지난달에 같이 일하는 팀원 한 명이 슬랙에 이런 메시지를 올렸다. 급한데 이 견적서 ChatGPT에 넣고 요약 좀 해도 되나요. 순간 대답을 망설였다. 안 된다고 하자니 다들 이미 비슷한 걸 하고 있을 것 같았고, 된다고 하자니 뭔가 찜찜했다. 결국 그날 저녁에 이 주제로 제대로 파봐야겠다는 생각이 들었다. AI 서버를 직접 운영하고 기업용 RAG 시스템을 구축해본 입장에서, 이 질문에 대한 답은 생각보다 단순하지 않았다.
많은 사람들이 ChatGPT에 회사 문서를 넣는 걸 그냥 개인 메모장에 붙여넣는 것 정도로 생각한다. 그런데 실제로 그 문서가 어디로 흘러가고 어떻게 처리되는지를 알면 생각이 조금 달라질 수 있다. 이번 글에서는 실제로 어떤 위험이 있는지, 그리고 그 위험을 감수하지 않고도 AI를 업무에 쓸 수 있는 방법이 뭔지 정리해봤다.
내가 입력한 문서는 실제로 어디로 가는가
가장 먼저 짚고 넘어가야 할 부분은 입력한 데이터가 학습에 쓰이느냐 안 쓰이느냐다. 결론부터 말하면 요금제와 설정에 따라 다르다. 무료 버전이나 개인 유료 플랜에서는 기본적으로 대화 내용이 모델 학습에 활용될 수 있는 여지가 있고, 이걸 막으려면 별도로 설정에서 데이터 사용을 끄거나 옵트아웃을 해야 한다. 반면 기업용 플랜이나 API를 통해 들어가는 데이터는 대체로 학습에 사용되지 않는다는 정책을 명시하고 있는 경우가 많다.
문제는 대부분의 직장인들이 이 차이를 모른 채로 그냥 평소에 쓰던 개인 계정에 회사 문서를 붙여넣는다는 점이다. 나도 처음에는 이 구분을 명확히 몰랐다가, 실제로 기업 고객사를 대상으로 RAG 시스템을 설계하면서 데이터 처리 정책을 하나하나 뜯어보고 나서야 감이 잡혔다. 결국 어떤 계정으로, 어떤 플랜으로 접속하느냐에 따라 내가 입력한 문서의 운명이 완전히 달라진다.
실제로 문제가 되는 건 학습보다 노출이다
여기서 한 가지 오해를 짚고 싶다. 많은 사람들이 걱정하는 건 내가 넣은 문서가 AI 학습에 쓰여서 나중에 다른 사람 답변에 튀어나오는 상황이다. 물론 이것도 위험 요소지만, 실무에서 더 현실적으로 자주 발생하는 문제는 따로 있다.
첫 번째는 계정 자체의 보안 문제다. 개인 이메일로 만든 ChatGPT 계정에 회사 기밀문서를 계속 넣다 보면, 그 계정 하나가 뚫리는 순간 그동안 쌓인 대화 기록 전체가 노출된다. 실제로 여러 AI 서비스에서 계정 탈취나 세션 하이재킹 이슈가 보고된 적이 있다. 회사 시스템처럼 접근 권한 관리나 로그 감사가 되어 있지 않은 개인 계정이라면 이런 위험에 훨씬 취약하다.
두 번째는 문서 자체에 담긴 메타데이터다. PDF나 워드 파일을 업로드하면 본문 내용뿐 아니라 작성자 정보, 수정 이력, 때로는 삭제된 것처럼 보이지만 실제로는 남아있는 이전 버전의 텍스트까지 함께 딸려 들어가는 경우가 있다. 문서 파싱 작업을 해본 사람이라면 알겠지만, 겉으로 보이는 내용과 파일 내부에 실제로 저장된 데이터가 다른 경우가 생각보다 흔하다.
세 번째는 가장 실무적인 문제인데, 계약서나 인사 자료처럼 법적으로 외부 유출이 금지된 문서를 무심코 AI에 넣는 경우다. 이건 AI 서비스의 보안 수준과 무관하게, 애초에 계약이나 사내 규정 위반에 해당할 수 있다. 이 부분은 기술적인 문제가 아니라 규정과 계약의 문제이기 때문에 오히려 더 조심해야 한다.
기업용 AI와 개인용 AI는 완전히 다른 이야기다
내가 실제로 기업 RAG 프로젝트를 진행하면서 가장 많이 받는 질문이 바로 이거였다. 회사에서 쓰는 AI는 안전한가요. 답은 어떻게 구축하느냐에 달려 있다는 것이다.
기업용으로 제대로 설계된 AI 시스템은 몇 가지 특징이 있다. 우선 데이터가 외부 서버로 나가지 않고 회사 내부 인프라나 격리된 클라우드 환경 안에서만 처리된다. 벡터 데이터베이스에 문서를 저장할 때도 접근 권한을 세밀하게 나눠서, 특정 부서 문서는 해당 부서 구성원만 검색 결과로 받아볼 수 있도록 설계하는 게 일반적이다. 또한 어떤 사용자가 언제 어떤 문서를 조회했는지 로그가 남기 때문에, 문제가 생겼을 때 추적이 가능하다.
반면 개인이 각자 계정으로 쓰는 ChatGPT나 Gemini는 이런 통제 장치가 거의 없다. 누가 어떤 문서를 넣었는지 회사 차원에서 파악할 방법이 없고, 그 데이터가 어느 정도 수준으로 보호되는지도 사용자 개인의 설정에 달려 있다. 결국 회사 입장에서는 통제 불가능한 구멍이 여러 개 뚫려 있는 셈이다.
그렇다고 AI를 쓰지 말라는 이야기는 아니다
여기까지 읽으면 그냥 회사에서 AI를 쓰지 말아야 하는 것 아닌가 싶을 수도 있다. 그런데 실제로는 정반대다. AI를 안 쓰는 게 답이 아니라, 안전하게 쓰는 구조를 만드는 게 답이다. 실제로 여러 조직에서 이미 이런 방식으로 AI를 도입하고 있다.
가장 현실적인 방법은 민감도에 따라 문서를 구분하는 것이다. 일반적인 공개 자료나 이미 외부에 공개된 정보를 요약하거나 정리하는 작업이라면 개인용 AI를 써도 큰 문제가 없다. 반면 계약서, 인사 정보, 미공개 재무 자료처럼 민감한 문서는 회사가 직접 관리하는 사내 AI 시스템이나 기업용 플랜을 통해서만 처리하도록 규칙을 정하는 게 좋다.
실제로 내가 참여했던 프로젝트에서는 이런 식으로 접근했다. 사내에 자체적으로 운영하는 vLLM 기반 추론 서버를 구축하고, 그 위에 RAG 파이프라인을 얹어서 문서 검색과 요약을 처리하도록 했다. 외부로 데이터가 한 번도 나가지 않으면서도, 직원들은 마치 ChatGPT를 쓰듯 자연스럽게 질문하고 답을 받을 수 있었다. 처음에는 이런 인프라를 갖추는 게 부담스럽게 느껴질 수 있지만, 회사 규모가 어느 정도 되고 다루는 문서의 민감도가 높다면 충분히 투자할 가치가 있는 영역이다.
개인이 지금 당장 할 수 있는 것들
인프라를 새로 구축하는 건 시간이 걸리는 일이지만, 개인 차원에서 오늘부터 바꿀 수 있는 습관들도 있다. 우선 회사 업무용 AI 계정과 개인용 계정을 분리하는 것부터 시작하면 좋다. 그리고 문서를 넣기 전에 정말 이 내용이 외부로 나가도 괜찮은가를 한 번 더 생각해보는 습관을 들이는 게 의외로 큰 차이를 만든다.
또한 설정에서 데이터 사용 옵트아웃이 가능한 서비스라면 반드시 켜두는 게 좋다. 이 설정 하나로 학습 활용 위험은 상당 부분 줄일 수 있다. 마지막으로, 문서를 넣기 전에 이름이나 연락처 같은 개인정보, 계약 상대방의 실명 등은 가능하면 마스킹하고 넣는 습관도 실무에서 꽤 유용하다.
마무리
결국 회사 문서를 ChatGPT에 올려도 되느냐는 질문에 대한 답은 문서의 성격과 사용하는 계정의 종류에 달려 있다. 공개 가능한 일반 자료라면 개인용 AI로도 충분히 안전하게 활용할 수 있다. 하지만 계약서나 인사 자료처럼 민감한 정보라면 개인 계정으로 처리하기보다 회사가 관리하는 안전한 환경에서 다루는 게 맞다. 무작정 막는 것도, 무작정 다 넣는 것도 정답은 아니다. 결국 중요한 건 어떤 데이터가 어디로 흘러가는지를 정확히 이해하고, 그에 맞는 통제 장치를 갖추는 것이다. AI를 잘 쓰는 조직과 위험에 노출된 조직의 차이는 결국 이 지점에서 갈린다.