회사에서 ChatGPT 쓰다가 한 번쯤 이런 생각 해본 적 없는가. “이 데이터, 외부 서버로 나가도 괜찮은 건가?” 실제로 2023년 삼성전자 반도체 부문에서 챗GPT에 소스코드를 입력한 사건 이후, 국내 대기업 상당수가 외부 AI 서비스 이용을 제한하기 시작했다. 그리고 2026년 지금, 상황은 더 심각해졌다. AI 기본법 시행을 앞두고 데이터 거버넌스에 대한 압박이 커지면서, 기업이든 개인 개발자든 “내 환경에서 직접 AI를 돌리겠다”는 수요가 폭발적으로 늘어나고 있다.
솔직히 말하면, 나도 처음에는 로컬 AI 구축이라는 말만 들으면 막막했다. GPU 서버부터 사야 하나, 모델은 어떤 걸 골라야 하나, 도대체 어디서부터 시작해야 하는 건지. 처음에 RTX 3090 한 장으로 7B 모델을 올렸을 때 CUDA out of memory 에러를 수십 번 봤고, 양자화 옵션 하나 잘못 건드려서 모델이 횡설수설하는 경험도 했다. 그런 삽질을 거치면서 느낀 게 있다. 전체 흐름을 먼저 잡고 시작했으면 시간을 절반은 아꼈을 거라는 것.
이 글은 그래서 쓴다. 로컬 AI 구축의 전체 그림을 한 번에 보여주는 pillar 가이드다. 모델 종류를 이해하는 것부터 시작해서, 추론 엔진 선택, 설치와 실행, 최종적으로 RAG 시스템까지 올리는 과정을 로드맵 형태로 풀어볼 생각이다. 각 단계의 세부 내용은 연결된 글들에서 깊이 파고들 수 있도록 구성했다.
왜 지금 로컬 AI인가, 클라우드만으로는 부족한 이유
로컬 AI를 이야기하기 전에, 왜 굳이 내 컴퓨터에서 AI를 돌려야 하는지부터 짚고 넘어가자. 클라우드 API 쓰면 편하고 성능도 좋은데 말이다.
첫 번째는 보안이다. 아시아태평양 지역 기업의 86%가 AI 사용 시 보안 취약성을 가장 큰 우려 사항으로 꼽았다는 조사 결과가 있다. 특히 금융, 의료, 법률 분야에서는 고객 데이터가 외부 서버로 전송되는 것 자체가 규제 위반이 될 수 있다. 2026년 AI 기본법 시행 이후에는 이 문제가 더 첨예해질 전망이다. 로컬 AI는 데이터가 내 서버 밖으로 나가지 않으니 이런 걱정이 원천적으로 사라진다.
두 번째는 비용이다. 처음에는 클라우드 API가 저렴해 보인다. 그런데 서비스 규모가 커지면 이야기가 달라진다. 내가 사이드 프로젝트에서 OpenAI API를 쓸 때, 초기에는 월 5만 원이면 충분했는데 사용자가 늘면서 월 40만 원을 넘기기 시작했다. 기업 규모에서는 이게 수천만 원 단위가 된다. 로컬 환경은 초기 GPU 투자가 필요하지만, 반복적인 추론 작업이 많은 환경이라면 손익분기점이 생각보다 빨리 온다.
세 번째는 자율성이다. 클라우드 API는 제공사의 정책에 종속된다. 모델이 업데이트되면서 기존에 잘 되던 프롬프트가 갑자기 안 될 수도 있고, 가격 정책이 바뀌면 예산 계획이 흔들린다. 실제로 나도 OpenAI 모델 버전이 바뀌면서 기존에 잘 작동하던 함수 호출 로직이 깨진 적이 있다. 로컬 환경은 내가 원하는 모델을 원하는 버전으로 고정해서 쓸 수 있고, 파인튜닝이나 RAG 같은 커스터마이징도 자유롭다.
물론 로컬 AI가 만능은 아니다. GPT-4o나 Claude 수준의 범용 성능을 로컬에서 그대로 재현하기는 어렵다. 하지만 특정 업무 영역에 맞춰 최적화하면, 해당 영역에서는 상용 모델 못지않은 결과를 낼 수 있다. 내가 직접 사내 문서 기반 QA 시스템을 구축했을 때, 로컬 7B 모델에 RAG를 붙인 결과가 GPT-3.5 Turbo 대비 도메인 정확도에서 오히려 앞서는 경우도 있었다. 핵심은 “무엇을 할 것인가”를 먼저 정하고, 거기에 맞는 모델과 인프라를 선택하는 것이다.
모델 종류부터 제대로 알자, LLM에서 vLLM까지 한 번에 정리
로컬 AI를 구축하려면 가장 먼저 모델에 대한 기본 개념을 잡아야 한다. 요즘 LLM, sLLM, SLM, vLLM 같은 용어가 난무하는데, 이게 뭐가 다른지 모르면 시작부터 헤맨다. 나도 처음에 vLLM이 또 다른 모델인 줄 알고 한참 헷갈렸다.
LLM은 Large Language Model의 약자로, GPT-4나 LLaMA 70B처럼 수백억 개 이상의 파라미터를 가진 대규모 언어 모델이다. 성능은 좋지만 그만큼 고사양 GPU가 필요하다. sLLM은 Small LLM이라고 보면 되는데, 7B에서 13B 정도의 파라미터를 가진 모델을 말한다. 일반 GPU에서도 돌릴 수 있어서 로컬 환경에 적합하다. SLM은 더 작은 모델로, 3B 이하급을 지칭할 때 쓰는 경우가 많다. 스마트폰이나 엣지 디바이스에서 구동하는 온디바이스 AI에 주로 활용된다.
그리고 vLLM은 이것들과 결이 좀 다르다. vLLM은 모델 자체가 아니라 추론 엔진이다. 대규모 언어 모델을 효율적으로 서빙하기 위한 오픈소스 도구라고 이해하면 된다. PagedAttention이라는 기술을 사용해서 GPU 메모리를 훨씬 효율적으로 관리하고, 여러 요청을 동시에 처리할 수 있다. 쉽게 비유하면, 모델이 엔진이라면 vLLM은 그 엔진의 성능을 최대로 끌어내는 튜닝 키트 같은 존재다.
이 개념들의 관계와 차이점을 제대로 정리하는 게 로컬 AI의 첫 번째 관문인데, sLLM, SLM, LLM, vLLM 모델 종류와 차이점 안내 글에서 각각의 특성과 실무 활용 시나리오를 깊이 다뤘으니 먼저 읽어보길 추천한다.
오픈소스 모델 선택, 무엇을 기준으로 골라야 하나
모델 종류를 이해했으면 이제 구체적으로 어떤 모델을 쓸지 골라야 한다. 2026년 현재 로컬 환경에서 가장 많이 쓰이는 오픈소스 모델을 꼽자면 구글의 Gemma, 메타의 LLaMA, 알리바바의 Qwen이 있다.
Gemma는 구글이 공개한 경량 모델로, 2B부터 27B까지 다양한 사이즈가 있다. 특히 Gemma 3 27B는 한국어 성능이 상당히 좋다. 내가 직접 한국어 뉴스 기사 요약 태스크로 테스트했을 때, 같은 파라미터 대비 다른 모델보다 자연스러운 한국어를 생성하는 걸 확인했다. 구글의 방대한 다국어 학습 데이터 덕분인 것 같다.
LLaMA는 메타가 공개한 모델인데, 오픈소스 LLM 생태계에서 사실상 표준 역할을 하고 있다. 커뮤니티가 워낙 크다 보니 파인튜닝된 변형 모델도 풍부하고, 관련 도구와 라이브러리 지원도 가장 탄탄하다. 처음 로컬 AI에 입문한다면 LLaMA 계열부터 시작하는 걸 추천한다.
Qwen은 알리바바 클라우드에서 만든 모델로, 아시아 언어 처리에서 강점을 보인다. 특히 Qwen 2.5 시리즈는 코딩과 수학 추론에서 인상적인 성능을 보여주면서 주목받았다.
모델 선택의 핵심은 파라미터 크기와 내 하드웨어 사양의 균형이다. 일반적으로 7B 모델은 16GB VRAM, 13B 모델은 24GB VRAM, 27B 이상은 48GB 이상의 VRAM이 필요하다. 양자화를 적용하면 메모리 요구량을 절반 가까이 줄일 수 있지만, 그만큼 정확도가 약간 떨어진다. 내 경험상 Q4_K_M 양자화가 성능과 메모리의 균형점으로 가장 무난하다.
여기서 중요한 팁 하나. 모델을 고를 때 벤치마크 점수만 보지 말고, 실제로 자기 데이터로 테스트해봐야 한다. 벤치마크에서 1등인 모델이 내 업무 도메인에서도 1등이라는 보장은 없다. 나도 처음에 벤치마크만 보고 모델을 골랐다가, 실제 한국어 업무 문서에 적용하니 결과가 기대에 못 미쳐서 모델을 갈아탄 경험이 있다.
추론 도구 선택, Ollama와 vLLM 그리고 LM Studio
모델을 정했으면 이제 그 모델을 실행할 도구가 필요하다. 로컬 환경에서 가장 많이 쓰이는 추론 도구 세 가지를 비교해보자.
Ollama는 입문자에게 가장 추천하는 도구다. 설치가 간단하고, 커맨드 한 줄로 모델을 다운로드하고 실행할 수 있다. ‘ollama pull gemma3:27b’만 치면 모델 다운로드부터 실행 환경 세팅까지 자동으로 처리된다. 내가 처음 로컬 AI를 시작할 때 Ollama 덕분에 5분 만에 첫 번째 모델을 띄울 수 있었다. REST API도 기본 제공되니까 간단한 애플리케이션과 연동하는 것도 어렵지 않다.
vLLM은 성능과 효율을 중시하는 사용자를 위한 도구다. PagedAttention 기술 덕분에 동일한 GPU 메모리에서 더 많은 요청을 동시에 처리할 수 있다. 내가 같은 Gemma 3 27B 모델을 Ollama와 vLLM에서 각각 돌려봤을 때, 동시 요청 10개 기준으로 vLLM의 처리량이 Ollama 대비 2배 가까이 높았다. 회사에서 내부 AI 서비스를 운영하거나 여러 명이 동시에 접속하는 환경이라면 vLLM이 압도적으로 유리하다. 다만 초기 설정이 Ollama보다 까다롭고, CUDA 버전 호환성 문제로 삽질할 수 있다.
실무에서 가장 많이 쓰이는 패턴은 이렇다. Ollama로 먼저 모델을 빠르게 테스트하고, 실서비스로 넘어갈 때 vLLM으로 전환한다. 이 두 도구의 설치부터 실행까지의 전 과정을 Ollama와 vLLM으로 Gemma 3 27B 실행 완벽 설치 가이드 글에서 나란히 비교했다. CUDA 설정에서 겪은 삽질기까지 담았으니 시간을 아끼려면 꼭 읽어보길 바란다.
LM Studio는 GUI 기반이라 코딩에 익숙하지 않은 사람도 쉽게 쓸 수 있다. 모델 허브에서 원하는 모델을 클릭 몇 번으로 다운로드하고, 채팅 인터페이스에서 바로 대화할 수 있다. 내부적으로 llama.cpp를 사용하기 때문에 양자화된 GGUF 모델과 궁합이 좋다. LLaMA 모델을 LM Studio에서 활용하는 전체 과정은 LLaMA 설치부터 LM Studio 활용 실전 가이드에 정리해뒀다. 또한 최신 버전은 아래 링크를 참조 하길 바란다.
LLaMA 4와 LM Studio 0.4 정리: MoE 전환과 로컬 AI 환경의 변화
정리하면, 입문과 실험에는 Ollama, 실서비스 배포에는 vLLM, 비개발자 활용에는 LM Studio가 적합하다.
RAG 시스템으로 로컬 AI의 실전 활용도를 끌어올리다
모델을 로컬에 올리는 것까지는 좋은데, 막상 써보면 한 가지 아쉬운 점이 있다. 내 회사 데이터나 특정 도메인 지식에 대한 답변이 부정확하다는 거다. 오픈소스 모델은 아무리 잘 만들어도 범용 학습 데이터 기반이니까, 우리 회사 내부 문서나 최신 정보를 알 리가 없다.
이 문제를 해결하는 게 바로 RAG다. Retrieval-Augmented Generation, 검색 증강 생성이라고 번역하는데, 쉽게 말하면 AI가 대답하기 전에 관련 문서를 먼저 검색해서 참고하게 만드는 기술이다. 사람으로 치면, 질문 받았을 때 머릿속 기억만으로 대답하는 게 아니라 관련 자료를 펼쳐놓고 확인하면서 답하는 것과 비슷하다.
RAG 시스템의 기본 구조는 이렇다. 먼저 회사 내부 문서들을 임베딩이라는 벡터 형태로 변환해서 벡터 데이터베이스에 저장한다. 사용자가 질문하면, 그 질문도 벡터로 변환해서 가장 관련성 높은 문서 조각들을 검색한다. 그리고 검색된 문서 조각들을 프롬프트에 함께 넣어서 LLM에 전달하면, 모델이 그 정보를 참고해서 답변을 생성한다. 이렇게 하면 모델이 학습하지 않은 정보에 대해서도 정확한 답변을 할 수 있고, 환각 현상도 크게 줄어든다.
내가 실제로 RAG를 구축하면서 느낀 점은, 모델 선택보다 문서 전처리가 더 중요하다는 거다. 아무리 좋은 모델을 써도 문서를 잘못 청킹하면 검색 품질이 떨어지고, 결과적으로 답변 품질도 나빠진다. 청크 사이즈를 512토큰으로 했을 때와 1024토큰으로 했을 때 답변 정확도가 눈에 띄게 달랐다. 이런 세부적인 경험과 함께, L40s GPU 환경에서 Gemma와 Qwen 기반으로 한국어 RAG를 올리는 전 과정을 L40s에서 최신 vLLM 기반 Gemma·Qwen으로 구축하는 한국어 RAG 모델 글에서 코드와 함께 상세하게 다뤘다.
RAG를 제대로 구축하면 로컬 AI의 활용도가 완전히 달라진다. 사내 문서 검색 봇, 고객 응대 자동화, 기술 문서 QA 시스템 등 실무에 바로 투입할 수 있는 서비스를 만들 수 있다. 파인튜닝처럼 천문학적인 비용이 드는 것도 아니고, 문서만 잘 정리해서 벡터DB에 넣으면 되니까 진입 장벽도 훨씬 낮다.
실전 로드맵, 단계별로 따라하는 로컬 AI 구축 순서
지금까지 설명한 내용을 실전 로드맵으로 정리해보겠다. 처음 시작하는 사람이 어떤 순서로 접근하면 좋을지, 내 경험을 바탕으로 단계를 나눠봤다.
1단계는 개념 잡기다. LLM, sLLM, vLLM 같은 기본 용어와 차이점을 먼저 이해하자. 이 기초가 없으면 이후 과정에서 계속 혼란스럽다. 모델의 파라미터 크기가 뭘 의미하는지, 양자화가 뭔지, 추론과 학습의 차이가 뭔지 정도만 알면 된다.
2단계는 환경 세팅이다. 자기 PC의 GPU 사양을 확인하고, Ollama를 설치한다. 이 과정은 정말 간단하다. macOS든 Windows든 Linux든 설치 파일 하나로 끝난다. GPU가 없어도 CPU 모드로 돌릴 수 있으니 일단 시작하는 게 중요하다.
3단계는 모델 선택과 테스트다. 처음에는 7B급 모델부터 시작하는 걸 추천한다. Gemma 2B나 LLaMA 8B 같은 가벼운 모델로 먼저 감을 잡고, 점점 큰 모델로 올려가면 된다. 여러 모델을 돌려보면서 자기 용도에 맞는 걸 찾아야 한다. 이 단계에서 LM Studio를 함께 활용하면 모델 비교가 훨씬 수월하다.
4단계는 서빙 환경 구축이다. 혼자 쓸 거면 Ollama로 충분하지만, 팀이나 서비스 단위로 운영할 거라면 vLLM으로 전환해야 한다. OpenAI 호환 API 서버를 띄워서 기존 코드를 거의 수정 없이 로컬 모델로 바꿀 수 있는 것도 vLLM의 큰 장점이다.
5단계는 RAG 통합이다. 벡터 데이터베이스를 설정하고, 임베딩 모델을 선택하고, 문서를 인덱싱하는 과정이다. 이 단계까지 오면 단순한 챗봇을 넘어서, 실제 업무에 활용 가능한 AI 시스템을 갖추게 된다.
각 단계에서 막히는 부분이 있으면, 이 글에서 연결된 세부 가이드들을 참고하면 된다. 한 번에 다 하려고 욕심내지 말고, 단계별로 차근차근 진행하는 게 결국 가장 빠른 길이다.
2026년 로컬 AI 트렌드와 전망
2026년 로컬 AI 시장에서 주목할 흐름 몇 가지를 짚어보자.
온디바이스 AI가 급부상하고 있다. CES 2026에서 LG전자가 자체 AI 모델을 탑재한 노트북을 선보였고, 현대차는 물류 로봇에 온디바이스 AI를 본격 적용하겠다고 발표했다. 더 이상 서버실에서만 AI를 돌리는 시대가 아니다.
하이브리드 배포 전략도 확산되고 있다. 일상적인 업무는 3B에서 8B 파라미터의 로컬 모델로 처리하고, 복잡한 추론이나 최신 정보가 필요한 작업만 클라우드 API로 넘기는 방식이다. 비용과 성능의 균형을 맞추는 현실적인 전략으로, 많은 기업들이 이 방향으로 움직이고 있다.
에이전트 워크플로우와의 결합도 눈여겨볼 만하다. 단순히 모델을 올리고 질의응답만 하는 단계를 넘어서, 여러 도구를 연결하고 복잡한 업무를 자동화하는 에이전트 시스템으로 확장되는 추세다. 로컬 LLM에 RAG를 붙이고, 거기에 에이전트 프레임워크를 연결하면 외부 도움 없이도 상당한 수준의 업무 자동화가 가능해진다. 실제로 나도 로컬 모델 기반으로 사내 문서 검색과 슬랙 알림을 연결하는 간단한 에이전트를 만들어봤는데, 생각보다 실무에서 쓸 만했다.
MoE(Mixture of Experts) 아키텍처의 대중화도 빼놓을 수 없다. 전체 파라미터 중 일부 전문가 네트워크만 활성화해서 추론 효율을 높이는 기술인데, 같은 성능을 더 적은 연산으로 달성할 수 있기 때문에 로컬 환경에서 대형 모델급 성능을 내는 데 점점 중요해지고 있다.
마무리
2026년 로컬 AI 구축의 핵심을 한 문장으로 정리하면 이렇다. 모델 개념을 잡고, 검증된 오픈소스 모델을 고르고, Ollama로 빠르게 시작해서 vLLM으로 확장하고, RAG로 실전 활용도를 끌어올리는 것. 보안, 비용, 자율성 세 가지 측면에서 로컬 AI는 이제 선택이 아니라 필수가 되어가고 있다.
중요한 건 완벽한 환경을 갖추고 시작하겠다는 생각을 버리는 거다. 일단 Ollama를 설치하고 모델 하나를 돌려보는 것. 그 작은 첫걸음이 팀 단위의 AI 서비스를 운영하는 기반이 된다. 기술은 글로만 읽으면 내 것이 안 된다. 직접 설치하고, 에러를 만나고, 해결하는 과정에서 진짜 실력이 쌓인다.