AI 실무 가이드와 엔지니어링 노트
회사에서 ChatGPT 쓰다가 한 번쯤 이런 생각 해본 적 없는가. “이 데이터, 외부 서버로 나가도 괜찮은 건가?” 실제로 2023년 삼성전자 반도체 부문에서 챗GPT에 소스코드를 입력한 사건 이후, 국내 대기업 상당수가 외부 AI 서비스 이용을 제한하기 시작했다. 그리고 2026년 지금, 상황은 더 심각해졌다. AI 기본법 시행을 앞두고 데이터 거버넌스에 대한 압박이 커지면서, 기업이든 개인 개발자든 “내 … Read more
Google의 최신 오픈소스 언어 모델인 Gemma 3 27B는 단일 GPU에서 실행할 수 있는 모델 중 최고 성능을 자랑합니다. 이번 포스팅에서는 Ollama를 사용한 간편한 실행 방법과 고성능 추론을 위한 vLLM 설치 및 사용 방법을 자세히 알아보겠습니다. Gemma 3 27B란? Gemma 3 27B는 Google의 Gemini 2.0과 동일한 기술을 기반으로 개발된 270억 개 파라미터를 가진 오픈소스 언어 모델입니다. … Read more
AI 언어 모델은 점점 더 작아지고, 가볍고, 빠르게 실행 가능한 형태로 진화하고 있습니다. 대표적인 사례 중 하나가 바로 OLLAMA(올라마)입니다. 최근 Hugging Face, LM Studio 등과 함께 많은 주목을 받고 있는 올라마는 로컬에서 대형 언어 모델(LLM)을 쉽게 실행하고 활용할 수 있는 프레임워크입니다. 본 글에서는 올라마의 설치 방법, 기본 사용법, 최신 버전 비교, 활용 사례, 그리고 … Read more