AI 실무 가이드와 엔지니어링 노트
회사에서 ChatGPT 쓰다가 한 번쯤 이런 생각 해본 적 없는가. “이 데이터, 외부 서버로 나가도 괜찮은 건가?” 실제로 2023년 삼성전자 반도체 부문에서 챗GPT에 소스코드를 입력한 사건 이후, 국내 대기업 상당수가 외부 AI 서비스 이용을 제한하기 시작했다. 그리고 2026년 지금, 상황은 더 심각해졌다. AI 기본법 시행을 앞두고 데이터 거버넌스에 대한 압박이 커지면서, 기업이든 개인 개발자든 “내 … Read more
작년까지만 해도 LLaMA 3 시리즈에 LM Studio 0.3을 조합해서 로컬 AI를 돌리는 게 최선이었다. 그런데 2025년 4월 메타가 LLaMA 4를 공개하고, LM Studio도 0.4 메이저 업데이트를 거치면서 상황이 완전히 달라졌다. 솔직히 말하면, LLaMA 4 Scout을 처음 H100 한 장에 올렸을 때의 충격이 아직도 생생하다. 이전 세대와는 차원이 다른 멀티모달 성능에 1000만 토큰 컨텍스트 윈도우라니. 그리고 … Read more
“70B 모델이 진짜 그렇게 좋아? 월 수백만 원 들여가면서까지 써야 하나?” 지난 몇 년간 오픈소스 LLM 시장은 정말 빠르게 변했다. 특히 메타의 라마 시리즈는 개발자 커뮤니티에서 엄청난 반응을 얻었는데, 여기서 가장 큰 이슈는 항상 같았다. 70B 모델이 정말 필요한 건지 아니면 13B나 7B로도 충분한지 하는 문제였다. 실제로 비용과 성능 사이에서 고민하는 팀들이 정말 많다. 급부상한 … Read more