AI 에이전트, LangGraph, RAG
AI 서비스 배포, Docker 컨테이너화, GPU 서버 운영, vLLM 추론 최적화, Kubernetes 오케스트레이션, 폐쇄망 환경 구축 등 AI 인프라 전반을 다룹니다. 클라우드부터 온프레미스까지 실전 배포 노하우를 공유합니다.
오픈클로를 내 노트북에 설치하고 처음 며칠은 신세계였다. 텔레그램으로 “메일 정리해줘”라고 보내면 진짜 정리해주고, “내일 일정 알려줘”라고 하면 브리핑이 날아왔다. 그런데 문제가 생겼다. 노트북 덮개를 닫으면 에이전트도 같이 잠든다. 외출하면 멈추고, 밤에 자면 멈추고. 24시간 돌아가는 비서가 하루에 8시간만 일하는 꼴이었다. 결국 VPS로 옮겼다. 월 5천 원짜리 서버에 도커로 올려놨더니, 진짜 24시간 365일 꺼지지 않는 AI … Read more
오픈클로를 처음 설치했을 때, 나는 흥분 반 불안 반이었다. 텔레그램으로 “메일 정리해줘”라고 보내면 진짜로 이메일을 분류하고, “내일 일정 잡아줘”라고 하면 캘린더에 등록해준다. 이 정도면 개인 비서라고 불러도 될 수준이다. 그런데 한 발 물러서 생각해보면, 이건 내 컴퓨터에 전체 권한을 가진 프로그램이 인터넷에 연결된 채 24시간 돌아가고 있다는 뜻이기도 하다. 그리고 내 불안은 근거가 있었다. 2026년 … Read more
브라우저를 열고 Gemini한테 말을 건네는 데 걸리는 시간은 1~2초 남짓이다. 근데 그 1~2초 사이에 무슨 일이 일어나는지 생각해본 적 있는가. 수천억 개의 파라미터를 가진 모델이 사용자 입력을 이해하고, 문맥을 파악하고, 자연스러운 답변을 생성해서 돌려보내는 과정이 그 짧은 시간 안에 전부 완료된다. 이게 가능한 이유는 Gemini 뒤에서 조용히 돌아가는 인프라 때문이다. GPU 기반 서버를 쌓아놓는 것만으로 … Read more
회사에서 ChatGPT 쓰다가 한 번쯤 이런 생각 해본 적 없는가. “이 데이터, 외부 서버로 나가도 괜찮은 건가?” 실제로 2023년 삼성전자 반도체 부문에서 챗GPT에 소스코드를 입력한 사건 이후, 국내 대기업 상당수가 외부 AI 서비스 이용을 제한하기 시작했다. 그리고 2026년 지금, 상황은 더 심각해졌다. AI 기본법 시행을 앞두고 데이터 거버넌스에 대한 압박이 커지면서, 기업이든 개인 개발자든 “내 … Read more
작년까지만 해도 LLaMA 3 시리즈에 LM Studio 0.3을 조합해서 로컬 AI를 돌리는 게 최선이었다. 그런데 2025년 4월 메타가 LLaMA 4를 공개하고, LM Studio도 0.4 메이저 업데이트를 거치면서 상황이 완전히 달라졌다. 솔직히 말하면, LLaMA 4 Scout을 처음 H100 한 장에 올렸을 때의 충격이 아직도 생생하다. 이전 세대와는 차원이 다른 멀티모달 성능에 1000만 토큰 컨텍스트 윈도우라니. 그리고 … Read more