RAG 에이전트 실무
폐쇄망 프로젝트를 하다 보면 요구사항 회의 후반부에 꼭 나오는 질문이 있습니다. “국산 모델은 없나요? 엑사원 쓰면 안 되나요?” 인터넷이 막힌 환경에서 LLM을 돌려야 하는 고객에게 모델 선택은 단순한 성능 비교가 아닙니다. 외부 API를 쓸 수 없으니 모델을 서버에 직접 올려야 하고, 그러려면 GPU가 필요하고, 그 GPU는 예산과 납기와 보안 심의를 모두 통과해야 하거든요. 그래서 멋진 … Read more
사내 AI 챗봇을 만들어 놓고 한 달 뒤 접속 로그를 열어봤더니, 개발팀과 보고용 시연 때 들어온 계정이 전부였다는 이야기. 기업 AI 프로젝트를 해 본 분이라면 한 번쯤 들어봤거나 겪어봤을 장면일 거예요. 그래서 이 숫자가 눈에 확 들어왔습니다. 임직원 70% 이상. 현대차그룹이 2023년에 도입한 사내 생성형 AI 플랫폼 에이치 챗을 쓰는 비율이에요. 직원 열 명 중 … Read more
오늘 정오를 기점으로 정부가 민간 분야 사이버위기 경보를 ‘관심’에서 ‘주의’로 올렸습니다. 경보 단계가 하나 올라갔다는 말이 얼핏 대수롭지 않게 들릴 수 있는데, 이유를 들여다보면 마냥 넘길 일이 아니에요. 서버에 로그인하지 않은 사람이, 비밀번호 한 글자 모르는 사람이, 인터넷 요청 하나만 잘 조작해서 서버에 명령을 내릴 수 있는 구멍이 PHP 자체에서 발견됐다는 겁니다. PHP라는 이름이 낯설게 … Read more
“미래는 하늘을 나는 자동차를 약속했는데, 정작 우리 손에 들어온 것은 140자였다.” 페이팔 공동 창업자 피터 틸이 한 이 말, IT 업계에 계신 분들이라면 한 번쯤 들어보셨을 거예요. 어릴 적 만화에서 보던 공중 도시와 날아다니는 자동차는 끝내 오지 않았고, 대신 우리는 스마트폰으로 짧은 글을 주고받는 세상에 살게 됐다는 일종의 자조 섞인 한탄이죠. 그런데 이 문장을 며칠 … Read more
AI와 일해 본 사람이라면 한 번쯤 이런 경험이 있을 것이다. 어제 분명히 조건을 다 설명해 줬는데 오늘 새 대화창을 열면 처음부터 다시 설명해야 한다. 작업 중간에 오류가 나면 AI가 같은 방법을 세 번 연속으로 시도하다가 멈춰 버린다. 똑똑하긴 한데 일을 맡기기엔 어딘가 불안한 이유가 바로 이 두 가지, 기억이 이어지지 않는다는 것과 막혔을 때 돌파구를 … Read more