RAG 에이전트 실무
Tech Leader 
첫 메시지는 10초, 100번째는 30초가 되는 이유 당신의 에이전트가 처음에는 빠르지만 대화가 길어질수록 느려지는 현상을 겪었나요? 사용자와 나눈 대화가 50개, 100개를 넘어가면서 응답 속도가 점점 떨어집니다. 가끔 타임아웃이 나기도 합니다. 같은 모델인데 왜 이런 일이 일어날까요? 문제는 모델이 아닙니다. 문제는 당신이 과거의 모든 대화를 프롬프트에 집어넣고 있다는 점입니다. 지금 이 순간, 사용자의 마지막 메시지 하나를 … Read more
이런 경험 있나요? 도구 목록이 30개만 되어도 LLM이 헤맨다 개발자들이 LLM 에이전트를 만들면서 가장 흔하게 겪는 문제가 뭘까요? 바로 Tool Calling입니다. 사용자 요청을 받은 LLM이 필요한 도구를 선택해서 호출하는 것 같은데, 도구 개수가 조금 늘어나면 정확도가 확 떨어집니다. 웹 검색 도구, 데이터베이스 조회 도구, API 호출 도구, 계산기, 캘린더, 이메일 등 실무에서 쓸 만한 도구들을 … Read more
저는 매주 목요일 밤 9시가 되면 안절부절못했습니다. 그 시간이 되면 가족이 모여 앉아 지상파 드라마를 봤던 시절이 있었기 때문입니다. 지금 생각해보니 그것은 단순히 드라마를 본다는 것이 아니라, 가족과 함께하는 시간이었습니다. 월요일 직장에서 동료들과 어제 드라마 이야기로 30분을 웃으며 보내기도 했습니다. 그것이 문화였습니다. 그런데 지난 몇 년 사이 모든 것이 바뀌었습니다. 당신은 최근에 지상파 드라마를 본 … Read more
당신이 지난주 예능 프로그램을 봤을 때, 혹시 이런 생각이 들었나요? “이거 진짜인가?” “아니면 연기인가?” 이것이 요즘 한국 방송을 바라보는 일반인의 심정입니다. 과거에는 방송을 믿었습니다. TV에 나오는 것은 사실이라고 생각했습니다. 하지만 지금은 다릅니다. 방송을 보면서 끊임없이 의심합니다. 이 감정은 우연이 아닙니다. 한국 방송이 정말로 조작을 일상화했기 때문입니다. 몇 해 전부터 터져 나온 방송 조작 사건들은 시청자들의 … Read more
당신이 예능 프로그램에서 웃으며 나오는 연예인을 볼 때, 그 사람이 얼마를 받았는지 생각해본 적 있나요? 대형 연예인이 아닌 이상, 대부분의 프리랜서 방송인들은 한 번의 출연으로 받는 돈이 당신의 월급보다 적다는 사실을 아는 사람은 드뭅니다. 더 충격적인 것은, 그 돈도 계약서 한 장으로 쉽게 깎인다는 점입니다. 몇 달 전 한 라디오 진행자는 SNS에 올린 글에서 “예능 … Read more