정확도향상

대화가 길어질수록 느려지는 LLM 에이전트, 최적의 컨텍스트 관리 전략

by
LLM 컨텍스트 최적화

첫 메시지는 10초, 100번째는 30초가 되는 이유 당신의 에이전트가 처음에는 빠르지만 대화가 길어질수록 느려지는 현상을 겪었나요? 사용자와 나눈 대화가 50개, 100개를 넘어가면서 응답 속도가 점점 떨어집니다. 가끔 타임아웃이 나기도 합니다. 같은 모델인데 왜 이런 일이 일어날까요? 문제는 모델이 아닙니다. 문제는 당신이 과거의 모든 대화를 프롬프트에 집어넣고 있다는 점입니다. 지금 이 순간, 사용자의 마지막 메시지 하나를 … Read more

같은 질문인데 프롬프트만 바꿨는데 정확도가 30% 올라갔다

by
프롬프트중요성

“이게 진짜 되나? 프롬프트 한 줄만 추가했는데?” 처음 이 현상을 본 건 어떤 개발자의 깃허브 이슈였다. 수학 문제를 푸는 LLM의 정확도가 18%에서 57%로 올라갔다는 내용이었다. 처음엔 믿기지 않았다. 모델을 다시 학습시킨 것도 아니고, 더 큰 모델로 바꾼 것도 아닌데 어떻게 40% 가까이 올라갈 수 있을까. 하지만 더 찾아본 결과 이건 실제로 일어나는 일이었고, 지금 업계에서는 … Read more