RAG 시스템, 의미 검색만 믿었다가 단어 검색이 필요한 경우를 발견했다

의미검색_단어검색

주요 기사 요약 2025년 기준 기업 검색 시스템 중 70% 이상이 semantic 기술을 통합했으며, 이는 2019년 30% 미만에서 급증한 수치다. 하지만 실무에서는 semantic search가 모든 상황에 적합하지 않다는 것이 드러났다. 기술 문서 검색, SKU 조회, 법률 문서 검색 등 특정 분야에서는 keyword search의 정확도가 semantic search를 능가한다. 전문가들은 “semantic search는 의도를 이해하지만 keyword search는 명확한 … Read more

청킹전략! 문서를 512토큰씩 자르니까 RAG 정확도가 40% 올라갔다

청킹전략_512토큰

주요 기사 요약 2026년 RAG 최적화 연구에서는 청킹 전략이 검색 정확도에 미치는 영향이 상당함이 확인되었다. 일반적으로 200~500 토큰(약 150~400 단어) 범위를 사용하지만, OpenAI의 text-embedding-ada-002는 256 또는 512 토큰 블록에서 최적 성능을 보인다. TableRAG의 경우 구조화된 데이터 처리로 10~20% 정확도 향상을, 금융 및 재고 관리 시스템은 30% 개선을 보고했다. 특히 청킹 전략을 잘못 선택하면 중요한 개념이 … Read more

LLM이 제멋대로 답변하는데, JSON으로만 뱉게 하는 방법

LLM답변_JSON

주요 기사 요약 2026년 LLM 통합 개발자들은 Output 포맷 강제의 문제를 지속적으로 마주친다. OpenAI의 최신 연구에서는 LLM이 JSON 형식으로 코드를 반환할 때 Markdown으로 반환하는 것보다 성능이 떨어진다는 것을 발견했다. Google의 Gemini는 response_mime_type 파라미터로 JSON 출력을 강제할 수 있으며, lm-format-enforcer와 outline 같은 오픈소스 도구들은 Grammar 기반 제약을 통해 정확한 형식 준수를 보장한다. 특히 금융, 의료, 데이터 … Read more

Temperature 0과 1의 차이, 고객 서비스는 0.3, 창작은 0.9가 맞다

Temperature_0과1

주요 기사 요약 2026년 최신 논문에서는 다양한 모델 크기(1B부터 80B)에서 온도값 0.1부터 1.9까지의 영향을 체계적으로 분석했다. 특히 질문 답변, 감정 분석, 수학 문제 해결, 창의적 글쓰기, 지시 준수, 번역 등 6개 능력에서 온도에 따른 성능 차이를 확인했다. 연구 결과, 온도 2.0 이상은 일관성 없고 정보 가치가 낮은 텍스트를 생성하는 것으로 나타났다. 특히 주목할 점은 “온도는 … Read more

LLM은 왜 프롬프트 인젝션에 취약할까? 악의적 사용자를 어떻게 막을까?

프롬프트_인젝션

주요 기사 요약 2026년 OWASP는 LLM 애플리케이션의 최우선 보안 위협 1순위로 ‘프롬프트 인젝션’을 꼽았다. 실제로 Microsoft 365 Copilot의 EchoLeak(CVE-2025-32711)이 제로 클릭 프롬프트 인젝션 취약점으로 공개되었고, CurXecute 공격은 소프트웨어 개발 환경에서 원격 코드 실행을 가능하게 했다. Bing Chat은 사이트에 숨겨진 지시문으로 인해 민감한 시스템 정보를 노출했으며, AI 보안 도구를 겨냥한 Skynet 악성코드는 악성 파일을 안전한 것으로 … Read more