knowledge-based content
Azure AI Search와 Blob Storage 연동하기, RAG 시스템 구축을 위한 실전 아키텍처 지난 3개월간 RAG(Retrieval-Augmented Generation) 시스템을 구축하면서 깨닫게 된 게 있다. LLM의 가장 큰 문제는 “모르는 것도 마치 아는 것처럼 답변한다”는 거다. 이를 hallucination이라고 부르는데, 정말 위험하다. 금융 상담을 한다고 했는데 완전히 잘못된 정보를 제시하면? 의료 조언을 한다고 했는데 엉뚱한 약을 추천하면? 재앙이다. 하지만 … Read more
주요 기사 요약 ICLR 2025에 발표된 최신 연구에 따르면, RAG를 도입한 시스템도 여전히 35-62%의 확률로 틀린 답변을 제공하고 있다. 더 충격적인 것은 RAG를 적용하면 오히려 LLM의 “모르겠습니다”라는 기권율이 감소한다는 사실이다. Claude 3.5 Sonnet은 RAG 없이 84.1%를 기권했지만, RAG 적용 후 52%로 떨어졌다. 구글 연구팀은 이 문제를 “충분한 맥락(Sufficient Context)”과 “선택적 생성(Selective Generation)” 개념으로 해결하려 하고 … Read more
주요 기사 요약 2026년 RAG 최적화 연구에서는 청킹 전략이 검색 정확도에 미치는 영향이 상당함이 확인되었다. 일반적으로 200~500 토큰(약 150~400 단어) 범위를 사용하지만, OpenAI의 text-embedding-ada-002는 256 또는 512 토큰 블록에서 최적 성능을 보인다. TableRAG의 경우 구조화된 데이터 처리로 10~20% 정확도 향상을, 금융 및 재고 관리 시스템은 30% 개선을 보고했다. 특히 청킹 전략을 잘못 선택하면 중요한 개념이 … Read more
요약 올라마는 로컬 머신에서 대형 언어 모델을 간단하게 실행할 수 있는 오픈소스 플랫폼으로, 최근 v0.10.0 업데이트를 통해 더욱 강력해졌습니다. 이 글에서는 올라마의 최신 기술을 활용한 10가지 실전 활용 방법을 소개합니다. 개인 PC부터 엔터프라이즈 서버까지, 올라마로 할 수 있는 모든 것을 알아보세요. “클라우드 AI 서비스 비용이 너무 비싸다” “내 데이터를 외부 서버에 보내고 싶지 않다” “인터넷 … Read more
최근 생성형 AI 분야에서는 단순한 텍스트 생성 모델을 넘어서, 검색 기반 생성(RAG, Retrieval-Augmented Generation) 방식이 뜨거운 관심을 받고 있습니다. 특히 한국어와 같이 다국어 지원이 완벽하지 않은 언어에서는, RAG 구조를 활용해 신뢰도 높은 정보를 생성하는 것이 매우 중요합니다. 이번 포스팅에서는 최신 vLLM 환경에서 Google의 Gemma 및 Alibaba의 Qwen 모델을 활용하여, L40s GPU 환경에서 구동 가능한 가성비 … Read more
최근 AI 분야에서 가장 주목받고 있는 기술 중 하나는 바로 멀티에이전트 시스템입니다. 특히 LangGraph를 활용한 멀티에이전트 RAG(Retrieval-Augmented Generation) 시스템은 기존 단일 에이전트의 한계를 뛰어넘어 더욱 정확하고 신뢰할 수 있는 문서 기반 질의응답을 가능하게 합니다. 오늘은 이러한 혁신적인 시스템이 어떻게 구성되고 작동하는지 자세히 알아보겠습니다. 기존 RAG 시스템의 한계점 기존의 단일 에이전트 RAG 시스템은 여러 문제점을 가지고 … Read more