전체 모델을 학습할 수 없으면 LoRA로 하는데, 정말 효과 있을까?

LoRA

LoRA가 AI 업계의 게임 체인저가 된 이유 지난 몇 년간 AI 개발자들 사이에서 가장 핫한 기술 중 하나가 LoRA(Low-Rank Adaptation)입니다. 2021년 Microsoft 연구팀이 논문으로 발표한 이후, OpenAI, Hugging Face, Meta 등 거의 모든 AI 기업이 LoRA를 적극 채용하고 있는데, 그 이유는 간단합니다. 전체 모델을 학습하지 않으면서도 전체 파인튜닝과 동등하거나 더 나은 성능을 낼 수 있다는 … Read more

Fine-tuning에 필요한 데이터 품질, 파인튜닝에 100개 좋은 데이터 vs 10000개 나쁜 데이터 비교

Fine-tuning

파인튜닝 프로젝트에서 맞닥뜨리는 가장 흔한 실수 데이터 품질 문제로 파인튜닝이 실패하는 경우가 점점 늘어나고 있습니다. 작년만 해도 글로벌 데이터 라벨링 시장이 224억 달러에 달했으며, 2035년까지 834억 달러로 성장할 것으로 예상되는 시점에서 흥미로운 현상입니다. 기업들이 엄청난 규모의 데이터를 수집하고 있지만, 정작 모델 성능 개선으로는 이어지지 않는 경우가 많다는 뜻이거든요. 최근 실무에서 파인튜닝 프로젝트를 진행하면서 깨닫게 된 … Read more