Chrome + Gemini API 흐름 분석! Prompt는 어떻게 라우팅되는가!

Chrome + Gemini API 흐름 분석

“Gemini가 내 탭 내용을 읽는다”는 말을 들었을 때, 막연하게 느껴지는 사람이 많다. 어떻게 읽는다는 건지, 어디로 보내는 건지, 내 데이터는 어디서 처리되는지. 사용자 입장에서는 그냥 사이드바에 물어보면 답이 온다는 사실만 보이고, 그 사이에 무슨 일이 일어나는지는 완전히 블랙박스다. 개발자라면 이 블랙박스가 불편하다. Chrome에 Gemini를 활용한 기능을 만들어보려고 했을 때, 처음 맞닥뜨리는 질문이 “Prompt API가 뭐고, … Read more

Gemini는 어떤 인프라에서 돌아가나 – Google TPU, Vertex AI, 온디바이스 구조 해부

Google TPU, Vertex AI

브라우저를 열고 Gemini한테 말을 건네는 데 걸리는 시간은 1~2초 남짓이다. 근데 그 1~2초 사이에 무슨 일이 일어나는지 생각해본 적 있는가. 수천억 개의 파라미터를 가진 모델이 사용자 입력을 이해하고, 문맥을 파악하고, 자연스러운 답변을 생성해서 돌려보내는 과정이 그 짧은 시간 안에 전부 완료된다. 이게 가능한 이유는 Gemini 뒤에서 조용히 돌아가는 인프라 때문이다. GPU 기반 서버를 쌓아놓는 것만으로 … Read more