며칠 전 지인이 챗GPT에게 이메일 하나 써달라고 했다가 실망했다는 이야기를 했다. “거래처에 사과 메일 좀 써줘”라고 입력했더니 나온 답이 너무 형식적이고 딱딱해서 결국 자기가 처음부터 다시 썼다는 것이다. 나는 그 이야기를 듣고 챗GPT 문제가 아니라 질문 방식의 문제라는 걸 바로 알아챘다. 나는 매일 LangGraph로 멀티에이전트 시스템을 짜고 RAG 파이프라인을 튜닝하는 일을 한다. 그 과정에서 가장 크게 배운 게 있다면, 모델은 질문을 받은 만큼만 대답한다는 사실이다. 짧고 애매한 질문에는 짧고 애매한 답이 나온다. 이건 챗GPT가 부족해서가 아니라, 우리가 던지는 정보량이 부족해서 벌어지는 일이다.
이 글에서는 개발이 아니라 일상과 업무에서 챗GPT를 훨씬 유용하게 쓰는 방법을 열 가지로 정리해봤다. 프롬프트 엔지니어링이라는 어려운 말을 붙일 필요도 없다. 그냥 몇 가지 습관만 바꾸면 결과물의 질이 눈에 띄게 달라진다.
챗GPT를 검색창처럼 쓰면 손해인 이유
가장 먼저 짚고 싶은 게 이 부분이다. 많은 사람들이 챗GPT를 네이버나 구글 검색창처럼 쓴다. 키워드 몇 개만 던지고 끝내는 방식이다. “부산 맛집”, “여행 준비물” 이런 식으로 짧게 치고 나온 답을 그냥 받아들인다. 그런데 챗GPT는 검색엔진이 아니라 대화 상대다. 검색엔진은 입력한 키워드와 가장 관련 있는 문서를 찾아주는 방식으로 작동하지만, 챗GPT는 내가 준 맥락을 바탕으로 답을 새로 생성하는 방식으로 작동한다. 이 차이를 이해하지 못하면 챗GPT의 절반도 못 쓰는 셈이다.
내가 RAG 시스템을 만들 때 가장 신경 쓰는 부분이 바로 이 맥락 전달이다. 사용자의 질문이 짧으면 아무리 좋은 검색 알고리즘을 붙여도 정확한 답을 끌어내기 어렵다. 반대로 질문에 상황과 목적이 담겨 있으면 답의 정확도가 확 올라간다. 사람이 챗GPT를 쓸 때도 똑같다. 검색창에 던지듯 짧게 묻지 말고, 대화하듯 상황을 설명하는 습관을 들이는 게 첫걸음이다.
역할을 정해주면 답이 달라진다
가장 쉬우면서 효과가 큰 방법이 역할 지정이다. 그냥 “이메일 써줘”라고 하는 것과 “너는 15년차 영업팀장이야, 이 상황에서 거래처에 보낼 사과 메일을 써줘”라고 하는 것은 결과물의 톤 자체가 다르다. 역할을 지정하면 모델이 그 역할에 맞는 어휘와 문체, 심지어 판단 기준까지 함께 가져온다. 나는 기술 문서를 요약할 때도 “너는 신입 개발자에게 설명하는 시니어 엔지니어야”라고 역할을 주는데, 이렇게 하면 전문 용어를 풀어서 설명하는 정도까지 자동으로 조절된다.
역할은 거창할 필요가 없다. 부모, 직장 상사, 처음 배우는 학생, 까다로운 고객처럼 익숙한 역할 하나만 붙여줘도 답변의 결이 완전히 달라진다는 걸 직접 느껴보면 안다.
목적을 먼저 말하면 헛수고가 줄어든다
두 번째로 중요한 건 목적을 먼저 밝히는 습관이다. “이 문장 다듬어줘”보다 “이 문장을 발표 자료에 넣을 건데 좀 더 간결하게 다듬어줘”가 훨씬 낫다. 같은 문장이라도 목적에 따라 다듬는 방향이 완전히 달라지기 때문이다. 발표 자료용이라면 임팩트 있는 짧은 문장이 필요하고, 보고서용이라면 정확하고 격식 있는 문장이 필요하다. 목적을 말하지 않으면 모델은 가장 무난한 중간 지점을 선택하는데, 이 무난함이 결국 밋밋한 결과물로 이어진다.
나는 이 습관을 코드 리뷰 요청할 때도 그대로 적용한다. 그냥 “이 코드 봐줘”라고 하지 않고 “이 코드는 프로덕션에 배포할 거라 성능이 중요해”라고 목적을 먼저 밝힌다. 그러면 모델이 지적하는 우선순위 자체가 달라진다.
단계별로 나눠서 요청하기
복잡한 작업을 한 번에 던지면 답이 어중간하게 나온다. 예를 들어 “사업계획서 써줘”라고 한 번에 요청하면 뭘 어디서부터 손대야 할지 모를 만큼 뭉뚱그려진 결과가 나온다. 대신 목차부터 잡아달라고 하고, 그다음 각 항목을 하나씩 채워달라고 요청하면 결과물의 밀도가 완전히 다르다.
이건 내가 에이전트 워크플로를 설계할 때 항상 쓰는 방식과 똑같다. 하나의 거대한 프롬프트에 모든 걸 맡기기보다, 작업을 작은 단계로 쪼개서 순차적으로 처리하게 만들면 각 단계의 품질이 확실히 올라간다. 사람이 챗GPT를 쓸 때도 이 원리는 그대로 적용된다. 한 번에 완성본을 요구하지 말고, 단계를 나눠서 대화를 이어가는 편이 훨씬 낫다.
예시를 보여주면 이해도가 올라간다
내가 원하는 결과물의 예시를 하나 던져주는 것도 강력한 방법이다. “이런 느낌으로 써줘”라며 참고할 만한 문장이나 이전에 썼던 글 하나를 붙여주면, 모델은 그 스타일을 그대로 학습해서 비슷한 톤으로 답을 만들어낸다. 특히 회사마다 정해진 보고서 양식이나 이메일 톤이 있는 경우 이 방법이 효과적이다.
이건 몇 가지 예시만으로 모델이 패턴을 학습하는 방식과 원리가 같다. 개발자들 사이에서는 이런 방식을 흔히 예시 기반 프롬프팅이라고 부르는데, 어려운 용어를 몰라도 상관없다. 그냥 원하는 결과물과 비슷한 샘플 하나를 던져주면 된다는 것만 기억하면 충분하다.
출력 형식을 구체적으로 지정하기
챗GPT는 시키는 대로 형식을 맞춰준다. 표로 정리해달라고 하면 표를 만들고, 세 문단으로 요약해달라고 하면 딱 세 문단으로 정리한다. 그런데 많은 사람들이 이 형식 지정을 생략한다. “정리해줘”라고만 하면 모델이 임의로 형식을 고르는데, 이게 내가 원하던 형식과 다를 확률이 꽤 높다.
특히 업무에서 자주 쓰는 형식은 미리 정해두면 편하다. 회의록은 항상 안건, 논의 내용, 결정 사항 순서로 정리해달라고 요청하는 식으로 나만의 템플릿을 만들어두면, 매번 형식을 다시 설명할 필요 없이 결과물이 바로 원하는 모양으로 나온다.
부정 표현보다 긍정 표현으로 지시하기
이건 의외로 많은 사람들이 놓치는 부분이다. “너무 길게 쓰지 마”보다 “세 문장 이내로 써줘”가 훨씬 명확하다. “전문 용어 쓰지 마”보다 “중학생도 이해할 수 있게 써줘”가 더 정확한 결과를 만든다. 하지 말라는 지시보다 어떻게 하라는 지시가 모델 입장에서 훨씬 구체적인 목표가 되기 때문이다.
나는 이 습관을 특히 문서 요약 작업에서 자주 쓴다. “핵심만 남기고 나머지는 빼줘”라고 하는 대신 “가장 중요한 세 가지 포인트만 남겨줘”라고 구체적인 개수를 지정하면 결과물의 편차가 훨씬 줄어든다.
결과물을 검증해달라고 요청하기
챗GPT가 내놓은 답을 그대로 믿지 않는 습관도 중요하다. 특히 숫자나 사실 정보가 들어간 답변은 반드시 검증을 한 번 더 요청하는 게 좋다. “방금 답변에서 틀렸을 가능성이 있는 부분을 스스로 다시 검토해줘”라고 물어보면, 모델이 자기 답변을 다시 점검하면서 놓쳤던 부분을 잡아내는 경우가 꽤 있다.
나는 RAG 시스템을 운영하면서 모델이 확신에 찬 말투로 틀린 정보를 내놓는 경우를 수없이 봤다. 겉으로는 자신 있게 말하지만 실제로는 틀린 경우가 생각보다 많다는 뜻이다. 그래서 중요한 정보일수록 한 번 더 되물어서 확인하는 습관이 결국 시간을 아껴준다.
후속 질문으로 답을 다듬어가기
한 번의 질문으로 완벽한 답을 기대하지 않는 것도 중요한 태도다. 첫 답변이 마음에 안 들면 그냥 새로 질문을 던지기보다, 어느 부분이 아쉬운지 구체적으로 짚어서 이어서 물어보는 게 훨씬 효율적이다. “이 부분은 좋은데 두 번째 문단이 너무 딱딱해, 좀 더 부드럽게 바꿔줘”처럼 이전 답변을 기준으로 수정 방향을 알려주면 대화가 이어지면서 결과물이 점점 원하는 모습에 가까워진다.
이건 대화형 인터페이스의 가장 큰 장점이기도 하다. 검색엔진과 다르게 챗GPT는 이전 대화를 기억하고 그 위에서 다듬어갈 수 있다. 이 장점을 활용하지 못하고 매번 새 질문을 던지는 건 챗GPT의 절반만 쓰는 셈이다.
나만의 프롬프트를 저장해두기
마지막으로 추천하고 싶은 습관은 자주 쓰는 프롬프트를 따로 저장해두는 것이다. 회의록 정리, 이메일 초안, 보고서 요약처럼 반복적으로 하는 작업이 있다면 매번 처음부터 설명할 필요 없이 저장해둔 템플릿을 불러와서 쓰면 된다. 나는 코딩 작업에서도 자주 쓰는 지시문은 따로 파일로 관리하면서 재사용하는데, 이 습관을 일반 업무에 그대로 옮겨오면 시간을 상당히 아낄 수 있다.
처음에는 몇 번의 시행착오를 거쳐 나에게 맞는 템플릿을 만드는 과정이 필요하지만, 한 번 만들어두면 그 이후로는 질문 하나 던지는 시간조차 아낄 수 있다.
결론
챗GPT를 얼마나 잘 쓰느냐는 결국 얼마나 구체적으로 대화하느냐에 달려 있다. 검색창에 키워드 던지듯 짧게 묻는 습관에서 벗어나서, 역할과 목적과 형식을 갖춰 대화하듯 질문하는 습관으로 바꾸는 것만으로도 결과물의 질은 확연히 달라진다. 오늘 소개한 열 가지 방법 중에 몇 가지만이라도 당장 다음 질문부터 적용해보길 권한다. 특히 역할 지정과 목적 밝히기, 이 두 가지만 습관으로 만들어도 챗GPT가 훨씬 똑똑해진 것처럼 느껴질 것이다. 결국 인공지능은 준 만큼 돌려주는 도구다. 던지는 질문의 밀도가 곧 받는 답변의 밀도를 결정한다는 걸 기억하면 앞으로 챗GPT를 쓰는 방식 자체가 달라질 것이다.