최근 AI 에이전트 기술이 급속도로 발전하면서 하나의 거대한 에이전트보다는 여러 개의 전문화된 에이전트가 협력하는 멀티 에이전트 시스템이 주목받고 있습니다. 특히 슈퍼바이저(Supervisor) 기반 멀티 에이전트 아키텍처에서는 JSON 포맷과 프롬프트 엔지니어링이 핵심적인 역할을 합니다. 이번 글에서는 LLM 초보자분들을 위해 이러한 시스템이 어떻게 작동하는지 상세히 알아보겠습니다.
멀티에이전트 시스템이란 무엇인가
멀티에이전트 시스템은 여러 개의 독립적인 AI 에이전트가 협력하여 복잡한 작업을 수행하는 시스템입니다. 단일 에이전트가 모든 작업을 처리하는 것보다 각 에이전트가 특정 분야에 전문화되어 더 효율적이고 정확한 결과를 만들어낼 수 있습니다.
예를 들어 고객 서비스 시스템에서는 문의 분류 에이전트, 기술 지원 에이전트, 주문 처리 에이전트가 각각 다른 역할을 담당할 수 있습니다. 이때 슈퍼바이저 에이전트가 사용자의 요청을 분석하고 적절한 서브 에이전트에게 작업을 할당하는 역할을 합니다.
슈퍼바이저 기반 아키텍처의 작동 원리
슈퍼바이저 기반 멀티 에이전트 시스템에서는 하나의 중앙 슈퍼바이저 에이전트가 여러 서브 에이전트들을 관리합니다. 슈퍼바이저는 사용자의 요청을 받아 어떤 서브 에이전트가 해당 작업을 처리해야 하는지 결정하고, 작업을 할당한 후 결과를 수집하여 사용자에게 전달합니다.
이 과정에서 가장 중요한 것은 에이전트 간의 원활한 커뮤니케이션입니다. 각 에이전트는 서로 다른 모델이나 프롬프트를 사용할 수 있고, 각자의 전문 분야가 다르기 때문에 표준화된 통신 방식이 필요합니다.
JSON의 역할과 중요성
JSON(JavaScript Object Notation)은 멀티 에이전트 시스템에서 에이전트 간 메시지 교환의 표준 포맷으로 사용됩니다. JSON이 선택되는 이유는 다음과 같습니다.
구조화된 데이터 전송
JSON은 복잡한 정보를 구조화된 형태로 전달할 수 있습니다. 예를 들어 슈퍼바이저가 서브 에이전트에게 작업을 할당할 때 다음과 같은 JSON 메시지를 보낼 수 있습니다.
{
"agent_id": "tech_support",
"task": "resolve_technical_issue",
"payload": {
"user_id": "12345",
"issue_description": "로그인 오류가 계속 발생합니다",
"priority": "high",
"metadata": {
"browser": "Chrome",
"device": "Windows PC"
}
},
"timestamp": "2025-09-10T10:30:00Z"
}
프로그래밍 언어 무관성
JSON은 언어에 독립적인 데이터 형식이므로 서로 다른 기술 스택으로 구현된 에이전트들이 쉽게 통신할 수 있습니다. Python으로 작성된 에이전트와 JavaScript로 작성된 에이전트가 동일한 JSON 메시지를 주고받을 수 있습니다.
파싱과 검증의 용이성
JSON은 파싱이 쉽고 스키마 검증이 가능합니다. 각 에이전트는 받은 JSON 메시지가 예상된 형식인지 쉽게 확인할 수 있고, 필수 필드가 누락되었는지 검사할 수 있습니다.
에이전트 간 메시지 교환 매커니즘
멀티 에이전트 시스템에서 에이전트들은 크게 두 가지 방식으로 소통합니다.
핸드오프(Handoffs) 방식
핸드오프는 한 에이전트가 다른 에이전트에게 제어권을 넘기는 방식입니다. 이때 JSON 메시지를 통해 작업 상태와 필요한 정보를 전달합니다.
{
"handoff_type": "task_completion",
"from_agent": "classifier",
"to_agent": "processor",
"state": {
"user_request": "주문 취소를 원합니다",
"classification": "order_management",
"confidence": 0.95,
"extracted_entities": {
"order_id": "ORD-2025-001",
"action": "cancel"
}
}
}
도구 호출(Tool Calling) 방식
슈퍼바이저가 서브 에이전트를 도구로 취급하여 필요할 때 호출하는 방식입니다. 이 경우 JSON은 도구 호출의 매개변수로 사용됩니다.
{
"tool_name": "order_management_agent",
"arguments": {
"action": "cancel_order",
"order_id": "ORD-2025-001",
"reason": "customer_request",
"user_id": "12345"
}
}
프롬프트 엔지니어링과 변수 치환
각 에이전트는 자신만의 전문 프롬프트를 가지고 있으며, 이 프롬프트에는 동적으로 변경되는 변수들이 포함됩니다.
프롬프트 템플릿 구조
당신은 {agent_role}입니다.
사용자의 요청: {user_request}
현재 컨텍스트: {context_data}
이전 에이전트 결과: {previous_results}
다음 JSON 형식으로 응답해주세요:
{
"analysis": "분석 결과",
"recommendation": "추천 사항",
"next_action": "다음 단계",
"confidence": 0.0-1.0
}
변수 치환 전략
JSON 메시지에서 받은 데이터를 프롬프트 변수에 매핑하는 과정이 중요합니다. 예를 들어:
def format_prompt(template, json_message):
variables = {
"agent_role": json_message.get("agent_role", "AI 어시스턴트"),
"user_request": json_message["payload"]["user_request"],
"context_data": json.dumps(json_message["payload"]["context"], ensure_ascii=False),
"previous_results": json_message.get("previous_results", "없음")
}
return template.format(**variables)
기존 참조 데이터 방식과의 차이점
과거의 AI 시스템은 주로 정적인 참조 데이터나 사전 훈련된 지식에 의존했습니다. 하지만 멀티 에이전트 시스템은 다음과 같은 차이점을 보입니다.
동적 상태 관리
기존 시스템은 각 요청을 독립적으로 처리했지만, 멀티 에이전트 시스템은 에이전트 간에 상태를 공유하고 업데이트합니다. JSON을 통해 전달되는 상태 정보는 실시간으로 변경되고 누적됩니다.
컨텍스트 전파
하나의 에이전트에서 얻은 정보가 JSON 메시지를 통해 다른 에이전트들에게 전파됩니다. 이를 통해 시스템 전체가 학습하고 발전할 수 있습니다.
전문화된 처리
각 에이전트가 특정 도메인에 특화되어 있어 일반적인 참조 데이터보다 더 정확하고 상세한 처리가 가능합니다.
JSON 표준화의 중요성
멀티 에이전트 시스템에서 JSON은 사실상의 표준이 되었습니다. 이는 다음과 같은 이유 때문입니다.
스키마 정의 가능성
JSON Schema를 사용하여 메시지 형식을 엄격하게 정의할 수 있습니다.
{
"$schema": "http://json-schema.org/draft-07/schema#",
"type": "object",
"properties": {
"agent_id": {"type": "string"},
"task_type": {"type": "string"},
"payload": {"type": "object"},
"timestamp": {"type": "string", "format": "date-time"}
},
"required": ["agent_id", "task_type", "payload"]
}
확장성과 유연성
새로운 필드를 쉽게 추가할 수 있고, 기존 시스템과의 호환성을 유지하면서 점진적으로 발전시킬 수 있습니다.
디버깅과 모니터링
JSON 메시지는 사람이 읽기 쉬워서 시스템 디버깅과 모니터링이 용이합니다.
에이전트별 프롬프트 설계
각 에이전트는 자신의 역할에 맞는 전용 프롬프트를 가져야 합니다.
슈퍼바이저 에이전트 프롬프트
당신은 멀티 에이전트 시스템의 슈퍼바이저입니다.
사용자 요청: {user_request}
사용 가능한 에이전트: {available_agents}
다음 중 가장 적절한 에이전트를 선택하고 JSON으로 응답하세요:
{
"selected_agent": "에이전트명",
"reasoning": "선택 이유",
"priority": "high|medium|low",
"estimated_completion_time": "예상 소요 시간"
}
서브 에이전트 프롬프트
당신은 {specialization} 전문 에이전트입니다.
할당된 작업: {assigned_task}
입력 데이터: {input_data}
제약 조건: {constraints}
작업을 수행하고 다음 JSON 형식으로 결과를 반환하세요:
{
"result": "작업 결과",
"status": "success|failure|partial",
"next_recommended_action": "다음 권장 작업",
"metadata": {}
}
도구별 프롬프트 전략
각 도구나 외부 API와 연동할 때도 별도의 프롬프트가 필요합니다.
외부 API 호출 프롬프트
외부 {api_name} API를 호출합니다.
요청 파라미터: {api_parameters}
기대 응답 형식: {expected_response_format}
API 응답을 분석하고 다음 JSON으로 정리하세요:
{
"api_success": true/false,
"processed_data": {},
"error_message": null,
"confidence_score": 0.0-1.0
}
데이터 처리 도구 프롬프트
데이터 처리 작업을 수행합니다.
입력 데이터: {input_data}
처리 유형: {processing_type}
출력 요구사항: {output_requirements}
처리 결과를 JSON으로 반환하세요:
{
"processed_data": {},
"processing_steps": [],
"quality_metrics": {},
"recommendations": []
}
메시지 히스토리 관리
멀티 에이전트 시스템에서는 에이전트 간의 대화 기록을 체계적으로 관리해야 합니다.
전체 사고 과정 공유
모든 에이전트가 전체 대화 기록에 접근할 수 있는 방식입니다. 이는 더 나은 컨텍스트 이해를 가능하게 하지만 메모리 사용량이 증가합니다.
{
"conversation_history": [
{
"agent": "supervisor",
"timestamp": "2025-09-10T10:00:00Z",
"message": "사용자 요청을 분석 중입니다.",
"metadata": {"confidence": 0.9}
},
{
"agent": "classifier",
"timestamp": "2025-09-10T10:01:00Z",
"message": "요청을 '주문 관리' 카테고리로 분류했습니다.",
"metadata": {"classification": "order_management"}
}
]
}
최종 결과만 공유
각 에이전트가 자신만의 내부 상태를 유지하고 최종 결과만 다른 에이전트와 공유하는 방식입니다.
{
"agent_results": {
"classifier": {
"final_result": "order_management",
"confidence": 0.95
},
"processor": {
"final_result": "order_cancelled",
"order_id": "ORD-2025-001"
}
}
}
상태 스키마와 통신 프로토콜
멀티 에이전트 시스템에서는 일관된 상태 스키마와 통신 프로토콜이 필수입니다.
공통 상태 스키마
{
"session_id": "unique_session_identifier",
"user_context": {
"user_id": "string",
"preferences": {},
"history": []
},
"current_task": {
"task_id": "string",
"task_type": "string",
"status": "pending|processing|completed|failed",
"assigned_agent": "string"
},
"shared_memory": {
"facts": [],
"conclusions": [],
"pending_questions": []
}
}
통신 프로토콜 표준
{
"protocol_version": "1.0",
"message_type": "request|response|notification|error",
"sender": "agent_identifier",
"receiver": "agent_identifier|broadcast",
"timestamp": "ISO_8601_format",
"correlation_id": "request_tracking_id",
"payload": {},
"security": {
"authentication_token": "string",
"encryption_method": "string"
}
}
오류 처리와 복구 전략
멀티 에이전트 시스템에서는 robust한 오류 처리가 중요합니다.
오류 메시지 표준화
{
"error": {
"code": "AGENT_UNAVAILABLE",
"message": "기술 지원 에이전트가 일시적으로 사용할 수 없습니다",
"severity": "warning|error|critical",
"recovery_suggestions": [
"다른 에이전트로 라우팅",
"사용자에게 대기 요청",
"오프라인 모드로 전환"
],
"retry_after": 30
}
}
장애 복구 시나리오
에이전트가 실패했을 때 슈퍼바이저는 다른 에이전트에게 작업을 재할당하거나 사용자에게 적절한 안내를 제공해야 합니다.
성능 최적화 전략
멀티 에이전트 시스템의 성능을 최적화하기 위한 다양한 전략이 있습니다.
병렬 처리
독립적인 작업들은 여러 에이전트가 동시에 처리할 수 있습니다.
{
"parallel_tasks": [
{
"agent": "validator",
"task": "validate_input"
},
{
"agent": "analyzer",
"task": "analyze_sentiment"
},
{
"agent": "enricher",
"task": "enrich_context"
}
],
"aggregation_strategy": "wait_for_all|first_complete|majority_consensus"
}
캐싱과 메모이제이션
자주 사용되는 결과는 캐시에 저장하여 재사용할 수 있습니다.
{
"cache_key": "user_preferences_12345",
"cached_data": {
"preferences": {},
"last_updated": "2025-09-10T09:00:00Z",
"ttl": 3600
}
}
실제 구현 고려사항
멀티 에이전트 시스템을 실제로 구현할 때 고려해야 할 사항들이 있습니다.
확장성과 모듈성
새로운 에이전트를 쉽게 추가할 수 있도록 시스템을 설계해야 합니다. JSON 스키마와 프롬프트 템플릿을 표준화하면 새로운 에이전트 통합이 용이해집니다.
보안과 인증
에이전트 간 통신에서 보안을 고려해야 합니다. 민감한 정보는 암호화하고, 각 에이전트의 접근 권한을 적절히 제한해야 합니다.
모니터링과 로깅
시스템의 전체적인 상태를 모니터링하고 문제 발생 시 빠르게 대응할 수 있도록 로깅 시스템을 구축해야 합니다.
미래 발전 방향
멀티 에이전트 시스템은 계속 발전하고 있습니다. 앞으로는 더욱 지능적인 에이전트 협상, 자율적인 학습 능력, 그리고 복잡한 계층 구조를 가진 시스템들이 등장할 것으로 예상됩니다.
JSON과 프롬프트 엔지니어링은 이러한 발전의 기초가 되는 핵심 기술입니다. 표준화된 통신 방식과 유연한 프롬프트 설계를 통해 더욱 효율적이고 강력한 AI 시스템을 구축할 수 있을 것입니다.
이번 글을 통해 슈퍼바이저 기반 멀티 에이전트 시스템에서의 JSON 활용과 프롬프트 전략에 대해 이해하셨기를 바랍니다. 이러한 기술들은 단순해 보이지만 복잡한 AI 시스템의 핵심 구성 요소로서 매우 중요한 역할을 하고 있습니다.