번역 노트: 아래 내용은 arXiv 2602.12953v1의 Section 3(Human Tool Framework)을 한국어로 번역한 것입니다. 정의/조건/가이드라인의 의미가 바뀌지 않도록 가능한 한 원문에 가깝게 옮겼습니다.
¶ 원문
¶ 3 Human Tool Framework
그림 2: AI가 관리하는 워크플로 내에서 Human Tool을 표현하기 위한 통합 프레임워크. (1) Human Tool을 어떻게 정의할지, (2) 언제 호출할지, (3) 효과적으로 어떻게 소통할지를 포함하는 세 차원을 조직한다.
Figure 2: An integrated framework for representing Human Tool within AI-managed workflows. It organizes three dimensions: How to define Human Tool, when to call them, and how to communicate effectively.
우리는 Human Tool을 MCP 스타일의 추상화로서 작동 가능하게 만든다. 이 추상화는 AI가 주도하는 워크플로 안에서, 인간의 기여를 AI 에이전트가 호출 가능한 도구(callable tools)로 노출한다. 인간을 포괄적 평가자나 조정자로 위치시키는 대신, 이 프레임워크는 인간 입력이 비교 우위를 제공하는 경우에 에이전트가 표적화된 인간 입력을 호출할 수 있게 한다. 프레임워크는 도구 기반 오케스트레이션과 정렬되는 세 가지 핵심 질문으로 구성된다: (1) 역량(capabilities), 정보(information), 권한(authority)의 구조화된 스키마를 통해 Human Tool을 어떻게 정의할 것인가, (2) 동적 할당과 안전장치를 통해 언제 호출할 것인가, (3) 조정 오버헤드를 최소화하는 구조화된 상호작용 행동을 통해 어떻게 소통할 것인가. 이 구성요소들은 그림 2에 정식화되어 있으며, 아래 절에서 자세히 설명한다.
¶ 3.1 Human Tool을 어떻게 정의할 것인가?
이 절은 Human Tool의 정의와 LLM이 이를 표현하고 호출하는 방식을 정의한다.
정의. Human Tool은 신뢰할 수 있고 효율적인 인간-AI 협업을 가능하게 하는 인간 기여자를 표현하는, 구조화되고 호출 가능한 추상화이다. 이는 LLM이 인간을 언제/어떻게 참여시킬지 결정할 수 있도록, 인간을 다음 세 차원으로 모델링한다: 역량(Capabilities), 정보(Information), 권한(Authority).
- 역량(Capabilities)은 AI가 여전히 어려워하는 인간 기여의 형태(인지적 판단, 창의성, 외부 세계와의 상호작용 등)를 포착한다(Vaccaro et al., 2024; Kahneman, 2011).
- 정보(Information)는 인간이 보유한 지식 자원을 나타내며, 여기에는 도메인 전문성, 사적(private) 또는 상황적(situational) 정보, 그리고 허용 가능한 해를 형성하는 선호/제약이 포함된다(Tambe, 2025; Farber, 2025).
- 권한(Authority)은 의사결정 경계와 권한(permissions)을 규정하며, 어떤 결정이 인간 승인(human approval)을 필요로 하는지, 그리고 책임성과 신뢰할 수 있는 협업을 위해 어떤 정보가 AI와 공유될 수 있는지를 정의한다(Siebert et al., 2021).
이 세 차원은 함께, 인간 기여를 LLM이 추론하고 호출할 수 있는 형태로 표준화한다.
LLM 해석. Human Tool은 인컨텍스트 프롬프트(in-context prompts)를 통해 LLM에 제공되는 구조화된 사용자 프로필로 구체화된다. 우리 시스템에서는 참가자들이 사전 설문(부록 D.2)을 통해 이 차원들을 자기평가했으며, 그 결과 프로필이 호출을 위해 저장된다. 프롬프트 형식은 부록 A(그림 5)에 제시되어 있다.
¶ 3.2 Human Tool을 언제 호출할 것인가?
이 절은 과제 분해 과정에서 인간 참여가 필요한 의사결정 지점을 식별한다.
과제 분해. 계층적 과제 분석(hierarchical task analysis; Stanton, 2006)에 따라, 복잡한 과제는 실행 가능한 하위 과제들로 재귀적으로 분해되며, 리프 노드(leaf nodes)에 도달할 때까지 반복된다. 이를 통해 시스템은 각 수준에서의 할당 결정(allocation decisions)을 추론할 수 있다(Vaccaro et al., 2024).
할당 결정. 각 과제 노드마다 시스템은 상대적 강점에 근거하여 AI가 수행할지 인간이 수행할지를 결정하며, 상호작용 분류(taxonomies; Shneiderman, 2020)를 참조한다. 인간 참여는 다음 세 조건 중 하나 이상에서 호출된다.
- 역량 보완(capability complementarity; Capabilities): 새로운 추론, 창의성, 복잡한 판단, 또는 외부 세계와의 물리적 상호작용이 필요한 과제(Bansal et al., 2021).
- 정보 교환(information exchange; Information): AI가 접근할 수 없는 도메인 전문성, 사적 제약, 개인 선호와 관련된 과제(Lubars and Tan, 2019; Ashktorab et al., 2021).
- 권한 통제(authority control; Authority): 안전, 프라이버시, 윤리적 고려로 인해 명시적 인간 책임 또는 승인(authorisation)이 필요한 결정(Amershi et al., 2019).
이 조건들이 충족되면 시스템은 인간 입력을 호출한다. 해당 프롬프트 형식은 부록 A(그림 6)에 제시되어 있다.
¶ 3.3 Human Tool과 어떻게 소통할 것인가?
과제 분해를 바탕으로, 우리는 오케스트레이션 과정에서 AI가 인간과 어떻게 소통하는지를 다룬다. 인간은 비결정적이고 지연이 가변적이며, 거절·협상·인지적 한계를 가질 수 있기 때문에(Feng et al., 2025), AI 주도 협업은 표적화된 입력을 이끌어내고 이를 재통합하되, 포괄적 평가 책임을 사용자에게 다시 전가하지 않는 구조화된 커뮤니케이션이 필요하다(Wickramasinghe et al., 2020). 우리는 이를 두 차원으로 작동화한다: 무엇을 소통할 것인가(상호작용 행동; Interaction Behaviors)와 어떻게 소통할 것인가(커뮤니케이션 가이드라인; Communication Guidelines). 관련 프롬프트는 부록 A(그림 7)에 제시되어 있다.
상호작용 행동. 시간적 상호작용 가이드라인(Amershi et al., 2019)과 에이전트 커뮤니케이션 프리미티브(FIPA, 2002)를 바탕으로, AI-인간 상호작용을 인간 입력이 필요한 이유와 시점에 맞추어 4단계로 구조화한다.
- Initial: 맥락, 목표, 협업 경계를 설정한다.
- During: 탐색(probing), 단서 제공(cueing), 가이드(guidance), 비평(critique)을 통해 선호, 제약, 판단, 또는 창의적 입력을 이끌어낸다.
- Error handling: 오해를 설명하고, 오류를 수정하며, 공유 상태(shared state)를 복구한다.
- Ending: 결과를 확인하고 루프를 닫는다.
커뮤니케이션 가이드라인. AI 주도 환경을 위한 대화 설계 원칙(Silva and Canedo, 2024)을 적용하여, 참여를 유지하면서 사용자 부담을 최소화하기 위한 다섯 가지 경량 가이드라인을 채택한다.
- Naturalness: 최소한의 프롬프트 노력으로 대화 흐름을 유지한다.
- Emotionality: 조정된 격려와 피드백을 제공한다(Bilquise et al., 2022).
- Relationship building: 파트너 같은 협업 톤을 조성한다.
- Transparency: 역량, 한계, 의사결정 경계를 명확히 소통한다(Liu et al., 2022).
- Avoidance: 반복과 과장을 최소화해 피로를 줄인다.
¶ 3.4 Human Tool을 MCP 스타일 인터페이스로 구현하기
우리는 Human Tool 프레임워크를 MCP 스타일의 호출 가능한 인터페이스로 구현한다. 이때 인간 기여는 워크플로 리더가 아니라, 표준화되고 호출 가능한(invocable) 자원으로서 에이전트에 노출된다. 이 추상화에서 각 인간은 명시적인 입력-출력 경계, 호출 조건, 상호작용 프로토콜을 갖는 하나의 도구로 모델링되며, 에이전트는 다른 도구들을 오케스트레이션하는 방식과 동일한 방식으로 인간 참여를 오케스트레이션할 수 있다.
시스템은 그래프 기반 오케스트레이션을 지원하기 위해 LangGraph를 사용하는 Python 백엔드로 구현되며, 추론 코어로는 GPT-4o를 사용한다. 사용자 프로필과 상호작용 이력은 MySQL에 저장되고, React TypeScript 프론트엔드는 FastAPI를 통해 통신하여, 실시간 LLM 추론을 포함한 구조화된 오케스트레이션을 가능하게 한다.
그림 3: Human Tool 프레임워크의 MCP 스타일 오케스트레이션 아키텍처. 도구 스키마 정의, 호출 결정, 도구 호출-응답 통합을 보여준다.
Figure 3: MCP-style orchestration architecture of the Human Tool framework, illustrating tool schema definition, invocation decisions, and tool call-response integration.
그림 3에 나타난 바와 같이, 실행은 MCP 추상화에 직접 대응하는 세 단계로 진행된다. 첫째, “Human Tool을 어떻게 정의할 것인가?”는 역량, 정보 접근, 권한 경계를 인코딩하여 Human Tool의 인터페이스를 규정한다. 둘째, “Human Tool을 언제 호출할 것인가?”는 계층적 과제 분해 동안의 호출 지점을 결정하며, 이는 MCP 스타일 시스템에서의 도구 선택 로직과 유사하다. 호출 조건이 충족되면 워크플로는 “Human Tool과 어떻게 소통할 것인가?”로 들어가며, 에이전트는 가이드라인을 준수하는 프롬프트를 생성해 구조화된 “도구 호출(tool call)”을 수행하고, 인간 응답을 수신한 뒤 과제 상태를 업데이트한다.
이 설계를 통해, 인간 입력은 지속적 감독이 아니라 명시적 호출을 통해 통합된다. 이는 LLM이 Human Tool의 오케스트레이터이자 호출자로서 기능하면서도, 제어가능성(controllability)과 모듈성(modularity)을 유지하도록 한다.