번역 노트: 아래 내용은 arXiv 2602.12953v1의 Appendix G(Baseline System)를 한국어로 번역한 것입니다.
참가자들은 채팅 인터페이스를 통해, 전통적인 도구-증강(tool-augmented) LLM 에이전트와 직접 상호작용했다. 전형적인 LLM 애플리케이션과 같이, 매 턴마다 모델 메시지가 참가자에게 반환되었고, 모든 명확화와 반복(iteration)은 이 인간–LLM 대화로 수행되었다. 백엔드 모델(GPT-4o), 디코딩 파라미터(temperature 포함), 인터페이스 레이아웃, 메모리/컨텍스트 처리, 도구 라우터(tool router), 오류/타임아웃 정책, 턴/시간 제한, 로깅은 Human Tool 조건과 동일했다. 유일하게 조작된 요인은 인간을 호출 가능한 자원(callable resources)으로 호출할 수 있는지 여부였다.
도메인 도구는 과제에 맞추어 일치했다: 여행 계획에는 Travel Planning Tool이 활성화되었고, 스토리 작성에는 Outline Generation Tool이 활성화되었다. 인간 호출 메커니즘을 비활성화하는 것 외에는, 추가 도구를 더하거나 제거하지 않았다.
중요하게도, 기준선에서는 “도구로서의 인간 호출(calling a human as a tool)”이 가능하지 않았다. Human Tool 프레임워크 구성요소(“How to Define Human Tool”, “When to Call Human Tool”, “How to Communicate with Human Tool”)는 시스템 프롬프트와 도구 스택에서 제거되었다. 하위 과제를 인간에게 디스패치(dispatch)하거나, 턴 중간에 인간 응답을 기다리는(wait for a human reply) UI 수단(affordances)이나 백엔드 라우트(routes)는 존재하지 않았다. 만약 모델이 텍스트로 그러한 요청을 시도하더라도, 그것은 텍스트로 나타나는 것 외에는 아무 효과도 갖지 않았다.
불확실성 하에서의 동작은 표준 LLM 관행을 따랐다: 에이전트는 참가자에게 명확화 질문을 하거나, 보수적 가정을 명시적으로 라벨링한 뒤 진행했다. 외부 인간 전문가, 리뷰어, 협업자(예: “ask a human editor/guide/evaluator”)에게 의견을 구하거나 의존하지 않았다.
그 외 모든 것은 조건 간 동일했다: GPT-4o 버전과 파라미터, 인터페이스 요소, 메모리 메커니즘, 도구 권한과 재시도 로직, 평가/로깅 절차. 요약하면, 기준선은 도메인 도구가 포함된 정상적인 인간–LLM 채팅이며, 별도 인간 자원으로 하위 과제를 라우팅하는 능력만 제외한다.