번역 노트: 아래 내용은 arXiv 2602.12953v1의 Section 4(Experiments)를 한국어로 번역한 것입니다. 측정 도구/설계 요소/수치의 의미가 변하지 않도록 원문 표현을 최대한 유지했습니다.
이 절은 과제, 참가자, 절차, 측정치(measures)를 포함한 연구 설계를 설명한다. 우리는 Human Tool이 협업 성과를 개선하고 작업부담을 줄이는지(RQ1), 과제 유형 전반으로 일반화되는지(RQ2), 그리고 사용자 참여 및 협업적 인간-AI 상호작용을 향상시키는지(RQ3)를 조사한다.
우리는 Human Tool을 AI Tool 기준선과 비교하는 통제된 사용자 실험을 수행했다. 두 조건은 동일한 백엔드 모델(GPT-4o, 동일한 디코딩 설정), 인터페이스, 메모리 및 컨텍스트 처리, 도구 라우팅 정책, 로깅, 과제에 맞춘 도메인 도구, 그리고 동일한 시간/턴 예산을 사용했다. 유일한 조작(manipulation)은 시스템이 “human-as-a-tool(도구로서의 인간)”을 호출할 수 있는지 여부였다(Human Tool에서는 활성화, AI Tool에서는 비활성화). 기준선은 현재 에이전트 시스템에서 흔히 채택되는 “LLM과의 채팅 + 고정된 도메인 도구” 패러다임을 반영한다. 모든 절차는 독립된 IRB 승인을 받았으며, 연구는 VooV Meeting을 통해 온라인으로 진행되었다.
우리는 33명의 참가자를 모집했고, 시스템 오류로 1명을 제외하여 최종 표본은 32명이었다. 참가자 연령은 21–35세였으며(M=25.24, SD=3.38), 참가자들은 하나의 과제 도메인(Travel Planning 또는 Story Writing)에 배정되었고 도메인별 16명씩이었다. 인구통계와 LLM 사용 경험은 도메인 간 균형을 맞추었으며, 자세한 내용은 부록(Table 2)에 보고한다. 참가자들은 150 CNY(약 21 USD)의 사례비를 받았다.
우리는 피험자 내(within-subject), 카운터밸런스(counterbalanced) 설계를 사용했다. 각 도메인에서 모든 참가자는 조건당 하나씩, 총 두 개의 유사한 과제 인스턴스를 수행했으며, 조건 순서(AB/BA)와 과제 인스턴스-조건 매핑은 순서/내용 효과를 완화하기 위해 완전히 카운터밸런스되었다. 연구 하루 전, 참가자들은 짧은 튜토리얼(동일한 프론트엔드, 다른 백엔드의 트라이얼 시스템)을 수행했고, Human Tool 구성 설문(부록 D.2)을 작성했다. 연구 당일에는 각 실행(run)이 고정된 시간 및 턴 제한 하에 15분간 진행되었고, 이후 과제별 설문과 짧은 반구조화 인터뷰가 이어졌다. 두 조건을 모두 완료한 뒤 참가자들은 최종 비교 인터뷰를 수행했으며, 전체 세션 시간은 약 1.5시간이었다.
과제(Tasks). 우리는 Vaccaro et al.(2024)에서 논의된 서로 다른 협업 모드를 대표하는 두 과제 유형을 평가했다.
(1) Travel Planning은 TravelPlanner 시스템 및 데이터셋(Xie et al., 2024)을 기반으로 한 제약된 의사결정 과제이다. 참가자들은 예산과 데이터셋 기반 제약(예: 유효한 항공편 번호, 숙박 규칙, 식사 중복 금지 등) 하에서 다일(itinerary)을 공동으로 구성했으며, 라스베이거스→산타마리아 여행이나 이타카→뉴어크 여행을 선호 제약과 함께 계획하는 등의 시나리오 프롬프트를 사용했다. 이 과제에서 에이전트는 참가자를 Human Tool로 취급하며, 일정 구성 중 의사결정에 중요한 노드에서 MCP 스타일 호출을 발행한다. 구체적으로 Human Tool 호출은 선호 명확화, 책임 할당(예: 비용과 편안함 사이의 트레이드오프), 그리고 여러 유효한 분기가 존재할 때 제약 해소를 위해 트리거된다.
(2) Story Writing은 내러티브 프롬프트 디자인(Lee et al., 2022)을 기반으로 한 개방형 창의 과제이다. 참가자들은 시나리오 전제(예: 종말 이후 세계에서 재발견된 마법, 또는 세대 갈등을 초래하는 항노화 약물 등)로부터 완전한 스토리 아웃라인을 만들기 위해 시스템과 협업했으며, 내용적 품질(캐릭터 깊이, 진정성, 주제의 명확성)과 구조적 품질(인과적 응집, 점진적 긴장, 전환점, 다차원적 갈등)을 모두 강조했다.
Story Writing에서 Human Tool은 에이전트에 의해 창작 과정 전반에서 적극적으로 오케스트레이션되는, 비결정적(non-deterministic) MCP 스타일 자원으로 기능한다. 에이전트는 내러티브 구조와 진행에 대한 end-to-end 제어를 유지하면서, 창의적 발상, 비평, 미적 판단을 끌어내기 위해 Human Tool 호출을 반복적으로 발행한다. 이러한 호출은 상위 수준 계획 단계(예: 콘셉트 선택, 플롯 구조화)와 콘텐츠 생성/정제 단계 모두에서 발생하며, 인간 산출물은 이후 내러티브 계획과 제어를 유도하는 도구 응답(tool responses)으로 통합된다.
전체 과제 자료는 부록(Table 1)에 제시되어 있다.
정량적 측정치(Quantitative measures). 각 실행 이후 참가자들은 사용성과 경험을 포괄하는 표준화된 설문을 완료했다. 여기에는 SUS(Lewis, 2018), USE-SF(O’Brien et al., 2018), Rating Scale Mental Effort(Zijlstra and Van Doorn, 1985), RCS(Burgoon et al., 1987), ASCC(Mavri et al., 2020), 그리고 시스템 특화 기능을 겨냥한 커스텀 스케일(부록 D.3)이 포함된다. 스토리 작성에서는 추가로 CSI(Cherry and Latulipe, 2014)를 수집했다.
자기보고(self-reports) 외에도 우리는 결과(outcome) 기반 지표를 수집했다. Travel Planning의 경우 스크립트가 데이터셋(Xie et al., 2024)에 대해 제약 준수 여부를 평가했다(제약별 통과율과 전체 통과). Story Writing의 경우 20명의 독립 평가자로부터 쌍대(pairwise) 선호를 수집하고, 헤드투헤드(head-to-head) 승률을 도출했다. 또한 우리는 인간 도구 호출(human-tool invocations)을 로깅하여, 인간 입력이 언제(when), 왜(why), 그리고 어떻게(how) 요청되고 통합되는지를 정량화했다.
정성적 측정치(Qualitative measures). 우리는 각 조건 이후 짧은 반구조화 인터뷰와, 두 조건 완료 후 최종 비교 인터뷰(부록 D.4)를 수행했다. 인터뷰는 녹음되었고, 전사(ASR 이후 수동 교정)되었으며, 신뢰도를 뒷받침하기 위해 back-to-back 코딩을 포함하는 반성적 주제 분석(reflexive thematic analysis; Braun and Clarke, 2006)으로 분석되었다.