번역 노트: 아래 내용은 arXiv 2602.12953v1의 Section 5(Results)를 한국어로 번역한 것입니다. 수치/통계/척도 방향(예: 낮을수록 좋음)을 변경하지 않고, 문장 의미를 최대한 보존했습니다.
¶ 원문
¶ 5 Results
우리의 발견은 Human Tool Group이 AI와 관련된 세 가지 측면에서 인간–AI 협업을 개선함을 보여준다: (1) 과제 성과와 효율(RQ1, 5.1절), (2) 의사결정을 지원하는 적응적 인간 입력 유도(RQ2, 5.2절), (3) 협업에서의 조정 부담 감소와 더 나은 시간 조절(RQ3, 5.3절). 우리는 유의미한 결과만 보고하며, 성과·시간·작업부담 관점의 지표를 우선한다. 또한 간단한 정성적 증거를 함께 제시한다.
¶ 5.1 표적화된 할당과 스캐폴딩을 통한 과제 성과 개선 및 작업부담 감소 (RQ1)
우리는 객관적 과제 성과와 주관적 인지 부하를 인터뷰와 함께 사용하여 Human Tool 프레임워크를 평가했다. 그림 4는 Travel Planning(TP)과 Story Writing(SW)에 대한 결과를 요약한다.
그림 4: 과제별(Travel Planning vs. Story Writing) 정확도와 정신적 노력(mental effort) 비교. Human Tool Group(파란색)과 AI Tool Group(주황색).
Figure 4: Comparison of Accuracy and Mental Effort Across Tasks (Travel Planning vs. Story Writing) Between Human Tool Group (blue) and AI Tool Group (orange)
과제 정확도 및 품질. Human Tool Group은 두 과제 모두에서 AI Tool Group보다 우수했다. TP에서 정확도(정답률, percent correct)는 Human Tool Group(M=86.72, SD=18.52)이 AI Tool Group(M=72.66, SD=12.26)보다 높았으며, 19.34%의 향상이었다(대응표본 t=3.58, p=.003 << .01). SW(LLM 자동 채점)에서도 Human Tool Group이 AI Tool Group을 상회했다(M=68.38, SD=5.11 vs. M=58.56, SD=11.05). 이는 14.35%의 개선(t=3.22, p=.006 << .01)이었다. 인간 평가 또한 이 우위를 뒷받침했다. SW 승률(win-rate)은 Human Tool Group(M=0.611, SD=0.194)이 AI Tool Group(M=0.371, SD=0.211)보다 높았고(t=3.538, p=.003 << .01), 참가자들은 이러한 향상을 더 명확한 분해(decomposition)와 단계적 스캐폴딩(stepwise scaffolding) 덕분으로 돌렸다(TP-9: “the step-by-step guidance made me more confident in the final plans.”).
협업 지원. 과제 결과 개선과 일관되게, 전체 CSI는 Human Tool(M=75.48, SD=10.22)이 AI Tool(M=52.83, SD=15.58)보다 높았다(t=6.92, p=4.90×10^-6 << .001). 상세는 부록 B의 그림 8을 참조하라.
그림 8: CSI(Creativity Support Index) 비교. Human Tool Group(파란색)과 AI Tool Group(주황색).
Figure 8: Comparison of CSI (Creativity Support Index) Between Human Tool Group (blue) and AI Tool Group (orange)
인지 부하 및 노력(효율의 대리 지표). Human Tool Group은 SW에서 정신적 노력(mental effort)을 감소시켰다: M=70.625(SD=31.07) vs. M=87.875(SD=27.14). 이는 19.63% 감소이며(t=-2.73, p=.016 << .05), TP에서도 같은 방향이었으나 유의미 수준에는 도달하지 않았다(t=-1.88, p=.080, n.s.). 인터뷰에 따르면 기준선은 더 큰 “관리 부담(management burden)”을 부과했으며(TP-11), 사용자는 반복적인 프롬프트 작성과 확인이 필요했다고 묘사했다. 반면 Human Tool Group은 “did the dirty work”(TP-2)로 표현되며, 노력이 조정(coordination)에서 실질적 의사결정으로 이동했다(SW-2: “less time managing… focus on higher-value reasoning.”).
요약하면, 계획 및 창의 과제 전반에서 Human Tool Group은 객관적 성과를 개선하면서 인지적 노력을 감소시켰다. 이는 조정을 오프로딩(offload)하고 고부가가치 인간 입력을 끌어올리는 표적화된 할당과 스캐폴딩과 일치한다.
¶ 5.2 적절한 what/when 호출을 통한 과제 유형 적응성과 높은 사용성 (RQ2)
우리는 활성화 로그와 과제 후 평정(post-task ratings)을 사용해, 어떤(what) 인간 입력이 요청되었는지, 언제(when) 요청되었는지, 그리고 시스템이 어떻게(how) 소통했는지에 대한 과제 유형 적응성을 분석했다(그림 9, 그림 10; 항목은 Table 2에 따라 그룹 차원으로 집계됨). 전반적 사용성(SUS)은 Human Tool Group이 더 높았다: TP M=70.89(SD=10.96) vs. 58.22(SD=18.98), t=2.81, p=.014; SW M=79.79(SD=7.93) vs. 60.21(SD=15.95), t=5.20, p=1.08×10^-4.
그림 9: 여행 계획 시나리오에서 카테고리별 Human Tool 활성화 횟수. 네 가지 카테고리(Why Need Human / When Need Human / Communication Principles / Interaction Behaviors)별 하위 차원의 활성화 빈도를 요약한다.
Figure 9: Human tool activation counts by category in the travel planning scenario. The figure summarizes activation frequency across four categories: (1) Why Need Human (top left), (2) When Need Human (top right), (3) Communication Principles (bottom left), and (4) Interaction Behaviors (bottom right). Horizontal bars represent activation counts for each sub-dimension.
그림 10: 시스템 행동 품질에 대한 사용자 인식(과제 간). TP와 SW에서 Human Tool Group과 AI Tool Group을 박스플롯으로 비교한다. “#”은 그림 2의 분류 체계에 따라 간결함을 위해 집계된 합성(composite) 차원을 의미한다.
Figure 10: User‑Perceived Quality of System Behaviors (Cross‑Task). Boxplots compare Human Tool Group and AI Tool Group in TP and SW. “#” denotes a grouped (composite) dimension aggregated for brevity according to the taxonomy introduced in Fig.2.
무엇을 요청할 것인가(의사결정 관련 인간 입력). AI Tool Group에 비해 Human Tool Group은 사용자 선호 및 책임 경계를 더 강하게 유도하고 재사용했다. 개인 정보/선호 사용(using personal information/preferences)은 M=5.56 vs. 3.63(t=3.91, p=.0014), 책임/권한 명확화(clarifying responsibility/permissions)는 M=5.69 vs. 3.69(t=4.30, p=6.40×10^-4). TP에서는 사용자 지식/선호 활용(leveraging user knowledge/preferences) 또한 더 높았다(M=6.13 vs. 3.31, t=7.03, p=4.09×10^-6).
언제 요청할 것인가(핵심 의사결정 지점에서의 타이밍). 로그는 호출이 저부가 확인(low-value confirmations)이 아니라, 의사결정에 중요한 순간(예: 선호 명확화 및 선택 지점)에 집중됨을 보여준다. 자기보고도 이 패턴과 일치했다: TP에서 Seek Help(M=5.25 vs. 3.25, t=5.31, p=8.68×10^-5)와 Identify Knowledge(M=5.93 vs. 3.80, t=4.67, p=3.00×10^-4)가 더 높았다. SW에서도 같은 향상이 나타났다(Seek Help: p=4.25×10^-4; Identify Knowledge: p=7.21×10^-4). 또한 Request Authorization은 더 높았다(M=5.63 vs. 4.25, t=3.15, p=.0066). 참가자들은 이를 선택지가 제시된 뒤 “적절한 타이밍에 묻는 것”으로 요약했다(TP-2).
어떻게 소통할 것인가(스캐폴딩 신호). 적응적 프롬프팅은 과제 진행에 직접 기여하는 핵심 스캐폴딩 행동을 증폭시켰다. TP에서 Guide(p=8.97×10^-4), Elicit(p=2.62×10^-4), Decision Augment(p=6.47×10^-4)가 더 높았고, SW에서는 Cue(p=1.03×10^-5), Guide(p=3.88×10^-5), Probe(p=3.42×10^-4)가 증가했다. 사용자는 이로 인한 단계적 명확성을 강조했다: “Almost no moments of confusion; it walked me through in order.”(TP-8).
¶ 5.3 조정 부담 감소 및 협업에서의 시간 조절 개선 (RQ3)
우리는 TP와 SW에서 참여(engagement) 및 협업 결과를 통해 RQ3를 평가했다(그림 11, 그림 12, 그림 13). 효율/시간 및 협업 품질과 가장 관련 있는 측정을 보고하며, 유의미한 효과를 유지한다.
그림 11: 과제별 USE(User Experience) 하위 척도 비교. Human Tool Group vs. AI Tool Group.
Figure 11: Comparison of USE (User Experience) Subscale Ratings Across Tasks: Human Tool Group vs. AI Tool Group
효율과 시간 관련 경험. Perceived Usability(PU-S; 낮을수록 좋음)에서 참가자들은 TP(composite: M=1.96 vs. 2.81, t=-3.40, p=.0039)와 SW(composite: M=1.42 vs. 3.15, t=-6.23, p=1.61×10^-5) 모두에서 Human Tool Group의 상호작용 부담이 더 낮다고 보고했다. 시간 지각(time perception) 측면에서는, SW에서 FA-S.2(“time flew by”) 몰입이 더 높았다(M=4.69 vs. 3.88, SD=0.60/1.15, t=3.57, p=.0028). 페이싱/조정 개선과 일관되게, Time Regulation and Achievement(ASCC-TRA)는 SW에서 증가했다(M=5.09 vs. 4.16, SD=1.34/1.21, t=5.1551, p=1.17×10^-4).
그림 12: 과제별 협업 관련 평정 비교. Human Tool Group vs. AI Tool Group.
Figure 12: Comparison of Collaboration-Related Ratings Across Tasks: Human Tool Group vs. AI Tool Group
그림 13: 과제별 협업 차원 비교. Human Tool Group vs. AI Tool Group.
Figure 13: Comparison of Collaboration Dimensions Across Tasks: Human Tool Group vs. AI Tool Group
협업 동학. RCS에서 Human Tool Group은 TP에서 더 상호적(recprocal) 조정을 지원했다. 예컨대 더 강한 경청(listening)(M=6.27 vs. 5.07, SD=0.70/1.49, t=3.15, p=.0070)과, 냉담함(coldness)(M=2.20 vs. 3.73, SD=0.77/1.91, t=-3.44, p=.0040) 및 거리감(distance)(M=2.40 vs. 3.87, SD=1.06/1.77, t=-3.29, p=.0054)의 감소가 나타났다. SW에서도 참가자들은 더 파트너 같은 상호작용을 보고했는데, deepening moves는 더 높았고(M=5.44 vs. 3.06, SD=1.21/1.57, t=5.44, p=6.84×10^-5), 형식성(formality)은 더 낮았다(M=2.06 vs. 3.19, SD=1.18/1.60, t=-3.20, p=.0060). ASCC에서 Synergistic Social Collaboration(SSC)은 TP(M=5.36 vs. 4.46, SD=0.80/1.25, t=2.66, p=.0177)와 SW(M=5.71 vs. 4.09, SD=0.83/1.29, t=4.8037, p=2.32×10^-4) 모두에서 더 높았다.
정성적으로 참가자들은 Human Tool Group이 조정 오버헤드를 줄이면서 더 깊은 공동 탐색을 가능하게 했다고 설명했다: “Human Tool Group felt like a partner; we exchanged opinions and sparked ideas… explore the task more deeply”(TP-6), “It truly interacted with me as a friend”(SW-2).