번역 노트: 아래 내용은 arXiv 2602.12953v1의 Appendix D.3 및 Table 3(자체 설계 척도)를 한국어로 번역한 것입니다.
우리 AI 시스템의 고유한 역량을 평가하기 위해, 우리는 System Feature Scale(Table 3)을 커스터마이즈했다. 이 척도는 인간 역량(What do humans have?), 인간 개입 타이밍(When to call Human Tool?), 인간-LLM 커뮤니케이션 전략 및 행동(How to communicate with Human Tool?), 그리고 커뮤니케이션 가이드라인을 포괄하며, 총 23개의 평가 항목으로 구성된다.
| 항목(Item) | 문장(Statement) |
|---|---|
| 인간이 가진 것은 무엇인가? (What do humans have?) | |
| 1 | AI 시스템은 상호작용 중 나의 능력(예: 인지적 판단, 창의성, 외부 환경과 상호작용하는 능력—예: 결정이나 추가 정보를 요청하는 것)을 활용한다. |
| 2 | AI 시스템은 내가 보유한 정보를 인식하고 활용하며, 나의 개인적 선호를 기억하고 고려한다. |
| 3 | AI 시스템은 자신의 책임 범위를 명확히 이해하고, 필요할 때 적절하게 허가/권한(permission)을 요청한다. |
| Human Tool을 언제 호출할 것인가? (When to Call Human Tool?) | |
| 4 | AI는 언제 나의 도움이 필요한지 알고 있다. |
| 5 | AI는 언제 나의 지식이나 의견이 필요한지를 식별할 수 있다. |
| 6 | AI는 언제 내가 어떤 결정에 대해 책임을 져야 하는지 명확히 한다. |
| Human Tool과 어떻게 소통할 것인가? (How to Communicate with Human Tool?) | |
| 7 | AI의 배경 소개는 내가 빠르게 맥락에 들어가도록 돕는다(Prime). |
| 8 | AI는 내가 선호를 입력하기 쉽게 만든다(Configure). |
| 9 | AI의 탐색적 질문은 내가 문제를 더 잘 이해하도록 돕는다(Probe). |
| 10 | AI는 적시에 관련 있는 프롬프트를 제공한다(Cue). |
| 11 | AI의 질문 방식은 내 사고를 자극한다(Elicit). |
| 12 | AI가 제공하는 정보는 내 의사결정 능력을 향상시킨다(Augment). |
| 13 | AI의 가이드는 내가 이해하고 따라가기 쉽다(Guide). |
| 14 | AI의 설명은 명확하고 이해하기 쉽다(Explain). |
| 15 | AI는 나의 응답을 명확히 하거나 수정했다(Correct). |
| 16 | AI는 나의 진술을 도전하거나 토론했다(Critique). |
| 17 | AI는 내 아이디어를 바탕으로 제안을 개선했다(Reflect). |
| 18 | AI는 나의 승인을 요청했다(Approve). |
| 커뮤니케이션 가이드라인 (Communication Guidelines) | |
| 19 | AI의 응답은 자연스럽고 유창하다. |
| 20 | AI는 적절한 정서적 가치(emotional value)를 제공할 수 있다. |
| 21 | 나와 AI 사이에 좋은 협업 관계가 형성되었다. |
| 22 | 나와 AI 사이의 협업 과정은 투명하다. |
| 23 | AI는 반복적인 정보와 과장을 피한다. |