번역 노트: 아래 내용은 arXiv 2602.12953v1의 Appendix D.2(자기평가 척도)를 한국어로 번역한 것입니다. 원문의 단일선택(single-choice) 문항 구조를 유지했습니다.
¶ D.2 Self-evaluation Scale for travel planning and creative writing task
서로 다른 사용자에 맞춘 구별되는 인간-AI 협업 프로필을 만들기 위해, 우리는 두 개의 자기평가 척도를 만들었다. 하나는 여행 계획을 위한 것이고, 다른 하나는 창의적 글쓰기를 위한 것이다. 제안한 Human Tool 프레임워크(3장)에 따라, 이 척도들은 8개의 단일선택 문항을 통해 세 가지 핵심 차원을 평가한다: 역량(Capabilities, 문항 1–3), 정보(Information, 문항 4–6), 권한(Authority, 문항 7–8).
여행 계획 시나리오에서 설문지는 사용자의 계획 스타일과 역량을 평가하도록 설계되었다. 역량(Capabilities) 차원은 일정 설계에서의 창의성, 비자·예약과 같은 로지스틱 처리 숙련도, 리서치 및 관리를 위한 디지털 도구 사용 능력 등 실용적 계획 기술을 측정한다. 정보(Information) 차원은 목적지 정책과 문화에 대한 지식, 독점적 정보 채널 접근, 개인 여행 선호와 예산의 명확성 등 사용자의 정보적 우위를 탐색한다. 마지막으로 권한(Authority) 차원은 AI 보조자에 대한 사용자의 의존도를 평가하며, 사용자가 스스로 결정을 내리기를 선호하는지, 혹은 계획 과제를 AI에 위임하는 데 익숙한지를 살핀다.
- 인지적 판단과 창의성: 여행 계획에서 당신의 직관과 창의성은 어떠하다고 설명할 수 있는가?
- 독창적인 일정을 창의적으로 설계할 수 있고, 다른 사람들이 놓치는 멋진 경험을 항상 발견하며, 직관의 정확도가 매우 높다.
- 흥미로운 여행 계획을 자주 떠올리며, 관광지의 가치에 대한 판단은 대체로 정확하다.
- 가끔 창의적 아이디어가 있으나, 관광지 품질 판단은 주로 기본 리뷰 확인에 의존한다.
- 기존 여행 가이드에 주로 의존하며, 독창적 아이디어는 드물고 판단은 평균적이다.
- 타인의 추천에 완전히 의존하며, 독립적 판단과 창의성이 부족하다.
- 전문 기술과 역량: 여행 계획에서의 전문 기술에 대해
- 비자, 보험, 예약 등 모든 측면에 능숙하며, 다양한 복잡한 상황을 처리할 수 있어 전문 여행사 에이전트에 필적한다.
- 대부분의 프로세스에 익숙하며 비교적 복잡한 계획 과제도 독립적으로 수행할 수 있다.
- 기본적인 여행 계획 기술을 습득했으며, 단순한 계획은 독립적으로 완수할 수 있다.
- 일부 기본 여행 작업만 알고 있으며, 복잡한 과제는 타인의 도움이 필요하다.
- 여행 계획 기술이 사실상 없으며, 모든 것을 타인이 준비해 주어야 한다.
- 외부 세계 상호작용: 여행 계획 중 외부 정보를 검색하는 능력은 어느 정도인가?
- 다양한 소셜 미디어, Excel 같은 소프트웨어 등을 유연하게 활용하여 빠르게 계획을 만들 수 있다.
- 소셜 미디어와 일부 디지털 도구를 사용하여 일정을 만들 수 있다.
- 일부 디지털 도구를 일정 작성에 보조적으로 사용할 수 있다.
- 외부 정보를 검색하는 능력이 비교적 제한적이다.
- 외부 도구를 사용하지 않으며, 완전히 타인에게 의존한다.
- 도메인 전문 지식: 여행 관련 지식을 얼마나 숙달했는가?
- 여러 나라의 정책, 문화 관습 등에 능숙하며, 다른 사람에게 컨설턴트로 활동할 수 있다.
- 자주 방문하는 지역에 대해 깊이 이해하고 있으며, 중요한 여행 유의사항을 알고 있다.
- 기본적인 여행 상식을 알고 있고, 여행 전 필요 시 정보를 찾아본다.
- 여행 지식 축적이 거의 없다.
- 여행 관련 지식 축적이 거의 없고, 완전히 즉석 검색에 의존한다.
- 사적 도메인 정보: 여행과 관련된 사적 도메인 정보를 얼마나 보유/활용하는가?
- 내부 소식, 독점 자원 등 타인이 모르는 많은 정보를 보유하고 있다.
- 특정한 독자적 정보 채널을 갖고 있으며, 타인이 접근하기 어려운 정보를 얻을 수 있다.
- 가끔 독자적 정보를 접할 수 있으나, 양과 가치는 제한적이다.
- 타인이 모르는 정보를 거의 갖고 있지 않다.
- 사적 도메인 지식이 거의 없으며, 보유 정보는 모두 공개적으로 उपलब्ध한 것이다.
- 선호 제약: 여행에 대한 당신의 선호는 어떠한가?
- 매우 명확한 선호, 가치, 행동 규범을 갖고 있으며, 뚜렷한 개인 원칙이 있다.
- 개인의 주요 선호와 중요한 제약을 비교적 명확히 이해하고 있다.
- 기본 선호에 대한 인식은 있으나, 일부 측면에서는 충분히 명확하지 않다.
- 개인 선호에 대한 이해가 제한적이며, 종종 불확실함을 느낀다.
- 선호와 제약이 매우 모호하며, 명확한 개인 기준이 부족하다.
- 책임 범위 정의: 인간-AI 협업 과정에서 의사결정 책임을 어떻게 나누는가?
- 크고 작은 모든 결정을 스스로 내리기를 선호하며, AI에 거의 의존하지 않는다.
- 무엇이 인간이 처리해야 하는지 알고 있으며, 일부 작업에 AI를 사용한다.
- 과제와 임무를 AI에 위임할 수 있다고 믿으며, 나 또한 협업한다.
- 대부분의 작업과 결정은 AI에게 맡길 수 있고, 나는 중요한 사안만 처리한다.
- AI가 내리는 모든 결정을 완전히 신뢰하고 의존할 수 있다.
- 사용자 승인(권한 부여) 가능 내용: AI 시스템에 개인 여행 관련 정보를 어느 정도까지 공유할 의향이 있는가?
- 가장 개인화된 서비스를 받기 위해, 상세 선호, 과거 기록, 실시간 위치 등까지 포함해 전면적 권한을 부여할 의향이 있다.
- 유용한 정보의 대부분은 공유하되, 일부 민감한 내용은 남겨두겠다.
- 기본적으로 필요한 최소 정보만 제공할 의향이 있으며, 확장 권한 부여에는 신중하다.
- 권한 부여 의향이 매우 낮으며, 절대적으로 필요할 때만 최소 정보만 제공한다.
- 어떤 개인 정보도 권한 부여하고 싶지 않으며, 개인화 서비스를 포기하는 편을 택하겠다.
창의적 글쓰기 시나리오에서 설문지는 사용자의 창의적 속성을 평가하는 데 초점을 둔다. 역량(Capabilities) 차원은 플롯 구상의 독창성, 서사 기법 숙련도, 외부 자원을 활용해 이야기를 풍부하게 만드는 능력 등 핵심 창의 기술을 살핀다. 정보(Information) 차원은 글쓰기 이론 이해, 사적 영감 라이브러리 축적, 개인 스타일과 선호의 명확성 등 지식 기반과 개인 자산을 탐구한다. 권한(Authority) 차원은 협업에서 사용자가 원하는 통제 수준을 다루며, 창작 과정을 스스로 지시하려는 성향과 AI에 결정을 위임하려는 의향을 측정한다.
- 인지적 판단과 창의성: 스토리 작성에서 당신의 직관과 창의성은 어떠하다고 설명할 수 있는가?
- 독창적인 플롯과 캐릭터를 창의적으로 구상할 수 있고, 다른 사람들이 놓치는 디테일을 항상 포착하며, 직관의 정확도가 매우 높다.
- 흥미로운 이야기 설정을 자주 떠올리며, 캐릭터와 플롯 가치에 대한 판단은 대체로 정확하다.
- 가끔 창의적 아이디어가 있으나, 품질 판단은 주로 기존 스토리 아키타입(archetypes)이나 리뷰에 의존한다.
- 확립된 공식(formulas)이나 참고 자료에 주로 의존하며, 독창적 아이디어는 드물고 판단은 평균적이다.
- 자료나 타인의 제안에 완전히 의존하며, 독립적 판단과 창의성이 부족하다.
- 전문 기술과 역량: 스토리 작성에서의 전문 기술에 대해
- 플롯 설계, 캐릭터 개발, 내러티브 구조 등 여러 측면에 능숙하며, 복잡한 창작 도전도 처리할 수 있어 전문 작가에 필적한다.
- 일반적인 글쓰기 기법에 익숙하며, 비교적 복잡한 스토리 작성 과제도 독립적으로 수행할 수 있다.
- 일부 기본 글쓰기 기술을 습득했으며, 단순한 이야기를 구상하고 표현할 수 있다.
- 일부 기본 서사 기법만 알고 있으며, 복잡한 글쓰기는 외부 도움이 필요하다.
- 글쓰기 관련 기술이 사실상 없으며, 타인이 작성하거나 보조해 주어야 한다.
- 외부 세계 상호작용: 스토리 창작 과정에서 외부 정보를 획득하고 활용하는 능력은 어느 정도인가?
- 다양한 문서, 소셜 플랫폼, 지식 베이스를 유연하게 활용해 이야기를 풍부하게 만들 수 있다.
- (인터넷, 책 등) 일반적인 채널을 사용해 스토리 창작을 지원할 수 있다.
- 가끔 자료를 활용해 글쓰기를 보조하지만, 의존도는 높지 않다.
- 외부 정보를 제한적으로만 사용하여, 콘텐츠가 비교적 단조로워진다.
- 외부 정보 채널을 사용하지 않으며, 개인 직관 또는 타인의 도움에 완전히 의존한다.
- 도메인 전문 지식: 스토리 작성 관련 지식을 얼마나 숙달했는가?
- 내러티브 이론, 스타일 기법, 문화적 배경 등에 능숙하며, 다른 사람의 글쓰기를 지도할 수 있다.
- 특정 장르나 스타일에 대해 비교적 깊이 이해하고 있으며, 글쓰기 유의점을 파악하고 있다.
- 기본적인 글쓰기 상식을 알고 있고, 글을 쓰면서 필요 시 정보를 찾아본다.
- 글쓰기 지식 축적이 거의 없고, 즉흥적 영감에 더 의존한다.
- 글쓰기 관련 지식이 거의 없으며, 완전히 직관이나 참고 사례에 의존한다.
- 사적 도메인 정보: 축적한 글쓰기 자료나 독자적 정보를 얼마나 보유/활용하는가?
- 반복 활용 가능한 독창적 설정, 고유 경험, 독점적 영감 라이브러리를 다량 보유한다.
- 일정한 축적이 있으며, 개인 경험과 독자적 자원을 사용해 이야기를 만들 수 있다.
- 가끔 독특한 개인 경험이나 아이디어에 의존할 수 있으나, 수가 제한적이다.
- 독자적 자료가 드물고, 대부분 공개 자원에 의존한다.
- 독자적 축적이 거의 없고, 창작이 외부 정보에 크게 의존한다.
- 선호 제약: 본인의 스토리 글쓰기에 대한 선호는 어떠한가?
- 주제, 스타일, 캐릭터 설정 등에 대해 매우 명확한 선호와 원칙이 있다.
- 주요 글쓰기 방향과 선호가 명확하며, 무엇을 양보할 수 없는지 알고 있다.
- 기본 선호에 대한 개념은 있으나, 일부 측면에서는 모호하다.
- 글쓰기 선호에 대한 이해가 제한적이며, 선택 시 종종 망설인다.
- 스타일과 선호에 대한 기준이 거의 없고, 창작 과정이 임의적이다.
- 책임 범위 정의: 인간-AI 협업 글쓰기에서 의사결정 책임을 어떻게 나누는가?
- 스토리 방향을 완전히 통제하기를 선호하며, AI에 거의 의존하지 않는다.
- 중요한 분기점은 인간이 결정해야 함을 알고 있으며, AI의 부분적 보조를 받는다.
- 스토리 방향은 AI와 내가 함께 결정할 수 있다고 믿는다.
- 글쓰기 대부분은 AI가 생성하고, 나는 핵심 부분을 주로 감독한다.
- AI가 스토리를 생성하는 것을 완전히 의존할 수 있고, 약간의 수정만 하거나 전혀 수정하지 않는다.
- 사용자 승인(권한 부여) 가능 내용: AI 시스템에 개인 글쓰기 관련 정보를 어느 정도까지 공유할 의향이 있는가?
- 가장 개인화된 지원을 받기 위해, 글쓰기 습관, 전체 작품, 영감 라이브러리 등까지 포함해 전면적 권한을 부여할 의향이 있다.
- 대부분의 정보는 공유하되, 일부 핵심 또는 사적인 부분은 남겨두겠다.
- 필요한 글쓰기 요구사항만 제공할 의향이 있으며, 확장 권한 부여에는 신중하다.
- 권한 부여 의향이 매우 낮으며, 절대적으로 필요할 때만 최소 정보만 제공한다.
- 어떤 개인 정보도 공유하고 싶지 않으며, 개인화 지원을 포기하는 편을 택하겠다.