AI 디지털 리터러시 진단을 위한 루브릭 준거 개발

1. 서론

디지털 기술의 급속한 발전과 함께, 현대 사회는 정보 탐색, 분석, 생산, 공유의 방식에서 근본적인 변화를 경험하고 있다. 이러한 환경에서 디지털 도구를 비판적이고 윤리적으로 활용할 수 있는 디지털 리터러시(Digital Literacy)는 모든 학습자에게 기초 소양이면서 필수적인 핵심 역량으로 자리 잡았다[1, 2]. 단순한 기술 숙련도를 넘어서, 디지털 리터러시는 정보 해석 능력, 문제 해결력, 디지털 시민성 등의 통합적 역량을 포함한다.

더불어 최근에는 생성형 인공지능(Generative AI)의 빠른 확산으로 인해, 디지털 기술을 넘어 AI 기술의 원리와 작동 방식, 결과물의 해석과 활용, 윤리적 판단을 포함하는 AI 리터러시(AI Literacy)의 중요성이 강조되고 있다[3, 4]. 이는 기존의 디지털 리터러시와는 다른 차원의 사고력과 메타인지, 책임감 있는 실천 역량을 요구하는 새로운 리터러시 영역이다.

그러나 현재까지 디지털 리터러시와 AI 리터러시는 각각 분리된 개념으로 다루어지고 있으며, 생성형 AI를 포함한 디지털 AI 환경의 맥락을 통합적으로 반영한 개념 정립은 미흡한 실정이다. 특히 교육 현장에서 교사와 학습자가 디지털 매체 및 AI와 상호작용하고, AI의 결과물을 해석 및 활용하며, 이에 대한 윤리적 판단을 실천하는 일련의 사고 및 행동 역량을 통합적으로 설명할 수 있는 개념이 필요하다.

이에 본 연구는 디지털 리터러시의 기본 요소를 기반으로 하면서 AI 기술의 이해, 생성물 해석 및 비판, AI 기반 협업과 윤리적 책임까지 포괄할 수 있는 확장된 개념으로서 AI 디지털 리터러시(AI Digital Literacy)를 제안하고자 한다. 이 개념은 AI 기반 디지털 환경에서 정보를 탐색하고, AI 도구와 상호작용하며, 결과물을 비판적으로 수용하고 윤리적으로 활용할 수 있는 통합적 역량을 의미한다.

이와 같이 새로운 역량이 강조되면서 미래 인재는 구체적으로 어떤 역량을 향상시켜야 하고, 그런 역량을 키우기 위해서는 어떤 교육이 필요한지 논의가 필요한 상황이다[5]. 기존의 디지털 리터러시 또는 AI 리터러시 관련 측정 도구들은 단편적인 기술 숙련도나 태도 중심으로 구성되어 있어, 실제 교육 맥락에서 학습자의 성찰적 역량이나 비판적 판단 능력을 종합적으로 평가하기 어렵다[4, 6]. 또한, 생성형 AI 도구의 도입으로 인해 학습자의 정보 활용 방식과 사고 과정이 더욱 복합적으로 변화하고 있음에도, 이를 반영한 진단 기준은 명확히 제시되지 않고 있다. 이를 위해서는 역량을 명확하게 정의하고 구체적으로 진단하여 학습자의 성장을 지원할 수 있는 체계적 평가 도구를 마련하는 것이 필요하다.

현재 교육 현장에서는 다양한 AI 도구의 활용이 활발하게 이루어지고 있으나, 이를 체계적으로 평가하거나 학습자의 성찰을 유도할 수 있는 도구는 여전히 부족한 실정이다. 단순히 ‘AI 도구를 사용할 수 있는가’에 그치지 않고, ‘어떤 목적과 방식으로, 얼마나 책임감 있게 활용하는가’를 진단하는 평가 체계가 요구된다. 이에 본 연구는 학습자가 자신의 AI 디지털 리터러시 수준을 진단하고 성찰할 수 있도록 지원하는 루브릭(Rubric) 기반의 평가 준거를 개발하고자 한다.

루브릭은 행동 기반의 평가 언어로 구성되어 있어, 학습자 스스로 자신의 역량을 판단하고 개선할 수 있는 성찰 도구로 효과적이다[7]. 교수자 역시 루브릭을 통해 학습자의 AI 활용 및 사고 특성을 보다 구조적으로 이해하고 피드백을 제공할 수 있다. 또한 루브릭은 실제 행동에 기반한 지식과 태도를 포괄적으로 평가한다는 점에서 복합적 역량을 진단하기 위한 질적 평가 도구로서 효과적이다[8].

본 연구를 통해 개발된 루브릭 준거는 학교급 및 학습자 특성을 기반으로 한 수행 수준(Level of Performance)을 포함하지 않은 범용적으로 활용 가능한 진단 준거를 의미한다. 본 루브릭은 다음과 같은 교육적 의의를 지닌다. 첫째, AI 디지털 리터러시의 핵심 역량을 구조화하여 개념적 틀과 분석적 프레임을 제공하고, 둘째, 교육 현장에서 적용 가능한 자가진단 및 교육평가 도구로의 활용 가능성을 제시하며, 셋째, AI 시대 학습자 중심의 교육 설계와 평가 체계 구축을 위한 실천적 기초자료로 기여할 수 있다.

2. AI 디지털 리터러시에 대한 이론적 고찰

2.2 AI 디지털 리터러시의 구성요소

AI 디지털 리터러시의 구성요소를 도출하기 위해 먼저 디지털 리러터시와 AI 리터러시의 구성요소를 검토하였다. AI 디지털 리터러시는 단순한 디지털 도구 사용을 넘어서, AI 기술의 원리를 이해하고, 생성된 정보를 비판적으로 수용하며, 이를 활용해 문제를 해결하고 사회적으로 책임 있게 사용하는 능력을 포함한다. 이러한 복합적 역량은 기존 디지털 리터러시 구성요소와 생성형 AI 시대의 요구를 반영하여 확장되어야 한다.

먼저 국내에서는 김혜숙 외[6]는 초·중학생을 위한 디지털 리터러시를 평가하기 위한 프레임워크를 개발였는데, 디지털 도구, 디지털 데이터, 의사소통 및 협업, 디지털 자원 생산, 디지털 안전과 건강의 다섯 가지 범주를 중심으로 평가요소를 제시하였다. 이들은 추후 정보 중심의 디지털 리터러시에서 AI 기술을 고려한 재구성이 필요함을 시사하였다.

또한 배상훈 외[9]는 대학생 대상 디지털 리터러시 진단 도구 개발 연구에서 도구 활용, 정보 평가, 협업 및 소통, 윤리적 판단 등의 실제 활용 기반 역량을 중심으로 문항을 도출하였다. 이 연구는 실천 기반 리터러시 구성요소의 교육적 활용 가능성을 강조한 점에서 의미가 있다.

Ng 외[12]는 디지털 리터러시 개념을 기반으로 AI 리터러시를 구성하는 핵심 요소를 AI 이해, 활용, 평가 및 생산, 윤리적 문제 인식 등으로 기존 디지털 리터러시의 핵심 요소들과 긴밀하게 연결되어 있으면서도 AI 기술의 특성과 맥락을 반영하여 재구조화하였다고 할 수 있다.

Mills 외[3]는 AI 리터러시를 사람들이 AI 시스템과 도구를 비판적으로 이해하고, 평가하며, 안전하고 효과적으로 활용하여 점점 더 디지털화되는 세계에 능동적으로 참여할 수 있도록 하는 지식과 기술을 포함하는 개념으로 정리하고, 이해(Understand), 평가(Evaluate), 활용(Use)의 세 가지를 포함한 프레임워크를 제시하였다. 각 요소 안에 데이터 이해, 윤리적 사고, 맥락 판단 등의 하위 역량 등이 포함된다. 특히 평가 영역에서는 AI 결과의 타당성과 편향성을 인식하고 윤리적으로 판단할 수 있는 능력을 강조한다.

Annapureddy 외[4]는 생성형 AI와의 다양한 상호작용 양상을 고려하여 생성형 AI 환경에서 요구되는 12가지 핵심 역량을 제안하며, 기술적 활용 능력 외에도 윤리성을 고려한 책임 의식, 지속가능한 학습 태도 등 비인지적 요소까지 포함된 확장된 리터러시 개념을 제시하였다.

이러한 선행연구들을 종합하면 Table 1 과 같이 AI 디지털 리터러시는 다음과 같은 4개의 범주, 1) 도구 및 기술의 이해와 활용, 2) 정보 및 데이터의 탐색과 평가, 3) AI를 매개로 한 소통 및 협업, 4) 윤리적 판단과 사회적 책임 실천으로 구조화될 수 있다. 본 연구에서는 이러한 문헌적 분석을 토대로 AI 디지털 리터러시를 구성하는 핵심 역량을 통합적으로 정리하고, 이를 기반으로 루브릭 준거 개발의 기초 틀을 설정하였다.

Table 1.

Elements of AI·Digital Literacy suggested in previous studies

3. AI 디지털 리터러시 루브릭 준거 초안 개발

본 연구에서는 문헌 고찰과 선행 연구 분석을 바탕으로, AI 디지털 환경에서 학습자의 핵심 역량을 반영한 4개 대범주, 16개 세부 준거로 구성된 루브릭 초안을 개발하였다. 각 범주는 AI 기술의 활용과 판단에 필요한 실제적인 행동 기반 역량을 중심으로 도출되었다.

첫째, ‘AI 디지털 도구 및 환경 활용’ 범주는 AI 기반 학습 환경에서 다양한 디지털 도구와 매체를 목적에 따라 적절히 활용하고, 프롬프트 구성 및 수정을 통해 AI와 효과적으로 상호작용할 수 있는 기술적 실천 역량을 포함한다. 이는 학습자가 AI 시스템과 효과적으로 상호작용하기 위한 기반이 되는 범주로, 실제로 AI 도구 활용 및 프롬프트 설계 능력은 AI 리터러시의 기본 역량으로 강조된다[13]. 하위 준거는 디지털 기기 및 도구 조작, 프롬프트 설계 및 수정, AI 도구의 실행 및 전환, AI와의 연속적 상호작용으로 구성된다.

둘째, ‘AI 정보 활용과 비판적 수용’ 범주는 AI가 제공하는 정보의 탐색, 해석, 비판적 수용 및 근거 평가에 이르는 사고 기반 처리 역량을 다룬다. 이는 AI 결과물에 대한 맹신을 경계하고, 학습자가 정보의 신뢰성과 타당성을 판단하는 능력을 강조하는 범주로, AI가 제공하는 정보에 대한 무비판적 수용을 방지하고, 학습자가 주체적으로 정보를 판단하는 능력을 함양하는 데 필수적인 구성 요소이다[12]. 하위 준거로는 AI 정보 탐색 및 활용, 결과 해석 및 분석, 편향 비판, 근거 판단의 네 항목으로 구성된다.

셋째, ‘AI 기반 창의적 소통과 협업’ 범주는 AI를 활용한 표현 능력과 인간-인간 간 또는 인간–AI 간 협업 역량을 포함한다. 이 범주는 창의적으로 정보를 구조화하여 표현하는 능력과 함께 공동 작업에서의 역할 수행, 협업 설계, 윤리적 태도를 포괄한다. 특히 생성형 AI를 활용한 협업은 인간-기계 상호작용뿐 아니라 인간-인간 간의 새로운 협력 방식을 요구하며, 이는 AI 시대의 소통과 협업 역량의 확장을 의미한다[14]. 하위 준거는 의사소통 구성, 결과물 매개 협업, AI 보조 협업 설계, 협업 과정의 윤리적 태도로 구성된다.

넷째, ‘AI 윤리 및 사회적 책임 실천’ 범주는 AI 활용 전반에 걸쳐 발생할 수 있는 윤리적 쟁점과 사회적 영향에 대한 인식과 실천 역량을 강조한다. 개인정보 보호 및 보안, 저작권 및 출처 표기, 사회적 영향 인식, 윤리적 판단의 네 가지 항목은 AI 기술의 책임 있는 사용을 위한 기초적 태도와 판단 능력을 구체화한 것이다. 이는 학습자가 기술을 책임감 있게 활용하고 사회적 가치와 기준을 고려할 수 있도록 돕는 기초적 태도 역량이라고 할 수 있다[13].

이와 같은 루브릭 초안(Table 2)은 학습자가 실제 맥락 속에서 자신의 AI 디지털 리터러시 역량을 구체적으로 점검하고 성찰할 수 있는 기반이 되며, 교육현장에서의 교수–학습 및 평가에 실질적으로 적용될 수 있도록 설계되었다.

Table 2.

Draft Rubric for AI Digital Literacy

4. AI 디지털 리터러시 루브릭 준거 타당화

4.3 타당화 조사 결과

델파이 조사 결과, 항목의 타당성을 나타내는 평균은 ≥ 3.0, 전문가 간 의견의 일치도를 나타내는 표준편차는 ≤ 1.0로 항목의 타당성이 높은 것으로 나타났다. 또한 CVI는 일반적으로 0.78 이상[15], IRA는 0.50 이상[16] 타당한 것으로 간주한다. 대부분의 문항과 범주가 타당한 것으로 나타났으며, 수치가 낮게 나타난 항목에 대해서는 전문가들의 의견을 검토하여 수정하였다. 타당화 양적 결과는 Table 3 과 같다.

Table 3.

Results of Expert Validation

전문가들의 질적 의견을 분석한 결과, 전반적으로 AI 디지털 리터러시 루브릭에 대한 준거의 구성 체계와 범주 설정에 대해서는 긍정적인 평가가 이루어졌으나, 다음과 같은 세 가지 측면에서 공통적인 개선 의견이 도출되었다. 첫째, 용어의 명확성 부족에 대한 지적이 다수 제기되었다. 예를 들어 ‘AI 디지털 도구’는 물리적 기기를 의미하는지, 소프트웨어 또는 플랫폼을 의미하는지 해석이 모호하다는 의견이 제시되었으며, ‘프롬프트’, ‘전환’, ‘구조화’ 등의 표현 역시 교육 현장에서 일관되게 이해되기 어려울 수 있다는 우려가 있었다. 이에 따라 주요 개념어는 보다 명확하게 정비되었고, 전문가와 학습자 모두가 동일한 의미로 해석 가능하도록 구체화하는 방향으로 문항 표현이 수정되었다.

둘째, 세부 항목 간 중복성이 일부 범주에서 지적되었다. 특히 ‘AI 도구 실행 및 전환’과 ‘디지털 도구 활용’ 항목은 기능적으로 유사하여 평가 항목 간의 역할과 기능이 구분되지 않는다는 의견이 있었으며, 협업 관련 세부 항목들도 의미상 유사성이 높아 독립적인 평가가 어렵다는 피드백이 다수 제시되었다. 이에 따라 중복 항목을 통합하거나 핵심 내용을 분리하여 문항 간 배타성을 확보하였다.

셋째, 범주 간 위계 및 구조적 구분의 모호성에 대한 지적이 있었다. 일부 항목은 다른 대범주와 개념적 경계를 명확히 하기 어려운 경우가 있었으며, 예를 들어 ‘AI 협업 과정의 윤리적 태도’는 ‘윤리 및 책임’ 범주와의 개념 중복 가능성이 제기되었다. 이에 따라 해당 항목은 대범주의 주제와 부합하는 방향으로 용어 및 표현을 조정하였으며, 각 범주 간의 개념적 일관성을 유지하도록 하였다.

이와 같이 전문가들이 공통적으로 제시한 수정 사항에 대해서 검토하여 최종 루브릭을 개발하였다.

5. AI 디지털 리터러시 루브릭 준거 최종 개발

본 연구에서는 AI 디지털 리터러시의 개념적 정의와 구성 요소 도출, 전문가 검토 및 타당화 과정을 거쳐, 총 4개 범주와 14개 세부 준거로 구성된 루브릭 준거 최종안을 개발하였다. 최종 루브릭은 기술 활용, 정보 해석, 소통과 협업, 윤리적 실천이라는 네 가지 역량 범주를 중심으로, 학습자가 실제 교육 맥락에서 수행 가능한 행동 중심 진술문으로 구성되었다. 범주별 세부 준거는 다음과 같다.

첫째, 범주 A ‘AI 디지털 도구 및 상호작용 활용’은 다양한 AI 기반 디지털 도구 및 기술을 이해하고, 목적에 맞게 활용하며, AI와의 대화적 상호작용을 효과적으로 수행하는 역량을 포함한다. 기본적으로 디지털 기기를 조작하고 소프트웨어의 특성을 이해하는 것[17]과 AI 기술과 작동 원리를 이해하고 활용하는 역량[14]은 필수적이다. 특히 생성형 AI를 활용하는 과정에서 질문을 요청하는 프롬프트 작성 능력과 결과물을 개선해나가는 역량을 강조한다[18]. 이 범주는 디지털 도구 및 기술 조작, 프롬프트 설계, AI와의 연속적 상호작용 등 총 3개의 세부 준거로 구성된다.

A-1. AI 디지털 도구 및 테크놀로지 활용: AI 기반 디지털 도구와 테크놀로지의 기능을 이해하고, 목적과 상황에 맞게 적절히 선택하여 설정하고 활용할 수 있다.

A-2. 프롬프트 설계 및 수정: 목표한 결과를 얻기 위해 프롬프트를 구성하고, AI의 응답을 바탕으로 내용을 보완하거나 표현을 조정하여 수정할 수 있다.

A-3. AI와의 연속적 상호작용: AI의 응답을 이해하고, 대화 맥락을 고려하여 목적에 맞게 질문을 이어가며 연속적으로 상호작용할 수 있다.

둘째, ‘AI 결과물의 활용과 비판적 평가’ 범주는 AI가 생성한 정보나 결과물을 비판적으로 해석하고, 그 편향성과 논리적 구조를 분석하여 실천적으로 적용할 수 있는 사고 역량을 반영한다. 해당 범주는 결과물 도출 및 활용, 결과물의 논리적 분석, 결과물의 비판적 수용의 세 가지 세부 준거로 구성된다. 특히 생성형 AI의 환각(hallucination)이나 편향(bias)은 생성형 AI를 활용하는데 있어 주의해야 할 문제로 논의되고 있다[5]. 이에 따라, AI의 출력물을 논리적으로 분석하고, 그 신뢰성을 평가하며, 편향성을 비판적으로 수용하는 역량이 중요하다[14, 18].

B-1. AI 결과물 도출 및 활용: AI 기반 디지털 도구와 테크놀로지의 기능을 이해하고, 목적과 상황에 맞게 적절히 선택하여 설정하고 활용할 수 있다.

B-2. AI 결과물의 논리적 분석: AI가 생성한 결과물의 주제 적합성, 논리 흐름, 표현 방식 등을 이해하고 그 구조를 분석할 수 있다.

B-3. AI 결과물의 비판적 수용: AI가 제공한 정보의 편향성과 근거의 신뢰성을 검토하여, 활용 여부를 판단할 수 있다.

셋째, ‘AI 기반 창의적 소통과 협업’ 범주는 학습자가 AI 도구를 활용하여 자신의 생각을 효과적으로 표현하고, 타인 또는 AI와의 협력적 상호작용을 통해 공동 문제를 해결할 수 있는 창의적 소통 및 팀워크 역량을 포함한다. 디지털 기술이나 소프트웨어를 기반으로 여러 사람들과 협업하는 공동체를 형성하는 것[8, 19] 또는 온라인 환경에서 다른 사람과 소통, 공유 및 협업하는 것[11] 등 소통과 협업은 중요한 역량이다. 또한 앞으로는 AI와의 능동적인 상호작용을 통한 협업이 필수적이다[19]. 이에 따라 창의적 의사소통 구성, 사용자 간 협업, AI와의 협력적 문제 해결, 책임 있는 협업 수행 등 4개의 세부 준거로 구성된다.

C-1. AI 기반 창의적 의사소통: AI 디지털 도구를 활용하여 자신의 생각이나 감정을 글, 말, 시각자료 등으로 창의적이고 효과적으로 표현할 수 있다.

C-2. AI를 활용한 사용자간 협업: AI 디지털 도구를 활용하여 공동 작업의 역할을 나누고, 팀원과 아이디어를 공유하며 협업 과정을 계획하고 조정할 수 있다.

C-3. AI와의 협력적 문제 해결: AI와 상호작용하면서 정보를 탐색·조합하고, 새로운 아이디어나 결과물을 공동으로 생성할 수 있다.

C-4. 책임 있는 협업 수행: AI 기반 공동 작업에서 맡은 역할을 성실히 수행하고, 협업 과정에서 구성원과의 상호 존중과 책임감을 실천할 수 있다.

넷째, ‘AI 윤리 및 사회적 책임 실천’ 범주는 AI 도구 활용에 수반되는 윤리적 고려, 정보 보안, 출처 표기, 사회적 영향 판단 등 AI 활용에 대한 성찰적 판단과 책임감 있는 행동을 다룬다. 이 범주는 개인정보 보호 및 보안, 저작권 및 출처 표기, 사회적 영향 인식, 윤리적 판단의 네 가지 세부 준거를 포함한다. AI 및 디지털 기술의 변화가 사회 전반에 미치는 영향을 이해하고 긍정적인 특성 이외의 부정적인 영향을 최소화 하는 것이 필요하다[5, 11, 14]. 이를 위해 사용자의 윤리적 판단과 책임감이 매우 중요하다고 할 수 있다[5].

D-1. 정보 보호 및 보안: AI 디지털 도구를 사용할 때, 개인정보나 민감 정보를 인식하고, 입력 여부를 스스로 판단하여 책임 있게 사용할 수 있다.

D-2. 저작권 및 출처 표기: AI 생성물의 출처와 저작권을 인식하고, 상황에 맞게 적절하게 표기할 수 있다.

D-3. AI 활용의 사회적 영향 인식: AI 활용 결과가 개인과 사회에 미치는 긍정적·부정적 영향을 인식하여 적절히 활용할 수 있다.

D-4. AI 활용의 윤리적 판단: 상황에 따라 AI 활용의 윤리적 기준을 고려해 AI의 사용 여부를 비판적으로 결정할 수 있다.

이와 같이 최종 개발된 루브릭은 단순한 기술 사용 역량에 국한되지 않고, 비판적 사고, 창의적 표현, 사회적 책임, 협업 역량을 통합적으로 진단할 수 있는 준거 체계로, 향후 AI 디지털 교육 평가 및 자기 성찰 기반 교수–학습의 실천적 기초 자료로 활용될 수 있다. 구체적인 범주별 루브릭 준거의 내용은 Table 4 와 같다.

Table 4.

Final Rubric for AI Digital Literacy

6. 결론 및 논의

본 연구는 생성형 인공지능의 확산에 따라 요구되는 AI 디지털 리터러시를 진단하고 성찰할 수 있는 루브릭 준거를 개발하는 것을 목적으로 하였다. 이를 위해 문헌 분석을 통해 AI 디지털 리터러시의 구성 요소 및 준거를 도출하고, 전문가 델파이 조사와 내용 타당도 분석(CVI 및 IRA)을 통해 총 4개 대범주와 14개 세부 준거로 구성된 루브릭 준거를 개발하였다. 본 장에서는 본 연구의 주요 결과를 바탕으로 루브릭 개발의 교육적 시사점과 활용 가능성, 그리고 향후 연구 방향에 대해 논의하고자 한다.

먼저 본 연구의 의의는 다음과 같다. 첫째, 본 연구에서 개발한 루브릭 준거는 AI 디지털 리터러시의 다양한 역량 요소를 통합적으로 구조화하였다는 점에서 의의를 지닌다. 기존 디지털 리터러시나 AI 리터러시가 각 개념에 따라 다소 협소하게 정의되었던 반면, 본 루브릭은 도구 활용, 정보 해석, 창의적 소통과 협업, 윤리적 실천이라는 네 가지 핵심 영역을 중심으로 학습자의 복합적 사고와 행동 역량을 진단할 수 있도록 구성되었다. 일부 연구에서는 AI 기술의 지속적 발전 속에서 자신의 리터러시 역량을 평생 학습 관점에서 점검하고 학습할 수 있는 자기 성찰 역량을 강조하고 있다[13]. 본 연구에서 개발한 루브릭의 진술문은 행동 중심으로 설계되어 실제 교육 현장에서 관찰 및 평가가 가능하도록 하였으며, 추후 학습자의 수행 특성과 수준을 세분화하여 파악할 수 있도록 개발하였다.

둘째, 최근 리터러시 관련 평가 도구의 방향을 자신의 수행 수준을 나타내는 수행형으로 변화하고 있으며, 시나리오 기반의 수행형 평가 도구의 필요성이 논의되고 있다[6, 20]. 선행 연구에서도 리터러시 역량에 대한 보다 종합적인 평가를 위해서는 실제적 능력을 중심으로 한 수행형 평가 도구 역시 개발될 필요가 있음을 강조하고 있다[21]. 루브릭은 자기 성찰 기반 학습과 형성평가 중심 수업 설계에 효과적으로 활용될 수 있다는 점에서 의의가 있다. 학습자는 루브릭을 통해 자신의 AI 디지털 리터러시 수준을 자가 진단하고 개선 방향을 도출할 수 있으며, 교수자는 루브릭을 활용하여 학습자의 수행을 진단하고 구체적인 피드백을 제공할 수 있다. 이는 교수자와 학습자 간 상호작용을 강화하고, AI 도구의 단순 사용을 넘어 사고력 중심의 교수·학습 활동을 설계하는 데 실천적 기반을 제공한다.

셋째, 본 연구에서 개발한 루브릭은 예비교사 교육뿐만 아니라 현직교사 연수, AI 교육과정 설계, 교과 융합 프로젝트 학습, 포트폴리오 평가 등 다양한 교육적 맥락에서 활용 가능성이 높다. AI 디지털 리터러시 교육은 단순한 지식 전달을 넘어서, 학습자가 실제로 무엇을 알고, 무엇을 할 수 있으며, 어떤 태도를 지니고 있는지를 종합적으로 평가할 수 있어야 한다. 이를 위해서는 지식, 기술, 태도의 세 가지 측면에서 구체적인 역량을 정의하는 것이 필수적이다[22]. 본 루브릭은 이러한 역량 기반 평가의 틀을 제공하며, 자기 평가, 동료 평가, 수행 평가 등 다양한 형태의 평가 방식으로 확장될 수 있다. 이는 AI 시대에 요구되는 새로운 교육 평가 체제를 구축하는 데 실질적인 기초자료로서 활용할 수 있을 것이다.

본 연구는 생성형 인공지능 시대에 요구되는 AI 디지털 리터러시의 구성 요소를 체계화하고, 이를 진단하고 성찰할 수 있도록 지원하는 루브릭 준거를 개발하였다는 점에서 교육적·학술적 의의를 지닌다. 그러나 연구의 설계 및 범위 측면에서 다음과 같은 제한점이 존재하며, 이에 기반하여 후속 연구 방향을 제언하고자 한다.

첫째, 본 연구는 루브릭 준거의 내용 타당성 확보에 중점을 둔 개발 연구로, 루브릭의 실제 적용 및 효과를 검증하는 절차는 포함하지 못하였다. 개발된 루브릭이 교육 현장에서 학습자의 AI 디지털 리터러시 수준을 실질적으로 진단하고 향상시킬 수 있는지를 확인하기 위해, 실제 수업 적용을 통한 실효성 검증 연구가 후속으로 수행될 필요가 있다.

둘째, 루브릭은 다양한 교육 현장에 적용 가능하도록 일반화된 형태로 개발되었으나, 이는 동시에 개별 학습자의 수준, 교과 특성, 교육 단계의 다양성을 충분히 반영하지 못했다는 한계를 가진다. 실제 선행 연구를 살펴보면 리터러시 관련 연구들은 특정 연령대나 학력층을 대상으로 한 연구들도 수행되고 있다[23]. 향후 연구에서는 루브릭을 교과별, 학교급별 또는 대상별로 세분화하여 맞춤형 평가 준거를 개발함으로써 활용도를 높일 수 있을 것이다.

셋째, 본 연구에서는 루브릭 준거 개발 과정에서 전문가 패널을 중심으로 타당화 절차를 진행하였으며, 실제 학습자나 교사의 의견은 직접적으로 반영되지 않았다. 따라서 향후에는 루브릭의 타당성, 명료성, 활용 가능성 등을 보다 풍부하게 검토하기 위해 학습자 및 교수자 등 실제 사용자를 대상으로 한 사용성 평가가 필요하다. 또한 인터뷰, 피드백 분석 등을 포함한 다각적 검증 절차가 필요할 것이다.

이러한 제한점을 보완하는 후속 연구를 통해, 본 연구에서 제안한 AI 디지털 리터러시 루브릭이 보다 정교하고 실천적으로 다듬어질 수 있으며, AI 시대 교육 평가 체제의 핵심 도구로서 기능할 수 있을 것으로 기대된다.

References

• Gilster, P. (1997). Digital Literacy. Wiley.
• World Economic Forum. (2015). New Vision for Education: Unlocking the Potential of Technology. World Economic Forum. http://www3.weforum.org/docs/WEFUSA_NewVisionforEducation_Report2015.pdf
• Mills, K., Ruiz, P., Lee, K., Coenraad, M., Fusco, J., Roschelle, J., & Weisgrau, J. (2024). AI Literacy: A Framework to Understand, Evaluate, and Use Emerging Technology. Digital Promise. [https://doi.org/10.51388/20.500.12265/218]
• Annapureddy, R., Fornaroli, A., & Gatica-Perez, D. (2025). Generative AI literacy: Twelve defining competencies. Digital Government: Research and Practice, 6(1), 1–21. [https://doi.org/10.1145/3685680]
• Choi, S. (2024). Core competency framework and education plan for future talent in the era of generative AI. The Journal of Korean Association of Computer Education, 27(9), 23–33. [https://doi.org/10.32431/kace.2024.27.9.003]
• Kim, H., Cha, H., Kim, H., & Han, N. (2023). Development of a framework for evaluating digital literacy competencies of primary and middle school students. Journal of Learner-Centered Curriculum and Instruction, 23(11), 579–595. [https://doi.org/10.22251/jlcci.2023.23.11.579]
• Brookhart, S. (2013). How to create and use rubrics for formative assessment and grading. Ascd. [https://doi.org/10.4135/9781452218649.n15]
• Jeong, H., & Hwang, S. (2024). Development of a rubric for evaluating the creativity of secondary science gifted students. Journal of Learner-Centered Curriculum and Instruction, 24(4), 869-883. [https://doi.org/10.22251/jlcci.2024.24.4.869]
• Bae, S., Kwak, E., Cho, S., Cho, E., Hwang, S., & Han, S. (2023). Development and Validation of Digital Literacy Scale for University Students. Korean Journal of Educational Research, 61(6), 1-26. [https://doi.org/10.30916/KERA.61.6.1]
• Kim, I., Yi, S., & Kim, K. (2024). A Study on the Development and Validation of Generative AI Literacy Measurement Tool for Elementary and Secondary Teachers. Journal of Learner-Centered Curriculum and Instruction, 24(22), 697-708. [https://doi.org/10.22251/jlcci.2024.24.22.697]
• Kim, D., & Lee, T. (2019). A Study on Development of the Digital Competence Measurement Tool for University Student. Journal of The Korea Society of Computer and Information, 24(12), 191-199. [https://doi.org/10.9708/jksci.2019.24.12.191]
• Ng, D., Leung, J., Chu, S., & Qiao, M. (2021). Conceptualizing AI literacy: An exploratory review. Computers and Education: Artificial Intelligence, 2, 100041. [https://doi.org/10.1016/j.caeai.2021.100041]
• Chiu, T., Ahmad, Z., Ismailov, M., & Sanusi, I. (2024). What are artificial intelligence literacy and competency? A comprehensive framework to support them. Computers and Education Open, 6, 100171. [https://doi.org/10.1016/j.caeo.2024.100171]
• Baskara, F. (2025). Conceptualizing Digital Literacy for the AI Era: A Framework for Preparing Students in an AI-Driven World. Data and Metadata, 4(530) 1-13. [https://doi.org/10.56294/dm2025530]
• Polit, D., & Beck, C. (2006). The content validity index: Are you sure you know what’s being reported? Critique and recommendations. Research in Nursing & Health, 29(5), 489–497. [https://doi.org/10.1002/nur.20147]
• Tinsley, H. E. A., & Weiss, D. J. (1975). Interrater reliability and agreement of subjective judgments. Journal of Counseling Psychology, 22(4), 358–376. [https://doi.org/10.1037/h0076640]
• Lee, C., & Jeon J. (2020). Exploring Digital Competence for the Era of the 4th Industrial Revolution. Journal of Learner-Centered Curriculum and Instruction, 20(14), 311-338. [https://doi.org/10.22251/jlcci.2020.20.14.311]
• Nah, F., Zheng, R., Cai, J., Siau, K., & Chen, L. (2023). Generative AI and ChatGPT: Applications, challenges, and AI-human collaboration. Journal of Information Technology Case and Application Research, 25(3), 277-304. [https://doi.org/10.1080/15228053.2023.2233814]
• Shin, S., & Lee, S. (2019). A Study on Development and Validity Verification of a Measurement Tool for Digital Literacy for University Students. Journal of Learner-Centered Curriculum and Instruction, 19(7), 749-768. [https://doi.org/10.22251/jlcci.2019.19.7.749]
• Sparks, J., Katz, I., & Beile, P. (2016). Assessing digital information literacy in higher education: A review of existing frameworks and assessments with recommendations for next-generation assessment. (ETS Research Report No. RR-14-37). Princeton, NJ: Educational Testing Service. [https://doi.org/10.1002/ets2.12077]
• Yang, K., Seo, S., & Ok, H. (2020). Development of Self Assessment Tool for Digital Literacy Competence. Journal of Digital Convergence, 18(7), 1-8. [https://doi.org/10.14400/JDC.2020.18.7.001]
• Choi, S. (2024). A Study on the AI Literacy Framework. The Journal of Korean Association of Computer Education, 25(5), 73-84. [https://doi.org/10.32431/kace.2022.25.5.007]
• Hwang, H., Hwang, Y., Park, J., Shin, M., & Lee, H. (2024). A study on the Development and Validity verification of Measurement tool for AI literacy. The Korean Journal of Literacy Research, 15(2), 247-278. [https://doi.org/10.37736/KJLR.2024.04.15.2.09]