초등학생의 디지털 기초 소양 정의적 영역 진단 도구 개발 및 탐색적 요인분석 기반 타당화

1.1 연구 배경

2022 개정 교육과정(교육부 고시 제2022‑33호)은 디지털 기초 소양을 언어·수리와 더불어 모든 학생의 학습 기초로 규정하고, 정보 이해·활용, 디지털 시민성·윤리, 콘텐츠 창작 등 다차원적 역량을 강조한다[1]. UNESCO(2018) Digital Literacy Global Framework) 또한 디지털 리터러시를 기술 능력과 정의적 태도의 통합으로 정의하고, 실제 문제 해결에의 능동적 적용을 요구한다[2]. 그러나 한국교육개발원(KEDI, 2023)의 조사에 따르면 초등학생의 78.3%가 스마트 기기를 사용함에도 62.1%는 온라인 정보 신뢰성 평가에 어려움을 겪고 있어 기술적 숙련도와 실천·윤리적 활용 역량 간 불균형이 드러난다[3].

EU(2022) DigComp 2.2와 KICE(2021) DiLAP 등 현행 디지털 소양 관련 프레임워크는 정보 탐색, 데이터 관리, 콘텐츠 제작 등 기술·절차 중심 지표로 설계되어 동기, 가치, 자기효능감 등 정의적 요소를 통합적으로 진단하기에는 한계가 있다. 특히 이러한 프레임워크 기반 검사 척도는 주로 중고등학생을 대상으로 개발 및 타당화되었으므로 초등학생에게 그대로 활용하기에는 무리가 있다. 실제로 김진숙 외(2023)는 중학생용 도구를 초등학생에게 적용했을 때 문항 이해도가 41.2% 감소한다고 보고한 바 있다[3]. 낮은 이해도는 진단 신뢰도와 타당도 저하로 이어지며, 오진단된 결과는 학생들에게 부정확한 피드백을 초래할 가능성이 있다. 따라서 초등학생 발달 수준에 적합하고 정의적 요소를 통합적으로 측정할 수 있는 진단 도구의 개발이 필요하다.

이에 본 연구는 Kolb(1984)의 경험학습 이론, Bandura(1977)의 자기효능감 이론, Schwartz(1992)의 가치 이론을 접목해 ‘실천 경험 → 자기효능감 → 가치 인식’으로 이어지는 순환 구조로 정의적 영역을 모델링함으로써, 학습자의 내적 성장 경로를 구체화하고자 한다.

1.2 연구 필요성 및 목적

2016년부터 2024년까지 국내외 선행 연구를 종합 고찰한 결과, 초등학생의 정의적 영역 진단 연구에는 다음과 같은 방법론적 한계가 드러났다. 첫째, 연구 대상이 특정 지역·학년에 편중되어 표집 대표성이 부족하다. 둘째, ‘태도’, ‘자기효능감’, ‘가치’ 등의 개념 정의 및 조작적 구성이 연구마다 상이하여 연구 결과의 비교 분석과 지식 축적이 제약된다. 셋째, 탐색적 요인분석(EFA), 확인적 요인분석(CFA) 및 교차 타당화 등 통계적 검증 절차가 체계적으로 수행되지 않은 사례가 다수 보고되었다. 넷째, 측정 지표가 기술·절차적 역량에 치중되어 동기, 가치, 실천 경험 등 정의적 특성을 체계적으로 측정하고 지속 모니터링하기 어렵다.

이러한 한계는 초등학생 맞춤형 진단·교육 프로그램 설계와 교육청 정책 의사결정의 근거 자료를 부족하게 만든다. 따라서 본 연구는 다음과 같은 차별적 접근을 시도한다. 첫째, 기존 연구가 개별 요인만 단편적으로 측정한 반면, ‘실천 경험 → 자기효능감 → 가치 인식’의 내적 성장 경로를 구조적으로 검증한다. 둘째, Kolb(1984)의 경험학습 이론, Bandura(1977)의 자기효능감 이론, Schwartz(1992)의 가치 이론을 유기적으로 통합하여, 기술 중심 프레임워크가 포착하지 못한 정의적 내면화 과정을 설명할 수 있는 분석틀을 제시한다.

따라서 본 연구의 목적은 초등학생 발달 특성을 반영한 정의적 3요인(실천 경험, 자기효능감, 가치 인식) 진단 도구를 개발하고, 그 구조적, 통계적 타당성을 실증적으로 검증하는 데 있다.

1.3 연구 문제

본 연구는 초등학생의 디지털 기초 소양 정의적 영역 진단 도구를 개발하고 그 타당성을 실증적으로 검증하기 위해 다음과 같은 연구 문제를 설정하였다.

첫째, 개발된 예비 문항이 전문가 검토의 내용 타당도 지수(I-CVI >= .78, S-CVI/Ave >= .90) 기준을 만족하는가?

둘째, 본 검사에서 탐색적 요인분석(EFA)을 통해 확인된 요인 구조는 실천 경험·자기효능감·가치 인식의 3요인 모델과 일치하는가?

셋째, 본 검사에서 확인적 요인분석(CFA)을 수행한 결과가 3요인 구조의 모형 적합도(CFI >= .90, RMSEA <= .08) 및 수렴·판별 타당도(AVE >= .50, CR >= .70) 기준을 충족하는가?

넷째, 최종 모델의 표준화 계수를 활용한 가중합 점수 알고리즘은 교육 현장에서 학생의 정의적 특성 진단 및 맞춤형 교육 전략 수립에 실증적으로 활용 가능한가?

2.1 디지털 기초 소양의 개념 및 프레임워크

디지털 리터러시는 정보화 초기부터 ‘도구 활용 능력’을 넘어서는 복합역량으로 정의되어 왔다. Gilster(1997)는 디지털 리터러시를 “컴퓨터를 통해 제시되는 다양한 종류의 출처와 포맷을 이해하고 사용하는 능력”으로 보았으며[4], Eshet-Alkalai(2004)는 인지· 운동·사회·정서 차원을 포괄하는 다차원적 능력으로 정의하였다[5]. UNESCO(2018) Institute for Statistics은 디지털 리터러시를 “고용, 양질의 일자리, 창업을 위해 디지털 기술을 통해 정보를 안전하고 적절하게 접근, 관리, 이해, 통합, 소통, 평가, 창조하는 능력”으로 확장 정의하였으며[2], 정미현 외(2021)는 가치 인식·자기효능감·정서적 태도까지 포함하는 심리·정의적 역량을 강조하였다[6].

이처럼 학계 정의는 다차원성을 인정하지만, 초등학생의 정의적 특성을 포괄하는 국내 표준화 진단 도구는 아직 개발되지 않았다. 특히 기술·절차 지표에 집중된 DigComp 2.2는 정보·데이터 리터러시 등 5대 역량을 제시하지만 정의적 요인을 명시적으로 다루지 않는다.

따라서 본 연구는 기술적 역량과 정의적 역량을 융합한 진단 틀을 제안하고자 한다. 구체적으로 DigComp 2.2를 기술적 역량의 참조 프레임워크로 삼고, 정의적 영역(실천 경험, 자기효능감, 가치 인식)은 다음과 같은 순환 구조를 토대로 별도의 진단 체계를 설계하였다. 먼저 Kolb(1984)의 경험학습 이론에서 제시한 ‘구체적 경험’ 단계에서 학생들은 디지털 도구를 실제로 사용하며 성공과 실패를 체험한다. 이러한 성공 경험은 Bandura(1977)가 설명한 자기효능감의 핵심 형성 요인으로 작용하여 ‘나는 할 수 있다’는 신념을 강화한다. 강화된 자기효능감은 궁극적으로 Schwartz(1992)의 가치 체계 속에서 디지털 활용을 긍정적, 사회적 가치로 내면화하도록 이끈다. 그 결과 실천 경험 → 자기효능감 → 가치 인식이 나선형으로 심화되는 순환 구조를 완성한다.

2.2 디지털 리터러시 프레임워크 비교

Eshet-Alkalai(2004)는 디지털 리터러시를 기술적·절차적 (technical‑procedural), 인지적 (cognitive), 정서적·사회적 (emotional‑social) 세 영역으로 구분하였다[7]. 김혜정(2016)은 필요한 정보를 인식, 탐색, 평가, 활용할 수 있다는 자기 신념과 기대를 디지털 정보 리터러시 자기효능감(digital information literacy self-efficacy)으로 정의하고 디지털 리터러시의 핵심 구성 요소로 제시하였다[8]. 2022 개정 교육과정 총론(교육부 고시 제2022-194호)에서는 “모든 학생이 학습의 기초인 언어·수리·디지털 기초 소양을 갖추어 학교 교육과 평생 학습에서 학습을 지속할 수 있는 능력을 함양”해야 한다고 언급하고 있다. 이처럼 국내·외 프레임워크는 기술, 절차적, 인지적, 정서적, 사회적 측면을 포괄하지만, 초등학생의 정의적 특성을 충분히 반영하지 못한다. Table 1은 DigComp 2.2가 제시한 디지털 역량의 5대 영역(총 21개 세부 역량)으로 구성된다[9].

Table 1.

DigComp 2.2 Five Competence Areas[11]

이어서 UNESCO Digital Literacy Global Framework (DLGF, 2018)은 DigComp 2.2를 토대로 디바이스·소프트웨어 조작과 경력 관련 역량을 추가하여 실천적 활용 가능성을 확장하였다[2]. 다음 표는 이러한 DLGF의 확장된 디지털 역량 체계를 정리한 것이다.

Table 2.

UNESCO(2018) Digital Literacy Global Framework[2]

김진숙 외(2023)의 KERIS 보고서에서는 디지털 기초 소양을 “디지털 지식과 기술에 대한 이해와 윤리 의식을 바탕으로, 정보를 수집·분석하고 비판적으로 이해·평가하여 새로운 정보와 지식을 생산·활용하는 능력”이라고 정의하고 있으며, Table 3과 같이 디지털 기초 소양의 영역을 디지털 정보의 이해와 활용, 디지털 의사소통과 협업, 디지털 시민성 및 윤리로 구분하고 있다[10]

Table 3.

Digital Basic Literacy Areas in the 2022 Revised National Curriculum[10]

정의적 영역 3요인은 Kolb(실천 경험) → Bandura(자기효능감) → Schwartz(가치 인식)로 이어지는 순환 구조를 통해 정의적 학습·성장 경로를 명확히 제시한다(상세는 2.3절 참조). 이 순환 구조는 DigComp 2.2와 UNESCO DLGF가 포착하지 못한 학습자의 내적 성장 경로(실천 경험 → 자기효능감 → 가치 내면화)를 구체화한다. 따라서 본 연구는 DigComp 2.2와 UNESCO DLGF 등 기술 중심 프레임워크에서 간과된 정의적 요인을 별도 영역으로 확장하여 초등학생 맞춤형 진단 체계를 설계하고자 한다.

2.3. 정의적 영역 이론

Kolb(1984)의 경험학습 이론은 학습자가 구체적 경험(Concrete Experience) → 반성적 관찰 → 추상적 개념화 → 능동적 실험의 순환을 거치며 지식을 내면화한다고 본다 [11]. 구체적 경험은 디지털 도구를 실제로 사용해 보고 실패·성공을 체험하는 실천 경험의 근거가 된다.

Bandura(1977)는 자기효능감(self‑efficacy)을 “미래 행동 수행에 대한 개인의 신념”으로 규정하며, 성공 경험·대리 경험·언어적 설득·정서적 상태의 네 원천을 제시했다 [12]. 성공 경험은 Kolb의 구체적 경험과 직접 연결되며, 반복된 실천 경험이 곧 자기효능감을 강화시키는 경로를 형성한다.

Schwartz(1992)의 가치 이론은 사회화 과정을 통해 내면화된 10대 기본 가치(자기방향·성취·안전 등)가 행동을 지배한다고 본다 [13]. 개인이 특정 가치를 중요하게 인식하려면, 해당 가치가 의미 있는 경험(Kolb) 혹은 자기 효능감과 결부된 성공 경험(Bandura)으로 해석될 필요가 있다.

따라서 세 이론은 다음과 같이 정의적 영역의 3요인을 구조적으로 설명한다.

1. 실천 경험(Experience) – Kolb(1984)의 ‘구체적 경험’ 단계

2. 자기효능감(Self‑efficacy) – 실천 경험이 누적되어 Bandura(1977)의 ‘성공 경험’ 원천을 충족

3. 가치 인식(Value Recognition) – Kolb(1984)·Bandura(1977)의 과정을 거치며 개인 내면에 내재화되는 Schwartz(1992)의 가치 인식

이 순환 과정은 “실천 경험 → 자기효능감 → 가치 인식”의 선형이 아닌 나선형 강화 구조를 이루어 반복 학습·피드백을 통해 정의적 영역이 심화된다는 점에서 본 연구의 3요인 진단 틀을 이론적으로 뒷받침한다.

2.4. 선행연구 분석 및 한계 도출

초등학생 디지털 기초 소양의 정의적 영역을 체계적으로 측정·분석하려는 연구가 국내외에서 꾸준히 이루어졌으나, 측정 도구 구성·대상 범위·분석 방법 등에서 공통적인 한계를 보여왔다. 예를 들어, 양길석 외(2020)는 초·중학생을 통합하여 디지털 리터러시 태도를 분석하였고, Olur & Ocak(2021)은 터키 특정 지역 초등학생 표본을 활용해 자기효능감 척도를 개발하여 초기 근거를 제시했으나, 표본 범위가 제한적이었다. 본 절에서는 2016년부터 2024년까지 발표된 주요 선행연구를 검토하고, 이를 토대로 본 연구의 필요성과 차별점을 제시한다.

Table 4는 주요 선행연구로써 학술 논문 5편과 국가 기관 진단 연구 2편을 본 연구의 분석 기준(2016–2024년, 정의적 영역, 실증연구)에 따라 선별하고 연구대상, 방법, 정의적 초점, 주요 한계의 관점에서 요약한 것이다.

Table 4.

Review of empirical studies on the affective-domain measures of elementary students’ digital literacy (2016 – 2024)

공통적으로 드러난 첫 번째 한계는 연구 대상의 대표성 부족이다. Olur & Ocak(2021)의 연구는 특정 지역이나 학년에 한정되어 있어 결과의 일반화에 어려움이 있다. 양길석 외(2020)의 연구는 초등학생과 중학생을 혼합하여 분석함으로써 초등학생의 발달 특성을 충분히 반영하지 못하는 한계를 지닌다.

둘째로, 정의적 영역의 개념 구성의 일관성 부족이다. 각 연구는 '디지털 리터러시 태도', '자기효능감', 'ICT 학습 태도' 등 다양한 용어와 하위 요인을 제시하고 있으며, 이로 인해 연구 간 비교나 통합적 이해가 어려워진다. 이는 디지털 리터러시 정의적 영역에 대한 이론적 합의가 부족함을 의미한다. 또한 일부 도구는 정의적 영역의 문항 비중이 낮아서 학습자의 다차원적인 특성을 충분히 반영하지 못한다.

셋째로, 도구 개발의 타당화 수준이 미흡하다는 점이다. Olur & Ocak(2021)은 EFA 및 CFA를 수행해 척도를 초기 검증했으나, 추가 표본을 활용한 교차타당도 검증은 이루어지지 않았다. 김희경 외(2022)의 연구는 대규모 데이터(n=857명)를 활용했음에도 구조적 타당도나 교차타당성 검증이 부족하다. 즉, 반복 검증 및 표준화 과정이 부재하여 교육 현장에서의 활용 가능성에 제약이 있다.

이같은 대표성 한계, 개념적 일관성 결여, 타당화 부족을 감안할 때, 초등학생 정의적 영역을 전국 단위로 측정할 표준화 도구는 아직 초기 단계에 머물러 있다. 따라서 본 연구는 다음과 같이 연구적으로 기여하고자 한다.

첫째, 선행연구의 개념적 불일치 문제를 해결하기 위해 Kolb(1984)의 경험학습 이론, Bandura(1977)의 자기효능감 이론, Schwartz(1992)의 가치 이론을 통합하여 ‘실천 경험, 자기효능감, 가치 인식’의 3요인 구조를 체계적으로 설정하였다. 이는 기존의 기술 중심 프레임워크가 포착하지 못한 정의적 영역의 내적 과정을 설명할 수 있는 이론적 토대를 제공한다.

둘째, 척도 개발 과정에서 전문가 타당도 검토, CFA 및 EFA, 구성/수렴/판별 타당도 검증을 거쳐 척도의 구조적 안정성과 신뢰도를 확보하였다. 또한, 개발된 20개의 예비 문항을 3요인 이론과 1:1로 매핑하여 내용 타당도의 근거를 명확히 하였다.

셋째, 표준화 계수 기반 점수 산출 알고리즘을 제안하여 진단의 현장 활용성과 정밀도를 높이고자 하였다. 이 알고리즘은 각 문항의 중요도를 가중치로 반영함으로써, 단순 합산 방식보다 응답자의 정의적 특성을 더 정밀하게 측정하고 객관적인 비교를 가능하게 한다.

이러한 체계적 접근을 통해 본 연구는 기존 기술 중심 도구의 한계를 보완하고, 나아가 학생들의 자기효능감 향상과 가치 인식 증진 등 내적 특성을 정밀하게 진단하고 지원하는 교육적 활용까지 모색하고자 한다. 이를 위해 교육 현장에서 신뢰성 있게 활용될 초등 고학년(5~6학년)용 디지털 기초 소양 정의적 진단 도구를 개발하는 것을 목표로 한다.

3.1 연구 대상 및 표본 설계

본 연구는 경상남도에 소재 초등학교 5~6학년 학생 44명을 대상으로 파일럿 테스트, 중복되지 않는 학생 305명을 대상으로 본 검사를 실시하였다. 파일럿 테스트 및 본 검사 표본은 편의 추출 방식으로 선정하였으며, 온라인 설문(Google Form)을 통해 자료를 수집하였다. 본 검사 시 문항 수 대비 적절한 분석 가능 수준(문항 수 × 5 이상)을 충족하였다.

3.2 진단 도구 개발

3.3 자료 전처리 및 분석 계획

파일럿 테스트 결과를 바탕으로 정제한 44개 문항을 활용하여 본 검사를 실시하였다. 온라인 설문지(Google Forms)를 활용한 검사로 결측치 없는 결과(n = 305)를 자료 분석에 사용하였다. IBM SPSS Statistics 26을 이용하여 기술통계(평균, 표준편차, 왜도, 첨도) 및 신뢰도(Cronbach’s α) 분석을 수행하였다. 확인적 요인분석(CFA)과 구조방정식 모형 분석(SEM)은 각각 IBM AMOS 21과 R 4.3.3.(64bit) 환경의 Lavaan 0.6-19패키지를 활용하였다.

본 검사에서 활용한 문항은 모두 5점 Likert 척도이므로 응답 분포가 완벽한 정규분포를 따르기 어렵다. 따라서 요인추출 방법으로 공통분산만을 이용해 비정규·오차 분산의 영향을 줄이는 주축 요인추출(principal axis factoring, PAF)을 사용하였다. 또한, 실천 경험, 자기효능감, 가치 인식 세 하위요인은 정의적 영역에 속하므로 서로 상관될 것으로 가정하여 요인회전은 프로맥스(Promax) 비직교 회전을 적용하였다.

3개의 하위요인 구조의 타당성을 검증하기 위해 확인적 요인분석(CFA)을 수행한 후 χ²/df ≤ 3.0, CFI ≥ .90 기준으로 평가하였다.

4.1 전문가 검토 결과

1차 전문가 검토 결과 S-CVI/Ave 값은 .95 - .98로 내용 타당도가 매우 우수한 편이었으며, I-CVI 값이 기준 .78보다 낮아 기준을 충족하지 못한 문항은 총 4문항으로 조정 대상으로 선정하였다.

Table 5.

First Expert Content Validity Review (CVI)

또 “측정 요인 개념과 문항의 불일치”, “문항간 중복 및 유사성”, “초등학생 어휘 수준을 벗어난 추상적 표현”, “실제 경험과의 괴리”등의 정성적 검토 결과를 반영하여 I-CVI 기준 미충족 4개 문항을 포함하여 총 23개 문항을 수정, 삭제 및 재배치하고 2차 예비 문항을 50개로 정제하였다.

2차 전문가 타당도 검토 결과, 전체 문항의 S-CVI/Ave 값은 .97로 매우 우수하였으며, I-CVI = 1.00인 문항이 46개, I-CVI = .86인 문항이 4개(Q26, Q27, Q48, Q50)로 나타났다. 문항별 평균 점수 >= 3.50인 문항이 48개, 표준편차 <= .50인 문항이 46개로 안정적인 평가를 받았다. 통계적 결과와 전문가 의견을 종합하여 3개 문항을 수정하고 Q50은 삭제하여 총 49개 문항으로 정제하였다. 이 중 Q48은 M < 3.50, SD > 1.00으로 응답 분산이 과도하게 높아 표현 모호성이나 이중 의미 가능성이 높아 문장을 간결하게 바꾸고, 구체적인 예시를 추가하여 재검토하기로 하였다.

Table 6과 같이 2차 전문가 검토 결과, 수정 및 삭제된 문항의 수가 1개(2%)로 전체의 5% 미만으로 나타나 도구의 요인 구조 및 영역 간 균형에 미치는 영향이 없음을 확인하였다. 따라서 추가 전문가 검토 대신 파일럿 테스트를 통해 실제 응답자의 문항 이해도와 구성 타당도를 실증적으로 검증하였다.

Table 6.

Second Expert Content Validity Review (CVI, M, SD)

4.2 파일럿 테스트

Table 7과 같이 총 49개 문항으로 실시된 파일럿 테스트에서, 가치 인식 요인이 가장 높은 점수를 보였으며, 자기효능감, 실천 경험 요인 순으로 나타났다. 이는 학생들이 디지털과 관련된 가치는 인식하지만 실천해 본 경험이나 자신감은 상대적으로 낮음을 시사한다. 요인별 왜도와 첨도가 모두 절대값 1을 넘지 않아, 예비 데이터의 분포가 극단적으로 치우치지 않았으므로 요인 분석에 무리가 없음을 확인하였다. 신뢰도 분석 결과, 실천 경험 요인(Cronbach’s α = .84)은 매우 양호(good), 자기효능감 요인(Cronbach’s α = .92)은 매우 우수(excellent), 가치 인식 요인(Cronbach’s α = .79)은 수용 가능(acceptable) 수준으로 모두 높은 내적 일관성을 보였다.

Table 7.

Descriptive Statistics and Reliability by Factor in the Pilot Test

Table 8에서 문항별 기술통계 및 신뢰도 결과를 살펴보면 왜도의 절대값이 1을 넘거나 첨도가 2를 넘는 등 분포 왜곡이 심한 문항은 총 5개로 나타났다. 특히 1번 문항은 음(-)의 왜도와 높은 첨도(3.77)를 보여 응답이 상위점(5점)에 집중되는 현상이 매우 두드러졌다. 이에 따라, 이후 탐색적 요인 분석(EFA)에 앞서 해당 문항들에 대해 삭제 또는 재구성을 검토하였다.

Table 8.

Item-level Descriptive Statistics in the Pilot Test

전체 49개 예비 문항에 대한 신뢰도 분석(Cronbach’s α = .94) 결과, 수정된 문항-전체 상관계수가 .30 미만인 문항이 13개로 확인되었다[Table 9 참고]. 이 문항은 척도 내 일관성이 낮으므로 탐색적 요인분석(EFA)에 앞서 삭제 또는 재구성 대상으로 선정하였다.

Table 9.

Item-level Reliability in the Pilot Test

Table 10에서 요인 간 상관관계 분석을 살펴본 결과 세 하위요인은 개념적 차별성을 갖추고 있으나 서로 유의한 정적 상관을 보여 디지털 기초 소양의 정의적 영역이 통합적 구조를 이루고 있음을 확인하였다. 특히 실천 경험과 자기효능감은 강한 정적 상관(r = .751, 을 보였다. 이는 사회인지이론(Bandura, 1997)에서 제시한 성공 경험이 효능감 형성으로 연결된다는 결과와 일치한다.

Table 10.

Correlations Among Factors in the Pilot Test

Table 11에서 문항별 상관행렬 분석 결과를 살펴보면 다수의 문항쌍에서 유의한 정적 상관(p < .001 또는 p < .05)이 확인되어 척도의 내적 일관성이 높음을 확인하였다. 그중 Q6-Q27(r = .767), Q2-Q13(r = .725) 고상관쌍( r > .70) 문항은 중복 측정 문항으로 판단되어 수정 및 재검토 문항으로 선정하였다. 또한 Q1-Q2(r = -.026), Q3-Q20(r = .004), Q20-Q45(r = .139) 등 극단적 저상관쌍(r < .10) 문항은 통계적으로도 유의하지 않아 척도 전체와의 개념적 부합도가 낮으므로 우선 삭제 대상으로 선정하였다.

Table 11.

Item-level Correlations in the Pilot Test

문항 정제 과정에서 기술통계, 신뢰도, 상관 분석 결과를 종합적으로 검토하여 총 5개 문항(Q1, Q20, Q40, Q46, Q47)을 최종 삭제하였다. 기술통계 분석에서 Q1(M = 4.77, SD = 0.605)과 Q47(M = 4.77, SD = 0.659)은 천장효과가 나타나 응답자 간 변별력이 부족한 것으로 판단하였다. 신뢰도 분석 결과 Q20, Q40, Q46은 문항 제거시 전체 Cronbach’s α 계수가 상승하여 내적 일관성을 저해하는 문항으로 판단하였다. 상관행렬 분석에서 Q1-Q2(r = -.026), Q20-Q45(r = .139) 등 극단적 저상관 문항쌍은 통계적 의미성과 개념적 일관성이 낮아 삭제 타당성을 뒷받침하였으나, 고상관 문항쌍(Q6-Q27, Q2-Q13)은 동일 하위 요인 내 개념적 일치를 반영한 결과로 해석하여 유지하였다. 3개 하위요인의 핵심 개념을 포괄적으로 유지하면서도, 문제점(천장효과, 낮은 내적일관성, 개념적 불일치)이 중첩된 5개 문항만 엄선하여 삭제하고, 나머지 문항들은 수정·유지 또는 본 검사 후 재검토로 분류하여 척도의 개념적·통계적 완결성을 최대한 유지하였다.

최종적으로 정제된 도구는 실천 경험(17문항), 자기효능감(19문항), 가치 인식(8문항) 총 44개 문항이다. 실천 경험 ‘거의 매일(5점)’에서 ‘거의 하지 않음(1점)’까지의 빈도 기반 5점 척도와 ‘전혀 없음(1점)’에서 ‘6회 이상(5점)’까지의 횟수 기반 5점 척도를 혼합하여 구성하였다. 자기효능감 및 가치 인식 요인은 ‘전혀 그렇지 않다(1점)’에서 ‘매우 그렇다(5점)’까지의 강도 기반 5점 척도를 사용하였다.

4.3 본 검사

4.3.1 기술통계량 및 신뢰도 분석

본 검사 문항의 통계적 적합성을 평가하기 위해 Table 12에서 왜도(Skewness), 평균(M), 표준편차(SD), 수정된 항목-전체 상관계수, 제곱 다중 상관계수(SMC)를 종합적으로 분석하였다.

Table 12.

Items with Outlier Values for Skewness, Mean, and SD in the Main Test

Q41(Skewness = -1.172), Q43(Skewness = -1.368) 문항에서 분포 왜곡이, Q43(M = 4.26) 문항에서 천장효과가, Q40(SD = 1.53) 문항에서 과도한 분산이 관찰되었다. 내적 일관성 관점에서 Corrected item–total correlation < .40 기준에 부합하지 않는 문항은 Q20(.381), Q38(.383), Q39(.351)이었으며, SMC < .40 기준에서는 Q20(.363), Q24(.386), Q44(.389)가 해당하였다. 첨도 기준과 α if deleted > 전체 α 기준에 해당하는 문항은 없었다.

4.3.2 EFA 결과 해석

수행 결과 KMO = .943, Bartlett’s χ²(190) = 7379.070, p < .001로 통계적으로 유의미하게 나타나 요인 분석에 적합한 것으로 판단하였다. 문항 정제 과정에서는 통계적 근거과 내용적 근거를 동시에 고려하여 각 문항을 신중히 검토하였다. 우선 통계적 기준으로는 공통성이 .40 미만인 문항, 요인부하량이 .50 미만인 문항(Hair et al., 1998), 교차부하가 .30 초과인 문항, 그리고 Cronbach’s α 변화폭이 .002 미만인 문항을 삭제 후보로 선정하였다. 이 기준을 사용하여 한 문항씩 순차적으로 삭제한 뒤 매회 탐색적 요인분석(EFA) 재수행 및 신뢰도·타당도 점검 단계를 반복 수행하였다. 이 과정을 통해 초기 44개 문항을 20개의 문항으로 압축하였다. 최종적으로 3개 요인이 추출되었으며 추출 제곱합 적재량(Extraction Sums of Squared Loadings) 기준으로 실천 경험은 4.3%, 자기효능감은 44.6%, 가치 인식은 5.7% 분산을 각각 설명한다.

Table 13.

Factor Loadings and Communalities from EFA

4.3.3 CFA 결과 해석

3개의 하위요인(실천 경험, 자기효능감, 가치 인식) 구조의 타당성을 검증하기 위해 CFA를 수행하였다[Table 14 참고].

Table 14.

CFA Fit Indicest

분석 결과 χ²(167) = 455.965, p < .001로 통계적으로 유의하였으며, χ²/df = 2.73으로 기준을 충족해 모델 적합성이 양호한 수준임을 확인하였다. 추가 적합도 지수에서 CFI = .915, TLI = .903으로 양호한 기준을 상회하였으며, RMSEA = .075(90% CI [.067, .084])로 허용 범위를 충족하였다. CFA를 통해 검증된 경로도는 Figure 2와 같다.

Figure 2.

CFA Results for the Affective Domain of Digital Basic Literacy

수렴타당도(convergent validity)는 동일 개념을 측정하는 문항들이 서로 높은 상관을 보이는 정도를 의미한다. 본 연구에서는 표준화 요인부하량, 구성개념신뢰도(CR), 평균분산추출(AVE)을 활용해 각 요인의 수렴 타당도를 평가하였다[Table 15 참고].

Table 15.

Convergent Validity (CR, AVE)

실천 경험의 CR = .860, AVE = .510, 자기효능감의 CR = .911, AVE = .563로 모두 권장 기준을 충족하였다. 가치 인식의 경우 CR = .854로 내적 일관성 기준을 상회하였으나 AVE = .495로 .50의 허용 기준에 미달하여 수렴타당도가 경계선에 있음을 확인하였다. 그러나 Fornell and Larcker(1981)에 따르면 AVE가 .50 미만이라도 CR이 .60 이상이면 수렴타당도가 적절하다고 보았으므로, 본 척도의 가치인식 요인 역시 수렴타당도를 확보한 것으로 해석하였다.

판별타당도(Discriminant Validity)는 Fornell과 Larcker(1981)의 기준을 적용하여 각 요인의 AVE 제곱근이 다른 요인과의 상관계수보다 높은지 검증하였다. Table 16과 같이 자기효능감(√AVE = .750)과 가치 인식(√AVE = .704)은 모든 요인 간 상관(r= .684 - .735)보다 높아 판별타당도가 확보되었다. 그러나 실천 경험(√AVE = .714)은 자기효능감과의 상관계수(r = .735)보다 낮았다. 이는 두 구성개념이 이론적으로 예측된 것보다 높은 공유분산을 가질 가능성을 시사한다.

Table 16.

Discriminant Validity

이에 Henseler et al.(2015)이 제안한 HTMT 분석을 추가로 수행한 결과는 Table 17과 같으며 모든 요인쌍의 HTMT 값이 .85 미만(.679-.821)으로 나타났다. 이는 방법론적 차이에서 기인한 결과로, HTMT가 더 엄격한 판별 기준을 제공한다는 최근 연구 결과를 고려할 때 수용 가능한 수준으로 판단된다.

Table 17.

HTMT Test Results

문항별로 이론적 하위요인과 탐색적·확인적 요인 간의 일치 여부를 분석한 결과, 전체 20문항 중에서 17문항(85%)이 일치하였다. Q18, Q28, Q30은 초기 개발시 이론적으로 각각 가치 인식(Q18)과 자기효능감(Q28, Q30) 요인에 속하도록 설계하였으나 통계 분석에서는 모두 실천 경험 요인에 부하되었다[Table 18 참고]. 반면 나머지 17개 문항은 이론과 통계 결과가 완전히 일치하였다[Table 19 참고].

Table 18.

Item-level Consistency Analysis Between Theoretical and EFA/CFA Classifications

Table 19.

Final Factor-wise Item Composition

4.4 점수 산출 알고리즘

확인적 요인분석(CFA) 결과를 바탕으로 진단 도구의 정의적 영역 점수 산출을 위한 알고리즘을 이론적으로 설계하였다. 문항별 표준화 요인부하량(λ)을 가중치로 활용하여 응답 점수에 곱한 뒤, 동일 요인에 속한 문항의 가중치 합산 값을 요인별 원점수로 설정하였다. 요인별 원점수는 비교 가능성을 위해 T 점수로 변환하며, 탐색적 요인분석(EFA)에서 도출된 설명 분산 비율을 정규화한 가중치를 적용해 통합 점수를 산출하는 방식으로 구성하였다.

알고리즘의 요인별 합성신뢰도(CR)는 F1[실천 경험] = .86, F2[자기효능감] = .90, F3[가치 인식] = .85으로 나타났으며, CFA 적합도 지수(CFI = .973, RMSEA = .043)를 통해 구조적 타당성이 확보되었다. 판별타당도는 F1의 평균 분산추출지수(AVE = .55)가 F1–F3 간 상관계수 제곱값(φ² = .256)을 상회하여 판별타당도 기준을 충족하였다.

본 알고리즘은 단순 합산 및 회귀 기반 점수 대비 이론적 우위성을 갖지만 추후 실제 데이터 적용 검증이 필요하다.