학생의 인지적 역량 발달에 대한 디지털교과서 효과의 종단적 분석

1. 서론

IT 기술과 디지털 기술의 발전으로 빠르게 변화하는 환경 속에서 교육의 디지털화도 급속히 확대되고 있다. 특히 코로나19 이후 인터넷과 디지털을 기반으로 많은 분야가 비대면으로 전환되면서, 교육 분야에서는 이러닝과 비대면 플랫폼, e-book 등의 수요가 급증하였다[1]. 이러한 맥락에서 교육에서의 디지털화는 급변하는 환경 속에서도 교육의 질을 유지할 수 있는 방안으로서 다시금 중요성이 부각되고 있다.

교과서는 교육 현장에서 교사와 학생 모두에게 가장 중요한 교육 수단이다[2]. 다수의 나라에서 교육의 디지털화에 많은 예산을 투입하며 본격적으로 이러닝을 보편화하면서[3], 이러한 노력의 일환으로 교육현장에 적용될 수 있는 간편하면서도 효과적인 디지털 매체로서 디지털교과서가 제안되었다. 디지털교과서란 학습의 확장을 위한 링크, 평가 방식, 의사소통 기능 등 광범위한 내용을 담고 있는 수업 매체로[4] 단순히 교과서의 내용을 디지털화한 e-book과는 차별화된다[5, 6]. 이러한 디지털교과서의 활용이 가지는 효과를 실증적으로 검증하는 것은 정책입안자, 교사, 학생, 연구자 및 관련 업계의 종사자들에게 매우 중요하며, 정책의 지속 또는 개선과 관련한 근거기반 의사결정(evidence-based decision-making)을 위한 기초 자료가 된다

외국의 경우, 디지털교과서에 대한 높은 관심에도 불구하고 그 효과에 대한 실증적인 연구가 부족하다는 것이 지적되고 있다[3]. 디지털교과서에 대한 사례 연구가 가능하려면 국가 차원에서 많은 예산과 기간이 투입되어야 하기 때문에 많은 나라들에서 연구 사례 확보에 어려움을 겪고 있다[7]. 더욱이 전통적인 서책형 교과서에 비해 디지털교과서가 가지는 효과가 불확실하다는 연구결과도 제시되고 있어, 디지털교과서의 신속하고 광범위한 도입이 지연되기도 한다[8, 9].

그러나 한국은 국가 차원에서 디지털교과서를 도입한 선발주자로서, 2007년 ‘디지털교과서 상용화 추진 방안’을 발표한 이래로 관련 정책을 추진하여, 현재 2015 개정 교육과정을 반영한 디지털교과서가 활용되고 있다. 나아가 2023년‘디지털 기반 교육혁신 방안’을 통해 2025년부터 2022 개정 교육과정을 반영한 AI 디지털교과서 도입 계획을 발표하였다. 이와 같은 디지털교육 체제로의 전환을 계기로 디지털교과서에 대한 관심이 재부각되고 있다[10, 11].

이와 같이 관련 정책의 추진과 함께 에듀넷·티-클리어 기준 디지털교과서 활용 학교 수가 2016년 43.4%에서 2022년 99.5%까지 급증하였고[12, 13], 초·중등학교 학생에 대한 디지털기기 보급률은 60.97%에 이르렀다[14, 15]. 한편, 실제 수업에 활용한 경험이 있는 교사는 2020년 38.2%[16, 17]에서 2022년 51.7%[18]로 증가하였는데, 이는 COVID의 영향이 일정 부분 포함된 것으로 해석된다. 이처럼 관련 정책의 추진이 진척된 데 비하여 디지털교과서 정책 효과에 대한 실증적인 분석은 적은 편이다[19]. 지금까지 디지털교과서에 대한 다수의 연구가 수행되었으나 일종의 실험 처치로서 디지털교과서 적용의 인과효과(causal effect)를 확인할 수 있는 연구는 부족하였다. 특히 충분한 기간과 사례가 확보된 연구는 많지 않다. 기존 선행연구의 대다수가 횡단적 관점 혹은 단기간에 대해 진행되었거나 단순히 독립변수와 종속변수의 상관관계를 파악하는 데 그쳤고[3], 사교육 등 외생변수를 통제한 종단 연구가 부족하였다[20]. 대부분 특정 학급, 학교, 지역에 한정한 연구를 수행하여 국가수준의 정책 효과에 대한 일반화된 결론을 제공하지 못하였다.

한편, 디지털교과서의 효과는 기존 서책형 교과서와의 비교를 통해 검증될 수 있는데, 2014년 디지털교과서가 전국적으로 보급되었기 때문에 모든 학생이 디지털교과서에 접근 가능한 환경에서 비교 연구의 타당성 확보가 어렵게 되었다. 이와 같은 이유로 종단적 분석을 실시한 기존 선행연구도 통제집단이 없는 데이터로도 가능한 집단 내 변화 분석에만 초점을 맞추었다는 한계가 있었다[1, 3].

2014년 디지털교과서 전면 보급과 동시에 교육부의 지원으로‘디지털교과서 활용과 효과에 대한 종단연구’가 3년간 수행되었는데[21-23], 이와 같은 이유로 해당 연구에서도 서책형 교과서를 사용하는 비교집단을 설정하지 못하였다. 이러한 한계에도 불구하고 위의 종단연구는 지역을 층화로 대규모의 패널데이터를 구축하여 디지털교과서 정책의 중장기적인 효과를 검증할 수 있는 유용한 자료를 제공한다.

본 연구에서는 3년에 걸친 종단연구 중 발생한 특수한 상황을 조명하여, 이들을 처치집단과 통제집단으로 보는 새로운 시각으로 종단적 분석을 진행하였다. 처치집단과 통제집단을 비교하는 것은 처치 효과 검증을 위해 일반적으로 취할 수 있는 접근이지만, 디지털교과서의 경우에는 균등한 교육 기회 제공에 위배되므로 실현되기 어려운 실험설계이다. 그러한 실험이 국가적 규모의 데이터 크기를 갖추기는 더더욱 어렵다. 하지만 종단연구 당시 초등학교 5학년까지의 디지털교과서만이 제작된 상황이었기 때문에, 부득이한 상황적 조건으로 초등 4학년부터 디지털교과서를 사용한 집단은 6학년이 된 3년 차에는 디지털교과서를 사용하지 못하였다. 즉, 초등 3학년부터 3년 동안 꾸준히 디지털교과서를 사용한 집단은 처치집단(지속사용집단)으로, 초등 4학년부터 사용하여 2년간 사용하다가 3년 차에는 사용하지 못한 집단은 통제집단( 사용중지집단)으로 볼 수 있다. 이러한 접근을 통해 처치, 즉 디지털교과서의 장기적인 고유효과를 보다 객관적으로 검증하고자 하였다.

본 연구의 목적은 처치 및 비처치집단 간 변화의 비교 분석을 통해 인지적 역량에 대한 디지털교과서의 효과를 검증하고자 하는 것이다. 이를 위해 패널회귀분석을 통해 처치 유무에 따라 발생하는 지속사용 집단과 사용중지집단 간 인지적 역량에 대한 변화를 비교 분석함으로써, 서책형 교과서에 비하여 디지털교과서가 가지는 고유한 효과를 검증하고자 한다.

2. 이론적 배경

교과서는 학습현장에서 교사와 학생에게 모두 중요한 교육 수단이다. 이러닝과 더불어 교육의 디지털화가 추구되면서 주요 학습 수단인 교과서 또한 디지털화하는 것이 고려되었다. 초창기 디지털화된 교과서는 e-book의 형태로, 전통적 인쇄 매체의 내용을 그대로 디지털화, PDF화한 것이었다. 이후 개발된 디지털교과서에서는 사용자와 교과서 간 상호작용이 더욱 강조되어 북마크, 하이라이트, 메모, 하이퍼링크, 외부 학습 자료 제공 등의 기능을 포함하고, 사용자 간의 상호작용 기능도 포함한 협업형 디지털교과서(collaborative digital textbook)로 발전하였다[3]. 장덕호, 이필남, 신인수(2015)은 디지털교과서를 1세대와 2세대로 구분하였는데, 이 구분에 따르면 1세대 디지털교과서는 상호작용이 거의 없이 기존 교과서의 내용이 디지털화된 교과서를 말하며, PDF 기반의 디지털교과서, 단순 전자 교과서 등으로 불린다[24]. 2세대 디지털교과서는 상호작용을 포함하는, 인쇄 교과서보다 광범위한 내용을 포함하고 있는 새로운 형태의 교과서로, 사이버북, I-교과서, 하이브리드 교과서, 협업 디지털교과서 등으로 불린다. 변호승, 최정임, 송재신(2006, p. 226)는 디지털교과서를 “기존 서책교과서를 전자화하여 서책이 가지는 장점과 아울러 검색, 내비게이션 등의 부가 편의기능과 애니메이션, 3D 등 멀티미디어 학습기능을 구비하여 편리성과 학습효과성을 극대화한 디지털 학습교재”로 정의한 바 있다[25].

디지털교과서에 대한 선행연구를 Table 1에 요약하여 제시하였다. 자세히 살펴보면, 다수의 선행연구에서 디지털교과서가 학생의 인지적 역량에 미치는 긍정적 영향을 보고하고 있다[26-32]. 디지털교과서의 사용에 따른 영어[26], 수학[27], 과학[28, 29] 등의 학업성취도 향상이 보고되었으며, 자기주도학습능력[28, 30], 학업 흥미[31], 문제해결능력[30, 32], 학습 동기 등의 향상 또한 보고되었다. 이 중 자기주도학습역량은 다양한 요인으로 구성된 복합적인 역량으로, 학자에 따라 다양한 측면에서 연구될 수 있다. 정주영 외(2016)는 자기주도학습능력을 학습 방법(인지), 학습 노력(동기), 학습 태도(행동)로 하위 분류하였고[33], 정옥분 외(2012)는 학습 동기, 학습 능력, 학습전략 및 기술로 분류하였다[34]. 김정랑 외(2014)는 자기주도학습능력을 인지적 역량의 하위 영역으로 분류하였고[35] 그 분류가 한국교육학술정보원의 후속 보고서에서 계속적으로 사용되었다.

Table 1.

Literature review

디지털교과서에 대한 선행연구를 Table 1에 요약하여 제시하였다. 자세히 살펴보면, 송진여 외(2017), 서순식, 서정희, 황소희(2009), 최선영, 서정희(2009) 등은 초등학교 5학년을 대상으로 실험집단과 통제집단을 설정하여 디지털교과서를 활용한 수업의 효과를 단기간 동안 살펴보았다[28, 36, 41]. 초등학생 및 중학생을 대상으로 한 단일집단 사전사후 연구 또한 진행되었다[26, 27, 30, 37]. 이러한 소규모 집단을 대상으로 한 단기간의 연구들은 주로 디지털교과서가 학업성취도에 긍정적인 영향을 미친다고 보고했으며[26, 37], 그 밖에도 문제해결력[36, 41], 자기주도학습[28, 30] 등의 인지적 역량에 긍정적인 영향이 보고되었다. 연구마다 디지털교과서를 활용한 방식, 교수법, 수업 기간 등에 차이가 있어 직접적인 비교는 어렵지만, 디지털교과서 및 이를 활용한 수업의 효과성이 다양한 영역에서 보고되고 있다. 그러나, 국내 연구 환경 특성 상 유의한 결과가 나타난 연구가 주로 출판되기 때문에 디지털교과서의 효과성이 긍정적인 쪽으로 편향되어 나타날 수 있다[19].

Metcalf, Bernacki, & Bernacki(2023)은 디지털교과서가 이러한 긍정적인 효과를 주는 이유로는 인쇄 매체와 달리 디지털교과서에 포함된 자기평가(self-test), 하이라이팅(highlighting), 생성 전략(generative strategies) 기능이 있기 때문이라고 하였다[29]. 그러나 이처럼 많은 연구들이 디지털교과서의 효과를 보고하고 있음에도 불구하고, 여전히 장기간에 걸친 연구는 부족하다[3, 20]. 디지털교과서의 적용과 그 효과의 지속성을 체계적으로 판단하기 위해서는 중장기적 연구가 필요하다.

디지털교과서의 유용성과 지속성을 높일 수 있는 요소와 매개요인을 규명하고자 하는 연구들도 수행되었다[1, 42]. 이러한 관점에서 이루어진 연구들은 대체로 일관된 결과를 보고한다. Wang & Xing(2020)은 자기효능감과 학습전략이 인지된 유용성을 매개인자로 하여 학생들이 디지털교과서를 실제로 사용하게 한다고 보고하였다[43]. Stone & Baker-Eveleth(2013)과 주영주, 박선영, 신의경(2017)은 전자교과서에 대한 만족도와 인지된 유용성이 전자교과서 학습의 지속의도에 영향을 미친다고 하였다[44,45]. Yoo & Roh(2019)는 성과기대가 전자교과서를 지속적으로 채택하게 하는 요인이라고 하였으며[46], 또한 Hermita 외(2023)은 교사의 전자교과서 지속이용의도에 자기효능감, 인지된 학습기회, 성과기대 등이 긍정적 영향을 미친다고 보고하였다[47].

개별 연구자 차원의 연구뿐 아니라, 한국교육학술정보원에서도 매년 디지털교과서 현황 및 효과성 보고서를 발행하며 디지털교과서의 효과를 확인하는 데 힘쓰고 있다. 매년 수행되는 한국교육학술정보원의 효과성 분석 연구에서는 인지적 역량의 하위 역량으로 문제해결능력, 자기주도학습능력, 비판적 사고력 등을 측정하였으며 그 결과로 최근 3년간의 보고서에서 모든 인지적 역량에 대한 디지털교과서의 유의한 효과를 확인하였다[17].

그러나 일각에서는 디지털교과서의 효과가 아직은 불확실하다고 말한다[8, 9, 40]. Johnston 외(2015)는 디지털교과서와 서책형 교과서에 대한 학생들의 선호도에 대한 연구에서 비록 학생들의 선호도가 실제 사용 결정에 미치는 영향은 제한적이지만, 디지털교과서가 학생들의 기대를 충족시키지 못할 수 있다고 지적하였다[40]. Grönlund, Wiklund, & Böö(2018)은 교사의 정보기술 사용에 대한 지식과 기술의 부족 등으로 인하여 디지털교과서의 실제 활용도가 낮으며 그 효과가 제한될 수 있다고 하였다[8]. 또한 Al-Qatawneh 외(2019)는 디지털교과서의 활용도는 높지만 이를 전적으로 도입할 만큼 그 효과가 충분히 입증되지는 않았다고 하였다[9]. 특히 디지털교과서와 전통적인 교과서를 비교하면서, 디지털교과서는 서책형 교과서를 대체할 수 없다고 하였다.

디지털교과서가 효과적이라는 연구 결과가 대다수이기는 하지만[19], 위와 같이 실질적인 활용도와 선호도에 있어서는 상반된 연구결과가 나타나고 있다. 아울러 디지털교과서를 도입하려면 디지털교과서의 개발, 학교의 ICT 인프라 구축, 교사 전문성을 위한 교육 등에 많은 초기 비용이 요구되므로, 디지털교과서의 도입에 앞서 그 효과성이 신중히 검토되어야 하며, 정책 효과 검증을 통해 차근차근 확산해 나가는 것이 합리적이다. 따라서 디지털교과서를 활용한 교육의 실질적이고 경험적인 효과에 대한 연구는 지속되어야 한다. 이러한 연구는 디지털교과서 도입의 필요성과 정책의 설계 및 수정에 유용한 시사점을 제공할 수 있다.

2014년 교육부는 81개 초등학교에서 3~6학년을 대상으로 사회, 과학, 영어 과목에 대한 디지털교과서를 시범적으로 운용함과 동시에 층화군집표집으로 35개교를 선정하여 설문조사를 통해 광범위한 패널데이터를 수집하였다. 조사 당시, 기존 서책형 교과서보다 심화된 내용과 상호작용 기능을 포함하는 디지털교과서는 5학년까지만 개발되어 있었다. 따라서 종단연구 3차 연도에 6학년이 된 학생들은 디지털교과서가 아직 개발되지 않은 관계로, 2년간 디지털교과서를 사용하다가 3년 차에는 디지털교과서를 사용하지 못하는 특수한 상황에 처하게 되었다(사용중지집단). 이는 3년간 꾸준히 디지털교과서를 사용한 5학년(3차 연도 기준) 학생 집단(지속사용집단)과는 다른 상황으로, 지속사용집단을 처지집단, 사용중지집단을 통제집단에 비추어 볼 수 있다. 이렇게 발생한 두 집단 간의 차이를 비교 분석하는 것은 디지털교과서의 실질적인 사용에 있어 서책형 교과서에 비하여 디지털교과서가 갖는 고유한 효과를 확인하는 데 매우 유용한 접근법이 될 것이다. 뿐만 아니라, AI 디지털교과서로의 전환을 앞두고 있는 시점에 디지털교과서 효과성 종단연구를 다시 수행하며 디지털교과서의 의의와 연구설계를 제고해봄으로써 AI 디지털교과서의 개발 과정에 시사점을 제공할 수 있다.

3. 연구 방법

3.1 연구 대상 및 내용

이 연구의 데이터는 ‘디지털교과서 활용과 효과에 대한 종단연구’를 통해서 수집되었다[21-23]. 2009 개정 교육과정에 따른 개정된 디지털교과서의 본격적인 전국 확대 사용에 앞서 디지털교과서 활용의 효과를 실증적으로 검증하기 위해 2014년부터 3년에 걸쳐 전국의 81개 디지털교과서 연구 초등학교 중에서 종단연구에 참여하지 않은 전북교육청을 제외한 16개 시‧도교육청을 층화로 하는 층화군집무선표집을 실시하여 35개 종단연구 참여학교를 선정하였다.

시‧도교육청의 협조를 받아 대상 학교별 종단연구 담당교사를 위촉하였고, 담당교사로부터 디지털교과서 활용 수업을 받는 3학년과 4학년 학생의 명부를 받아 학년별로 25명씩 무선표집하여 연구 대상을 선정하였다. 선정된 학생의 학부모에게 종단연구의 취지를 알리고 연구참여 및 개인정보 수집활용 동의를 받았으며, 동의하지 않는 경우에는 대상을 재선정하는 대체표집을 실시하였다[21].

1차년도에는 1,673명, 2차년도에는 1,525명, 3차년도 1,510명이 응답하였으나, 3년 모두 참여한 학생을 대상으로 분석을 수행하였다. 따라서 본 연구의 대상은 해당 학교에 재학하며 디지털교과서를 사용하는 사회 및 과학 수업에 참여하는 초등학생 1,418명이다. 706명의 3학년과 710명의 4학년으로 구성된 학생패널로 연 1회 3차에 걸친 종단조사에 참여하였다. 즉, 3학년은 5학년까지, 4학년은 6학년까지 종단조사에 응답하였으나, 디지털교과서가 5학년까지만 개발되어 3차 연도에 참여한 6학년 학생은 디지털교과서를 사용하지 않은 상태에서 조사에 참여하였다. 이러한 조사설계를 통해 디지털교과서를 3년간 지속 사용한 효과뿐 아니라, 사용이 중지된 경우의 변화 역시 파악할 수 있다. 연구대상의 구성은 Table 2와 같다.

Table 2.

Participants

3.2 측정도구

측정도구는 3년간의 종단연구를 실시하기에 앞서 1차 연도 연구의 초반에 개발되었다[21]. 우선, 디지털교과서의 효과, 디지털교과서가 미치는 영향에 대한 문헌분석을 통해 연구모형을 설정하였다. 둘째, 이론적 검토를 기초로 효과성을 측정할 수 있는 관련 측정도구를 수집, 검토하여 초안을 개발하였다. 셋째, 개발된 측정도구의 초안에 대하여 전문가(교육공학전문가 2인, 컴퓨터교육전문가 2인, 현장교사 6인)를 대상으로 2차에 걸친 델파이 조사를 통해 중요도를 5점 척도로 평가하도록 한 후, 내용타당도비율(Content Validity Ratio: CVR)을 산출하여 내용타당도를 검증하였다. Lawshe(1975)의 기준에 따라 CVR이 .62 이상이고, 중요도가 보통 이상인 경우 평가 항목으로 채택하였다[48]. 넷째, 연구진 회의와 전문가협의회를 통해 측정도구의 초안을 작성하였다. 다섯째, 현장 교사의 검토를 통해 측정도구가 대상 학생의 수준에 적합하도록 수정하였다. 마지막으로, 228명을 대상으로 예비조사를 실시하여 문항 분석, 타당도 및 신뢰도 분석의 과정을 통해 수정‧보완하여 최종 측정도구를 개발하였다.

전체 디지털교과서 연구모형에서 본 연구에 활용된 자기주도학습능력, 문제해결력은 인지적 역량의 하위 요인으로 구성되었으며, 사회과 및 과학과 학업역량은 해당 진술에 동의하는 정도를 5단계 Likert 척도에 응답하는 문항으로 측정되었다. 측정도구의 구성 및 대표문항, 신뢰도는 Table 3과 같으며, 전체 문항은 [부록]에 제시하였다.

Table 3.

Variables description and reliability

자기주도학습능력은 주도적으로 학습 전략을 활용하고 학습을 위해 노력하는 태도를 묻는 6문항으로 측정되었다. 본 연구에서 사용된 도구는 김정랑 외(2014)와 계보경 외(2014)에서 제시되고[35, 49] 이후 한국교육학술정보원의 디지털교과서 효과성 검사도구로 계속하여 활용되던 것을 수정·보완한 것으로서, 원 도구의 분류에 따라 자기주도학습역량을 인지적 역량으로 분류하였다.

문제해결력 척도는 문제를 이해하고, 해결 방안을 적용하는 능력 및 문제해결에 대한 자신감을 측정하는 9문항으로 구성되었다. 학업역량 척도는 학습자가 인지한 사회, 과학 교과에 대한 성취도를 측정하기 위해 각 교과의 교육목표 및 내용을 반영하여 개발되었다. 이들 연구변수에 대한 측정도구의 신뢰도(Cronbach의 α계수)는 .88 이상으로 매우 높았으며, 연도별 기술통계는 Table 4와 같다.

Table 4.

The descriptive statistics for each year

Table 4의 기술통계 변화를 살펴보면, 1차 연도에는 처치집단의 인지적 역량 평균이 통제집단에 비해 낮았으며, 2차 연도에도 처치집단의 평균이 낮았으나 그 차이는 다소 감소되었다. 처치집단의 경우, 1차 연도에 비해서 2차 연도에 평균이 약간 향상되었으나, 통제집단은 변화가 없거나 약간 감소하였기 때문이다. 3차 연도에는 통제집단의 인지적 역량 평균이 감소되어 처치집단보다 낮아졌다. 이와 같이 인지적 역량의 평균이 연도에 따라 증가하다가 감소되는 등 선형적인 관계가 유지되지 않기 때문에 2차 연도의 변화량과 3차 연도의 변화량을 구분하여 분석모형에 반영할 필요가 있다. 이와 같은 이유로 시간을 1, 2, 3과 같이 연속변수로 입력하지 않고, 1차-2차 연도의 변화, 2차-3차 연도의 변화로 구분하여 모형에 투입하였다.

3.3 연구설계 및 자료분석

이 연구의 패널은 3년 동안 디지털교과서를 지속적으로 사용한 집단(3학년)과 2년 동안 사용하다 3년 차에는 다시 서책형 교과서를 사용한 집단(4학년)으로 구성되어 있다. 이러한 점에 착안하여 이 연구에서는 지속사용집단과 사용중지집단의 인지적 역량 변화 양상을 비교함으로써 디지털교과서 사용의 효과를 검증하고자 한다. 즉, 디지털교과서 사용을 처치로 본다면, 지속사용집단을 처치집단으로, 사용중지집단을 통제집단으로 설정하여 Table 5와 같은 연구설계가 가능하다.

Table 5.

Research design

연구설계는 3년에 걸친 두 집단의 인지적 역량 변화를 비교하기 위한 것이다. Test1에서는 1차 연도에서 2차 연도 간 변화에 집단 간 차이를 검증하며, 디지털교과서의 효과가 있다면 두 집단 모두 향상되는 결과를 보일 것이다. Test2는 2차에서 3차 연도 사이의 변화를 비교하여, 디지털교과서의 지속사용과 사용중지의 효과 차이를 검증한다. 만일 디지털교과서를 지속적으로 사용한 실험집단이 통제집단보다 더 향상되었다면 디지털교과서의 효과가 있다고 결론내릴 수 있다. 그러므로 본 연구에서는 test2에 주목하여 디지털교과서 사용의 효과를 검증한다.

이상의 연구가설과 연구설계적 특성을 반영하여 종단자료 분석을 위해 패널회귀분석을 실시하였다. 본 연구에서는 Hausman 검정을 통하여 확률효과(random-effect panel regression) 패널회귀분석을 시행하였으며, 학생이 학교에 내재되어 있는 위계적 구조를 고려하여 학교를 군집단위로 설정한 군집강건표준오차(clustered robust standard error)를 추정하여 통계적 의사 결정의 정확도를 높이고자 하였다. 두 번의 검정을 위해 연차를 나타내는 시간 변수를 모형에 투입할 때, 두 구간으로 구분하여 각각의 변화 정도를 파악하고자 하였으며, 이에 따른 식은 다음 식 (1)과 같다.

$\[ \begin{array}{c}{y}_{ti}=\alpha +{\beta }_1\left(year1\right)+{\beta }_2\left(year2\right)+{\beta }_3\left({group}_i\right)\\ +{\beta }_4\left(year1*group\right)+{\beta }_5\left(year2*group\right)\\ +{\beta }_p\left(X_{\pi }\right)+u_i+e_{ti},\end{array} \]$

(1)

y_ti: t시점 i학생의 인지적 역량,
β₁: 1차~2차 연도의 변화량 (2차 연도-1차 연도), (year1=-1,0,0),
β₂: 2차~3차 연도의 변화량 (3차 연도-2차 연도) (year2=0,0,1),
β₃: 2차 연도의 실험집단과 통제집단 평균 차이 (실험집단=1, 통제집단=0),
β₄: 1~2차 변화량의 집단별 차이,
β₅: 2~3차 변화량의 집단별 차이,
X_π: p개의 통제변수(성별, SES, 학업성적, 교사의 스마트교육 역량, 학교의 ICT 활용도),
β_p: p개의 통제변수의 회귀계수.

식 (1)에서 β₁은 통제집단의 사전(1차)-사후(2차) 차이에 대한 추정값이며, β₂는 사전(2차)-사후(3차) 차이에 대한 추정값을 의미한다. β₃은 기준연도인 2차 연도에서 처치집단과 통제집단의 역량 차이를 나타낸다. 식 (1)에서 연도 더미변수와 집단 변수의 상호작용항을 추가함으로써 디지털교과서의 종단적 효과를 검증할 수 있다. 상호작용항의 회귀계수인 β₄는 처치집단과 통제집단 간 2차 연도 변화량의 차이를, β₅는 처치집단과 통제집단 간 3차 연도 변화량의 차이를 나타낸다.

그러므로 디지털교과서 사용의 효과는 2~3차 연도 변화량의 차이인 β₃의 통계적 유의성을 통해서 검증할 수 있다. 이는 일반적으로 정책 프로그램 효과 검증에 활용되는 DID(Difference-In-Difference) 추정치와 같다. DID는 특정 사건 전후로 실험집단과 통제집단의 차이를 비교하기 위해서 주로 사용된다. 실험집단과 동질적인 통제집단을 설정하여 전후관계를 비교함으로써 시간에 따라 변하는 관측 불가능한 요인이 제거되어 인과효과 추정값을 식별할 수 있는 장점이 있다. 즉, β₅는 1차 연도의 집단 간 이질성을 통제한 3차 연도 변화에 대한 처치집단과 통제집단의 차이를 의미하므로, 디지털교과서 지속사용의 효과 검증이 가능하다.

또한 종속변수에 영향을 미칠 수 있는 성별, SES(Socioeconomic Status), 1차년도 학업성적, 교사의 스마트교육 역량, 학교의 ICT 활용도를 통제변수로 모형에 투입함으로써 보다 정밀하게 효과를 검증하고자 하였다. 성별은 남자는 0, 여자는 1의 더미변수이며, SES는 부모 학력, 로그월평균가구소득, 부모 직업지위의 표준점수의 평균값이다. 교사의 스마트교육 역량은 미래교육을 효과적으로 수행할 수 있는 교사의 역량으로 기본소양과 실천역량에 대한 38문항으로 측정되었다. 학교의 ICT 활용도는 교육과정과 수업운영에서의 ICT 활용 정도로 5점척도 4문항으로 측정되었다.

3. 연구 결과

3년 모두 디지털교과서를 활용한 실험집단과는 달리, 통제집단의 경우 3차 연도에는 디지털교과서를 활용하지 않았다. 패널회귀분석을 통해 이 두 집단의 변화 양상의 차이를 비교한 결과는 Table 6과 같다.

Table 6.

Differences between groups in the patterns of change in cognitive abilities

자기주도학습능력에 대한 분석 결과, 통제집단의 1-2차 연도 변화인 β₁은 유의하지 않았으나(b=-.056, p>.05), 2-3차 연도 변화인 year2의 회귀계수β₂는 -.111로 유의수준 .001에서 통계적으로 유의하였다. 그러므로 통제집단의 경우, 디지털교과서를 사용한 2차 연도에는 자기주도학습능력에 변화가 없었고, 사용하지 않은 3차 연도에는 자기주도학습능력이 감소되었다. 2차 연도에 처치집단과 통제집단의 차이를 나타내는 β₃의 계수는 유의하지 않았으므로, 2차 연도에는 두 집단 간 평균에 차이가 없었음을 알 수 있다. 연도별 변화에 대한 집단 간 차이를 검정한 결과는 다음과 같다. 우선 1-2차 연도 변화의 차이는 year1과 group의 상호작용항을 통해 알 수 있는데, 이는 통계적으로 유의하지 않았다(test1: b=.051, p>.05). 그러나 2-3차 연도 변화(β₅)는 집단에 따라 차이가 있었는데, 통제집단에 비해 처치집단의 자기주도학습능력이 .189점 더 향상되었다(test2: b=.189, p<.01). 이러한 결과를 바탕으로 자기주도학습능력에 대한 디지털교과서의 효과를 해석해 보면, 디지털교과서를 2년 미만으로 사용했을 때에는 효과가 거의 없었으나, 3년을 사용하면서 자기주도학습능력의 향상이 나타났다. 반면에 3년 차에 디지털교과서를 사용하지 않은 경우에는 자기주도학습능력이 감소하여, 디지털교과서 사용 중지가 부정적인 영향을 주었음을 알 수 있다.

문제해결력에 대한 디지털교과서 사용의 효과도 유사한 결과를 보였다. 통제집단의 경우, 2차 연도에는 문제해결력의 변화가 없었으나(b=-.037, p>.05), 디지털교과서를 사용하지 않은 3차 연도에는 유의하게 감소하였다(b=.221, p<.001). 2차 연도에는 처치집단의 문제해결력이 통제집단에 비해 .061점 향상되었으나 집단 간 차이는 유의하지 않았다(test1). 그러나 두 집단 간 디지털교과서 사용 조건이 다른 3차 연도에는 처치집단의 문제해결력이 통제집단보다 유의하게 향상되었다(test2: b=.256, p<.001). 그러므로 2년 미만으로 디지털교과서를 사용한 경우에는 문제해결능력에 유의한 효과가 없었지만, 3년을 지속적으로 사용한 경우 문제해결력이 점차 향상되었다. 또한 디지털교과서 사용을 중지한 경우에는 문제해결력이 감소되는 결과를 보였다.

사회과 학업역량의 경우, 통제집단의 연도별 변화 양상은 자기주도학습능력, 문제해결력과 유사한 경향을 보였다. 즉, 통제집단의 사회과 학업역량은 2차 연도에는 거의 변화하지 않았으나(b=-.085, p>.05), 3차 연도에 유의하게 감소하였다(b=-.166, p<.001). 반면에 처치집단의 경우에는 지속적인 향상을 보여서 집단 간 변화 양상에 차이가 있음을 알 수 있다. 2차 연도에 처치집단의 사회과 학업역량은 통제집단보다 .172점 향상되었고(test1: b=.172, p<.001), 3차 연도에도 통제집단의 변화량 보다 .204점 높았다(test2: b=.204, p<.001). 연구가설 1에서 1-2차 연도 변화에 대한 집단 간 차이는 없을 것으로 가정하였으나, 사회과 학업역량의 경우에는 가설이 기각되는 결과가 나타났다. 두 집단 모두 디지털교과서를 사용한 1-2차 연도에도 집단 간 변화의 차이가 있었는데, 이 시기에는 두 집단 모두 디지털교과서를 사용했으므로 1-2차 연도 간 변화를 디지털교과서 효과로 볼 수는 없다. 가설 1이 지지되지 않았지만, 분석 모형을 통해 1차 연도의 집단 간 사회과 학업역량의 차이가 통제되고, 2차 연도에도 집단 간 차이가 없었기 때문에(b=-.027, p>.05) 가설 2의 검정 결과는 신뢰할 만하다. 즉, 3차 연도에 디지털교과서를 사용한 집단의 경우 사용을 중지한 집단에 비해 사회과 학업역량이 향상되었다.

과학과 학업역량에 대한 디지털교과서 사용의 효과도 긍정적인 것으로 분석되었다. 통제집단의 경우, 앞서 제시된 다른 인지적 역량과 마찬가지로 2차 연도에는 변화가 없고(b=-.052, p>.05), 3차 연도에는 과학과 학업역량이 유의하게 감소하였다(b=-.203, p<.001). 두 집단 모두 디지털교과서를 사용하는 1-2차 연도에는 집단 간 과학과 학업역량의 변화에 차이가 없었으나(test1: b=.124, p>.05), 3차 연도에는 처치집단이 통제집단에 비해 .191점 더 향상되는 차이가 있었다(test 2: b=.191, p<.001)

디지털교과서 지속사용집단(처치집단)과 사용중단집단(통제집단)의 인지적 역량에 대한 연도별 변화에 차이가 있는가를 검정한 결과, 2차 연도 이전에는 집단 간 차이가 없었으나, 3차 연도에는 인지적 역량 변화에 대한 집단 간 차이가 유의하였다. 두 집단 모두 디지털교과서를 사용한 1-2차 연도에는 집단별 변화에 차이가 없었으나, 통제집단이 디지털교과서를 사용하지 않은 3차 연도에는 지속사용집단의 인지적 역량 향상 정도가 더 높았다. 단, 사회과 학업역량의 경우, 2차 연도에도 처치집단이 더 많이 향상되었는데, 이러한 차이는 디지털교과서의 효과가 아닌 학생 특성이나 학년별 교육과정의 차이로 인한 결과일 수 있다. 디지털교과서 사용 여부에 따른 차이를 나타내는 2-3차 연도의 변화와 집단의 상호작용 항을 살펴보면, 디지털교과서를 3년 사용한 집단은 2년만 사용한 집단에 비해 약 0.2점(.189~.256점)의 향상 효과가 있었으며, 이는 통계적으로 유의했다.

처치집단과 통제집단의 3년에 걸친 전반적인 변화 경향을 살펴보면, 통제집단의 경우, 1차 연도 에 비해 2차 연도 에 통계적으로 유의한 변화가 없었으나, 디지털교과서를 사용하지 않은 3차 연도 에 유의하게 감소하는 경향을 보였다. 처치집단의 경우, 자기주도학습능력과 문제해결력은 1차 연도의 수준이 유지되다가 3차 연도 에 다소 향상되는 경향이었으나, 학업역량은 1차 연도에 비해 2차 연도에 향상되는 경향을 보였다. 결과 해석에서 주의할 점은 1차 연도는 디지털교과서를 1년 사용한 시점의 측정치이기 때문에 디지털교과서의 효과가 반영된 값이라는 점이다. 그러나 디지털교과서 사용 이전의 초기값을 알 수 없기 때문에 1차 연도의 효과는 추정할 수 없었다.

Table 6의 추정 결과에 기초하여 연도에 따른 집단별 변화를 도식화하면 Figure 1과 같으며, 디지털교과서 사용 중지로 인해 인지적 역량이 감소하는 경향이 있음을 확인할 수 있다. 그러나 3년만 조사되었기 때문에 이러한 감소가 지속되는지, 해당 시점의 일시적인 현상인지는 파악할 수 없다.

Figure 1.

Differences between groups in the patterns of change in cognitive competencies: (a) Self-directed learning ability, (b) Problem-solving ability, (c) Academic competencies in social studies, (d) Academic competencies in science

4. 결론

본 연구는 디지털교과서를 지속적으로 사용한 집단과 중도에 사용을 중지한 집단 간의 인지적 역량의 변화 추이를 비교‧분석하였다. ‘디지털교과서 활용과 효과에 관한 종단연구’를 통해 수집된 3년간의 패널데이터가 분석에 사용되었으며, 각 구간에서 집단별 인지적 역량의 변화 추이를 비교하는 패널회귀분석이 시행되었다. 인지적 역량은 사회 및 과학 과목의 학업적 역량, 문제해결력, 자기주도학습능력을 포함한다.

분석은 구간에 따라 두 단계로 진행되었다. Test1에서는 1차 연도와 2차 연도에서 디지털교과서 사용에 따른 인지적 역량의 변화의 집단간 차이를 검증하였다. 분석 결과, 사회과 학업역량을 제외하고 1-2차 연도 인지적 역량 변화에 집단 간 유의한 차이가 없었다. 이는 test2에서 처치의 효과를 보다 명확하게 확인할 수 있도록 두 집단의 사전 동질성이 확보된 것으로 볼 수 있다.

본 연구의 초점인 test2에서는 2차 연도와 3차 연도에서 디지털교과서 사용에 따른 인지적 역량 변화를 지속사용집단과 사용중지집단 간 차이를 중심으로 분석하였다. 3차 연도에서는 사용중지집단에서 디지털교과서 사용을 중지하였기 때문에, 두 집단을 각각 실험군과 대조군으로 보고 보다 명확한 비교분석이 가능하다. 연구 결과, 지속사용집단에서 사용중지집단보다 인지적 역량의 유의한 향상을 나타냈으며, 이는 디지털교과서 사용 중지로 인해 인지적 역량이 감소한 것과 비교하여 볼 때 디지털교과서의 사용이 학생의 인지적 역량 향상에 효과가 있다는 것을 시사한다.

구체적인 연구 결과를 논의하면 다음과 같다.

첫째, 2-3차 연도에 디지털교과서를 지속사용한 처치집단에서 통제집단에 비해 자기주도학습능력이 향상되었다. 본 연구의 결과는 수학과[3] 과학[28] 과목에서 디지털교과서의 사용이 자기주도학습능력을 향상시킨다고 한 선행연구들의 결과를 뒷받침한다. 특히 [30]은 자기주도학습능력을 감성적(affective) 영역과 전략적(strategic) 영역의 하위 영역으로 나누어 디지털교과서의 효과를 검증한 바 있는데, 본 연구 결과는 이러한 선행연구의 결과를 뒷받침한다. 이러한 결과가 나타난 원인으로는 디지털교과서에서 지원되는 다양한 학습 전략적 요소들 때문으로 볼 수 있다. Metcalf 외(2023)는 연구 논의에서 디지털교과서 플랫폼이 학생들의 능동적 학습을 향상시키기 위해 요구되는 기능들에 대해 논하면서, 자기평가(self-testing)를 중요한 요소로 꼽았다[29]. 본 연구에 사용된 디지털교과서는 자가 평가 문항과 학습진단 및 처방 등 학습전략적인 관리 및 지원 기능을 제공하고 있다. 이를 통해 학생들의 자기주도학습능력의 전략적 측면이 향상된 것으로 볼 수 있다.

둘째, 2-3차 연도에 디지털교과서를 지속사용한 처치집단에서 통제집단에 비해 문제해결 능력이 향상되었다. 본 연구의 결과는 디지털교과서가 초등학교 3, 4학년 및 중학교 1학년의 문제해결능력을 향상시켰다고 보고한 차현진, 계보경, 정광훈(2017)과 디지털교과서의 사용이 문제해결능력에 미치는 긍정적 영향을 사전사후 비교를 통해 검증한 서순식, 서정희, 황소희(2009) 등의 결과를 뒷받침한다[30, 36]. 또한 디지털교과서 연구학교 4개 학급에 대해 디지털교과서가 문제해결력에 긍정적인 영향을 미친다고 서순식, 서정희, 황소희(2008)이 보고한 [50] 이후 보다 일반적인 결과를 도출하고자 축적된 광범위한 종단 데이터를 활용하여 선행연구의 결과를 재입증하였다는 점에서 의의가 있다.

셋째, 2-3차 연도에 디지털교과서를 지속사용한 처치집단에서 통제집단에 비해 사회와 과학 학업성취도가 향상되었다. 본 연구의 결과는 사회[32, 51] 및 과학[29] 과목의 학업성취도에 디지털교과서가 긍정적 영향을 미친다고 보고한 선행연구들을 뒷받침한다. 또한 이정민, 문지윤, 조보람(2015)은 자기주도학습능력이 학업성취도에 긍정적으로 영향을 미치며 이를 예측할 수 있다고 하였는데[37], 본 연구에서 역시 처치집단에서 자기주도학습능력 또한 향상된 점을 볼 때, 이러한 결과를 뒷받침할 수 있다. 그러나 송진영 외(2017)는 디지털교과서가 과학 학업성취도에 미치는 영향이 초기 성적에 따라 다르게 나타난다고 하였으며[28], 본 연구 결과에서도 통제집단에서 1-2차 연도에 학업성취도가 유의하게 감소한 집단 특성을 보였으므로 집단별 구체적인 특성을 고려하여 결과를 해석해야 할 것이다.

넷째, 통제집단에서 인지적 역량의 변화를 볼 때, 디지털교과서를 사용한 1-2차 연도에서 디지털교과서를 사용하였음에도 불구하고 인지적 역량에 유의한 차이가 없었다. 이러한 결과는 데이터 수집 시점에 의한 것으로 해석될 수 있다. 본 연구에 사용된 데이터의 최초 수집 시점, 즉 1차 연도 데이터 수집 시점이 디지털교과서를 사용하지 않은 시점이 아니라, 디지털교과서를 사용한지 1년차가 되는 시점이었기 때문에 1차 연도부터 디지털교과서의 효과성을 보이고 있었던 것으로 해석할 수 있다. 따라서 디지털교과서를 사용하지 않은 초기값에 비해서는 역량이 향상되었을 수 있지만, 본 연구에 사용된 데이터에서는 초기값을 수집하지 못했기 때문에 이러한 비교가 어렵다는 한계가 있다.

종합하면, 3년간 지속적으로 디지털교과서를 사용한 집단은 2-3차 연도에서 인지적 역량에 향상을 보였으나, 2년 미만으로 사용하고 사용을 중단한 통제집단에서는 사용중지와 함께 인지적 역량이 감소하였다. 이를 토대로 디지털교과서를 3년 이상 지속적으로 사용할 것이 제안된다. 그러나, 이러한 결과는 자칫 디지털교과서에 지속적으로 의존하여야만 역량이 유지된다는 의미로 비춰질 수도 있다. 역량은 보다 오랜 기간에 걸쳐 함양되고 유지되는 내적 특성이기 때문에[52] 학습 도구를 통해 한번 역량이 함양되었다면 쉽게 감소하여서도 안 될 것이다. 이러한 결과가 나타난 이유로 다음과 같은 요인들을 생각해볼 수 있다.

먼저, 본 연구에서 파악한 역량은 자기보고식 설문조사를 통해 파악된 것으로, 학생들의 내적 특성인 역량 자체보다는 그에 대한 자기인식만을 반영하였기 때문에 통제집단에서 추정값의 변화폭이 실제 역량 변화보다 크게 나타났을 수 있다. 또한 2-3년보다 긴 기간 지속적으로 디지털교과서를 사용한다면 진정한 역량이 함양되어 디지털교과서를 사용 중지하여도 역량이 유지될 가능성이 있다. 본 연구에서는 2년 미만으로 디지털교과서를 사용하다가 중지하였을 때에는 디지털교과서의 효과가 유지될 수 없음을 보인 것으로, 최소 어느 정도의 기간 동안 디지털교과서를 사용하여야 장기간 유지될 수 있는 역량이 함양될 것인지는 보다 장기간에 걸친 연구를 통해 파악될 필요가 있다.

따라서 학생들이 디지털교과서를 통하여 진정한 역량의 향상을 이루고 이를 유지할 수 있도록 관련된 기능과 활용을 촉진할 수 있는 커리큘럼 및 교수법의 개발 등이 활발히 이루어져야 하며, 학생과 교사의 디지털 리터러시 함양도 요구된다. 특히 현재의 디지털교과서는 본래 목적인 학습 도구이자 소통 공간으로서 기능하는 것이 아니라, 서책형 교과서의 형태를 그대로 차용하여 학습 교재로서의 한계를 답습하였다는 비판[53]도 있다. 따라서 차세대 AI 디지털교과서를 개발하는 데 있어서는 디지털교과서의 본 목적이 실현될 수 있도록, 즉 학습 교재를 넘어 플랫폼으로서 기능함으로써 그 효과를 효율적으로 전달할 수 있도록 해야 한다.

이러한 연구 결과는 디지털교과서 연구 맥락과 실질적인 정책 집행에 기여할 수 있다. 첫째, 본 연구는 장기간에 걸친 국가 수준의 규모가 큰 패널데이터를 활용하여, 디지털교과서의 교실 도입 시 효과를 종단적으로 파악하였다는 데 의의가 있다. 기존의 연구들에는 표본의 수가 작고 장기간 연구가 부족하다는 한계가 있었다[3]. 본 연구의 결과는 단기 연구 또는 실험 연구들을 통해서 입증된 결과와 같은 맥락의 결과를 보여주며[3, 28], 디지털교과서의 사용이 인지적 역량 향상에 긍정적인 영향을 미친다는 것을 대규모 표본 집단에서 장기적으로 재입증하였다.

기존의 디지털교과서 효과성에 대한 연구는 주로 소규모의 실험 대상에게 처치 전후 또는 처치 집단과 비처치 집단 사이 차이 분석을 통해 이루어졌다. 디지털교과서가 수학과 학업역량에 미치는 영향에 대해 메타분석한 연구에 따르면, 이러한 연구들에서 효과크기 또는 표본 크기가 작을수록(30명 이하), 처치 기간이 짧을수록(4주 이하) 디지털교과서의 효과성이 높다는 결론이 나타나는 경향이 있다고 보고하였다[54]. 바꿔 말하면, 디지털교과서의 높은 효과성을 입증한 많은 연구들이 적은 수의 학생 집단에서 단기적으로 디지털교과서의 효과에 대한 실험을 진행하였을 때의 결과를 보고하고 있다는 것이다. 이는 소규모 단기 연구에서 처치, 학습 환경, 교수법 등을 세밀하게 통제하였기 때문으로 디지털교과서에 대해 심도 있는 이해를 제공한다는 장점이 있지만, 국가적인 수준의 대규모 정책의 설계 및 시행에 통찰을 제공하기에는 다소 한계가 있다. 따라서 본 연구에서와 같이 1,418명이라는 대규모의 학생 집단에서, 3년이라는 장기간의 기간 동안 디지털교과서의 효과성을 입증한 것은 정책적 시사점을 제공할 수 있다는 점에서 의의가 있다.

둘째, 본 연구는 집단 간 비교 분석을 통하여 디지털교과서를 지속사용 했을 때의 효과를 객관적으로 검증하였다는 데 의의가 있다. 디지털교과서의 효과에 대한 선행 연구들은 주로 처치 전후의 집단 내 비교를 통하여 디지털교과서의 효과를 파악하고자 하였으나[55], 실제 사용의 효과를 검증하지 못한다는 점과 처치 전후 집단 내 비교만으로는 다른 여러 요인에 의한 성장과 디지털교과서의 고유한 효과를 분리추정하기 어렵다는 점에서 한계가 있다. 그러나 본 연구는 지속사용집단과 사용중지집단, 측 처치집단과 비처치집단의 집단 간 비교를 통하여 기타 요인에 의한 성장을 고려한 후에도 디지털교과서가 미치는 고유한 영향을 검증하였다. 이러한 연구 결과는 디지털교과서의 효과에 대한 불확실성 논란에 있어 장기적이고 실제적인 사용의 효과성을 비교‧분석이라는 새로운 시각을 통해 재검증한 것이라고 할 수 있다.

셋째, 정책효과 분석에서 활용되는 이중차분법을 적용하여 서책형 교과서에 비해 디지털교과서가 가지는 효과를 종단적으로 검증하였다. 표본의 수가 크고, 장기간에 걸친 패널데이터를 활용한 기존의 비교분석 연구에서는 디지털교과서의 활용 빈도에 대한 설문을 기반으로 집단을 나누어 비교‧분석하였다[1]. 그러나 이 경우는 디지털교과서 사용 빈도에 따른 효과를 파악한 것이지, 기존 서책형 교과서에 비하여 디지털교과서가 갖는 고유한 효과는 파악하지 못한다는 한계가 있다. 즉 여전히 서책형 교과서를 디지털교과서로 대체해야 하는지에 대해서는 불확실성이 남아있다는 것이다.

이와 비교하여, 본 연구는 디지털교과서 도입 3년 차에 지속사용집단과 사용중지집단 간의 변화량의 차이를 분석함으로써 기타 요인에 의한 성장을 고려한 후에도 디지털교과서가 미치는 고유한 영향을 검증하였다는 데 그 의의가 있다. 사용중지집단은 3년차에 서책형 교과서를 사용하였기 때문에 본 연구 결과는 서책형 교과서에 비해 디지털교과서가 가지는 효과에 대해서도 검증했다고 할 수 있다. 이러한 연구 결과는 서책형 교과서를 디지털교과서로 대체하거나 디지털교과서를 전면적으로 도입하는 정책을 실시하고자 할 때 근거가 될 수 있다.

넷째, 본 연구는 디지털교과서 도입 초창기 과도기적 특성으로 인해 발생한 단발성의 특수한 사례에 대해 분석한 것으로, 앞으로 한국에서는 이러한 비교분석이 이루어지기 어렵다는 점에서도 본 연구의 의의가 있다. 일반적으로 처치의 효과를 명확하게 확인하기 위해서는 실험군과 대조군, 처치집단과 비처치집단의 비교를 통해서 확인하는 것이 타당하지만, 디지털교과서 분야에서는 그러한 실험 설계에 한계가 있다. 이미 개발 및 공개된 디지털교과서의 사용을 금지(비처치)하는 것은 학생들의 학습권을 침해할 우려가 있기 때문이다. 단, 일부 디지털교과서가 개발 단계에 있거나 아직 배포를 하지 않은 경우에는 이러한 실험 설계가 가능할 수 있기 때문에, AI 디지털교과서의 효과성을 분석하는 실험 설계 시 이러한 부분을 고려하는 것이 필요하다.

마지막으로, 본 연구는 학생들의 지속적인 인지적 역량의 향상을 위해서는 디지털교과서의 꾸준한 사용이 중요함을 보임으로써 교육 효과의 지속성에 대한 연구에 기여하고 있다. 디지털교과서를 3년간 꾸준히 사용한 집단에서는 인지적 역량의 꾸준한 향상을 보였고, 3년 차에 사용을 중단한 집단에서는 그에 상응하게 인지적 역량의 감소를 보였다. 이는 장기적으로도 디지털교과서의 고유한 긍정적 효과가 존재함을 보임으로써 디지털교과서 도입 정책에 이론적 근거를 제공한다. 또한, 디지털교과서의 장기적인 사용 사례에서 정책 적용의 지속성이 중요함을 시사한다. 이는 현재 개발되고 있는 AI 디지털교과서에도 적용되는데, 도입에 앞서 디지털교과서의 지속적인 사용이 저해되지 않도록 체계적인 커리큘럼과 활용방안이 마련되어야 하며 충분한 점검 후에 도입되어야 효과가 연속성을 가질 수 있을 것이다.

본 연구는 디지털교과서의 효과를 가능한 객관적으로 검증하고자 가용한 데이터의 특성을 반영하여 분석을 수행하였지만, 다음과 같은 제한점이 있다. 첫째, 처치 시행의 효과가 아닌 처치 중단의 효과를 검증하였다는 점이다. 일반적인 실험설계에서는 사전이 아닌 사후에 처치가 시행되지만 본 연구에서는 디지털교과서 사용 이후 중지 상황에서의 변화를 분석하였다. 둘째, 디지털교과서를 사용하기 이전의 측정치를 확보하지 못하여 1차 연도에 나타난 디지털교과서의 효과를 검증하지 못하고 사용 연차의 효과만을 검증하였다. 셋째, 교과 학업역량의 경우, 일반적인 학업성취도 평가가 아닌 자기보고식 설문으로 측정되어 실제 학업역량을 정확하게 반영하였다고 보기 어렵다. 넷째, DID분석을 통해 일정 정도 처치의 인과효과를 검증할 수 있었다고 해도, 분석 모형에 포함되지 않은 외생변수의 영향을 간과하기 어렵다. 특히 디지털교과서 활용과 관련한 수업모형, 활용 환경, 학년 차이 등과 같이 처치와 무관한 집단 간 차이를 정밀하게 통제하지 못하였다는 한계가 있다. 따라서 학년별 교육과정의 영향을 직접적으로 받을 가능성이 높은 사회과 및 과학과 학업역량의 경우, 결과 해석에 주의가 요구된다.

이와 같은 연구의 제한점을 고려하여 2025년 새로운 AI 디지털교과서 도입 이전에 서책형 교과서뿐 아니라 기존 디지털교과서와의 비교가 가능한 종단연구를 미리 설계할 것을 제안한다. 특히 기존 효과성 연구에서 한계점으로 언급하고 있는 사전점수의 확보가 필요하다[56]. 즉, 디지털교과서 사용 이전의 출발점 상태를 측정할 수 있도록 AI 디지털교과서 보급 이전에 다양한 과정요인을 고려한 보다 정밀한 실험연구의 설계가 착수되어야 할 것이다. 새로운 효과성 연구에서는 디지털 대전환 시대에 미래역량을 고려한 새로운 역량 측정도구의 개발 연구도 이루어질 필요가 있다.

Acknowledgments

본 논문은 “디지털교과서 활용과 효과에 대한 종단연구(III)”(김정랑 외, 2016)를 기반으로 작성하였음.

References

• Lee, S., Lee, J.-H., & Jeong, Y. (2023). The Effects of Digital Textbooks on Students’ Academic Performance, Academic Interest, and Learning Skills. Journal of Marketing Research, 60(4), 792-811. [https://doi.org/10.1177/00222437221130712]
• Orey, M., Jones, S. A. & Branch, R. M. (2012). Educational Media and Technology Yearbook. [https://doi.org/10.1007/978-1-4614-1305-9]
• Lim, K., Go, J., Kim, J., Son, J., Jang, Y. & Joo, M.-H. (2022). Sustainable Effect of the Usefulness of and Preference for Digital Textbooks on Perceived Achievements in Elementary Education Environments. Sustainability, 14(11), 6636. [https://doi.org/10.3390/su14116636]
• Rodríguez-Regueira, N. & Rodríguez-Rodríguez, J. (2022). Analysis of digital textbooks. Educational Media International, 59(2), 172-187. [https://doi.org/10.1080/09523987.2022.2101207]
• Jeong, Y. (2008). Development of Evaluation Criteria on Digital Text-book. The Journal of Korean Association of Computer Education, 11(3), 13-20. [https://doi.org/10.32431/kace.2008.11.3.002]
• Kim, H. & Cha, J. (2013). An Analysis of Teachers' Perceptions on E-Textbooks and Digital Textbooks. The Journal of Yeolin Education, 21(4), 275-298.
• Snilstveit, B., Gallagher, E., Phillips, D., Vojtkova, M., Eyers, J., Skaldiou, D., Stevenson, J., Bhavsar, A. & Davies, P. (2017). PROTOCOL: Interventions for improving learning outcomes and access to education in low- and middle-income countries: a systematic review. Campbell Systematic Reviews, 13(1), 1-82.. [https://doi.org/10.1002/CL2.176]
• Grönlund, Å., Wiklund, M. & Böö, R. (2018). No name, no game: Challenges to use of collaborative digital textbooks. Education and Information Technologies, 23(3), 1359-1375. [https://doi.org/10.1007/s10639-017-9669-z]
• Al-Qatawneh, S., Alsalhi, N., Al Rawashdeh, A., Ismail, T. & Aljarrah, K. (2019). To E-textbook or not to E-textbook? A quantitative analysis of the extent of the use of E-textbooks at Ajman University from students' perspectives. Education and Information Technologies, 24(5), 2997-3019. [https://doi.org/10.1007/s10639-019-09912-4]
• Lee, H. & Hwang, Y. (2022). Technology-Enhanced Education through VR-Making and Metaverse-Linking to Foster Teacher Readiness and Sustainable Learning. Sustainability, 14(8), 4786. [https://doi.org/10.3390/su14084786]
• Kim, J. H. Y. & Jung, H. Y. (2010). South Korean digital textbook project. Computers in the Schools, 27(3-4), 247-265. [https://doi.org/10.1080/07380569.2010.523887]
• Korea Education and Research Information Service. (2024. Jaunary 4). Actual use of digital textbooks. Elementary and secondary education services. https://www.keris.or.kr/main/na/ntt/selectNttList.do?mi=1643&bbsId=1327
• Korea Education Statistics Service (2024. January 4). Scholls by grade level. https://kess.kedi.re.kr/stats/school?menuCd=0101&cd=5443&survSeq=2022&itemCode=01&menuId=m_010102&uppCd1=010102&uppCd2=010102&flag=B
• Shin, S., Ahn. S., Kang, S. Shim, Y., Lee, J., Park, D., Gwak, B & Han, N. (2023). Analyzing the 2022 elementary and secondary school digital transformation survey (RM 2023-06). Daegu. Korea Education and Research Information Service.
• Kye, B., Gwak. B. & Han, N. (2022). The state of digital education infrastructure and student digital competencies in 2022 (RM 2022-18). Daegu. Korea Education and Research Information Service.
• Kim, D., Kim. E., Ryu, Y., Choi, J. & Byun, J. (2020). Exploring elementary and middle school teachers' actual use of digital textbooks and influencing factors (2021-07). Seoul. Mirae-n Research Center.
• Ahn, S., Kim. H., Hwang, J., Joo, K., Seo, J., Ahn, S. Lee, S & Lee, J. (2020). A study on analysis of actual use of digital textbooks and future plans (KR 2020-2). Daegu. Korea Education and Research Information Service.
• Lee, K., Lee. Y., Kim, S., Kim, J. & Cho, K. (2023). Analysis of usage patterns of book and digital textbooks in online and offline educational environments (ORM 2023-30-16). Jinchun-gun. Korea Institute for Curriculum and Evaluation.
• Seo, B. & Gong, E. (2021). The effectiveness of classes utilized digital textbooks : Using meta-analysis. Journal of Education Science, 23(3), 27-50. [https://doi.org/10.15564/jeju.2021.09.23.3.27]
• Ryu, J. & Byun, H. (2012). Latent mean comparison of digital textbook and gender differences in elementary school. Korean Journal of Educational Methodology Studies, 24(3), 617-636.
• Kim, J., Jeong, Y., Im, H. & Kwon, S. (2014). A Longitudinal Study on the Use and Effect of Digital Textbooks(the 1st year). Ministry of Education, Science and Technology.
• Kim, J., Jeong, Y., Im, H. & Leem, J. (2015). A Longitudinal Study on the Use and Effect of Digital Textbooks(the 2nd year). Ministry of Education, Science and Technology.
• Kim, J., Jeong, Y., Im, H. & Leem, J. (2016). A Longitudinal Study on the Use and Effect of Digital Textbooks(the 3rd year). Ministry of Education, Science and Technology.
• Jang, D.-H., Yi, P. & Shin, I.-S. (2016). Examining the Effectiveness of Digital Textbook use on Students' Learning Outcomes in South Korea: A Meta-analysis. The Asia-Pacific Education Researcher, 25(1), 57-68. [https://doi.org/10.1007/s40299-015-0232-7]
• Byun, H., Choi, J. I. & Song, J. S. (2006). Research on the development of electronic textbook prototype. Journal of Educational Technology, 22(14), 217-240. [https://doi.org/10.17232/KSET.22.4.217]
• Kim, S. & Kim, J. (2022). Study on blended learning lesson in English digital textbook on elementary school students. Journal of Learner-Centered Curriculum and Instruction, 22, 1-15. [https://doi.org/10.22251/jlcci.2022.22.1.1]
• Kim, E. & Yun, J. Development and Application of a Digital Textbook utilizing New Cabri: Focusing on Circumcenter and Incenter of Triangle. Journal of Learner-Centered Curriculum and Instruction, 21(17), 383-399. [https://doi.org/10.22251/jlcci.2021.21.17.383]
• Song, J., Son, J., Jeong, J. & Kim, J. (2017). Development and Effects of Instruction Model for Using Digital Textbook in Elementary Science Classes. Journal of the Korean Society of Earth Science Education, 10, 262-277.
• Metcalf, L. E., Bernacki, M. L. & Bernacki, L. E. (2023). How do digital textbook platforms promote active learning in undergraduate biology courses? Journal of Research in Science Teaching, 60(7), 1579-1610. [https://doi.org/10.1002/tea.21845]
• Cha, H., Kye, B. & Jeong, J. (2017). Analysis of Impacts of Digital-Textbooks on Learners' Self-regulated Learning and Problem-solving Competency. The Journal of the Korea Contents Association, 17, 13-25. [https://doi.org/10.5392/JKCA.2017.17.02.013]
• Huang, R., Kinshuk & Chen, N.-S. The New Development of Technology Enhanced Learning. Berlin: Springer, 2014; pp. 113-129. [https://doi.org/10.1007/978-3-642-38291-8]
• Yu, J. & Kim, J. (2015). Study on Social Studies Critical Thinking and Problem-Solving Ability Improvement through Utilizing Digital Textbooks. Journal of The Korean Assocication of Information Education, 19, 197-206. [https://doi.org/10.14352/jkaie.2015.19.2.197]
• Jung, J. Y., Lee, I. S., Park, K.-Y. & Lee, S. (2016). The longitudinal Relationship between Self-directed Learning Ability and Career Maturity using Autoregressive Cross-lagged Modeling by Middle and High School Students in Seoul. Journal of Vocational Education Research, 35(4), 89-107. UCI : G704-000975.2016.35.4.008
• Chung, O. B., Lim, J., Chung, S., Kim, L.-J. & Yoon, J. (2012). The development and validation of a self-directed learning inventory for middle and high school students. Korean Journal of Human Development, 19(2), 227-249. UCI : G704-000726.2012.19.2.005
• Kim, J., Han. S., Han, J., Mo, K., Lee, H., Kim, Y., Kim, S. & Kim, S. (2014). Development of tools to evaluate the effectiveness of smart education and digital textbooks – focused on pilot schools (KR 2014-2). Daegu. Korea Education and Research Information Service.
• Suh, S, Seo, J.-H. & Hwang, S. (2009). Effects of digital textbook usage on the Improvement of problem solving competency. Journal of the Korean Association of Information Education, 13(3), 263-271. UCI: G704-000854.2009.13.3.005
• Lee, J, Moon, J. & Cho, B. (2015). The mediating role of self-regulation between digital literacy and learning outcoms in digital textbook for middle school English. Educational Technology International, 16(1), 58-83. UCI : G704-SER000009272.2015.16.1.003
• Sun, Z. & Jiang, Y (2015). How the young generation uses digital textbooks via mobile learning terminals: Measurement of elementary school students in China. British Journal of Educational Technology, 46(5), 961-964. [https://doi.org/10.1111/bjet.12299]
• Lee, S.-M. & Jeon, J.-W. (2022). The structural relationships between upper elementary school students‘ digital literacy, teaching presence, cognitive presence, and learning flow : based on the blended learning envrionment. Journal of Digital Contents Society, 23(4), 675-683. [https://doi.org/10.9728/dcs.2022.23.4.675]
• Johnston, D. J., Berg, S. A., Pillon, K. & Williams, M. (2015). Ease of use and usefulness as measures of student experience in a mul-ti-platform e-textbook pilot. Library Hi Tech, 33(1), 65-82. [https://doi.org/10.1108/LHT-11-2014-0107]
• Choi, S.-Y. & Seo, J.-H. (2009). The effect of using digital science textbook on the scientific problem solving of elementary school students. Journal of Korean Elementary Science Education, 28(2), 132-141. UCI : G704-001286.2009.28.2.009
• Wan Sulaiman, W. N. A. & Mustafa, S. E. (2020). Usability Elements in Digital Textbook Development: A Systematic Review. Publishing Research Quarterly, 36(1), 74-101. [https://doi.org/10.1007/s12109-019-09675-3]
• Wang, X. & Xing, W. (2019). Understanding Elementary Students' Use of Digital Textbooks on Mobile Devices: A Structural Equation Modeling Approach. Journal of Educational Computing Research, 57(3), 755-776. [https://doi.org/10.1177/0735633118758643]
• Stone, R. W. & Baker-Eveleth, L. (2013). Students' expectation, confirmation, and continuance intention to use electronic textbooks. Computers in Human Behavior, 29(3), 984-990. [https://doi.org/10.1016/j.chb.2012.12.007]
• Joo, Y. J., Park, S. & Shin, E. K. (2017). Students' expectation, satisfaction, and continuance intention to use digital textbooks. Computers in Human Behavior, 69, 83-90. [https://doi.org/10.1016/j.chb.2016.12.025]
• Yoo, D. K. & Roh, J. J. (2019). Adoption of e-Books: A Digital Textbook Perspective. Journal of Computer Information Systems, 59(2), 136-145. [https://doi.org/10.1080/08874417.2017.1318688]
• Hermita, N., Wijaya, T. T., Yusron, E., Abidin, Y., Alim, J. A. & Putra, Z. H. (2023). Extending unified theory of acceptance and use of technology to understand the acceptance of digital textbook for elementary School in Indonesia. Frontiers in Education, 8. [https://doi.org/10.3389/feduc.2023.958800]
• Lawshe, C. H. (1975). A quantitative approach to content validity. Personnel Psychology, 28(4), 563-575. [https://doi.org/10.1111/j.1744-6570.1975.tb01393.x]
• Gye, B., Ahn. S., Gwak, B. & Yu, J. (2014). Guide to the digital textbook effectiveness measurement checklist (RM 2014-13). Daegu. Korea Education and Research Information Service.
• Suh, S., Seo. J., & Hwang, S. (2008). The effect of using digital textbooks on problem-solving skills (RM 2008-18). Daegu. Korea Education and Research Information Service.
• Sariyatun, Suryani, N., Sutimin, L. A., Abidin, N. F. & Akmal, A. (2021). The Effect of Digital Learning Material on Students' Social Skills in Social Studies Learning. International Journal of Instruction, 14(3), 417-432. [https://doi.org/10.29333/iji.2021.14324a]
• Spencer, L. M. J. & Spencer, S. M. (1993). Competence at work: models for superior performance (p. 9). New York, Wiley.
• Sung, J., Cho, Y. H., Jo, G. T., Huh, S. Y. & Yang, S. H. (2017). Exploring the roles of a digital textbook in learner-centered education. Journal of Educational Information and Media, 23(4), 831-859. [https://doi.org/10.15833/KAFEIAM.23.4.831]
• Wijaya, T. T., Cao, Y., Weinhandl, R. & Tamur, M. (2022). A meta-analysis of the effects of E-books on students' mathematics achievement. Heliyon, 8(6). [https://doi.org/10.1016/j.heliyon.2022.e09432]
• Brown, H. Q. (2016). Examining the Effects of School-Provided E-Readers on Middle School Students' Reading Ability. Journal of Educational Technology Systems, 44(4), 404-410. [https://doi.org/10.1177/0047239515623050]
• Byun, H., Kim, J., Song, Y. & Lee, W. (2010). A study on the effectiveness of digital textbooks (CR 2010-5). Daegu. Korea Education and Research Information Service