[ Article ]

The Journal of Korean Association of Computer Education - Vol. 27, No. 9, pp.1-14

ISSN: 1598-5016 (Print) 2733-9785 (Online)

Print publication date 31 Dec 2024

Received 04 Sep 2024 Revised 12 Nov 2024 Accepted 13 Nov 2024

DOI: https://doi.org/10.32431/kace.2024.27.9.001

중등학교에서 생성형 AI를 학생 평가도구로 활용하기 위한 기초 연구: 중등교사의 생성형 AI에 대한 인식과 경험 분석에 기초하여

신상윤^†

; 강신천^††

†정회원 국립공주대학교 대학원 컴퓨터교육전공 박사과정
††종신회원 국립공주대학교 사범대학 컴퓨터교육과 교수(교신저자)

Foundational Research on Utilizing Generative AI as a Student Assessment Tool in Secondary Schools: Based on the Analysis of Secondary Teachers' Perceptions and Experiences with Generative AI

Sangyun Shin^†

; Shincheon Kang^††

초록

본 연구는 중등교사의 생성형 AI에 대한 인식과 경험을 조사하여 생성형 AI 기반 학생평가의 활용 가능성을 분석하는 데에 목적이 있다. 이를 위해 중등교사 152명을 대상으로 설문조사를 실시하고, 결과에 대한 빈도 및 기술 통계 분석을 시행하였다. 연구 결과 첫째, 중등교사의 생성형 AI의 교육적 활용에 대한 경험을 분석한 결과, 중등교사는 생성형 AI 기반 서비스를 일상생활에서 사용한 경험에 비해 교육적으로 활용한 경험은 적은 것으로 나타났다. 둘째, 중등교사의 생성형 AI의 교육적 활용에 대한 인식을 분석한 결과, 업무와 교육 활동에 긍정적 영향을 줄 것이라고 예상되는 한편 잠재적인 부정적 영향의 우려도 상당한 것으로 나타났다. 셋째, 중등학교에서 생성형 AI 기반 학생평가 적용 시 예상되는 어려움으로는 잠재적인 부작용에 대한 우려가 가장 높았으며, 필요한 지원으로는 간편하고 직관적인 평가 플랫폼 구축이 가장 중요한 요소로 확인되었다. 넷째, 중등교사의 생성형 AI 기반 학생평가 활용 의향을 측정한 결과 대체로 긍정적이었으며, 담당 과목계열에 따라 활용 의향에 통계적으로 유의한 차이가 있었다. 이러한 논의를 바탕으로, 본 연구에서는 중등학교에 적합한 생성형 AI 기반 학생평가 플랫폼 개발에 대한 후속 연구를 제안한다.

Abstract

This study aims to analyze the potential of utilizing generative AI-based student assessments by investigating secondary school teachers' perceptions and experiences with generative AI. To achieve this, a survey was conducted with 152 secondary school teachers, and frequency and descriptive statistical analyses were performed on the results. The findings of the study are as follows: First, an analysis of secondary school teachers' experiences with the educational use of generative AI revealed that teachers had less experience applying generative AI in educational contexts compared to their experience using generative AI-based services in daily life. Second, an analysis of teachers' perceptions regarding the educational use of generative AI indicated that while they anticipated positive impacts on their work and educational activities, there were also significant concerns about potential negative effects. Third, the primary anticipated challenge in implementing generative AI-based student assessments in secondary schools was concern about potential adverse effects, with the most important support being the development of a simple and intuitive assessment platform. Fourth, the intention to use generative AI-based student assessments among secondary school teachers was generally positive, with statistically significant differences in intention based on the subject area taught. Based on these discussions, this study suggests further research on developing generative AI-based student assessment platforms suitable for secondary schools.

Keywords:

Generative AI, AIED, Teacher Perception, Student Assessment, Generative AIbased Student Assessment

키워드:

생성형 AI, AIED, 교사 인식, 학생평가, 생성형 AI 기반 학생평가

1. 서론

OpenAI에서 개발한 생성형 AI 모델인 ChatGPT는 2022년 11월 출시 후 다양한 활용 가능성을 보이며 출시 5일 만에 100만 명, 2주 만에 200만 명의 사용자를 달성했다. 키워드 검색을 통해 정보를 제공하는 기존의 검색 엔진과 달리, ChatGPT는 거대 언어 모델(Large language model, LLM) 기반의 자연어 처리 기술을 통해 사용자의 질문을 이해하여 의도에 맞는 결과를 제공한다[1]. ChatGPT는 사용자 친화적인 상호작용을 통해 사람들과 자연스럽게 대화를 하는가 하면 다양한 분야의 업무에도 도움을 주며 우리의 일상에 빠르게 스며들고 있다. 특히 교육 분야에서도 생성형 AI 활용에 대한 필요성이 높이 제기되면서 각 시·도 교육청은 ChatGPT를 비롯한 Google의 Bard, Microsoft의 BingChat과 같은 다양한 생성형 AI를 수업에 활용할 수 있도록 학교급별 생성형 AI 활용 지침과 가이드를 배포하는 등 생성형 AI의 교육적 활용을 위해 적극적인 노력을 기울이고 있다[2, 3].

교육 분야에서의 AI(AI in Education, AIEd)는 기존의 표준화된 획일적 교육에 혁신을 불러와 우리가 현재 학교에서 직면하고 있는 문제를 해결할 수 있는 잠재력을 가진 기술이라 평가되는데[4], 이는 교사를 대체하는 것이 아니라 교사가 학생 교육에 더 많은 시간을 할애할 수 있도록 하며[5], 맞춤형 학습을 가능하게 하는 중요한 수단이 된다[6]. 인공지능과 빅데이터와 같은 지능정보사회 기술의 활용은 학습 데이터의 축적과 분석, 다양한 기술을 활용한 개인별 학습 지원과 평가 등을 통해 학교에서 개인별 맞춤형 학습을 가능하게 할 것이다[7]. 최근에는 지능정보사회의 신기술인 생성형 AI의 교육적 활용에 관한 연구가 활발하게 진행되고 있으며[8, 9], 특히 생성형 AI를 과학, 영어, 정보 등 다양한 교과 수업에서 활용한 연구[10-13]와 교수 설계 전 과정에서의 활용 방안을 탐구하는 연구[14-17]가 다수 진행된 바 있다.

한편 2022 개정 교육과정에서는 디지털·AI 교육 환경 변화에 부합하는 미래형 평가체제 구축과 학습자 개별 맞춤형 평가 강화를 강조하고 있다[18]. 평가의 목적은 학습자의 성장을 지원하고 교수·학습의 질을 개선하는 데 있다. 평가를 통해 수집된 정보는 학생이 무엇을 어느 정도 성취하고 있는지 확인하고, 부족한 부분에 대한 정보를 제공하여 학습자의 성장을 지원하기 위해 활용되어야 한다[19]. 생성형 AI를 기반으로 한 평가도구는 학습자 개개인의 사고 과정을 확인하고 문제 해결 과정을 살피는 학생 맞춤형 평가에서 훌륭한 보조 역할을 수행할 수 있을 것이라 기대된다.

학교 현장에서 생성형 AI가 학생평가 도구로 활용되기 위해서는 교육 운영 주체인 교사의 생성형 AI에 대한 인식과 경험에 관한 면밀한 분석이 선행되어야 한다. 일반인과 대학생, 예비 교사와 초등교사를 대상으로 생성형 AI에 대한 인식 및 경험에 관한 연구는 다수 진행된 바 있다[20, 21].

하지만 중등 교사의 생성형 AI 활용 현황과 인식 및 경험에 관한 연구, 특히 평가에 주안을 둔 연구는 미흡한 실정이며, 여전히 관련 자료 부족과 잠재적인 부작용에 대한 우려 등을 이유로 학교 현장에서 생성형 AI를 활용하고 함께 협업하는 데 많은 어려움을 겪고 있다.

본 연구는 중등학교에서 생성형 AI를 학생평가 도구로 활용하기 위한 기초 연구로, 중등교사를 대상으로 생성형 AI에 대한 인식 및 경험을 분석하여 생성형 AI가 학생평가 도구로서 가지는 교육적 가치와 활용 가능성을 분석해보고자 한다. 본 연구는 학교 현장에서 생성형 AI의 교육적 활용 및 협업을 위한 실천적 방안을 탐구하는 기초가 될 것으로 본다.

2. 연구 배경

2.1 생성형 인공지능과 교육적 활용

생성형 인공지능(Generative AI) 기술이란 인공지능 기술의 한 종류로서 인공신경망을 이용하여 이미지, 비디오, 오디오, 텍스트 등을 포함한 대량의 데이터를 학습하여 사람과 유사한 방식으로 문맥과 의미를 이해하고 새로운 데이터를 자동으로 생성해주는 기술을 의미한다[22]. 기존까지의 딥러닝 기반 AI 기술이 단순히 기존 데이터를 기반으로 예측하거나 분류하는 판별적(Discriminative) AI 기술이었다면, 생성형 AI는 이용자가 요구한 질문이나 과제를 해결하기 위해 스스로 데이터를 찾아서 학습하여 이를 토대로 능동적으로 데이터나 콘텐츠 등 결과물을 제시하는 한 단계 더 진화한 AI 기술이다[23]. 이러한 생성형 AI는 다양한 모델을 사용하여 독창적인 콘텐츠를 만들어내는데, 대표적인 모델의 종류로는 대규모 언어 모델(Large Language Model, LLM), 적대적 생성 신경망(Generative Adversarial Network, GAN), 변이형 오토인코더(Variational AutoEncoder, VAE)가 있다. Fig 1은 인공지능 주요 개념과 생성형 AI의 관계를 나타낸 것이다[23].

Figure 1.

Relationship between AI Major Concepts and Generative AI

교육에서의 AI(AI in Education, AIEd)는 종전까지 첨단 에듀테크 기술을 교육에 도입하는 것에서 더 나아가, AI가 학습의 과정과 방법을 보다 깊이 있고 정교화된 방식으로 이해하는 데 강력한 도구로 활용되는 것을 의미한다[24]. 이는 ‘AI에 대한 학습(Learning about AI)’과 ‘AI와 함께하는 학습(Learning with AI)’으로 분류할 수 있다[25].

먼저, ‘AI에 대한 학습(Learning about AI)’은 ‘교육 내용으로서의 AI’를 의미하며, AI에 대한 이해를 바탕으로 AI 알고리즘을 설계, 개발, 활용하는 능력을 함양하기 위해 AI를 교육의 내용으로 가르치는 접근이다[26]. 우리나라도 최근 2022 개정 교육과정에서 디지털·AI 소양 함양을 위한 정보 교육을 강조하며 인공지능에 대한 학습 관련 내용을 강화하고, 인공지능 및 빅데이터 등 다양한 신기술 분야 과목을 신설한 바 있다[18].

다음으로 ‘AI와 함께하는 학습(Learning with AI)’은 교육 환경, 교사, 학생을 지원하는 역할로서의 AI를 의미하며, AI 및 다양한 기술을 교육에 활용하는 것이다. 이는 AI를 직접적인 학습 도구나 환경으로 활용하거나, 교수(敎授)의 도구로 활용하거나, 나아가 학습자 모니터링 도구나 평가 및 채점 도구로 활용하는 접근을 포괄한다[26]. 이와 관련하여 교육부는 AI 기술 및 데이터 과학을 활용한 디지털 교과서 도입을 추진하고 있으며, AI 기반 코스웨어를 활용하는 디지털 선도학교 운영을 계획하는 등 첨단 기술을 활용하여 교육의 질을 제고하려는 노력을 이어가고 있다[6]. 교육 분야에서 AI 기술의 활용은 학생과 교사, 교육 기관에 다양한 교육 활동들의 가능성을 열어주었으며, Table 1은 이와 관련하여 Tapalova와 Zhiyenbayeva(2022)가 AIEd 관련 연구에서 제시한 내용을 요약하여 표로 정리한 것이다[27].

Table 1.

Possibilitiies of AIEd technologies in educational activities for students, teachers and educational institutions

이처럼 교육 분야에서 생성형 AI의 응용 분야는 무한하며 상당한 이점을 가진다. 하지만 생성형 AI는 환각(Hallucination) 현상이나 편향성 문제, 저작권과 표절 등 윤리적인 문제도 수반하므로 반드시 이를 인지하고 활용해야 한다[28]. 다양한 생성형 AI 모델은 교육을 향상시키는 강력한 도구이지만 이것이 인간 교사를 대체하는 것은 아니며, 생성형 AI의 한계와 문제점을 인식하고 인간과의 상호작용과 이해를 강조하는 다른 교수·학습 방법과 함께 사용하는 것이 중요하다[29].

2.2 학생평가와 인공지능

사회 및 교육 환경의 변화로 평가 패러다임 또한 크게 변화하였다. 평가의 방법이 학기 및 학년말에 시행되는 종합적 평가 성격을 지니는 결과 중심 평가에서 교수·학습 중 지속적으로 시행되는 진단적·형성적 평가 성격을 지니는 과정 중심 평가로 변화한 것이다. 과정 중심 평가는 특정한 평가 방법을 가리키는 용어라기보다 결과 중심 평가와 대비하여 교육과정과 교수·학습, 평가의 연계를 강조한 개념이다[30]. 학생이 배운 것을 평가하는 학습 결과에 대한 평가(Assessment of Learning)를 넘어 평가의 결과를 ‘교수·학습 질 개선’ 또는 ‘교수·학습 방법 개선’을 위해 사용하도록 하여 학습을 위한 평가(Assessment for Learning), 학습으로서의 평가(Assessment as Learning)로 평가 패러다임을 확장한 것이다[31].

수행평가란 교과 담당 교사가 교과 수업 시간에 학습자들의 학습과제 수행 과정 및 결과를 직접 관찰하고, 그 관찰 결과를 전문적으로 판단하는 평가 방법을 말한다[32]. 수행평가의 ‘수행(遂行, Performance)’은 구체적인 상황 속에서 실제로 행동을 하는 과정(Process)이나 그 결과(Product)를 의미한다. 그런 점에서 수행평가는 학생이 자신의 지식, 기능, 태도 등의 능력을 직접 수행으로 나타내 보이도록 하는 평가 방식, 최종 결과뿐만 아니라 학습 과정에 대해서도 강조하는 평가 방식으로 이해될 수 있다[30]. 이처럼 수행평가는 교수·학습의 결과뿐만 아니라 교수·학습의 과정도 함께 중시하며, 단편적인 영역에 대해 일회적으로 평가하기보다는 학생 개개인의 변화·발달 과정을 종합적으로 평가하기 위해 전체적이면서도 지속적으로 이루어질 것을 강조한다[33]. 이런 점에서 수행평가는 학교 현장에서 과정 중심 평가의 의미를 가장 잘 실현시킬 수 있는 평가 방법이라 할 수 있다[31].

한편 AI 기술의 발전과 생성형 AI 기술의 등장과 같은 기술적 혁신은 평가 분야에도 많은 변화를 가져올 것으로 예상된다. 실제로 Cope, Kalantzis and Searsmith(2021)과 Swiecki et al.(2022) 등의 연구에서는 AI와 같은 디지털 기술의 발달이 가장 많은 영향력을 미치는 교육 분야로 평가를 꼽고 있으며, 특히 기존 형성평가를 시행하는 데 따른 어려움을 극복하는 데 도움을 줄 수 있다고 강조한다[38]. 현재 AI 기반 학생평가 도구들은 학습자와 교사를 대상으로 한 다양한 형태로 발전하고 있으며, 국내·외에서 주로 사용되는 AI 기반 학생 평가 도구를 표로 정리하면 Table 2와 같다.

Table 2.

AI-Based Student Assessment Tools

2.3 선행연구 고찰

먼저 생성형 AI에 대한 인식에 대한 선행연구를 살펴보았다. 생성형 AI의 교육적 활용을 위해서는 교육의 주체인 교사의 생성형 AI에 대한 인식과 경험에 관한 면밀한 분석이 필요하다. 국내에서도 교사 대상 생성형 AI에 대한 인식 조사가 일부 연구에서 수행된 바 있다. 예컨대 서울시교육청 소속 교원을 대상으로 한 ChatGPT 인식 조사 결과, 전체 응답자의 88.9%가 ChatGPT에 관심이 있다고 답했으며, 실제 사용 경험이 있는 교사는 70.1%로 나타났다. 또한 90.5%의 교사가 ChatGPT가 교사 역할에 도움이 된다고 답했으며, 생성형 AI 활용을 원하는 분야는 행정 업무 처리, 교수·학습 활동, 학생평가 순인 것으로 나타났다[34]. 김정아와 동료들(2023)은 생성형 AI의 교육적 활용 방안 연구를 위한 인식 조사의 교원 응답을 분석하였다. 그 결과, 고등학교, 중학교, 초등학교 교원 순으로 생성형 AI의 필요성을 높게 인식하고 있었으며, 생성형 AI를 교육 활동에 활용 시 지원이 필요한 부분으로는 생성형 AI를 활용한 수업 방법 및 교수·학습 자료 지원, 예산, 생성형 AI 교사 연수 순으로 응답하였다. 또한 생성형 AI를 활용한 교육 활동에서 기대되는 교육적 효과로는 학습자의 흥미 유발, 다양한 정보 활용, 학습자의 미래 역량 강화 순으로 응답하였다[20]. 홍수민과 한형종(2023)은 초등교사의 ChatGPT 교육적 활용에 대한 인식을 종합적인 측면에서 살펴보았다. ChatGPT가 지닌 특성 중 교육적 활용에 있어서 가장 중요한 개념적 특성에 대한 질문 응답 결과 신속성(39.2%), 적시성(25.9%), 개별성(16.8%), 보충성(16.1%), 유연성(2.1%) 순으로 나타났다. 이는 초등교사들이 ChatGPT의 교육적 활용이 필요한 정보에 대한 신속한 검색과 습득, 즉각적인 피드백이나 의견 제공을 통한 적시적인 지원이 가능하게 한다는 점을 중요하게 인식하고 있다는 것을 보여준다. 또한 ChatGPT를 활용한 수업이 기존 방식보다 개별화된 맞춤형 지원을 가능하게 하며 학습 흥미도 또한 높여줄 것이라 답했으며, 개방형 문항을 통해 ChatGPT를 수업에서 활용하는 것에 대한 긍정적 인식 이유를 조사한 결과, 많은 교사들이 정보에 대한 신속한 접근과 업무 보조 도구로서 활용이 가능하다는 점을 그 이유로 설명했다. ChatGPT의 교육적 활용이 교사의 어떤 업무에 도움을 줄 것인지에 대해서는 수업 자료 개발(28.0%), 관련 지식 혹은 내용 전달에서의 지원(21.7%), 과제 평가 및 피드백(21.7%), 평가 문항 개발(11.9%) 순으로 응답하였다[21].

다음으로 교수·학습 과정에서 생성형 AI의 교육적 활용 방안을 탐구한 선행연구를 살펴보았다. 생성형 AI가 학생들에게 개별화된 지원을 제공하며 학습의 장벽을 줄이고, 교육의 효율성과 깊이를 향상시키는 학습 보조 도구로 주목받으면서[14], 다양한 교과에서 생성형 AI의 교육적 활용 방안을 탐구하는 연구가 수행되었다. 변정호와 권용주(2023)는 과학 교과에서 실험이나 탐구 활동 설계 과정에 ChatGPT를 활용하면 소요 시간의 절약과 효율성을 제고할 수 있을 뿐만 아니라 자기주도적 검토 및 수정·보완을 위한 보조 역할도 수행할 수 있다고 설명했다[11]. 또한 신동광(2023)은 영어 교과의 유도(guided) 쓰기 활동에서 ChatGPT가 제공한 아이디어 및 개요와 교정 피드백이 매우 유용하다는 긍정적 결과를 얻었다[12].

마지막으로 학생평가와 관련하여 생성형 AI의 활용 방안을 탐구한 선행연구를 살펴보았다. ChatGPT를 활용한 평가 결과 확인, 채점과 관련된 연구들은 주로 인간 채점자의 채점 결과 비교에 초점을 두고 있으며, 자동채점의 도입 가능성을 탐색하기 위해 사람의 채점 결과와 인공지능의 채점 결과 사이의 일치도를 비교하는 방식으로 연구들이 추진되고 있었다[35]. 이동원과 동료들(2024)은 과학 교과의 학생평가에서 ChatGPT의 활용 가능성과 교사의 인식을 탐색하기 위해 채점 기준 수립과 문항 채점, 피드백 단계에서 ChatGPT를 활용하였다. 그 결과, 채점 기준 수립에 대해서는 약간의 수정·보완을 통해 실제 채점 기준 수립에 충분히 활용될 수 있다는 의견이 제시되었으며, 평가 문항 채점에 대해서는 일치도와 일관성이 다소 부족하여 직접적인 활용보다는 보조 도구로서의 활용 가능성이 제시되었다. ChatGPT가 생성한 피드백에 대해서는 수정·보완을 통해 학생들에게 제공 시 교사의 평가 업무를 경감하는 데 도움이 될 것이라는 의견이 제시되었다[35]. 성정원과 신병철(2023)은 세계지리 서·논술형 평가 문항에 대한 교사의 채점과 ChatGPT의 채점 결과를 비교·분석하여 ChatGPT의 서·논술형 평가 채점 가능성을 탐색하였다. 그 결과 평가기준·예시답안·비판적으로 채점 명령, 또는 평가기준·예시답안을 함께 제시하면 ChatGPT가 보조 교사로서 채점자의 역할을 수행할 수 있을 것이라는 결과를 얻었으며, ChatGPT의 학생 응답에 대한 피드백 또한 실제 학교 현장에서 중요한 정보를 제공할 수 있을 것이라고 설명하였다[36]. 최숙기와 박종임(2024)은 국어 교과에서 ChatGPT를 활용한 서·논술형 문항 개발 양상을 분석하였다. 그 결과, 명확하고 구체적인 질문 형태와 충분한 배경지식을 제공하는 프롬프트 구성이 매우 중요하며, 프롬프트의 반복적인 수정과 개선, 사전 지문 제시가 서·논술형 평가 문항 생성과 질 향상에 필수적이라는 결론을 도출하였다. 또한 ChatGPT가 신속하고 효과적인 채점 자료 생성을 도와 교사의 평가 업무 부담 경감시킬 수 있다고 설명했다[37].

선행연구 분석을 통해 다음과 같은 시사점을 얻었다. 첫째, 생성형 AI의 교육적 활용에 대한 전반적인 인식에 관한 선행연구 분석 결과, 일반인과 대학생, 초등교사와 예비교사를 대상으로 한 연구가 다수이며, 중등교사의 생성형 AI 활용 현황과 인식 및 경험에 관한 연구는 양적으로 미흡한 것으로 나타났다. 둘째, 생성형 AI의 교육적 활용 방안에 대한 선행연구 분석 결과, 대부분의 연구가 특정 교과의 교수·학습 상황에서 학습 보조 도구로서의 가능성에 주목하고 있었으며 교육의 효과와 깊이를 향상시키는 학습 보조 수단으로서의 가능성을 확인하였다. 셋째, 생성형 AI가 교사의 평가 업무 부담을 완화할 것이라는 높은 기대에 반해 평가도구로서의 생성형 AI, 즉 평가 과정에서 생성형 AI의 활용 가능성에 주안을 둔 연구는 양적으로 미흡한 것으로 나타났다.

이에 본 연구는 생성형 AI가 학생평가 도구로서 가지는 교육적 가치와 활용 가능성을 연구하는 것을 목적으로 한다. 이를 위해 본 연구에서는 중등교사를 대상으로 생성형 AI 기반 학생평가I에 대한 인식 및 경험을 조사하고, 생성형 AI 기반 학생평가 적용 시 중등교사의 우려 사항과 필요한 지원을 분석하고자 한다. 이를 위한 연구 문제는 다음과 같다.

첫째, 중등교사의 생성형 AI 기반 학생평가에 대한 전반적인 인식은 어떠한가?

둘째, 중등교사의 생성형 AI 기반 학생평가에 대한 경험은 어떠한가?

셋째, 생성형 AI 기반 학생평가 적용에 대해 중등교사의 우려 사항과 필요한 지원은 무엇인가?

3. 연구 방법

3.1 연구 도구

본 연구는 중등학교에서 생성형 AI 기반 학생평가의 교육적 가치와 활용 가능성을 탐색하기 위한 기초 연구이다. 연구에 활용한 설문은 중등교사의 생성형 AI에 대한 인식과 경험을 분석하기 위한 목적으로 설계되었다. 홍수민과 한형종(2023), 양정애(2023)의 연구에서 설계한 설문 문항을 참고하였으며, 특히 평가에 주안을 두어 설문 문항을 구성하였다. 1차 설문 문항을 개발하여 전문가를 대상으로 예비 설문을 실시하였으며, 피드백을 바탕으로 문항의 적절성과 명확성을 보완하는 과정을 거쳤다. 설문 문항은 크게 ‘중등교사의 생성형 AI에 대한 인식 및 경험(8문항)’, ‘생성형 AI의 교육적 활용에 대한 인식 및 경험(9문항)’, ‘기존 평가 방법(12문항)’, ‘생성형 AI 기반 학생 평가(5문항)’로 구분하여 구성하였다. 구체적인 설문 문항의 구성과 내용을 정리하면 Table 3과 같다.

Table 3.

Detailed Content of Survey Questions

3.2 연구 대상

중등학교 교사를 대상으로 2024년 5월 27일(월)부터 6월 9일(일)까지 약 2주간 온라인 설문을 실시하였다. 응답자 전원은 자발적으로 설문에 참여했으며, 익명으로 진행하였다. 설문에 참여한 중등교사는 총 152명으로 중학교 교사 85명(55.9%)와 고등학교 교사 67명(44.1%)이었다. 성별은 남성 53명(34.9%), 여성 99명(65.1%)이었으며, 교육 경력은 5년 미만인 교사가 42명(27.6%), 5년 이상 15년 미만인 교사가 70명(46.1%), 15년 이상인 교사가 40명(26.3%)으로 확인되었다. 담당 과목은 자연 과학·공학 계열이 64명(42.1%), 인문·사회 계열이 47명(31.0%), 예체능 계열 및 기타 교과가 41명(26.9%)이다. 연구 참여자의 특성을 정리하면 Table 4와 같다.

Table 4.

Statistics about respondents

3.3 자료 분석

본 연구에서는 설문 자료 분석을 위해 IBM SPSS Statistices 27 프로그램을 이용하였다. 설문에 참여한 중등교사의 생성형 AI에 대한 인식 및 경험을 분석하기 위해 빈도 분석과 기술 통계 분석을 하였으며, ‘담당 과목 계열’에 따른 생성형 AI 기반 학생평가 활용 의향 차이를 알아보기 위해 독립표본 t 검정과 일원배치 분산분석, Scheffe 사후 검정을 실시하였다.

4. 연구 결과

4.1 생성형 AI에 대한 경험과 인식

4.1.1 생성형 AI 활용 경험

중등교사의 생성형 AI를 활용한 경험을 확인한 결과는 Table 5와 같다.

Table 5.

Experience with the Use of Generative AI

생성형 AI를 활용한 경험이 있는 교사는 138명(90.8%)이며, 생성형 AI를 활용한 경험이 없는 교사는 14명(9.2%)에 불과했다. 즉, 설문에 참여한 대다수의 교사가 생성형 AI를 활용한 경험이 있는 것으로 나타났다. 생성형 AI 활용 경험이 있는 교사를 대상으로 사용 경험이 있는 생성형 AI 기반 서비스의 유형을 조사한 결과, 응답자의 88.4%가 ChatGPT와 BigChat 등과 같은 대화형 생성형 AI 서비스를 경험한 것으로 나타났다.

한편 생성형 AI를 활용한 경험이 있는 교사를 대상으로 일상생활에서 생성형 AI 기반 서비스 사용 빈도를 확인한 결과는 Table 6과 같다.

Table 6.

Frequency of Using Generative AI-Based Services in Daily Life

일상생활에서 생성형 AI 기반 서비스 사용 빈도 확인 결과, 생성형 AI를 가끔 사용하는 교사가 59명(42.7%)으로 가장 많은 것으로 나타났으며, 거의 사용하지 않는 교사가 43명(31.2%), 자주 사용하는 교사는 24명(17.4%), 매우 자주 사용하는 교사는 12명(8.7%)인 것으로 확인되었다.

다음으로 일상생활에서 생성형 AI 사용 경험이 있는 교사를 대상으로 구체적인 사용 목적을 확인한 결과는 Table 7과 같다.

Table 7.

Purpose of Using Generative AI-Based Services

중등교사가 일상생활에서 생성형 AI를 활용한 목적으로는 학교 또는 개인 업무용으로 사용한 경우(25.3%)와 원하는 정보를 탐색하기 위해 사용한 경우(24.7%)가 가장 많은 것으로 나타났다. 이외에도 호기심과 재미를 충족하기 위해(19.0%), 언어 간 번역을 위해(15.0%), 텍스트 또는 영상 내용 요약을 위해(9.3%), 다양한 장르의 콘텐츠 생성을 위해(6.7%) 사용한 경험이 있는 것으로 나타났다.

한편 일상생활에서 생성형 AI를 거의 사용하지 않는 교사를 대상으로 그 이유를 확인한 결과 관련 정보의 부족(33.3%), 필요성을 느끼지 못함(22.7%), 가입 절차의 번거로움(21.2%), 역기능에 대한 우려(18.2%), AI 기술 자체에 대한 거부감(4.6%) 등이 주된 이유로 확인되었다.

4.1.2 생성형 AI에 대한 인식

중등교사들의 생성형 AI에 대한 지식 정도를 5개 수준으로 나누어 확인한 결과는 Table 8과 같다.

Table 8.

Level of Knowledge about Generative AI

설문에 참여한 중등교사 전체 중 68명(44.7%)이 보통이라고 응답하였으며, 56명(36.8%)이 생성형 AI에 대해 잘 알고 있거나 매우 잘 알고 있다고 답하였다. 반면 28명(18.5%)은 생성형 AI에 대해 잘 모르거나 전혀 모른다고 응답하였다.

생성형 AI 기반 서비스 이용에 대한 전반적인 평가를 확인한 결과는 Table 9와 같다.

Table 9.

Overall Evaluation of Using Generative AI-Based Services

생성형 AI 기반 서비스 이용에 대해 긍정적 평가가 88.2%로 대다수였으며, 부정적 평가는 11.9%인 것으로 나타났다. 긍정적 평가의 내용으로는 기술의 발전이 놀라움(27.8%), 사용이 편리함(25.2%), 답변 내용이 흥미로움(17.1%) 등이었으며, 부정적 평가의 내용으로는 아직까지는 기계의 답변에 거부감이 느껴짐(4.9%), 허위 정보를 제공함(3.8%), 답변 내용이 편향적임(3.2%) 등이 있었다.

한편 생성형 AI 기반 서비스의 보급 및 확산으로 인해 중등교사가 인식하고 있는 문제점을 조사한 결과는 Table 10과 같다.

Table 10.

Awareness of Issues due to the Proliferation of Generative AI-Based Services

생성형 AI 기반 서비스의 보급 및 확산으로 인해 인식하고 있는 문제점은 표절과 과제 대리 수행 등의 부정행위(30.1%), 생성형 AI 의존으로 인한 창의력과 문제해결력 저하(29.3%), 편향된 정보의 습득(18.7%) 등이 있었다. 이러한 문제점을 해결하고 생성형 AI의 활용성을 제고하기 위해 중요한 점을 조사한 결과는 Table 11과 같다.

Table 11.

Important Factors to Enhance the Usability of Generative AI

중등교사는 생성형 AI의 보급 및 확산으로 인한 문제점 해결과 활용성 제고를 위해 중요한 점으로 생성형 AI 사용 관련 윤리 교육 강화(33.9%), 창의력 및 문제해결력 신장을 위한 교육 강화(27.1%), 편향되거나 거짓된 정보를 줄이는 기술적 보완(21.1%), 부정행위 적발 시 처벌 강화(9.1%), 개인 정보 보안 강화(8.8%) 순으로 응답하였다.

4.2 생성형 AI의 교육적 활용

4.2.1 생성형 AI의 교육적 활용 경험

중등교사의 생성형 AI 교육적 활용 경험 여부를 확인한 결과는 Table 12와 같다.

Table 12.

Experience of Secondary School Teachers with Educational Use of Generative AI

생성형 AI의 교육적 활용 경험이 있는 교사는 81명(53.3%), 경험이 없는 교사는 71명(46.7%)으로 비슷한 수준인 것으로 나타났다. 생성형 AI의 교육적 활용 경험이 없는 교사들을 대상으로 주된 이유를 확인한 결과, 관련 정보 부족(43.0%), 가입 절차 등의 번거로움(22.7%), 역기능에 대한 우려(18.7%), 교육 분야에서 필요성을 느끼지 못함(10.9%), AI 기술 자체에 대한 거부감(4.7%) 순으로 확인되었다. 생성형 AI의 교육적 활용 경험이 있는 교사들을 대상으로 활용의 구체적인 목적을 확인한 결과는 Table 13과 같다.

Table 13.

Purpose of Educational Use of Generative AI

교수·학습·평가 과정에서 보조 도구로 이용한 경우(26.8%)가 가장 많았으며, 행정 업무 보조 수단으로 이용한 경우(22.2%), 원하는 정보 탐색을 위해 이용한 경우(21.1%) 등이 있었다. 생성형 AI를 교수·학습·평가 과정에서 보조 도구로 이용한 경험이 있는 교사를 대상으로 구체적인 사용 용도를 확인한 결과, 교수·학습 자료 제작에 도움을 받은 경우(37.5%)가 가장 많았으며, 학생들에게 생성형 AI 기반 서비스를 직접 활용하도록 한 경우(26.3%), 교수·학습 주제와 관련한 아이디어나 정보를 요청한 경우(25.7%) 순으로 확인되었다. 문항 개발 및 채점, 피드백 생성과 같은 평가 과정에서 생성형 AI를 활용한 경우는 10.1%에 불과한 것으로 나타났다. 다음으로 행정 업무의 보조 수단으로 생성형 AI를 이용한 경험이 있는 교사를 대상으로 구체적인 사용 용도를 확인한 결과, 공문과 가정통신문 등의 자료 초안 작성(31.7%)이 가장 많았으며, 원하는 정보 요청(17.7%), 업무에 필요한 데이터 수집 및 처리(16.5%), 텍스트 또는 영상 내용 요약(15.9%), 다양한 장르의 콘텐츠 생성(9.7%), 언어 간 번역(8.5%) 순으로 확인되었다.

4.2.2 생성형 AI의 교육적 활용에 대한 인식

중등교사의 생성형 AI의 교육적 활용에 대한 인식을 확인한 결과는 Table 14와 같다.

Table 14.

Perception of Secondary School Teachers on the Educational Use of Generative AI

전체 응답자 중 99명(65.1%)이 생성형 AI의 교육적 활용에 대해 긍정적 또는 매우 긍정적으로 인식하고 있는 것으로 나타났으며, 29명(19.1%)은 보통, 24명(15.8%)은 부정적 또는 매우 부정적으로 인식하고 있는 것으로 확인되었다.

생성형 AI의 교육적 활용을 긍정적 또는 부정적으로 인식하는 교사를 대상으로 그 이유를 구체적으로 확인한 결과는 Table 15, 16과 같다.

Table 15.

Reasons for Positive Perception of Educational Use of Generative AI

Table 16.

Reasons for Negative Perception of Educational Use of Generative AI

생성형 AI의 교육적 활용에 대한 긍정적 인식의 이유를 조사한 결과, 업무와 교육 활동의 효율성이 증대됨(35.0%), 수업 지원 역할을 수행할 수 있음(30.4%), 사용 절차가 간단하고 편리함(16.4%), 학생을 학습 과정에 참여·몰입하도록 함(10.3%), 답변 내용이 유용하고 믿을만함(7.9%) 순으로 나타났다. 한편 부정적 인식의 이유를 조사한 결과는 학생의 무분별한 사용과 의존에 대한 우려(42.4%), 허위 정보 제공의 가능성(27.3%), 개인 정보 유출 가능성(12.1%), 답변 내용이 편향적임(9.1%), AI 기술 자체에 대한 거부감(9.1%) 순인 것으로 나타났다.

다음으로 교수·학습 분야에서 생성형 AI에 가장 기대하는 역할을 확인한 결과는 Table 17과 같다.

Table 17.

Anticipated Aspects of Generative AI in Teaching and Learning

질의응답과 맞춤형 과제 제시 등 학생 개개인의 조력자로서 역할(32.5%), PPT와 활동지, 예시 자료와 같은 교수·학습에 필요한 자료 제작 및 제공(27.3%), 문항 출제와 채점, 피드백 제공 등을 돕는 학생평가 지원(25.8%), 학습자 분석 지원(14.4%) 순으로 나타났다.

4.3 기존 평가 방법

4.3.1 평가 고민 및 선호하는 평가 방법

본 연구는 중등학교에서 생성형 AI를 학생평가 도구로 활용하기 위한 기초 연구로, 중등교사의 평가 과정에 특히 주목하여 설문을 진행하였다.

먼저 설문에 참여한 중등교사가 평소 학생평가와 관련하여 고민이 있는 부분을 조사하였다. 그 결과 채점 기준 수립(22.8%)과 문항 채점(22.8%)에 대한 고민이 가장 많은 것으로 나타났으며, 이어서 피드백 제공(21.3%), 문항 출제(19.4%), 평가 과정 설계(13.7%) 순으로 나타났다. 개방형 문항을 통해 구체적인 고민 내용을 살펴본 결과, 객관적인 채점 기준 수립의 어려움과 채점의 공정성, 채점과 개별화된 피드백 생성에 많은 시간과 노력이 소요됨, 변별력있는 문항 생성 등이 주된 고민으로 확인되었다.

다음으로 선호하는 평가 방법을 확인한 결과, 서·논술형 평가 선호도(22.6%)가 가장 높았으며, 포트폴리오(17.0%), 구술·발표(16.4%), 실험·실습(13.2%), 보고서(11.7%), 지필평가(10.9%), 관찰(5.3%), 토의·토론(2.90%) 순으로 확인되었다. 해당 평가 방법을 선호하는 구체적인 이유를 확인한 결과는 Table 18과 같다.

Table 18.

Reasons for Preferring the Evaluation Method

해당 결과를 통해 중등교사가 평가의 결과뿐 아니라 과정도 함께 평가할 수 있고(26.7%), 학생 성취 수준을 쉽게 파악할 수 있으며(21.6%), 지식·기능·태도를 종합적으로 평가할 수 있는(17.7%) 평가 방법을 선호함을 확인할 수 있었다.

4.3.2 수행평가 시 주안점과 어려움

중등교사가 수행평가 시 가장 중요하게 생각하는 부분을 조사한 결과는 Table 19와 같다.

Table 19.

Most Important Aspects in Performance Evaluation

과정 평가가 가능한 평가 과정 설계(29.7%)를 중요하게 생각하는 교사가 가장 많았으며, 이어서 객관적이고 일관된 문항 채점(25.5%), 구체적이고 세밀한 평가 기준 수립(23.6%), 즉각적이고 구체적인 피드백 제공(11.7%), 고차원 사고 기능 평가가 가능한 문항 출제(9.5%) 순으로 중요하게 생각하는 것으로 나타났다.

한편 수행평가의 대표적인 유형인 서·논술형 평가와 구술·발표 평가 시 교사의 어려움을 확인한 결과는 Table 20, 21과 같다.

Table 20.

Challenges Faced by Teachers in Essay-Type Evaluation

Table 21.

Challenges Faced by Teachers in Oral Presentation Evaluation

중등교사가 서·논술형 평가 시 겪는 어려움을 확인한 결과, 채점에 많은 시간과 노력이 소요된다는 점(32.5%)과 채점의 객관성·신뢰성 확보에 대한 어려움(27.0%)이 높은 비중을 차지했다. 이외에도 채점 기준표와 모범 답안 작성의 어려움(13.2%), 학생과 학부모의 이의제기 우려(11.9%) 등의 어려움이 있는 것으로 나타났다. 구술·발표 시 겪는 어려움으로는 즉각적인 채점의 어려움(33.1%)이 가장 높은 비중을 차지했으며, 녹음·녹화 등 사전 준비의 어려움(24.1%), 평가 요소 선정과 채점 기준표 작성의 어려움(23.7%) 등이 있는 것으로 나타났다.

4.4 생성형 AI 기반 학생 평가

4.4.1 생성형 AI 기반 학생 평가의 실제

생성형 AI 기반 평가를 학교 현장에 적용하기 위해서는 평가의 주체인 교사의 생성형 AI 기반 평가에 대한 인식과 예상되는 어려움, 필요한 지원 등에 대해 면밀하게 분석하여야 한다. 먼저 생성형 AI 기반 학생평가가 학교 현장에 적용될 때 가장 도움이 될 것이라 기대하는 영역을 확인한 결과는 Table 22와 같다.

Table 22.

Anticipated Aspects of Generative AI in Teaching and Learning

문항 채점(25.5%)과 피드백 제공(24.7%)이 비슷한 수준으로 높게 나타났으며, 문항 출제(20.4%), 채점 기준 수립(19.7%), 평가 과정 설계(9.7%) 순으로 도움이 될 것이라고 응답하였다.

다음으로 기대하는 교육적 효과와 예상되는 어려움을 확인한 결과는 Table 23, 24와 같다.

Table 23.

Expected Educational Effects of Generative AI-Based Evaluation

Table 24.

Anticipated Challenges of Generative AI-Based Evaluation

생성형 AI 기반 학생평가 시, 평가 전반의 과정에서 교사의 노력과 시간의 절감 효과(39.4%)에 대한 기대가 가장 높았다. 이어서 보조 채점자 역할로 평가의 신뢰도를 제고할 수 있음(24.4%), 보조 피드백 생성자 역할로 개개인을 위한 맞춤형 피드백 생성이 가능함(19.7%), 보조 출제자 역할로 다양한 유형과 난이도를 가진 문항 생성에도 도움을 줌(14.6%) 순으로 응답하였다. 반면 5명의 교사는 생성형 AI 기반 학생평가의 효과를 기대하기 어렵다(1.9%)고 응답하였다.

생성형 AI 기반 평가 시, 예상되는 어려움으로는 의존과 악용 등 다양한 부작용에 대한 우려(48.6%)가 가장 높게 나타났으며, 편견과 부정확한 정보 포함 등의 기술적 한계(29.3%), 새로운 것을 익히기 위한 시간과 노력 투자(21.1%) 순으로 응답하였다. 또한 생성형 AI를 기반으로 한 학생평가로 인해 인간 평가자의 신뢰가 떨어질 수 있을 것(1.0%)이라는 기타 의견도 확인되었다.

생성형 AI 기반 학생평가를 위해 지원이 필요한 부분을 확인한 결과는 Table 25와 같다.

Table 25.

Areas Requiring Support for Generative AI-Based Student Evaluation

생성형 AI 기반 학생평가가 학교 현장에서 실제 적용되기 위해서는 간편하고 직관적인 학생평가 지원 플랫폼 구축(32.0%)이 필요하다는 응답이 가장 많았으며, 평가 활용 예시 및 참고 자료 배포(29.2%), 관련 역량 강화를 위한 교원 연수(21.9%), 생성형 AI의 윤리적 사용을 위한 지침 및 가이드라인 수립(12.8%), 선도 교원 및 교과연구회 활동 지원(4.1%) 순으로 응답하였다.

4.4.2 활용 의향

Table 26은 학교 현장에서 생성형 AI 기반 학생평가의 활용 의향 정도를 Likert 척도로 측정한 결과이다. 이에 대한 응답은 ‘매우 부정적’을 1점, ‘부정적’을 2점, ‘보통’을 3점, ‘적극적’을 4점, ‘매우 적극적’을 5점으로 계산했으며, 평균값은 3. 63으로 ‘적극적(4점)’에 가까운 수치를 보였다.

Table 26.

The extent of secondary school teachers’ intention to use generative AI in student assessment

다음으로 연구 대상의 배경인 ‘성별’과 ‘학교급’, ‘교육 경력’, ‘담당 과목 계열’에 따라 생성형 AI 기반 학생평가 활용 의향에 유의한 차이가 있는지 살펴보았다. 독립표본 T 검정 및 일원배치 분산분석 결과, 성별(T=.240, p>.05)과 중·고등학교 학교급(T=.872, p>.05), 교육 경력(F=.031, p>.05)에 따른 생성형 AI 기반 학생평가 활용 의향은 통계적으로 유의한 차이가 없는 것으로 나타났다. 한편, ‘담당 과목의 계열’에 따른 생성형 AI 기반 학생평가 활용 의향에는 통계적으로 유의한 차이가 있었으며, 그 결과는 Table 27과 같다.

Table 27.

The extent of teachers’ intention to use generative AI-based student assessmentdepending on their subject area

Table 27과 같이 교사의 담당 과목 계열 즉, 자연 과학·공학 계열과 인문·사회 계열, 예체능·기타 계열에 따라 생성형 AI 기반 학생평가 활용 의향은 통계적으로 유의한 차이가 있었다(F=7.332, p<.05). Scheffe 사후 검정 결과 자연 과학·공학 계열 교사 집단(M=3.84, SD=1.027)과 인문·사회 계열 교사 집단(M=3.77, SD=.813)이 예체능·기타 계열 교사 집단(M=3.15, SD=.989)보다 생성형 AI 기반 학생평가 활용 의향이 높음을 알 수 있었다.

5. 결론 및 시사점

본 연구는 생성형 AI가 중등학교에서 학생평가도구로서 가지는 교육적 가치와 활용 가능성을 살펴보고자 중등교사를 대상으로 설문조사를 실시하여 생성형 AI의 교육적 활용에 대한 인식과 경험을 분석하였다. 먼저 연구 결과를 요약하고 교육적 논의점을 제안하면 다음과 같다.

첫째, 중등교사의 생성형 AI의 교육적 활용에 대한 경험을 분석한 결과, 생성형 AI의 교육적 활용 경험이 있는 교사는 53.3%, 경험이 없는 교사는 46.7%로 비슷한 수준인 것으로 나타났다. 이는 생성형 AI 기반 서비스 활용 경험이 있는 교사가 90.8%에 달한다는 결과와 비교했을 때, 대다수가 생성형 AI 서비스 활용 경험은 있지만 이를 교육적으로 활용한 경험은 비교적 적다는 것을 알 수 있다. 또한 생성형 AI의 교육적 활용 경험이 없는 교사를 대상으로 그 이유를 확인한 결과, 관련 정보 부족과 부작용에 대한 우려가 주된 이유로 나타났다. 이는 중등학교에서 생성형 AI의 교육적 활용을 위해서는 사전에 구체적인 교육적 활용 사례나 부작용 등에 대한 정보의 안내나 연수가 필요하다는 점을 시사한다.

둘째, 중등교사의 생성형 AI의 교육적 활용에 대한 인식을 분석한 결과, 설문에 참여한 중등교사의 65.1%가 생성형 AI의 교육적 활용에 대해 긍정적 또는 매우 긍정적으로 인식하고 있는 것으로 나타났다. 긍정적 인식의 이유로는 업무와 교육 활동의 효율성이 증대됨과 생성형 AI가 수업 지원 역할을 수행할 수 있다는 점 등이 있었다. 반면 생성형 AI의 교육적 활용에 대해 부정적 또는 매우 부정적으로 인식하는 15.8%의 교사를 대상으로 부정적 인식 이유를 확인한 결과, 학생의 무분별한 사용과 의존에 대한 우려가 42.4%로 가장 높게 나타났다. 이는 중등학교에서 생성형 AI의 교육적 활용이 교사의 업무와 교육 활동에 긍정적인 영향을 줄 것이라고 예상되는 한편 잠재적인 부정적 영향의 우려도 상당하다는 것을 보여준다. 생성형 AI가 교육 현장에 미치는 부정적 영향을 최소화하기 위해 교사와 학생을 대상으로 생성형 AI 활용 윤리 지침과 올바른 활용에 대한 사전 지도의 필요성이 제기된다.

셋째, 중등교사의 평가 관련 어려움을 분석한 결과, 채점 기준 수립과 채점, 개별화된 피드백을 제공하는 데에 가장 큰 어려움이 있는 것으로 나타났다. 한편 생성형 AI 기반 학생평가가 중등학교 현장에 적용될 때 도움이 되는 영역과 기대하는 교육적 효과에 대해 분석한 결과, 문항 채점과 피드백 제공 영역에 큰 도움이 될 것이라는 기대와 평가 전반의 과정에서 교사의 노력과 시간의 절감 효과에 대한 기대가 가장 높았다. 이는 중등학교에서 중등교사가 평가와 관련하여 겪고 있는 채점과 피드백 제공에 대한 어려움을 생성형 AI 기반 학생평가가 해결할 수 있을 것이라는 가능성을 시사한다.

넷째, 중등 중심 생성형 AI 기반 학생평가의 학교 현장 적용 시 예상되는 어려움을 분석한 결과, 의존과 악용 등 다양한 부작용에 대한 우려가 48.6%로 가장 높게 나타났다. 이는 생성형 AI 기반 학생평가의 올바른 활용을 위해 평가의 주체인 교사에게 생성형 AI 기반 학생평가와 관련한 충분한 사전 교육과 안내가 필요하다는 것을 보여준다. 또한 생성형 AI 기반 학생평가의 중등학교 현장 적용을 위해 필요한 지원을 분석한 결과, 간편하고 직관적인 생성형 AI 기반 학생평가 플랫폼 구축에 대한 필요성이 32.0%로 가장 높았으며, 평가 활용 예시 및 참고 자료 배포가 그 뒤를 이었다. 이는 중등 중심 생성형 AI 기반 학생평가가 학교 현장에 적용되기 위해서는 복잡하고 번거로운 절차가 최소화된 간편하고 직관적인 플랫폼 개발이 필요하며, 구체적인 평가 활용 예시와 참고 자료 배포 또한 생성형 AI 기반 학생평가의 안정적인 정착과 활용에 도움을 줄 수 있다는 것을 나타낸다.

다섯째, 중등교사의 생성형 AI 기반 학생평가 활용 의향을 Likert 척도로 측정한 결과, ‘매우 부정적’을 1점, ‘부정적’을 2점, ‘보통’을 3점, ‘적극적’을 4점, ‘매우 적극적’을 5점으로 계산했을 때. 3.63점의 평균값을 보였다. 이는 ‘적극적(4점)’에 가까운 수치이며, 실제로 설문 참여자의 62.2%가 생성형 AI 기반 학생평가에 대해 적극적인 활용 의지를 나타냈다. 또한 연구 대상의 특성 중 하나인 ‘담당 과목 계열’에 따라 생성형 AI 기반 학생평가 활용 의향에 통계적으로 유의한 차이가 있었는데, 예체능 및 기타 계열 교사보다 자연 과학·공학 계열 교사와 인문·사회 계열 교사가 생성형 AI 기반 학생평가 활용 의향이 높은 것으로 나타났다. 이는 자연 과학·공학 계열과 인문·사회 계열의 과목에 비해 이미지나 음악, 행위 등 비언어적 데이터를 평가하여 피드백을 제공하는 실기 평가가 많은 예체능 및 기타 과목의 특성이 고려된 결과라 볼 수 있다.

지금까지 중등교사의 생성형 AI에 대한 인식 및 경험을 분석하여 생성형 AI가 학생 평가도구로서 가지는 교육적 가치와 활용 가능성을 모색해보았다. 본 연구는 중등학교 평가 영역에서 생성형 AI의 교육적 활용 및 협업을 위한 실천적 방안을 탐구하는 기초가 되었다는 데에 의의가 있다.

이러한 논의를 바탕으로 본 연구의 한계점과 후속 연구를 제안하면 다음과 같다. 첫째, 본 연구와 관련된 다양한 변인을 중심으로 엄격하게 통제하지 않고 데이터를 수집 및 범주화하였기 때문에 연구 결과를 일반화하기에 다소 한계가 있다. 둘째, 생성형 AI의 교육적 활용 연구를 위해서는 교사뿐만 아니라 학생과 학부모의 인식과 경험 또한 매우 중요한 자료가 된다. 따라서 향후 연구에서 학생과 학부모를 대상으로 생성형 AI의 교육적 활용에 대한 인식과 경험에 관한 연구가 이루어질 필요가 있다. 셋째, 본 연구에서 생성형 AI 기반 학생평가의 학교 현장 적용을 위해서는 평가를 위한 플랫폼 구축의 필요성이 높이 제기되었다. 따라서 간편하고 직관적인 중등학교 생성형 AI 기반 학생평가 플랫폼 개발에 대한 후속 연구를 제안하는 바이며, 후속 연구에서는 생성형 AI 기반 학생평가 플랫폼 설계 및 프로토타입 개발, 플랫폼 사용성 평가를 실시하고자 한다. 넷째, 본 연구에서 생성형 AI를 교육적으로 활용하는 것에 대해 잠재적인 부정적 영향의 우려가 높게 나타난 반면, 교육 분야에서 실제적인 생성형 AI의 윤리적 사용 방안을 탐구한 연구는 다소 미흡한 실정이다. 따라서 향후 중등학교에서 생성형 AI의 윤리적이고 책임 있는 사용을 위한 방안과 지침에 대한 연구의 필요성이 제기된다.

References

Kim, T. (2023). The AI REPORT: Can ChatGPT be a tool for revolution?. Daegu Metropolitan City. NIA AI Future Strategy Center.
Lim, J. (2023, September 4). The Era of ChatGPT Has Arrived. Education Using “Generative AI” is Not a Choice, But a Necessity. UNN news. https://news.unn.net/news/articleView.html?idxno=551792
Seoul Metropolitan Office of Education. (2023, August 29). Guidelines for the Educational Use of Generative AI. Seoul Metropolitan Office of Education. https://buseo.sen.go.kr/buseo/bu10/user/bbs/BD_selectBbs.do?q_bbsSn=1240&q_bbsDocNo=20230829193450556
Baker, T., Smith, L., & Anissa, N. (2019). Educ-AI-tion Rebooted? Exploring the future of artifcial intelligence in schools and colleges. NESTA. https://www.nesta.org.uk/report/education-rebooted/, .
McFarland, A. (2024, August 1). 10 Best AI Tools for Education. Unite.AI. https://www.unite.ai/10-best-aitools-for-education/
Ministry of Education. (2023). Realizing personalized education for all: Digital-based educational innovation measures. Ministry of Education. Sejong City.
Holmes, W., Bialik, M., & Fadel, C. (2019). Artificial Intelligence in Education: Promises and Implications for Teaching & Learning(Jung, J,. & Lee, S, Trans.). PARKYOUNGSA.
Lee, S., & Song, K. (2023). Exploration of Domestic Research Trends on Educational Utilization of Generative Artificial Intelligence. The Journal of The Korean Association of Computer Education, 26(6), 15-27. [https://doi.org/10.32431/kace.2023.26.6.002]
Jang, H., & So, H. J. (2023) The Analysis of Research Trends and Topics about the Educational Use of ChatGPT. The Journal of Research in Curriculum & Instruction, 27(4), 387-401. [https://doi.org/10.24231/rici.2023.27.4.387]
Kim, J. I., & Yu, H. (2023). Exploring applications of ChatGPT for Physics Education: Focusing on High School and General Physics Class. The Korean Society for School Science, 17(3), 216-239.
Byeon, J. H., & Kwon, Y. J. (2023). An Investigation of Generative AI in Educational Application: Focusing on the Usage of ChatGPT for Learning Biology. Brain, Digital, & Learning, 13(1), 1-17, [https://doi.org/10.31216/BDL.20230001]
Shin, D. (2023). Utilizing ChatGPT in guided writing activities. The Journal of the Korea English Education Society, 22(2), 197-217.
Kim, S. (2023). Developing Code Generation Prompts for Programming Education with Generative AI. The Journal of The Korean Association of Computer Education, 26(5), 107-117. [https://doi.org/10.32431/kace.2023.26.5.009]
Lim, S., & Kim, E. (2024). A Study on the Application of ChatGPT by Instructional Design Stage of ADDIE Model. The Journal of The Korean Association of Computer Education, 27(1), 171-184. [https://doi.org/10.32431/kace.2024.27.1.013]
Lim, C., Go, B., Jeong, Y., Lee, E., Jeon, M., & Kim, S. (2023). Exploring the Use of a Generative AI-Based Chatbot for Instructional Design: Focused on ChatGPT and RPISD Model. The Journal of Educational Technology, 39(4), 1213-1248. [https://doi.org/10.17232/KSET.39.4.1213]
Kang, S., & Heo, H. (2023), Development and application of generative AI-based instructional design platform. The Journal of The Korean Association of Computer Education, 26(6), 143-153. [https://doi.org/10.32431/kace.2023.26.6.012]
Lee, S., & Song, K. (2023) Prompt engineering to improve the performance of teaching and learning materials Recommendation of Generative Artificial Intelligence. The Journal of The Korea Society of Computer and Information, 28(8), 195-204. [https://doi.org/10.9708/jksci.2023.28.08.195]
Ministry of Education. (2021). 2022 Revised Curriculum Overview Key Issues (proposal). Sejong City. Ministry of Education.
Ministry of Education. (2022). 2022 Revised Curriculum Overview (Middle School) (Ministry of Education Notice No. 2022-33(December 22, 2022)). Sejong City. Ministry of Education.
Kim, J., Kang, D., & Go, Y. (2023). A Study on Educative Utilization of Generative AI - Focusing on ChatGPT Utilization. The Journal of The Korean Association of Information Education, 27(6), 691-703. [https://doi.org/10.14352/jkaie.2023.27.6.691]
Hong, S., & Han, H. (2023). Analyzing Perceptions and Educational Needs of Elementary School Teachers for Using ChatGPT in Education. The Journal of The Korean Association of Computer Education, 26(4), 51-63. [https://doi.org/10.32431/kace.2023.26.4.006]
National Intelligence Service & National Security Research Institute. (2023). Security Guidelines for Using Generative AI, such as ChatGPT. Seoul Metropolitan City. National Intelligence Service & National Security Research Institute.
Yang, J., & Yoon, S. (2023). Beyond ChatGPT to the Age of Generative AI: Media Content Generative AI Service Case and How to Secure Competitiveness. Korea Communications Agency.
Luckin, R., Holmes, W., Griffiths, M., & Forcier, L. B. (2016). Intelligence Unleashed: An Argument for AI in Education. Pearson. https://static.googleusercontent.com/media/edu.google.com/en//pdfs/Intelligence-Unleashed-Publication.pdf
Hong, S., Cho, B., Choi, I., & Park, K. (2020). Exploring the Use of Artificial Intelligence and EdTech in School Education, Jincheon. Korea Institute for Curriculum and Evaluation,
Korea Institute for Curriculum and Evaluation. (2020). Concept and Use of Artificial Intelligence (AI) in School Education. Jincheon-gun. Korea Institute for Curriculum and Evaluation
Tapalova, O., & Zhiyenbayeva, N. (2022). Artificial Intelligence in Education: AIEd for Personalised Learning Pathways. The Electronic The Journal of e-Learning, 20(5), 639-653. [https://doi.org/10.34190/ejel.20.5.2597]
Kim, Y. (2024). How does generative ai change education?. Technology & Innovation Webzine. http://webzine.koita.or.kr/202403-specialissue/%EC%83%9D%EC%84%B1%ED%98%95-AI%EB%8A%94-%EA%B5%90%EC%9C%A1%EC%9D%84-%EC %96%B4%EB%96%BB%EA%B2%8C-%EB%B0%94%EA%BF%80%EA%B9%8C
Baidoo-Anu, D., & Ansah, L. O. (2023, January 25). Education in the Era of Generative Artificial Intelligence (AI): Understanding the Potential Benefits of ChatGPT in Promoting Teaching and Learning. Social Science Research Network. .https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4337484 [https://doi.org/10.2139/ssrn.4337484]
Ministry of Education & Korea Institute for Curriculum and Evaluation. (2021). Examining Elementary School Student Assessment. Sejong City. Ministry of Education.
Lim, E. (2017). The Concept and Meaning of Process-Centered Evaluation. Happy Education, February 2017 issue. https://happyedu.moe.go.kr/happy/bbs/selectHappyArticleImg.do?bbsId=BBSMSTR_000000000192&nttId=7238, .
Ministry of Education., Metropolitan & Provincial Offices of Education., & Korea Institute for Curriculum and Evaluation. (2023). Guidelines for Recording School Life Records(Middle School). Sejong City. Ministry of Education., Metropolitan & Provincial Offices of Education., & Korea Institute for Curriculum and Evaluation.
Ministry of Education. (1998). Understanding Performance Evaluation. Sejong City. Ministry of Education.
Seoul Metropolitan Office of Education. (2023, April 5). Seoul Metropolitan Office of Education Holds Seoul Education Forum ‘In the Age of ChatGPT, Ask Field Teachers’. Seoul Education News. https://enews.sen.go.kr/news/view.do?bbsSn=182562&step1=3&step2=1#none
Lee, D., Shim, H. P., & Baek, J. (2024). Exploration on the Feasibility of Utilization and Teacher Perceptions of Using ChatGPT for Student Assessment in Science. The Journal of the Korean Association for Science Education, 44(1), 119-130. [https://doi.org/10.14697/jkase.2024.44.1.119]
Seong, J., & Shin, B. (2023). Exploring the Feasibility of Automatic Scoring of Written Test Using ChatGPT: Focusing on the World Geography Written Test. The Journal of the Association of Korean Geographers, 12(3), 415-432. [https://doi.org/10.25202/JAKG.12.3.3]
Choi, S., & Park, J. (2024). Analysis of the Development Pattern of Constructive Assessment Items by Korean Language Teachers Using Generative AI. The Journal of CheongRam Korean Langurage Education. 97. 243-270. [https://doi.org/10.26589/jockle..97.202401.243]
Seong, T., Si, K., & Choi, Y. (2024). The Era of Generative AI: Changes in Education and the Future Direction of Educational Assessment. Journal of Educational Evaluation. 37(1). 1-28. [https://doi.org/10.31158/JEEV.2024.37.1.1]
Yang, J. (2023). A Study on ChatGPT Usage Experience and Perception. Media Issue, 9(3), Korea Press Foundation.

저자 소개

신상윤

· 2017년 국립공주대학교 컴퓨터교육과(교육학사)

· 2021년 국립공주대학교 컴퓨터교육전공 (교육학석사)

· 2022년 국립공주대학교 컴퓨터교육학과 박사과정

· 2018년 3월~ 현재 대전광역시교육청 교사

관심분야 : 컴퓨터교육, 인공지능융합교육

ssyun_@naver.com

강신천

· 1993년 부산교육대학교 (교육학사)

· 1999년 한국교원대학교 교육과정전공 (교육학석사)

· 2003년 한국교원대학교 교육공학전공 (교육공학박사)

· 2005년 3월~ 현재 국립공주대학교 사범대학 컴퓨터교육과 교수

관심분야 : 컴퓨터교육, 교육공학, 인공지능융합교육

godsky@naver.com

Type	Description
for students	· Opportunity to learn in an enriched learning environment with adaptive learning materials, metacognitive cues · The ability to independently manage the learning process at own time pace, be responsible for setting and implementing educational goals · Opportunity to improve learning outcomes through visualization and immersive technologies
for teachers	· Ability to generate relevant and practical learning content, provide students with immediate and personalized feedback · Allow to develop an individual way of learning for each student, taking into account his strengths, weaknesses, talents and problems · The ability to determine the most effective teaching methods, taking into account the learning contexts and the level of knowledge of the student
for an educational institution	· Ability to implement effective educational processes · The opportunity to improve the quality of education by adapting to the distinctive characteristics and expectations of each student, such as personality, talent, goals and background.

Category	Key Features	Description
Khan Academy ‘Khanmigo’	· Personalized learning support · feedback and assessment	Based on OpenAI’s next-generation large language model technology, GPT-4, this AI tutor serves as a teacher or guide to assist with learning while facilitating more sophisticated conversations.
Quizlet ‘Q-Chat’	· Quiz and test assessments · Providing preview and review services	As a personal learning coach on Quizlet that provides adaptive questions to students, it is an online learning platform used for studying, practicing, and mastering the content being learned.
Duolingo	· Personalized language learning pathways for learners · gamified learning system	An educational service that uses AI to make learning foreign languages easy and fun, providing each learner with personalized learning materials tailored to their skill level.
QANDA	· Providing instant problem-solving processes	It is a service that utilizes advanced image recognition technology to recognize problem photos submitted by students, providing instant, step-by-step solutions and personalized explanations.
i-Scream Edu	· AI-based learning assessment · Personalized feedback	It is an educational platform primarily aimed at elementary school students, providing personalized learning content and feedback based on learning data, along with assessments tailored to their progress.

Category	Questionnaire Item	N
Perceptions and Experience of Generative AI	· Perceptions and Experience of using Gen-AI	4
	· Overall Evaluation of Using Gen-AI-based Services	2
	· Views on the Issues and Solutions of Gen-AI	2
Perceptions and Experience of Educational Use of Generative AI	· Perceptions of Educational Use of Gen-AI	4
	· Experience of Educational Use of Gen-AI	5
Existing Assessment Method	· Existing Assessment Methods (Question Creation, Grading, Feedback Generation and Provision, etc.)	6
Existing Assessment Method	· Concerns and Key Points in Student Assessment · Challenges in essay type assessment, Oral and Presentation Assessment	6
Student Assessment Based on Generative AI	· Anticipated Educational Effect and Intentions for Use · Anticipated Difficulties, Areas Needing Support	5

Content	N(%)
*Multiple responsers possible
For work (school or personal)	76(25.3)
For exploring desired information (ideas)	74(24.7)
For satisfying curiosity or interest	57(19.0)
For translating between languages	45(15.0)
For summarizing text (or video content)	28(9.3)
For creating content in various genres	20(6.7)
Total	300(100.0)

Content	N(%)
*Multiple responsers possible
The advancement of technology is amazing.	96(27.8)
It is convenient to use.	87(25.2)
The response content is interesting.	59(17.1)
The response content is trustworthy.	32(9.3)
It is worth recommending to others.	30(8.7)
There is a sense of reluctance towards machinegenerated answers.	17(4.9)
It provides false information.	13(3.8)
The response content is biased.	11(3.2)
Total	345(100.0)

Category		N	%
Gender	Male	53	34.9
Gender	Female	99	65.1
School Level	Middle School	85	55.9
School Level	High School	67	44.1
Teaching Experience	less than 5 years	42	27.6
	less than 15 years	70	46.1
	more than 15 years	40	26.3
Subject Area	Natural Sciences and Engineering	64	42.1
	Humanities and Social Sciences	47	31.0
	Arts and Physical Education, Others	41	26.9
Total		152	100

Content	N(%)
*Multiple responsers possible
Misconduct such as plagiarism or assignment completion by proxy	113(30.1)
Decrease in creativity and problem-solving skills due to reliance on generative AI	110(29.3)
Acquisition of biased information	70(18.7)
Copyright infringement issues	47(12.5)
Leakage of personal information	35(9.4)
Total	375(100.0)

Content	N(%)
*Multiple responsers possible
Enhance ethics education regarding the use of generative AI	119(33.9)
Strengthen education to enhance creativity and problem-solving skills	95(27.1)
Implement technical improvements to reduce biased or false information	74(21.1)
Strengthen penalties for the detection of inappropriate behavio	32(9.1)
Strengthen personal information security	31(8.8)
Total	351(100.0)

Content	N(%)
*Multiple responsers possible
For use as an auxiliary tool in the teaching, learning, and assessment process	52(26.8)
For use as an aid for administrative tasks	43(22.2)
For exploring desired information (ideas)	41(21.1)
For creating content in various genres	26(13.4)
For summarizing text (or video content)	17(8.8)
For translating between languages	15(7.7)
Total	194(100)

Content	N(%)
*Multiple responsers possible
Increased efficiency in work and educational activities	75(35.0)
Can play a supportive role in classes	65(30.4)
Simple and convenient to use	35(16.4)
Engages and immerses students in the learning process	22(10.3)
Provides useful and reliable responses	17(7.9)
Total	214(100.0)

Content	N(%)
*Multiple responsers possible
Concerns about indiscriminate use and dependence by students	28(42.4)
Potential for providing false information	18(27.3)
Possibility of personal information leakage	8(12.1)
Biased nature of the responses	6(9.1)
repulsion to AI technology itself	6(9.1)
Total	66(100.0)

Content	N(%)
*Multiple responsers possible
Role as an individual assistant for students	88(32.5)
Supporting role in creating and providing materials necessary for teaching and learning	74(27.3)
Supporting role in assisting with student assessment	70(25.8)
Supporting role in assisting with learner analysis	39(14.4)
Total	66(100.0)

Content	N(%)
*Multiple responsers possible
Allows for the evaluation of the process as well	95(26.7)
Facilitates easy assessment of student achievement levels	77(21.6)
Enables comprehensive evaluation of knowledge, skills, and attitudes	63(17.7)
Ensures objectivity in grading	45(12.6)
Facilitates easy provision of feedback based on results	36(10.1)
Allows for the assessment of higher-order thinking skills	22(6.2)
Simplifies the creation of test questions	18(5.1)
Total	356(100.0)

Content	N(%)
*Multiple responsers possible
Designing evaluation processes that allow for process assessment	97(29.7)
Objective and consistent grading of questions	83(25.5)
Establishing specific and detailed grading criteria	77(23.6)
Providing immediate and specific feedback	38(11.7)
Creating questions that can assess higher-order thinking skills	31(9.5)
Total	326(100.0)

Content	N(%)
*Multiple responsers possible
Grading requires a lot of time and effort	101(32.5)
Difficulty in ensuring objectivity and reliability in grading	84(27.0)
Difficulty in creating scoring rubrics and model answers	41(13.2)
Concerns about objections from students and parents	37(11.9)
Difficulty in developing essay-type assessment questions	33(10.6)
Difficulty in providing feedback based on evaluation results	15(4.8)
Total	311(100.0)

Content	N(%)
*Multiple responsers possible
Concerns about various side effects such as dependency and misuse	101(48.6)
Technical limitations including biases and inaccurate information	61(29.3)
Investment of time and effort to learn new things	44(21.1)
The reliability of human evaluators may decrease	2(1.0)
Total	208(100.0)

← Negative		Neutral	Positive →
1	2	3	4	5
2 (1.3)	22 (14.5)	35 (23.0)	64 (42.1)	29 (19.1)

Content	N(%)
*Multiple responsers possible
Difficulty in immediate grading	85(33.1)
Challenges in preparation such as recording and videotaping	62(24.1)
Difficulty in determining evaluation elements and creating scoring rubrics	61(23.7)
Difficulty in developing oral assessment questions	35(13.6)
Difficulty in providing feedback based on evaluation results	14(5.5)
Total	257(100.0)

Content	N(%)
*Multiple responsers possible
Scoring of Questions	71(25.5)
Providing feedback	69(24.7)
Question creation	57(20.4)
Establishing scoring criteria	55(19.7)
Designing the assessment process	27(9.7)
Total	279(100.0)

Content	N(%)
*Multiple responsers possible
Reduce teachers’ effort and time throughout the overall assessment process	100(39.4)
Enhance the reliability of assessments by acting as an assistant grader	62(24.4)
Generate personalized feedback for each individual	50(19.7)
Generate questions of various types and difficulty levels	37(14.6)
It is difficult to expect results	5(1.9)
Total	254(100.0)

Content	N(%)
*Multiple responsers possible
Establishing a simple and intuitive assessment platform	102(32.0)
Distributing examples and reference materials for assessment use	93(29.2)
Providing teacher training for related competency enhancement	70(21.9)
Developing guidelines and policies for ethical use	41(12.8)
Supporting the activities of leading teachers and research groups	13(4.1)
Total	319(100.0)

Group	The degree of willingness to utilize generative AI-based student evaluation
Group	N	M	SD	F	p	Scheffe
Natural Sciences and Engineering (A)	64	3.84	1.027	7.332	.001	C<A,B
Humanities and Social Sciences (B)	47	3.77	.813
Arts and Physical Education & Others (C)	41	3.15	.989