The Journal of Korean Association of Computer Education
[ Article ]
The Journal of Korean Association of Computer Education - Vol. 28, No. 11, pp.1-10
ISSN: 1598-5016 (Print) 2733-9785 (Online)
Print publication date 30 Nov 2025
Received 20 May 2025 Revised 17 Jul 2025 Accepted 07 Aug 2025
DOI: https://doi.org/10.32431/kace.2025.28.11.001

K-12 프로그래밍 비전공자를 위한 대화형 AI 기반 디지털 리터러시 수업 설계와 효과 분석 사례연구

이대희 ; 안성진††
정회원 성균관대학교 대학원 컴퓨터교육학과 박사수료
††정회원 성균관대학교 사범대학 컴퓨터교육과 교수(교신저자)
Case study on designing interactive AI-powered digital literacy lessons for non-programmers in K-12 and analyzing their impact
Daehee Lee ; Seongjin Ah††

초록

본 연구는 프로그래밍 경험이 부족한 K-12 비전공 학습자를 위해, 대화형 인공지능(AI)을 활용한 디지털 리터러시 교수법을 개발하고 그 교육 효과를 검증하고자 하였다. 전문가 FGI를 통해 프롬프트 엔지니어링 기반 학습지도안을 설계하고, 중·고등학생 55명을 대상으로 사전·사후 비교 실험을 수행하였다. 그 결과, 학습자는 코딩 부담 없이 창의적인 프로젝트 기반 학습(PBL)에 몰입할 수 있었고, 자기효능감도 정성 분석 및 설문을 통해 유의미하게 향상되었다. 전문가 집단 역시 해당 교수법의 실효성과 적용 가능성에 대해 긍정적으로 평가하였다. 본 연구는 대화형 AI 기반 수업이 학습자의 수준 차이를 완화하고, 교육 형평성과 개별화 학습을 실현할 수 있는 기반이 될 수 있음을 시사하며, 향후 장기적 효과 검증과 윤리적 가이드라인 마련의 필요성을 제언한다.

Abstract

This study aimed to develop and evaluate a digital literacy pedagogy using conversational artificial intelligence (AI) for K–12 students without programming backgrounds. A prompt-engineering-centered curriculum was designed through focus group interviews (FGI) with in-service teachers and applied to 55 middle and high school students in a pre- and post-comparison experiment. The results showed that students were able to engage in creative project-based learning without the burden of coding and demonstrated significant improvements in self-efficacy, as evidenced by both qualitative responses and post-survey analysis. Expert feedback confirmed the educational effectiveness and classroom applicability of the proposed approach. These findings suggest that conversational AI can reduce disparities in learners’ programming abilities, promote equitable and individualized learning experiences, and foster autonomous problem-solving. However, the study was limited to short-term effects without control over variables such as motivation and learning styles. Further research is needed to assess long-term impacts and establish ethical guidelines for AI use in K–12 education.

Keywords:

Conversational AI, Digital Literacy, K–12 Education, Self-efficacy, Prompt Engineering

키워드:

대화형 인공지능, 디지털 리터러시, K–12 교육, 자기효능감, 프롬프트 엔지니어링

1. 서론

1.1 연구의 필요성

많은 K-12 교육 단계의 교수자들과 학습자들은 제한된 학습시간과 부족한 프로그래밍 및 기술적 능력으로 인해 고품질의 프로젝트 결과물을 생산하는 데 어려움을 겪고 있다[1]. 예를 들어 창의적인 웹사이트 제작 대회에서 한 그룹이 획기적인 아이디어로 홈페이지를 제작하여 참여한다고 할 때 해당 그룹의 학습자는 웹서버를 구성하고, 기본적인 Hypertext Markup Language과, Database, Server Side Script와 Client Side Script 프로그래밍 능력을 보유하고 있어야 하며, 이를 위해서는 많은 시간을 들여 기초 지식을 습득해야 하며, 제작 과정에서 발생하는 다양한 오류를 해결할 수 있는 역량도 요구된다. 이러한 문제는 기반 지식이 없는 학습자의 프로젝트 참여를 제한하며, 창의적인 기획 및 설계에 집중하지 못하게 하여, 결과적으로 학습자는 창의적인 기획 및 설계보다 구현 과정에 매몰되기 쉬우며, 이는 결과물의 표현력과 확장성, 즉 독창성의 구현을 저해할 수 있다[2]. 이러한 문제점을 해결하기 위하여 비전공 학습자들에게 디지털 리터러시와 컴퓨팅 사고력은 21세기 핵심 역량으로 주목받고 있으며, 대화형 인공지능은 이들의 구현 능력 부족 문제를 보완할 수 있는 실질적 대안으로 떠오르고 있다[3, 4].

1.2 연구의 목적

본 연구의 목적은 K-12 교육에서 학습자가 본인의 프로그래밍 능력에 의존하지 않고도 목표하는 프로젝트 결과물을 생성할 수 있도록 지원하는 AI 기반 교육 방법의 효과성을 사례를 통해 증명하는 것이다. 기존 연구들은 주로 미국이나 유럽에서 진행된 사례 중심이거나, 국내 연구는 대학 수준에서의 AI 활용 교육 효과를 분석한 것이 대부분이다[5-10]. 반면, 본 연구는 K-12 단계의 프로그래밍 비전공자를 대상으로 하여, 실제 현장 교육에서 적용 가능한 대화형 AI 기반 수업 사례를 국내 맥락에서 제시한다는 점에서 차별성이 있다.


2. 이론적 배경

2.1 디지털 리터러시와 컴퓨팅 사고력

21세기 교육에서 디지털 리터러시와 컴퓨팅 사고력은 미래 핵심 역량으로 강조되고 있다. 디지털 리터러시는 단순한 도구 사용 능력을 넘어, 디지털 기술을 활용하여 정보를 비판적으로 이해하고, 생산하며, 윤리적이고 창의적으로 문제를 해결하는 통합적 능력으로 정의된다(Bawden, 2008)[11, 12]. 특히 K-12 교육 현장에서는 학생들이 디지털 환경에서 학습하고 소통할 수 있는 기초 역량으로 디지털 리터러시를 필수적으로 요구하고 있으며, 이는 기존의 정보화 소양(information literacy) 개념을 확장한 것이다.

한편, 컴퓨팅 사고력(computational thinking, 이하 CT)은 Wing(2006)이 제안한 개념으로, 컴퓨터 과학의 핵심 개념을 바탕으로 문제를 정의하고, 문제 해결을 위해 알고리즘적으로 사고하며, 데이터를 기반으로 추상화와 일반화를 수행하는 사고방식이다[13]. CT는 단순히 프로그래밍 능력을 의미하는 것이 아니라, 다양한 분야의 문제를 절차적이고 논리적으로 해결할 수 있도록 하는 인지적 전략으로 간주된다(Grover & Pea, 2013). 이처럼 CT는 수학, 과학, 사회 등 교과 통합형 교육에서도 적용 가능성이 높으며, 디지털 리터러시와의 유기적 연계를 통해 학생의 창의적 문제해결 능력을 향상할 수 있다.

2.2 대화형 인공지능(AI)의 교육적 활용

인공지능(AI)은 단순한 정보기술의 영역에 머무르지 않고, 교육 현장에서도 학습 도구로서의 영향력을 확장하고 있다. 특히 최근에는 자연어 처리(NLP) 기반의 대화형 인공지능(Conversational AI)이 등장하면서, 학습자와 AI 간의 실시간 상호작용이 가능해졌고, 이는 학습의 주체성과 몰입을 강화하는 새로운 교수-학습 환경을 제공하고 있다.

대화형 AI는 단순 질의응답을 넘어서 프롬프트 기반 학습, 개인화된 피드백, 과정 중심의 문제 해결 보조 등의 기능을 통해 학습자의 인지 부담을 완화시키고, 자기주도 학습을 지원하는 역할을 수행할 수 있다(Brummelen et al., 2020)[15]. 특히 구현 능력이 부족한 비전공 학습자들에게는 대화형 AI가 프로젝트 수행 중 필요한 문법, 구조, 오류 수정 등의 실시간 안내자로서 작동함으로써, 결과물 도출에 직접적인 기여를 할 수 있다(Kazemitabaar et al., 2023)[16].

2.3 자기효능감

자기효능감은 개인이 특정 과제를 성공적으로 수행할 수 있다는 자신의 능력에 대한 신념을 의미한다(Bandura, 1977). 이는 학습자의 동기, 학습 전략, 성취 행동에 밀접한 영향을 미치며, 특히 새로운 도전 과제를 수행하거나 기술 기반 활동에 참여할 때 핵심적 역할을 한다[17].

교육 현장에서 자기효능감은 학습자의 도전 의지, 자기조절 학습, 문제해결 전략, 나아가 학습 지속력에 큰 영향을 준다(Schunk & Pajares, 2002)[18]. 특히 컴퓨터 프로그래밍, 소프트웨어 설계, 디지털 도구 활용 등의 맥락에서는 구현 과정의 어려움으로 인해 학습자의 자기효능감이 낮아지는 경우가 많으며, 이로 인해 학습 회피 또는 낮은 성취로 이어질 수 있다(Kwon & Jonassen, 2011)[19]. 이러한 문제는 특히 프로그래밍 비전공 학습자에게서 두드러진다.

대화형 AI 활용 학습자는 즉각적이고 이해 가능한 피드백, 예시 중심의 문제 해결 경로 제시, 구현 도중 발생하는 오류에 대한 보조 등으로 자기효능감이 유의하게 향상되어 학습 태도와 동기가 강화된다(Lee et al., 2022)[20].


3. 연구방법

3.1 교수법 개발

대화형 AI 활용 디지털 리터러시 교수법을 개발하기 위하여 연구기관의 연구 보고서, 관련 학술 논문, 산업 사례 등을 분석하여 효과성과 잠재적 부작용을 정리하였다. 이를 바탕으로 전문가 심층 면접(Focus Group Interview, 이하 FGI)을 실시하여 수업 설계의 방향성을 도출하고, 그 결과를 반영해 4차시 수업 지도안을 개발하였다. 이어서 2차 FGI를 통해 타당성을 검토하고 대상 학습자를 선정하였다. 수집된 응답은 기술(descriptive) 통계분석과 분류 항목별 상관분석(correlation analysis)을 통해 교수법의 적절성과 개선 방향을 종합적으로 검토하였다.

3.2 전문가 심층 인터뷰(FGI)

본 연구에서는 대화형 인공지능(AI)을 활용한 디지털 리터러시 교수법의 타당성과 실현 가능성을 검토하기 위하여 FGI을 두 차례에 걸쳐 실시하였다. FGI에는 총 27명의 현직 교사가 참여하여 Table 1과 같이 구성하였으며, 모두 컴퓨터 교육 관련 석·박사 과정에 재학 중인 교사 집단으로 구성되었다. 구체적으로는 초등학교 교사 9명, 중학교 교사 8명, 고등학교 교사 10명으로, 교육 현장의 다양한 시각을 반영할 수 있도록 집단을 구성하였다.

Information of experts group

Table 2의 모집된 전문가들의 특징을 보면, 대부분 간단한 프로그래밍이 가능하였고, 대화형 AI를 매주 사용하는 비율은 51.8%, 유료 구독자까지 합하면 70.3%가 일상적으로 활용하고 있다. 대부분이 ChatGPT를 주요 도구로 활용(73%)하고 있으며, 휴대폰 음성비서나 가전기기 내장형 AI와 같은 다양한 형태의 대화형 AI 도구를 사용하는 활용자도 많았다. 수업에 대화형 AI를 활용할 때 학습자가 사용할 때와 교수자가 사용할 때 모두 긍정적인 효과가 있다고 응답하였지만, 학습자가 사용할 때는 일부 부정적인 효과(3.7%)도 있었음이 확인되었다. 전반적으로 대화형 AI는 학습 목표달성에 50% 이상의 긍정적 효과가 보인다고 응답한 비율이 57.6%로 확인되어, 도구의 교육적 활용 가능성에 대한 전문가들의 공감대가 형성되어 있음을 보여준다.

Interactive Artificial Intelligence Recognition

FGI에서는 사전 분석한 연구기관의 연구 보고서, 관련 학술 논문, 약관 및 관련 사례 분석 등을 정리하여 제시한 후, 대화형 AI의 수업 활용 방법에 대하여 토의하였는데, 교수자가 중심이 되는 활용 방식은 학습 흐름의 조절 및 개별 피드백에 효과적이라는 의견이 많았으며, 반대로 학습자가 주도적으로 활용할 경우 부족한 활용 기술과 무비판적 결과 수용 등의 부작용 가능성이 제기되었다. 이에 따라 전문가들은 공통적으로, 학습자가 본 수업에서 대화형 AI를 효과적으로 활용하기 위해서는 사전 단계에서 프롬프트 엔지니어링에 대한 교육이 필수적이라는 데 동의하였다. FGI 결과는 이러한 의견을 바탕으로 본 연구에서 제안하는 교수법 설계에 반영되었으며, 이는 학습자에게 사전 학습으로 프롬프트 엔지니어링 방법을 교육한 뒤 대화형 AI로 본 수업을 진행하는 흐름으로 구성되었다. 결과적으로 본 FGI는 대화형 AI 기반 교수법의 현장 적합성과 보완 방향을 제시하고, 실천적 설계에 대한 공감대를 형성했다는 점에서 의의가 있다.

3.3 프로젝트 기반 학습 설계

학습자가 대화형 AI를 학습 목표 도달에 효과적으로 활용 못 하는 이유는 디지털 리터러시가 익숙하지 않은 것에 있다. 스마트폰이 대중화되어 갈수록 학습자는 IT 접근성이 증가되었지만, 오히려 특정 분야에 대한 접근성 강화가 학습을 위한 디지털 리터러시를 저해하고 있다. 실제로 K-12를 대상으로 하는 컴퓨터 활용에 관한 전문 자격증 취득자가 Fig. 1과 같이 최근 5년간 지속적으로 감소한 것도 디지털 리터러시 기반 학습의 약화 가능성을 시사한다[21][22].

Figure 1.

Compare student population and computer credentials earned by year

이러한 한계를 보완하기 위해, 생성형 AI의 활용 방법에 대한 사전 교육을 포함하고, 이를 기반으로 프로젝트 기반 학습(Project-Based Learning, PBL)을 실시한다면, 단순히 AI의 사용을 허용하는 것보다 학습 성과 측면에서 더 긍정적인 효과를 기대할 수 있다.

이에 본 연구에서는 ‘AI와 함께하는 알고리즘 풀이’를 주제로 K-12 학습자를 대상으로 한 4차시 수업 지도안을 개발하였다. 수업 설계는 ADDIE 모형(분석–설계–개발–실행–평가)을 기반으로 진행되었으며, 전체 설계 흐름은 Fig. 2에 제시하였다.

Figure 2.

Compare student population and computer credentials earned by year

수업 지도안의 각 차시는 다음과 같이 구성되어 있다(Table 3 참조).

Lesson Plan

1차시에는 프로그래밍에 대한 사전지식이 없는 학습자를 대상으로, 기초적인 프로그래밍 로직 개념과 문제 해결 구조를 소개한다. 2차시에는 알고리즘 문제를 제시하고, 학습자가 대화형 AI에게 질의하여 받은 답변을 해석하고 적용하는 방법을 교수자가 설명한다. 3차시에는 알고리즘 문제를 제시하고, 스스로 대화형 AI를 활용하여 풀이하도록 유도하여 적응력을 높인다. 4차시에는 자유 주제를 기반으로 창의적인 프로그램을 설계하고, 대화형 AI와 협업하여 완성하는 프로젝트 활동을 수행한다.

3.4 설계된 학습 지도안 검토

개발된 수업 지도안의 타당성과 완성도를 검토하기 위하여 전문가집단을 대상으로 평가를 요청하였다. 지도안 수업 주제의 적절성, 전체 구성 논리성 및 각 차시 별 목표와 활동의 적합성을 5점 리커트 척도(1점: 매우 그렇지 않다 ~ 5점: 매우 그렇다)로 진행하였고, 4점 이상을 긍정적 평가를 의미하는 것으로 간주하였다[23]. 수집된 응답 자료는 상관관계 분석 및 요소별 기술통계 분석을 할 수 있도록 항목별로 분리하여 진행하였다. 설문은 FGI에 참여한 교사 중 평가에 동의한 21명으로 하였고, 완성된 수업 지도안을 사전에 배포하여 분석할 수 있도록 하였다. Table 4를 보면 전문가집단의 학습 지도안에 대한 평가를 볼 수 있다. 전체적으로 수업 지도안 각 차시의 계획과 효과성에 대안 CVR(Content Validity Ratio) 평균은 약 84.31%로 나타나, 내용 타당성 측면에서 안정적인 설계가 이루어진 것으로 평가되었다[24]. 2차시 지도안에 대해서는 모든 응답자가 전부 긍정(4점 이상) 응답을 하였으며, 이는 학습자가 AI를 실제로 활용하여 문제를 해결하는 방식의 교육적 효과에 대한 전문가들의 높은 공감대를 반영한 것으로 해석된다. 반면 1차시 지도안의 경우 표준편차가 0.90으로 상대적으로 크게 나타나 응답의 분산이 존재하였다. 구체적으로 2점(‘그렇 지 않다’)과 3점(‘그렇다’)을 선택한 전문가가 각각 2명씩 있었으며, 세부 의견 분석결과 동기유발 단계의 부족과 수업 분량 과다가 주요 원인으로 지적되었다.

Component descriptive statistics

이에 따라 첫째, 차시별 약 10분 내외의 동기유발 활동을 학습자 특성에 맞게 강화하고, 둘째, 1차시의 학습 내용을 학습자 수준에 따라 2차시로 분할 운영하는 방안을 고려하였다. 또한, 실제 적용 이전에 사전설문(9문항)을 실시하여 학습자의 프로그램 관련 선지식과 대화형 AI 접근성을 파악함으로써, 수업 실행 단계에서 학습대상자에 따라 수준 차이를 반영하여 세부 지도안을 정교화하기로 하였다.

3.5 시범 적용 학습 대상 선정

K-12 프로그래밍 비전공 학습자를 대상으로 개발한 학습 지도안을 평가하면서 시범 적용할 세부적인 학습 대상 선정에 대한 조사도 중복응답을 허용한 방식으로 Table 5와 같이 진행하였다. 조사결과에 따르면, 고등학생이 제일 높은 결과(32.69%)를 보여주었고 중학생과 대학생이 그 뒤(23.08%)를 이었다. 이는 대화형 AI를 활용한 수업 적용 대상군으로 고등학생과 중학생이 적합하다는 전문가 집단의 의견이 우세했음을 보여준다. 한편, 대학생을 대상으로 한 AI 활용 수업 연구는 교수들을 중심으로 활발이 연구되고 있으나 중등학교는 그 연구가 상대적으로 부족한 실정이다[25, 26]. 이에 본 연구는 전문가 선호도와 연구 공백을 고려하여, 시범 적용 수업의 대상 학습자를 고등학생과, 중학생으로 선정하였다.

Target Learners


4. 연구 결과

4.1 연구 수업 대상자

시범 적용 연구 수업을 위한 학습대상자는 편향성을 방지하기 위해 서울 소재 27개 중고등학교 학생 55명을 대상으로 진행하였다. 나이별 5개의 그룹으로 편성하여 사전 학습자 분석을 진행한 후, 그룹마다 동일한 수업 설계안에 따른 4차시 연구 수업을 진행하였다.

Participants in the research lesson

사전 학습자 분석 중 프로그래밍 능력 수준을 확인하기 위한 평가를 진행하였다. 평가 결과는 Table 7과 같다. 절반 이상(51.3%)이 알고리즘 개념만 알거나 아무런 지식이 없는 수준이었으며, 인터넷이나 서적의 도움을 받아 간단한 계산기나, 데이터의 평균을 구하는 정도 이상의 프로그램이 가능한 학습자는 35.9%였다.

Rate learners' pre-programming skills

수업 종료 후 경험 및 만족도 등을 5점 리커트 척도와 서술형으로 조사하였다. 나이와 프로그램 사전 능력 유무를 기준으로 설문 결과를 상관관계 분석과 요소별 기술통계를 분석할 수 있도록 데이터를 수합하였다.

4.2 연구 수업 결과

연구 수업 결과 Table 8에 제시되어 있으며, 다음과 같은 주요 특징이 도출되었다. 대화형 AI를 활용 함으로써 50% 이상의 효과를 얻었다는 학습자가 대부분(97.4%)이었으며, 중학생 학습자 중에서는 대화형 AI의 도움 없이는 완성할 수 없었다고 응답(25.8%)하여 AI의 지원이 중등 학습자에게 더욱 핵심적인 역할을 함을 보여준다. 고등학생에서도 인공지능 없이도 수업 목표에 도달할 수 있다고 응답했지만, 효과에 대해서는 더 명확하고 높은 영향이 있다고 응답하였다. 모든 학습자가 해당 수업 후 대화형 AI의 효과성을 확인하였고, 적극적인 활용을 고려하였으며, 사용하지 않겠다고 답한 학습자(0%)는 없었다. 완성된 프로젝트 과제를 보면, 스토쿠 게임, 일정 관리 프로그램, 음식점 리뷰 프로그램, 용돈 관리 프로그램, 연예 시뮬레이션, 뮤직플레이어 등 학습자 개개인이 자율적으로 선택한 다양한 주제를 기반으로 프로그램을 완성하였다. 이는 동일한 수업 시간(총 4차시) 내에서 학습자 각자가 개별 주제를 기획하고 구현까지 도달했다는 점에서, 기존 수준의 프로그래밍 역량을 고려할 때 대화형 AI의 사용이 학습자의 과제 완성률과 시간 효율성 향상에 기여한 것으로 해석할 수 있다. 또한, 결과물의 주제 범위와 형태의 다양성은 창의성 향상을 시사하는 정성적 단서로 간주될 수 있으나, 본 연구에서는 창의성 검사도구나 구조화된 질적 분석을 활용하지 않았기 때문에 창의성에 미친 영향을 단정적으로 일반화하기는 어렵다. 향후 연구에서는 TTCT(Torrance Tests of Creative Thinking), 자기 보고식 창의성 지표, 또는 포트폴리오 기반 질적 분석 등을 통해 창의성 향상 효과에 대한 체계적 검증이 필요하다. 특히 흥미로운 점은 프로그래밍에 대한 사전지식이 있는 학습자의 과제완성도는 78%, 없는 학생들은 77%의 과제완성도를 보이는 것을 볼 때 사전지식이 과제완성도에 큰 영향을 주지 않는 것을 알 수 있다. 이 결과는 대화형 AI가 학습 및 프로젝트 수행 과정에서 유용한 도구가 될 수 있음을 시사하며, 특히 프로그래밍 경험이 있는 학생들에게 편차를 줄여 줄 수 있는 보조 도구로 효과적임을 보여준다.

Comparison of the effects of using conversational AI in instruction

수업의 효과를 질적으로 분석하기 위해 총 55건의 수업 경험에 대한 학습자의 자유서술형 응답을 수집하고, Table 9와 같이 QCA(Qualitative Content Analysis) 방법을 적용하였다. 사전에 정의한 감성 및 기능 중심 키워드를 기준으로 텍스트 데이터를 코딩하고, 각 키워드의 출현 빈도를 분석하였다. 그 결과 전체 응답의 62.1%에서 수업 경험에 대한 긍정적 표현이 나타났으며, 이 중 ‘재미’는 21회로 가장 많이 언급되어 수업이 학습자에게 흥미롭고 유익한 경험으로 인식되었음을 보여주었다.

Qualitative Content Analysis by Keyword

또한, 전체 응답자의 42.7%는 대화형 AI 활용에 대해 긍정적으로 반응하였으며, 주요 내용은 AI를 통해 문제 해결이 수월해졌거나 개인 맞춤형 학습이 가능했다는 경험이었다. 아울러, 자기효능감과 관련된 키워드(예: “할 수 있었다”, “도전했다”, “이해됐다”, “직접 해결했다” 등)가 포함된 응답도 전체의 17.7%로 나타났으며, 이는 별도의 자기효능감 측정 문항 없이도 학습자의 역량 인식이 자발적으로 표현된 정성적 근거로 해석될 수 있다. 특히 비전공 학습자 대상 수업이라는 점에서 이러한 응답은 인지적 성장과 AI 기반 학습의 지원 효과를 시사한다.

본 분석은 학습자의 인식과 감정의 의미를 해석하는 방향으로 수행되었으며, 유도된 범주에 기반한 질적 내용 분석을 통해 수업의 교육적 효과를 정성적으로 입증하였다.

4.3 수업 결과 기반 전문가 집단 설문 조사

수업 진행 결과를 확인한 전문가집단을 대상으로 대화형 AI 기반 교수법의 효과성과 개선 방향에 대한 설문 조사를 실시하였다. 전문가들은 프롬프트 엔지니어링에 대한 선수학습이 학생들의 자율적인 문제 해결 능력 향상에 매우 긍정적인 영향을 미쳤다고 평가하였으며, 그 결과는 Table 10에 제시되어 있다.

Expert panel analysis of learning outcomes

주요 서술형 응답을 분석한 결과, 내성적인 성격으로 질문을 하지 못하는 학습자가 대화형 AI를 적극적으로 활용하여 학업 성취도가 향상됐다는 의견도 있었으며, 학습 의지를 높여주는 효과로 수업 참여도가 낮은 학생들이 줄어들었다는 의견도 나타났다. 전문가들은 이러한 교수법이 미래 교육에서 중심적 역할을 할 것이라는 점에 대체로 동의했으며, 효과성을 높이기 위한 구체적인 교수 전략이 필요하다고 평가하였다.

이러한 결과를 바탕으로, 대다수의 교사 응답자는 본인도 해당 교수법을 자신의 수업에 도입(81%)하겠다고 응답하였다.

4.4 표본 적합도 및 신뢰도 분석

Table 11은 프롬프트 엔지니어링 선수학습을 통한 대화형 AI 활용능력 향상 교육의 필요성 설문에 대한 데이터의 표본 적합도 및 신뢰도 분석결과이다. KMO(Kaiser-Meyer-Olkin)는 0.705로, 데이터가 요인 분석에 매우 적합함을 나타내고 있다[27]. 등분산 검정(Bartlett's Test)결과 p-value ≈ 0으로, 유의 수준(0.05)을 만족함으로 변수 간 상관관계가 유의미하게 존재하고 있음을 알 수 있다[28]. 마지막으로, 신뢰도 분석(Cronbach's Alpha) 결과는 0.784로, 내적 일관성이 유의미한 수준(0.70) 이상의 신뢰도를 나타내며, 데이터 항목 간 응답이 일관성 있게 나타났다[29].

Sample Adequacy and Reliability Analysis of the Survey on the Need for a Teaching Method Utilizing Conversational AI

Table 12에서는 개발된 학습 지도안과 수업결과에 기반한 설문에 대한 데이터의 표본 적합도 및 신뢰도 분석결과를 제시하였다. KMO는 0.708로, 데이터가 요인 분석에 매우 적합함을 나타내고 있다. 등분산 검정결과 p-value ≈ 0으로, 유의 수준(0.05)을 만족함으로 변수 간 상관관계가 유의미하게 존재하고 있음을 알 수 있다. 마지막으로, 신뢰도 분석 결과는 0.889로, 내적 일관성이 유의미한 수준(0.70) 이상의 신뢰도를 나타내며, 데이터 항목 간 응답이 일관성 있게 나타났다.

Sample Adequacy and Reliability Analysis of the Learning Lesson Plan Evaluation Survey

이러한 결과는 요인분석 전재를 충족함을 보여주며, 데이터 해석의 신뢰성을 가진다. 프롬프트 기반의 대화형 AI 교수 전략은 학습자의 디지털 리터러시 및 프로젝트 결과물의 품질과 학습 성취도를 높이는 데 실질적인 효과가 있음이 통계적으로 증명되었다.

4.5 대화형 AI 교수법의 적용 가능성과 기대 효과

본 연구에서 제안한 프롬프트 엔지니어링 기반 대화형 AI 교수법은 실제 중·고등학생 55명을 대상으로 4차시 수업을 적용하고, 사전·사후 질적 내용 분석, 프로젝트 수행 결과, 전문가 평가를 통해 실증적으로 검증되었다.

특히 전체 응답자의 62.1%가 수업 경험을 긍정적으로 평가하였고, 42.7%는 AI의 학습 지원 효과를 명시적으로 언급하였다. 사전지식이 없던 학습자도 AI의 도움으로 과제를 완성하며 성취감을 경험했으며, 이는 교육 형평성 측면과 자기효능감 강화에서 중요한 의미를 가진다.

이러한 실증적 결과는 다음과 같은 구체적 적용 가능성과 기대효과로 이어진다.

첫째, AI가 프로그래밍 능력 격차를 완화하며, 모든 학생이 창의적 문제해결 활동에 참여할 수 있는 기반이 된다.

둘째, 프롬프트 엔지니어링 중심 설계는 학습자의 자기주도성을 증진시키며, 실시간 피드백을 통해 학습 몰입도를 높인다.

셋째, 전문가 집단 설문에서는 81%가 해당 교수법을 직접 수업에 도입하고자 응답하였으며, 수업 전략으로서의 현장 적용성에 대한 공감대가 확인되었다.

넷째, 중학생과 고등학생 모두에서 AI의 효과를 높게 인식하였으며, 특히 중학생의 경우“AI 없이는 수업 목표 도달이 어려웠다.”는 응답이 25.8%에 달해, 교육 수준별 맞춤형 지원 도구로서의 가능성을 보여준다.

따라서 본 연구는 단순한 가능성 언급을 넘어, 실제 교육현장에서의 실행성과 효과성에 대한 실증적 데이터를 기반으로 한 적용 근거를 제공한다. 이는 향후 생성형 AI를 활용한 교수설계, 교사 연수, 정책 수립 등 다양한 교육 분야에 기여할 수 있는 기반 자료가 될 수 있다.


5. 결론

본 연구는 K-12 교육 단계의 프로그래밍 비전공 학습자를 대상으로, 프롬프트 엔지니어링 기반 대화형 AI 활용 교수법이 학습자의 디지털 리터러시 능력을 향상하여 컴퓨팅 사고력, 프로젝트 완성도, 창의성 및 기술적 적응력을 향상에 어떠한 영향을 미치는지에 대해 확인하기 위해 전문가 포커스 그룹 인터뷰(FGI)를 기반으로 수업을 설계하고, K-12 비전공 학습자를 대상으로 대화형 AI 활용 수업을 적용한 뒤, 사전·사후 비교를 통해 효과를 검증하였다, 시범 적용 연구 수업 결과, 대화형 AI가 프로그래밍 경험이 부족한 학습자들에게 실질적인 학습 도우미로 작용할 수 있음이 확인되었다.

특히, 수업에서 학습자가 스스로 주제를 정하고 대화형 AI를 활용해 프로그램을 완성하는 과정은 자율적 문제 해결 역량의 향상을 보여주는 실질적 사례이며, 이는 4차시 프로젝트 기반 수업 설계와 결과물 다양성을 통해 확인되었다. 또한, 전문가 설문 결과에서도 “프롬프트 엔지니어링 중심 수업이 학생의 문제 해결 능력 향상에 기여한다”는 항목에 평균 4.33점, CVR 0.95로 높은 동의가 나타나, 본 교수법의 실효성과 현장 적용 가능성에 대한 교사 집단의 신뢰를 확인할 수 있었다.

아울러, 수업 경험에 대한 자유서술형 설문 응답의 62.1%는 ‘재미’, ‘흥미’, ‘유익’ 등 긍정적 감성 표현을 포함하고 있었으며, 이는 학습자가 수업에 몰입하고 학습 동기를 형성했음을 시사한다. 특히 자기효능감에 대한 직접적인 질문 없이도 “도전했다”, “이해됐다”, “스스로 해결했다” 등과 같은 표현이 자발적으로 나타났다는 점은, 심리적 변화가 자연스럽게 드러난 정서적 반응으로 해석될 수 있다. 이러한 결과는 대화형 AI 기반 수업이 학습자의 수준 차이를 완화하고, 교육 기회의 형평성을 확대하는 데 기여할 수 있음을 보여준다.

비록 본 연구는 제한된 학습자를 대상으로 학습 환경과 학습 스타일 및 동기와 같은 변수를 통제하지 않은 단기적 수업결과만으로 분석하였다고, 구조화된 질적 분석을 실시하지는 않았다는 한계를 가진다. 따라서 장기적인 효과 검증을 위해서 공인된 도구를 활용한 질적·양적 검증과 윤리적 검토는 추후 보완되어야 할 부분이다. 특히 학습자가 미성년자임을 고려할 때, 대화형 AI 도구 활용에 대한 윤리적 가이드라인과 보호 장치 마련이 선행되어야 할 것이다.

그럼에도 불구하고, 본 연구는 K-12 비전공 학습자의 AI 활용 교육에 대한 실천적 모델과 실증적 데이터를 제시함으로써, 향후 생성형 AI 기반 교수 전략 개발 및 교육 기술 연구의 방향성 설정에 기초 자료가 될 수 있다는 점에서 의미가 크다.

향후 연구에서는 다양한 배경을 지닌 학습자를 포함하여 장기적인 추적 관찰을 통한 효과성 검증, 윤리적 고려가 반영된 교수법 설계, 비인지적 역량까지 포함하는 종합적 분석이 이루어지기를 기대한다.

Acknowledgments

이 논문은 2022년 대한민국 교육부와 한국연구재단의 지원을 받아 수행된 연구임(NRF-022S1A5A2A03053294)

References

  • Kim, N. (2021, June 21). School SW and AI education is severely lacking... Parents are sending their children to private academies. The Korea Economic Daily. https://www.hankyung.com/article/202106210846i
  • Aher, G., Schmucker, R., Mitchell, T., & Lipton, Z. C. (2025). AI mentors for student projects: Spotting early issues in computer science proposals (arXiv No. 2503. 05782, ). arXiv. [https://doi.org/10.48550/arXiv.2503.05782]
  • Marcu, G., Ondersma, S. J., Spiller, A. N., Broderick, B. M., Kadri, R., & Buis, L. R. (2022). Barriers and Considerations in the Design and Implementation of Digital Behavioral Interventions: Qualitative Analysis. Journal of medical Internet research, 24(3), e34301. [https://doi.org/10.2196/34301]
  • Biagini, G.(2025). Towards an AI-literate future: A systematic literature review exploring education, ethics, and applications. International Journal of Artificial Intelligence in Education. [https://doi.org/10.1007/s40593-025-00466-w]
  • Ouaazki, A., Bergram, K., Farah, J. C., Gillet, D., & Holzer, A. (2024). Generative AI- enabled conversational interaction to support self-directed learning experiences in transversal computational thinking. In Proceedings of the ACM Conversational User Interfaces 2024 (CUI ’24) (pp. 1–12). Luxembourg, Luxembourg: ACM. [https://doi.org/10.1145/3640794.3665542]
  • Cho, B. (2025). Research Trend of University AI-based education. The Journal of Korean Association For Learner- Centered Curriculum And Instruction, 25(1), 447–462. [https://doi.org/10.22251/jlcci.2025.25.1.447]
  • Hsu, H.- P. (2025). From programming to prompting: Developing computational thinking via LLM- based generative AI. TechTrends, 69, 485–506. [https://doi.org/10.1007/s11528-025-01052-6]
  • Chen, L., Xiao, S., Chen, Y., Wu, R., Song, Y., & Sun, L. (2024). ChatScratch: An AI- augmented system toward autonomous visual programming learning for children aged 6–12. arXiv:2402.04975, . [https://doi.org/10.48550/arXiv.2402.04975]
  • Chen, Y., Shen, Y., Liu, R., Yu, X., Sun, L., & Chen, L. (2024). CoRemix: Supporting informal learning in Scratch community with visual graph and generative AI. arXiv. arXiv: 2412. 05559, . [https://doi.org/10.48550/arXiv.2412.05559]
  • Lee, Y., & Cho, J. (2021). Development of an artificial intelligence education model of classification techniques for non-computer majors: A case study using teachable machines. joiv.5.2.552International Journal on Informatics Visualization, 5(2), 113–119. [https://doi.org/10.30630/joiv.5.2.552joiv.5.2.552]
  • Bawden, D. (2008). Origins and concepts of digital literacy. In Digital literacies: Concepts, policies and practices (pp. 17–32). Peter Lang.
  • George‑Reyes, C. E., Rocha Estrada, F. J., & Glasserman- Morales, L. D. (2021). Interweaving digital literacy with computational thinking. In Proceedings of the Ninth International Conference on Technological Ecosystems for Enhancing Multiculturality (TEEM 2021). Barcelona, Spain. [https://doi.org/10.1145/3486011.3486412]
  • Wing, J. M. (2006). Computational thinking. Communications of the ACM, 49(3), 33–35. [https://doi.org/10.1145/1118178.1118215]
  • Grover, S., & Pea, R. (2013). Computational thinking in K–12 : A review of the state of the field. Educational Rese archer, 42(1), 38–43. [https://doi.org/10.3102/0013189X12463051]
  • Van Brummelen, J., Heng, T., & Tabunshchyk, V. (2021). Teaching tech to talk: K- 12 conversational artificial intelligence literacy curriculum and development tools. Proceedings of the AAAI Conference on Artificial Intelligence, 35(17), 15655–15663. [https://doi.org/10.1609/aaai.v35i17.17844]
  • Kazemitabaar, M., Chow, J., Ma, C. K. T., Ericson, B. J., Weintrop, D., & Grossman, T. (2023, February 21). Studying the effect of AI code generators on supporting novice learners in introductory programming [Preprint]. arXiv. arXiv: 2302. 07427, . [https://doi.org/10.48550/arXiv.2302.07427]
  • Bandura, A. (1977). Self- efficacy: Toward a unifying theory of behavioral change. Psychological Review, 84(2), 191–215. [https://doi.org/10.1037/0033-295X.84.2.191]
  • Schunk, D. H., & Pajares, F. (2002). The development of academic self‑efficacy. In A. Wigfield & J. S. Eccles (Eds.), Development of achievement motivation (pp. 15–31). San Diego, CA: Academic Press. [https://doi.org/10.1016/B978-012750053-9/50003-6]
  • Kwon, K., & Jonassen, D. H. (2011). The influence of reflective self- explanations on problem- solving performance. Journal of Educational Computing Research, 44(3), 247–263. [https://doi.org/10.2190/EC.44.3.a]
  • Lee, Y.-F., Hwang, G.-J., & Chen, P.-Y. (2022). Impacts of an AI-based chatbot on college students’ after-class review, academic performance, self- efficacy, learning attitude, and motivation. Educational Technology Research and Development, 70(7), 1849–1871. [https://doi.org/10.1007/s11423-022-10142-8]
  • Human Resources Development Service of Korea. (2024). National technical qualifications statistics: Examination status by qualification category. KOSIS Statistical Database. Retrieved August 26, 2025, from https://kosis.kr/statHtml/statHtml.do?orgId=387&tblId=DT_38701_N001_2&conn_path=I2
  • Statistics Korea. (2024). Population trends survey: Resident registration mid-year population by city, county, district, sex, and age. KOSIS Statistical Database. Retrieved August 26, 2025, from https://kosis.kr/statHtml/statHtml.do?orgId=101&tblId=DT_1B040M1_1&conn_path=I2
  • Tsai, M. J., Liang, J. C., & Hsu, C. Y. (2021). The Computational Thinking Scale for Computer Literacy Education. Journal of Educational Computing Research, 59(4), 579–602. [https://doi.org/10.1177/0735633120972356]
  • Romero Jeldres, M., Díaz Costa, E., & Faouzi Nadim, T. (2023). A review of Lawshe’ s method for calculating content validity in the social sciences. Frontiers in Education, 8, Article 1271335. [https://doi.org/10.3389/feduc.2023.1271335]
  • Jo, M. Y., & Han, O. (2022). The study on AI curriculum for non- computer majors. Korean Journal of General Education, 16(3), 209–222. [https://doi.org/10.46392/kjge.2022.16.3.209]
  • Lee, G. (2023). University students’ change of awareness and self-directed learning competencies after experience using and applying Chat GPT. Journal of College Teaching & Learning, 16(3), 71–94. [https://doi.org/10.23122/kactl.2023.16.3.003]
  • Kaiser, H. F. (1974). An index of factorial simplicity. Psychometrika, 39(1), 31–36. [https://doi.org/10.1007/BF02291575]
  • Arsham, H., & Lovric, M. (2011). Bartlett’s test. In M. Lovric (Ed.), International Encyclopedia of Statistical Science (pp. 87– 88). Springer, Berlin, Heidelberg. [https://doi.org/10.1007/978-3-642-04898-2_132]
  • Tavakol, M., & Dennick, R. (2011). Making sense of Cronbach’ s alpha. International Journal of Medical Education, 2, 53–55. [https://doi.org/10.5116/ijme.4dfb.8dfd]
이대희

· 2011년 목원대학교 컴퓨터교육과 (학사)

· 2023년 성균관대학교 인공지능융합교육전공 (석사)

· 2025년 성균관대학교 컴퓨터교육학과 (박사수료)

· 2011년~현재 세명컴퓨터고등학교 정보·컴퓨터 교사

관심분야 : SW교육, 인공지능 활용, 교육과정 설계, 정보보안

mail@leeday.net

안성진

· 988년 성균관대학교 정보공학과 (학사)

· 1990년 성균관대학교 정보공학과 (석사)

· 1998년 성균관대학교 정보공학과 (박사)

· 1990년~1995년 KIST/SERI 연구원

· 1996년 정보통신기술사

· 1999년 3월~현재 성균관대학교 컴퓨터교육과 교수

관심분야 : 네트워크, 정보보안, SW교육, 인공지능 윤리

sjahn@skku.edu

Figure 1.

Figure 1.
Compare student population and computer credentials earned by year

Figure 2.

Figure 2.
Compare student population and computer credentials earned by year

Table 1.

Information of experts group

Occupation Elementary School Teacher Middle School Teacher High School Teacher
Number of Experts (%) 9(33.3%) 8(29.6%) 10(37.1%)
Career(year) 6.7 6.7 13.2
Age Range 33.9 35.0 43.0
Programming(%) 100 100 100

Table 2.

Interactive Artificial Intelligence Recognition

Question Response Ratio
(%)
Programming Competencies Achievable Without AI or Internet Assistance Can program anything they imagine 3.7
Can integrate with networks, databases, file systems, IoT devices, etc 11.1
Has been able to write simple programs 59.3
Can use functions 3.7
Can use loops 3.7
Can use conditional statements 7.4
Knows only the concepts 11.1
Unable to do anything -
Utilization of conversational AI A paid subscription to an AI service 18.5
More than 5 hours a week. 14.8
An hour 2-4 week. 25.9
An hour a week. 11.1
Used it out of curiosity 25.9
Only know the concept 3.7
No idea -
Mainly used Conversational AI ChatGPT 73
WRTN 3.8
etc
(Claude, Copilot, CLOVA X, Gemini, Siri ...)
23.2
Effectiveness of achieving learning objectives when learners participate in classes using Conversational AI I couldn't reach my goal without AI -
It's about 100% faster 3.8
It's about 75% faster 11.5
It's about 50% faster 42.3
It's about 25% faster 15.4
It's about 10% faster 11.5
It doesn't work 11.5
It's disruptive to class and rather negative 3.7
Efficiency of students reaching learning goals when teachers use Conversational AI to teach I couldn't reach my goal without AI -
It's about 100% faster 11.5
It's about 75% faster 11.5
It's about 50% faster 34.6
It's about 25% faster 19.2
It's about 10% faster 11.5
It doesn't work 11.5
It's disruptive to class and rather negative -
The Usefulness of Conversational AI in General Business I couldn't reach my goal without AI -
It's about 100% faster 14.8
It's about 75% faster 25.9
It's about 50% faster 37
It's about 25% faster 7.4
It's about 10% faster 11.1
It doesn't work 3.7
Rather, it gets in the way -

Table 3.

Lesson Plan

Lesson Topic Solving algorithms with AI
Learning objectives Learn about piecewise programming and use conversational AI to solve a variety of problems with piecewise coding.
session a four-session course
Lesson 1: Basic concepts and syntax of programming
Ⅰ. learning objectives
 · Understand the basic concepts of programming.
 · Learn the main programming grammar (data types, conditional statements, and looping statements).
 · Set up a program execution environment and run a simple program.
Ⅱ. learning flow
 A. Motivation (10 minutes)
 · Activity: Show a simple program example (e.g., "Hello, World!") and see the results of running the program.
 · Ask: Ask students to think about what it means to have a program do something automatically and how it might be useful to learn this.
 B. Check for exhibited learning (5 minutes)
 · Activity: Briefly check and share what students already know about programming.
Ⅲ. Demonstrative learning (30 minutes)
 A. Content:
 · Explain the basic concepts of programming languages (variables, types, conditionals, and loops).
 · Review each grammar element through simple examples.
 B. Activity: Students write their own code and check the results.
Ⅳ. Wrap-up and formative assessment (5 minutes)
 A. Wrap-up: Summarize what was learned today. Emphasize the difference between conditional and repetitive sentences and the importance of data types.
 B. Assessment: Check what students have learned with a short quiz.
Lesson 2: Solving programming problems with conversational AI
Ⅰ. learning objectives
 · Learn how to ask a simple programming problem to an interactive
 AI and get a solution.
 · Gain experience in solving problems through the responses of an interactive AI.
Ⅱ. learning flow
 A. Motivation (10 minutes)
 · Activity: Show an example of a simple conversation with an AI. For example, ask the AI a question like, "Write a simple addition program," and share the results.
 · Ask: Remind students that they can use AI to solve problems.
 B. Check for exhibited learning (5 minutes)
 · Activity: Review simple programming syntax, building on what was learned in Session 1.
 C. Main lesson (30 minutes)
  1. Content:
  · Provide a programming problem (e.g., find the sum of a number, write a program that satisfies certain conditions, etc.)
  · Guide the AI to explain the problem and ask questions about how to write the program.
  2. Activity: Students write and run the program with the help of the AI.
 D. Summarize and formative assessment (5 minutes)
  · Summarize: Students analyze the solution provided by the AI and understand how the program works.
  · Assessment: Have students present to each other the problems they solved with the help of the AI.
Session 3: Autonomous Programming Problem Solving and Prompt Engineering
Ⅰ. Learning Objectives
 · Learn how to actively leverage AI to solve complex programming problems.
 · Strengthen prompt engineering skills to ask specific and clear questions to AI.
Ⅱ. learning flow
 A. Motivation (10 minutes)
  · Activity: Present a real-world problem and ask students to solve it with the help of AI.
  · Example: "Write a program to determine which numbers are prime numbers."
 B. Check for exhibited learning (5 minutes)
  · Activity: Have students share their experiences writing programs using AI in the previous lesson.
 C. Main lesson (30 minutes)
 1. Content:
  · Explain how to write specific prompts for using AI to solve problems.
  · Present a problem and have students ask the AI questions to solve it on their own.
 2. Activity: Students work independently to solve the problem and use the AI's answers to complete the program.
 D. Summarize and formative assessment (5 minutes)
  · Summarize: Emphasize the importance of writing prompts and review how to ask effective questions.
  · Assessment: Evaluate students' prompts and outputs and provide feedback.
Session 4: Autonomous Project - Designing and Implementing a Program with AI
Ⅰ. Learning Objectives
  · Students will choose a topic, set goals, and design and implement a program with the help of AI.
  · Cultivate autonomy and creativity to effectively utilize AI to solve problems.
Ⅰ. learning flow
 A. Motivation (10 minutes)
  · Activity: Students share a topic they are interested in and explore the possibility of creating a program based on that topic.
 B. Check for exhibited learning (5 minutes)
  · Activity: Review prompted engineering skills learned in the previous lesson.
 C. Main lesson (30 minutes)
 1. Content:
  · Students freely choose a project topic, set a goal, and ask the AI questions based on that goal.
  · Based on the AI's answers, they design and execute a program.
 2. Activity: Students complete their programs and share their results with their peers.
 D. Summarize and formative assessment (5 minutes)
  · Summarize: Students share lessons learned from their project.
  · Assessment: Evaluate the project deliverables and conclude the learning with a presentation and feedback.

Table 4.

Component descriptive statistics

Question CVR mean std
The entire lesson plan was designed to align with the instructional objectives. 0.71 4.05 0.78
The presented learning plan will be effective in increasing students’ interest and participation in learning. 0.86 4.24 0.68
The lesson plan for Session 1 was effectively structured. 0.76 3.95 0.90
The lesson plan for Session 2 was effectively structured. 1 4.38 0.49
The lesson plan for Session 3 was effectively structured. 0.81 4.14 0.71
The lesson plan for Session 4 was effectively structured. 0.90 4.24 0.61

Table 5.

Target Learners

Target Learners Positive response(%)
Pre-school -
Elementary school students 5.77
Middle school students 23.08
High school students 32.69
University (college) students 23.08
Working adults 15.38

Table 6.

Participants in the research lesson

Lesson Topic Solving algorithms with AI
session a four-session course
Participants Group M-1 M-2 M-3 H-1 H-2
Ages 15 15 16 17 19
Count
(N = 55)
14 14 3 13 11
Affiliation 27 middle and high schools in Seoul
Prior knowledge Block-coding experience: 96.7%
Python experience: 64.3%
Assessment tool Project Deliverables Evaluation, Questionnaire

Table 7.

Rate learners' pre-programming skills

Question Response Ratio
(%)
Programming Competencies Achievable Can program anything they imagine -
Can integrate with networks, databases, file systems, IoT devices, etc 10.3
Has been able to write simple programs 25.6
Can use functions -
Can use loops 7.7
Can use conditional statements 5.1
Knows only the concepts 46.2
Unable to do anything 5.1

Table 8.

Comparison of the effects of using conversational AI in instruction

Response Middle school students High school students
I couldn't reach my goal without AI 25.8% -
It's about 100% faster 24.8% 23.5%
It's about 75% faster 23.2% 32.2%
It's about 50% faster 24.8% 32.2%
It's about 25% faster 1.3% -
It's about 10% faster 1.3% -
It doesn't work - -

Table 9.

Qualitative Content Analysis by Keyword

Category Keyword Positive Response Rate
Student Experience fun, interest 62.1%
AI as a Learning Support Tool assistance, support, help, easily, with ease, quickly, promptly, accurately, precisely 42.7%
self-efficacy confidence, try, challenge, solve, understand, capable, on my own, improvement 17.7%

Table 10.

Expert panel analysis of learning outcomes

Question CVR mean std
Evaluate whether the proposed prompt engineering lesson plan is appropriate for teaching programming 0.90 4.33 0.64
The prompt engineering skills enhancement lesson can enhance students’ autonomous problem-solving abilities. 0.95 4.33 0.56
I am willing to apply this learning plan in my class. 0.81 4.19 1.10
Instruction utilizing conversational AI can continuously stimulate students’ motivation and interest in learning. 0.95 4.28 0.55

Table 11.

Sample Adequacy and Reliability Analysis of the Survey on the Need for a Teaching Method Utilizing Conversational AI

Analysis Type Statistic Value
KMO Measure KMO Index 0.705
Bartlett's Test Chi-Square 28.108
p-value 0.001
Cronbach's Alpha Reliability Coefficient 0.784

Table 12.

Sample Adequacy and Reliability Analysis of the Learning Lesson Plan Evaluation Survey

Analysis Type Statistic Value
KMO Measure KMO Index 0.708
Bartlett's Test Chi-Square 135.607
p-value 0.001
Cronbach's Alpha Reliability Coefficient 0.889