강제배분 상대평가를 위한 시험문항 배점 조정 연구

3.1 난이도와 유형을 고려한 문제 출제

최초 교수자는 주관적인 판단에 따라 그룹의 학습 능력을 예측하여 목표평균 점수를 정하고, 이를 위한 시험 문항의 난이도별 개수를 정하여 출제한다. 각 난이도별 문제수 비율은 [11, 12]의 연구에서 제시한 알고리즘을 기반으로 한다. [11]의 연구에서 문제 출제 시 출제된 전체 문제들의 정답률 평균이 예상 평균 점수가 되도록 난이도별 문제수 비율을 제시하였다. 이때의 예상 평균 점수는 모든 문항에 동일 배점을 적용하여 계산한 결과이다. Table 1은 이 연구에서 구한 예상되는 평균 점수에 따른 문제수 비율이다. 예를 들어 목표평균 점수를 70점으로 정하고 총 25개의 시험 문제를 낸다고 했을 때, 출제되는 난이도별 문항의 개수는 상(upper) 0개(0%), 상중(upper-middle) 2개(7%), 중(middle) 6개(24%), 중하(middle-low) 10개(42%), 하(low) 7개(27%)이다.

Table 1.

The ratio of the number of questions by difficulty level based on the expected average score(%)

[12]의 연구에서는 프로그래밍 언어의 특성을 고려하여 객관식 문제를 유형1(문법)과 유형2(알고리즘)로 구분하였다. 같은 난이도'상'문제인 경우에 학습자들은 유형2 문제를 더 어려운 문제라고 생각하고, 같은 난이도'하'인 경우에 학습자들은 유형1 문제를 더 쉬운 문제라고 생각한다는 실험 결과를 토대로, 문제의 난이도와 유형을 함께 고려하여 난이도별 문제수를 출제하였다. 본 논문에서는 이 연구에 근거하여 난이도별 개수가 홀수일 때, 난도가 높은 문제에서는 유형2(type2)를 더 출제하고 난이도가 쉬운 문제에서는 유형1(type1)을 더 출제한다.

Table 2는 목표평균 60점과 70점에 대하여 총 25개의 시험 문제를 낼 때의 난이도와 유형에 따른 출제 문제수이다. Table 2를 기준으로 출제한 문제로 평가를 한 후에 모든 문항의 정답률과 동일 배점을 적용한 그룹평균을 계산한다.

Table 2.

Number of questions based on difficulty and type

3.2 문항별 난이도 재조정

교수자는 그룹의 학습 능력이 정규분포를 이룰 것으로 예측하고 목표평균을 정하여 난이도별 문항 개수를 정하지만, 교수자의 예측과는 달리 모든 그룹의 학습 능력이 정규분포를 이루고 있다고 가정하기는 어렵다. 또한 교수자가 결정한 특정 문항의 난이도는 시험에 응시한 개인 또는 그룹들의 학습 능력에 따라 쉽고 어려움의 정도가 매우 다를 수 있다. 실제로 목표평균을 위해서는 학습 능력이 높은 그룹에는 난이도가 어려운 문제를 더 많이 출제해야 하고, 학습 능력이 낮은 그룹에는 난이도가 쉬운 문제를 더 많이 출제해야 한다. 이에 난이도별 차등 배점을 위해 시험 응시 후에 그룹별로 학습 능력에 따라 시험 문항의 난이도를 재조정한다. 즉 그룹의 학습 능력에 따라서 전체 문항의 난이도의 개수가 달라진다.

예를 들어 학습 능력이 높은 그룹에서 많이 틀린 문제는 학습 능력이 낮은 그룹에서 많이 틀린 문제보다는 상대적으로 난이도를 더 높게 측정한다. 반대로 학습 능력이 낮은 그룹에서 많이 맞춘 문제는 학습 능력이 높은 그룹에서 많이 맞춘 문제보다는 난이도를 더 낮게 측정한다. 따라서 문항의 정답률과 그룹평균 그리고 교수자가 정한 목표평균 점수를 이용하여 각 문항의 난이도 비율을 다음으로 계산한다.

$$ \mathrm{난}\mathrm{이}\mathrm{도}\_\mathrm{비}\mathrm{율}\mathrm{ }\left(\mathrm{\%}\right)=\mathrm{ }\mathrm{정}\mathrm{답}\mathrm{률}\mathrm{ }-\frac{\mathrm{ }\mathrm{그}\mathrm{룹}\mathrm{평}\mathrm{균}\mathrm{ }-\mathrm{ }\mathrm{목}\mathrm{표}\mathrm{평}\mathrm{균}\mathrm{ }}{100}$$

계산된 난이도 비율에 따라 각 문항의 난이도는 Table 3과 같이 5개로 세분화된다.

Table 3.

difficulty ratio

각 그룹에서 특정 문항의 난이도 비율 계산과 그에 따라 결정된 난이도를 살펴보자. 예를 들어 그룹의 목표평균이 70점인 시험 문제를 A/B/C 3개의 그룹에서 치른 후에 각 문항에 동일 배점을 적용하여 그룹별 평균을 구한 결과, 그룹(A)의 그룹평균이 85점, 그룹(B)의 그룹평균이 72점, 그룹(C)의 그룹평균이 55점이라고 가정해 보자. 이때 정답률이 73%인 특정 문항의 난이도 비율을 A/B/C 3개의 그룹에서 계산하면 다음과 같다.

$$ \mathrm{그}\mathrm{룹}\mathrm{ }\left(\mathrm{A}\right)=0.73-\frac{85-70}{100}=0.58\mathrm{ }\left(\mathrm{중}\right)\mathrm{ }$$

$$ \mathrm{그}\mathrm{룹}\mathrm{ }\left(\mathrm{B}\right)=0.73-\frac{72-70}{100}=0.71\mathrm{ }\left(\mathrm{중}\mathrm{하}\right)\mathrm{ }$$

$$ \mathrm{그}\mathrm{룹}\mathrm{ }\left(\mathrm{C}\right)=0.73-\frac{55-70}{100}=0.88\mathrm{ }\left(\mathrm{하}\right)\mathrm{ }$$

이는 정답률이 높은 문항의 경우에 상대적으로 학습 능력이 더 낮은 그룹에서 많이 맞춘 경우가 학습 능력이 높은 그룹에서 많이 맞춘 경우보다는 더 쉬운 문제로 간주되어 난이도가 결정된다.

다음 예로 정답률이 35%인 특정 문항의 난이도 비율을 그룹평균이 85점인 그룹(A), 그룹평균이 72점인 그룹(B), 그룹평균이 55점인 그룹(C)에서 계산하면 다음과 같다.

$$ \mathrm{그}\mathrm{룹}\mathrm{ }\left(\mathrm{A}\right)=0.35-\frac{85-70}{100}=0.2\left(\mathrm{상}\right)$$

$$ \mathrm{그}\mathrm{룹}\mathrm{ }\left(\mathrm{B}\right)=0.35-\frac{72-70}{100}=0.33\left(\mathrm{상}\mathrm{중}\right)$$

$$ \mathrm{그}\mathrm{룹}\mathrm{ }\left(\mathrm{C}\right)=0.35-\frac{55-70}{100}=0.5\left(\mathrm{중}\right)$$

이는 정답률이 낮은 문항의 경우에 상대적으로 학습 능력이 더 높은 그룹에서 많이 틀린 경우가 학습 능력이 낮은 그룹에서 많이 틀린 경우보다는 더 어려운 문제로 간주되어 난이도가 결정된다.

3.3 목표평균을 위한 차등 배점 기준 설정

일반적으로 시험 문항에 차등 배점을 적용할 때 어려운 문항에 높은 배점을 적용하고, 쉬운 문항에 낮은 배점을 적용하는 방식을 많이 사용한다. 따라서 대부분 응시자의 전체 맞힌 문항 중에는 어려운 문항보다는 쉬운 문항이 더 많으므로 동일 배점을 적용했을 때의 그룹평균에 비해 차등 배점을 적용했을 때의 그룹평균이 더 낮아지는 현상이 발생한다. Table 4 는 7개 그룹의 시험 결과에서 동일 배점과 차등 배점을 적용했을 때의 그룹평균을 비교한 예시이다. 이때의 차등 배점은 모든 그룹에 같은 기준으로 어려운 문항에 높은 배점을, 쉬운 문항에 낮은 배점을 적용하였다.

Table 4.

group average by scoring method

Table 4의 결과는 예상 평균 점수 70을 기준으로 난이도별 문제수를 정하여 25개의 문제를 출제하였다. 동일 배점은 모든 문항 점수를 4점으로 계산한 결과이다. 차등 배점은 교수자의 판단을 배제하고 정답률 순위만으로 상중(2개), 중(6개), 중하(10개), 하(7개)로 구분하고, 배점은 상중(6점), 중(5점), 중하(4점), 하(2.5점)로 계산하였다. 결과에서 보이듯이 모든 그룹평균이 동일 배점에 비해 차등 배점에서 더 낮아지는 것을 확인할 수 있다. 그 결과 학습 능력이 높은 그룹은 동일 배점보다 차등 배점을 적용했을 때 목표평균 70점에 가까워지는 효과가 있지만, 학습 능력이 낮은 그룹의 경우에는 목표평균 70점에서 더 멀어지는 현상이 발생한다.

이에 본 논문에서는 [8]의 연구를 근거로 모든 그룹의 그룹평균이 목표평균 점수에 근접할 수 있도록 그룹별로 학습 능력에 따라서 문항의 차등 배점 기준을 달리 정한다. 3.2에서 설명했듯이 그룹의 목표평균을 위해서 학습 능력이 높은 그룹에서는 어려운 문항의 비중을 늘리고, 학습 능력이 낮은 그룹에서는 쉬운 문항의 비중을 늘리기 위함이다. Fig. 2에서 이를 설명하고 있다. 시험 응시 전에는 [9]의 연구를 근거로 최소배점과 최대배점의 차이를 3배 이하 즉, [최대배점 ≤ 최소배점*3]이 되도록 값을 정한다. 그리고 시험 응시 후에 그룹의 학습 능력에 따라서 분반별로 최소배점과 최대배점을 적용할 기준을 설정한다. 먼저 그룹의 학습 능력이 높은 경우 즉, 동일 배점을 적용했을 때의 그룹평균이 목표평균에 비해 높은 경우에는 어려운 문항에 최대배점을 설정하고, 쉬운 문항에 최소배점을 설정한다. 이는 어려운 문항의 비중을 늘림으로써 전체 그룹의 평균 점수를 낮추는 효과를 가져올 수 있다. 다음으로 그룹의 학습 능력이 낮은 경우 즉, 동일 배점을 적용했을 때의 그룹평균이 목표평균에 비해 낮은 경우에는 쉬운 문항에 최대배점을 설정하고, 어려운 문항에 최소배점을 설정한다. 그 결과 쉬운 문항의 점수 비중이 늘어나면서 전체 그룹의 평균 점수를 높이는 효과를 가져올 수 있다.

Figure 2.

criteria for differential weighting of items

3.4 학점별 비율이 나뉘는 구간의 기준점수를 위한 배점 조정

일반적으로 대학에서 상대평가로 학점을 부여할 때 학점별 비율에 관한 규정이 존재한다. 예를 들어 A+/A0 학점은 0~30%, B+/B0 학점은 30~70%, C+/C0/D+/D0/F 학점은 30~60%인 경우이다. 이는 A+/A0 학점은 최대 30%까지 학점 부여가 가능하다는 의미이고, C+ 이하 학점 비율은 최소 30% 이상 부여해야 한다는 의미이다. 시험 결과에서 학생들은 자신이 속한 그룹의 성적 순위 30% 또는 70% 위치의 점수와 자신의 점수를 비교하여 자신이 받을 수 있는 학점 범위를 예측할 수 있다. 이에 본 논문에서는 등급이 나뉘는 일정 비율 위치의 그룹별 점수 차이를 최소화할 수 있도록 난이도별 배점을 재조정한다. 먼저 3.3의 차등 배점 기준에 따라 전체 100% 비율에 맞추어 난이도별 배점을 정하여 성적처리를 수행한다. 그리고 학점별 비율이 나뉘는 평균 순위 30% 위치와 70% 위치의 점수가 기준점수 범위에 들어올 때까지 난이도별 배점을 조정한다. 이때의 기준점수는 평균과 표준편차를 지정한 정규분포표에서 추출한 100개 그룹의 시험점수를 기준으로 하였다. Fig. 3에서 100개 그룹의 시험점수 분석 결과에서 정한 기준점수를 설명한다.

Figure 3.

The base score for where the grade ratio is divided

Fig. 3의 데이터는 개인별 점수 0~100점 사이, 평균(mean) 67~73 사이, 표준편차(standard deviation) 8~14 사이로 지정한 정규분포표에서 개수(count) 35~40개 사이의 점수를 난수를 추출하여, 각 그룹별 최소값(min), 분위수(1%, 30%, 50%, 70%, 99%)값, 최대값(max)을 분석하였다. 그리고 100개 그룹의 분위수 30% 위치의 점수 평균과 표준편차를 계산했을 때, 평균은 63.77이고 표준편차는 2.19였다. 또한 분위수 70% 위치의 점수 평균과 표준편차를 계산했을 때, 평균은 76.08이고 표준편차는 2.86이었다. 같은 방법으로 100개 그룹의 데이터를 다시 추출하여 분석했을 때도 분위수 30%와 70% 위치의 평균과 표준편차는 크게 범위를 벗어나지 않음을 확인할 수 있었다. 이에 난이도별 배점을 재조정하는 데 이 점수를 기준점수로 하였다. 예를 들어 인원수 40명인 그룹에서 총점 순위 상위 12위의 점수가 76(±3), 상위 28위의 점수가 63(±3)이 될 때까지 난이도별 배점을 조정한다. Fig. 4는 전체적인 성적처리 알고리즘이다.

Figure 4.

Grade processing algorithm

① 그룹의 시험 결과 데이터를 가져온다. ② 목표평균/최대배점/최소배점을 정한다. ③ 기준점수-1(상위 30%)과 기준점수-2(상위 70%) 값을 정한다. ④ 각 문항의 정답률을 계산한다. ⑤ 동일 배점을 기준으로 그룹평균(average-1)을 계산한다. ⑥ 정답률/그룹평균/목표평균을 이용하여 전체 문항의 난이도를 결정한다. ⑦ 난이도별 문항의 개수를 센다. ⑧ 그룹평균에 따라 시험 문항의 차등 배점 기준을 정한다. ⑨ 전체 100%의 비율에 맞추어 난이도별로 차등 배점을 정한다. ⑩ 차등 배점을 기준으로 그룹평균(average-2)를 계산한다. 그리고 상위 30%와 70% 위치의 점수가 기준점수 범위에 들어올 때까지 난이도별 배점을 조정한다.

4.1 분반별 성적처리

본 논문에서 제시한 알고리즘을 성적처리에 적용했을 때, 각 분반의 그룹평균과 원점수 가지수 그리고 학점 비중이 나뉘는 구간의 점수를 비교 분석하였다. 성적처리는 파이썬 언어의 데이터분석 라이브러리인 Pandas를 이용하였다. Pandas 데이터 구조에서 DataFrame을 이용하여 성적처리를 수행하였다. 이때 describe 메서드의 percentiles 속성값을 이용하여 학생별 평균에 대한 상위 30%와 70% 위치의 구간 값이 기준점수 범위에 들어올 때까지 난이도별 차등 배점을 조정하였다. 그리고 Matplotlib 라이브러리를 이용하여 동일 배점을 적용했을 때와 본 논문의 알고리즘을 적용했을 때의 성적 분포를 그래프로 분석하였다.

Table 4에서 비교 분석한 평균은 수업을 직접 맡아 진행한 7개 그룹의 시험 결과이다. 동일 배점 기준을 적용한 시험 결과를 본 논문에서 제시한 알고리즘 기준으로 차등 배점 적용한 결과는 Table 5와 같다. 3.3에서 설명했듯이 모든 그룹에 대하여 같은 기준으로 같은 차등 배점을 적용한 (A)의 경우에는 동일 배점에 비해 그룹평균이 모두 낮아지는 현상이 발생했지만, 본 논문에서 제시한 알고리즘으로 차등 배점을 적용한 (B)의 경우에는 전체 7개 그룹의 그룹평균이 목표평균 70에 근접하고 있음을 알 수 있다. 이에 7개 그룹 중에서 목표평균에 가장 근접한 그룹-5와 학습 능력이 가장 높은 그룹-1, 학습 능력이 가장 낮은 그룹-7의 성적처리 결과를 자세하게 비교 분석한다.

Table 5.

Group average when different scoring criteria are applied to each group

4.2 목표평균에 가장 근접한 <그룹-5>

그룹-5는 동일 배점을 적용하여 그룹의 평균을 계산했을 때 71.5점으로 학습 능력이 교수자의 예측대로 목표평균에 가장 근접한 분반이다. 교수자의 판단을 배제하고 정답률 순위만으로 난이도를 상중(2개, 6점), 중(6개, 5점), 중하(10개, 4점), 하(7개, 2.5점)로 구분했을 때 그룹평균이 69.23이었다. 이에 본 논문에서 제시한 알고리즘을 적용했을 때의 난이도별 개수(number)와 난이도별 배점(weighting of item) 그리고 문항의 난이도 비율(ratio)은 최종적으로 Table 6과 같다.

Table 6.

Difficulty distribution of <group-5> whose learning ability is close to the target average

먼저 동일 배점을 적용한 분반의 그룹평균(71.5)과 목표평균(70) 그리고 문항별 정답률을 기준으로 모든 문항의 난이도를 재조정한 결과, 난이도는 중(3개), 중하(20개), 하(2개)로 구분된다. 분반의 학습 능력으로 난이도를 재조정했을 때 대부분의 문항 난이도는'중하'에 해당함을 알 수 있다. 그룹평균이 목표평균 70점 이상이므로 난이도가 어려운 문항에 최대배점을, 난이도가 쉬운 문항에 최소배점을 지정하는 기준으로 전체 비율 100%에 맞추어서 중(5점), 중하(4점), 하(2.5점)를 적용하였다.

Fig. 5는 Table 6을 기준으로 성적 처리한 결과를 보인다. Fig. 5의 결과에서 average-1은 동일 배점을 적용했을 때의 그룹평균이고, average-2는 본 논문에서 제시한 알고리즘을 적용했을 때의 그룹평균이다. 두 경우의 그룹평균이 71.5와 70.6의 결과를 보인다. 그리고 학생별 평균에서 학점 비중이 나뉘는 구간인 상위 30% 위치(12위) 점수는 77점이고 70% 위치( 28위) 점수는 62점으로 모두 기준점수 범위에 포함되므로 더 이상의 배점 조정 없이 성적처리를 종료한다. 동점자 해소를 위한 학생들의 평균 점수 가지수(number of points)를 비교해 본 결과 average-1은 13개이며, average-2는 25개로 상대평가를 위한 충분한 가지수를 가지고 있음을 확인할 수 있다.

Figure 5.

Grade processing for <group-5> whose learning ability is close to the target average

4.3 학습 능력이 가장 높은 <그룹-1>

그룹-1은 동일 배점을 적용하여 그룹의 평균을 계산한 결과 80.1로 학습 능력이 가장 높은 분반이다. 교수자의 판단으로 출제된 문항이 분반의 학습 능력에 비해 쉬웠다는 의미이다. 정답률만으로 난이도를 상중(2개, 6점), 중(6개, 5점), 중하(10개, 4점), 하(7개, 2.5점)로 구분하여 같은 기준으로 차등 배점을 적용한 평균 점수는 76.45였다. 그리고 본 논문에서 제시한 알고리즘을 적용하여 문항의 난이도를 재조정한 결과, 최종 난이도별 개수(number), 난이도별 배점(weighting of item), 문항의 난이도 비율(ratio)은 Table 7과 같다.

Table 7.

Difficulty distribution of <group-1> of high learning ability

학습 능력이 높은 분반에서 많이 틀린 문제는 난이도가 더 어려운 것으로 간주되어 '상'문제가 나타남을 알 수 있다. 분반의 평균이 목표평균 점수 70점에 근접하기 위해서는 전체 문제 비율에서 어려운 문제의 비율을 높여야 하기에 배점 기준을 난이도가 어려운 문항에 최대배점을, 난이도가 쉬운 문항에 최소배점을 지정하였다. 그리고 전체 비율 100%에 맞추어서 상(7점), 상중(6.5점), 중(5점), 중하(4점), 하(3점)로 정하였다. 그리고 평균 순위 상위 30% 위치와 70% 위치의 점수가 기준점수에 들어올 때까지 난이도별 배점을 재조정하였다. 그 결과 최종 난이도별 배점이 상(7점), 상중(6.8점), 중(6.5점), 중하(4.3점), 하(2.5점)에서 결정되었다. 성적처리 결과는 Fig. 6과 같다.

Figure 6.

Grade processing for <group-1> of high learning ability

Fig. 6의 결과에서 본 논문의 알고리즘을 적용했을 때, 최종 평균이 72.5점으로 목표평균 점수 70점에 많이 근접해졌으며, 평균 순위 상위 12위의 점수는 79점, 28위의 점수는 64점으로 기준점수 범위에 포함됨을 알 수 있다. 또한 학생들의 평균 점수 가지수는 11개와 23개로 2배 정도의 차이를 보인다.

4.4 학습 능력이 가장 낮은 <그룹-7>

그룹-7은 동일 배점을 적용하여 그룹의 평균을 계산할 결과 60.9로 학습 능력이 가장 낮은 분반이다. 교수자의 판단으로 출제된 문항이 분반의 학습 능력에 비해 어려웠다는 의미이다. 정답률만으로 난이도를 상중(2개, 6점), 중(6개, 5점), 중하(10개, 4점), 하(7개, 2.5점)로 구분하여 같은 기준으로 차등 배점을 적용한 그룹평균은 56.20으로 목표 평균과의 차이가 더 벌어짐을 확인할 수 있다. 이에 본 논문에서 제시한 알고리즘을 적용하여 문항의 난이도를 재조정했을 때의 최종 난이도별 개수(number)와 난이도별 배점(weighting of item) 그리고 문항의 난이도 비율(ratio)은 Table 8과 같다.

Table 8.

Difficulty distribution of <group-7> of low learning ability

학습 능력이 낮은 분반에서 많이 맞춘 문제는 난이도가 더 쉬운 문제로 간주되어 '하'문제가 늘어남을 보이고 있다. 분반의 평균이 목표평균에 근접하기 위해서는 전체 문항 비율에서 난이도가 쉬운 문항의 비율을 높이고 난이도가 높은 문항의 비율을 줄여야 한다. 이에 분반의 배점 기준을 난이도가 쉬운 문항에 최대배점을, 난이도가 높은 문항에 최소배점을 지정하여 전체 비율이 100%가 되도록 상중(2점), 중(2.4점), 중하(3점), 하(6점)로 정하였다. 그리고 평균 순위 상위 30% 위치와 70% 위치 점수가 기준점수에 포함될 때까지 난이도별 배점을 재조정하였다. 그 결과 최종 배점이 상중(2.2점), 중(2.3점), 중하(2.4점), 하(6.5점)에서 결정되었다. 성적처리 결과는 Fig. 7과 같다. 본 논문의 알고리즘을 적용했을 때, 최종 평균이 68.5점으로 목표평균 70점에 많이 근접해진 것을 확인할 수 있다. 또한 평균 순위 상위 30% 위치(11위, 2개) 점수가 77점이고, 70% 위치(27위, 2개) 점수가 60점으로 기준점수에 포함된다. 그리고 학생들의 점수 가지수도 15개와 28개로 거의 2배 차이가 남을 확인할 수 있다.

Figure 7.

Grade processing for <group-7> of low learning ability

위의 결과에서 보이듯이 제시하는 알고리즘을 7개 그룹의 성적처리에 적용해 본 결과, 모든 분반의 그룹평균이 목표평균에 근접하고 학점 비중이 나뉘는 구간의 점수가 기준점수에서 크게 벗어나지 않는다는 것을 확인할 수 있었다.