총점과 만족도가 높은데도 수업을 고쳐야 하는 이유
한 답안에 두 채점자가 똑같이 16점을 줬습니다. 그런데 한 채점자는 재검토를, 다른 채점자는 통과를 표시했습니다. 두 사람의 점수표를 나란히 놓고 총점과 완료율만 보면 둘 다 무리 없이 넘어갈 수 있는 수준처럼 보입니다. 수강 만족도가 5점 만점에 4.67점으로 높게 나온 수업에서도 이런 차이는 쉽게 가려집니다.
총점이 같고 전체 채점 일치율도 높으면 문제없이 넘어가기 쉽습니다. 그런데 채점표 각 칸을 대조해 보면 결과가 다릅니다. 같은 16점 안에서도 한쪽은 필수 요건 결함을 짚었고, 다른 쪽은 이를 지나쳤습니다. 평가 결과를 보고 수업을 고친 뒤에도 마찬가지입니다. 이미 답을 확인한 예제를 다시 풀게 하거나 기준 문구를 덜어내면 점수만 오릅니다. 미응답 처리와 점수 보존 기준까지 흔들리면 개선 결과도 왜곡됩니다. 정작 조건과 숫자를 바꾼 새로운 문제에서는 예전 실수가 그대로 남습니다.
점수와 만족도에 가려진 오류를 먼저 찾아내고, 평가 결과를 수업 개선과 새 문제 검증까지 공정하게 연결하려면 무엇부터 정해야 할까요?
멤버십으로 이어 읽기
팬딩 또는 레퍼럴 멤버십이 확인되면 이 글의 전문을 읽을 수 있습니다.
- 문제와 정답의 노출 순서는 어떻게 정할까요?
- 0점과 3점 사이 루브릭과 관문은 어떻게 설계할까요?
- 평가자 일치율과 안전 표식 누락은 어떻게 찾을까요?
- 수업 개선과 재평가는 어떤 분모로 비교할까요?
- 새 문제는 바뀐 조건의 이유를 어떻게 물을까요?
- 직접 해 보기: 재채점과 수업 개선안을 검증해 볼까요?
- 새 점수 원장에서 일치율을 다시 계산해 볼까요?
- 점수 원장 풀이