대학 교수자 AI 실습 · 해외 사례 10 — 구술시험 전사본, AI 채점위원회 3명에게 맡기고 갈린 곳만 교수가 보기

이 장에서 만드는 것

구술시험 전사본마다 채점자 3명의 점수와 근거 인용, 그리고 갈린 곳 표시

가상 예시 「공학설계 기초」 팀 프로젝트 구술시험 전사본 2개(학생 가 — 자동 급수 화분, 학생 나 — 자전거 휴대폰 거치대)를 루브릭 4기준으로 채점했습니다. 전사본은 시험관 질문 6개와 학생 답을 글로 옮긴 기록입니다. 채점자 세 명이 따로 채점하고, 위원장이 합쳐 최종 점수와 학생 피드백을 냈습니다.

🧑‍⚖️ 채점자 세 명은 서로 다른 AI 세 개가 아닙니다. Claude 한 모델이 지시문만 바꿔 엄격한 채점자 · 근거를 중시하는 채점자 · 학생 관점의 채점자를 차례로 맡았습니다(따로따로 한 번씩, 그다음 위원장 역할로 합의).
실제 음성 구술시험 에이전트와 서로 다른 회사의 모델(ChatGPT·Gemini 등)로 꾸린 위원회는 ⬜ 해 보지 않았습니다.

매긴 점수 (2명 × 4기준 × 3역할)

24개 모두 인용 붙음

세 점수가 1점 안에 든 칸

8칸 중 7칸 (88%)

교수가 다시 볼 칸

전부 → 1칸

전 · 교수 혼자 듣고 채점

해외 사례 수업 규모(36명, 평균 25분)로 계산

시간36명 × 25분 = 900분 = 15시간
녹음·전사본을 끝까지 한 번 듣고 읽는 시간만. 채점자 둘이면 30시간

근거점수의 근거가 교수 메모에만 남음. 학생이 이의를 내면 다시 들어야 함

일관성첫 학생과 36번째 학생에게 같은 잣대를 썼는지 확인하기 어려움

피드백학생은 총점만 받는 경우가 많음

점검

교수36명 전부

후 · 전사본마다 3개 채점 + 근거 인용

엄격 = 엄격한 채점자 · 근거 = 근거 중시 · 학생 = 학생 관점 · 최종 = 세 점수의 가운데 값 (Claude, 가상 예시)

학생 가 · 자동 급수 화분

기준	엄격	근거	학생	최종
문제 정의	3	4	4	4
“물통 1리터로 3일 버티기 … 재료비 3만 원 이하”
결정 근거	1	2	2	2
“그냥 센서가 더 정확할 것 같아서 센서로 했습니다”
시험 해석	3	3	4	3
“물은 1리터 중에 620 mL 썼어요” “소음은 측정을 못 했어요”
한계·개선	3	4	4	4
“펌프를 켠 다음 10분은 다시 안 켜지게 기다리는 시간을 넣고”
총점 /16	10	13	14	13

학생 나 · 자전거 휴대폰 거치대

기준	엄격	근거	학생	최종
문제 정의	2	3	3	3
“넉넉하게 2 kg까지 버티게 하자고 했습니다”
결정 근거	3	4	4	4
“집게형이 13점, 밴드형이 9점이었어요”
시험 해석	1	2	2	2
“정확히는 1.5 kg에서 집게 끝에 금이 갔고, 그래도 안 떨어져서 통과로 봤습니다”
한계·개선	0	1	2	교수 확인 임시 1
“크게 고칠 건 없다고 생각해요” “금이 간 건 실패로 봐야 할 수도 있겠네요”
총점 /16	6	10	11	10 임시

교수가 볼 곳 — 학생 나의 "한계·개선" 한 칸(0·1·2점, 차이 2점). 같은 말 “금이 간 건 실패로 봐야 할 수도 있겠네요”를 약점 인정으로 볼지, 질문에 끌려 나온 말로 볼지 갈렸습니다.

따옴표 안은 위원장이 고른 근거 인용으로, 모두 전사본 속 학생의 말 그대로입니다(파이썬으로 대조). 빨간 줄 = 세 점수가 2점 이상 갈려 교수가 정할 칸. 15시간은 해외 사례의 학생 수와 평균 시험 시간으로 계산한 값이고, "후" 쪽에 걸린 시간은 재지 않았습니다.

학생에게 돌려줄 피드백 (위원장 답 그대로)

학생 가 · 자동 급수 화분 · 13/16

👍 요구사항을 숫자로 정했습니다 — “물통 1리터로 3일 버티기”

👍 좋지 않은 결과도 스스로 해석했습니다 — “첫날 밤에 펌프가 연달아 세 번 켜져서 흙이 너무 젖었어요”

🔧 센서 방식을 고른 근거가 짐작입니다 — “그냥 센서가 더 정확할 것 같아서”. 타이머 방식과 하루라도 나란히 돌려 물 사용량을 비교해 보세요.

🔧 소음 요구사항이 숫자가 아닙니다 — “밤에 거슬리지 않을 정도”. 예: 1 m 거리에서 몇 dB 이하처럼 정하세요.

➡️ 다음에 할 일: 10분 대기 시간을 넣고 72시간 시험을 다시 해, 펌프 작동 횟수와 물 사용량을 지난번과 비교하기.

학생 나 · 자전거 휴대폰 거치대 · 10/16 (한 칸 교수님 확인 중)

👍 대안을 기준과 점수로 비교했습니다 — “집게형이 13점, 밴드형이 9점이었어요”

👍 요구사항을 숫자와 이유로 정했습니다 — “넉넉하게 2 kg까지 버티게 하자고 했습니다”

🔧 시험 결과와 판정이 맞지 않습니다 — “1.5 kg에서 집게 끝에 금이 갔고, 그래도 안 떨어져서 통과로 봤습니다”. 금이 가면 불합격인지 시험 전에 정하고, 시험은 3번 이상 하세요.

🔧 약점에서 개선안이 나와야 합니다 — “크게 고칠 건 없다고 생각해요”. 금이 간 집게 끝을 어떻게 보강할지 안을 내 보세요.

➡️ 다음에 할 일: 집게 끝 두께를 바꾼 시제품 3개를 출력해, 0.5 kg씩 무게를 올리며 금이 가는 무게를 기록하기.

AI오토마타가 아래 프롬프트를 Claude에 넣어 받은 실제 결과입니다(2026-10-21, 가상 예시).

이 과제에서 할 일

전사본을 넣고, 세 번 따로 채점받아, 갈린 곳만 내가 봅니다

📥 넣는 것

루브릭(기준 4개 안팎)과 구술시험 전사본. 학생 이름·학번은 "학생 가"처럼 바꿉니다.

🤖 AI가 해 주는 것

세 역할로 따로 채점하고(점수마다 학생 말 인용), 위원장 역할로 합쳐 갈린 곳을 표시하고, 학생 피드백을 씁니다.

👀 내가 확인하는 것

인용이 정말 전사본에 있는지, "교수 확인" 칸, 늘 낮게·높게 주는 채점자가 있는지.

📦 손에 남는 것

학생마다 점수표(근거 인용 포함) + 교수 확인 목록 + 학생에게 줄 피드백.

STEP 5개 · 프롬프트 3개(채점 프롬프트는 역할만 바꿔 3번) · 전사본 2개 기준 약 30분 · 대상: 프로젝트 수업 교수자, 대학원 지도교수 · 준비물: 대학에서 허용한 AI 계정, 전사본(녹음을 글로 옮긴 것)
대학 교수자 AI 실습 · 해외 사례 편 10/10

핵심 원리 한 장

먼저 따로 채점하고, 그다음 합치고, 갈린 곳만 사람이 봅니다

전사본 → 세 역할이 따로 채점 → 위원장이 합침 → 갈린 곳만 교수에게

규칙 세 가지
① 점수마다 학생 말 인용을 붙입니다. 인용이 없거나 전사본에서 찾을 수 없는 점수는 버립니다. 교수가 확인할 때도 인용 줄만 보면 됩니다.
② 먼저 따로, 그다음 합치기. 채점자는 다른 채점자의 점수를 보지 않고 채점합니다. 처음부터 같이 보면 한 사람 의견으로 쏠립니다.
③ 갈린 곳만 사람이 봅니다. 그리고 처음 몇 명은 교수도 직접 채점해, 어느 채점자가 내 기준에 가까운지 맞춰 봅니다.

만드는 단계

STEP 카드 → 프롬프트 복사 → 초록 상자로 확인 → 실제로 받은 답

🗂 대화창은 이렇게 씁니다

STEP 1 · 💬 AI 없음→STEP 2 · 🆕 새 창 3개 (역할마다)→STEP 3 · 🆕 위원장 새 창→STEP 4 · ↩️ 이어서→STEP 5 · 💬 AI 없음

왜 역할마다 새 창인가요? 한 창에서 이어서 시키면 앞 채점자의 점수를 보고 따라갑니다. 서로 다른 AI(Claude, ChatGPT, Gemini 등)를 쓸 수 있다면 역할마다 다른 AI에 넣는 편이 더 독립적입니다.

💡 처음 해 보는 분이 자주 묻는 것
전사본은 어떻게 만드나요? 대면·화상 구술시험을 녹음해(학생 동의) 대학에서 허용한 받아쓰기 도구로 글로 옮깁니다. 이 글은 텍스트 전사본만 다룹니다.
학생이 30명이면? 프롬프트는 같습니다. 한 번에 전사본 3~5개씩 넣고, 결과 표를 한 파일에 모읍니다.
루브릭이 5개 기준이면? STEP 1의 루브릭 자리만 바꾸면 됩니다. 기준마다 "4점·2점·0점이 어떤 말인지"를 한 줄씩 써 두어야 채점이 덜 갈립니다.

STEP 1루브릭과 전사본 준비하기 (5분)💬 AI 입력 없음

📍 어디서 — 메모장이나 문서 편집기

👆 이렇게 — 루브릭(기준마다 4점·2점·0점 설명)과 전사본을 한 글로 모읍니다. 학생 이름·학번은 "학생 가"처럼 바꿉니다. 처음이면 아래 연습용 가상 루브릭·전사본을 그대로 씁니다

✅ 성공이면 — 기준 4개의 점수 설명 + 시험관·학생 말이 줄마다 구분된 전사본

연습용가상 루브릭 + 전사본 2개

👉 복사하기를 누른 뒤 AI 입력창에 붙여넣기(Ctrl+V) → 전송(Enter)

[가상 예시] 공학설계 기초 · 팀 프로젝트 구술시험 (학생당 질문 6개)

루브릭 (기준마다 0~4점, 1·3점은 두 수준의 중간, 16점 만점)
1. 문제 정의와 요구사항 — 4점: 누구의 어떤 문제인지와 잴 수 있는 요구사항(숫자)을 분명히 말함 · 2점: 문제는 말하지만 요구사항이 흐림 · 0점: 문제 정의 없음
2. 설계 결정의 근거 — 4점: 대안 둘 이상을 기준을 세워 비교하고, 고른 이유를 자료·점수로 말함 · 2점: 대안은 말하지만 근거가 짐작 · 0점: 대안·근거 없음
3. 시험과 결과 해석 — 4점: 시험 방법과 측정값을 말하고 요구사항과 맞대어 바르게 해석 · 2점: 측정값은 있지만 해석이 모자라거나 앞뒤가 안 맞음 · 0점: 시험 없음
4. 한계와 개선 — 4점: 시험에서 드러난 약점을 스스로 짚고 구체적인 개선안을 냄 · 2점: 약점은 말하지만 개선안이 흐림 · 0점: 약점을 알아채지 못함

전사본
[학생 가 — 자동 급수 화분]
시험관: 프로젝트가 해결하려는 문제를 한두 문장으로 설명해 주세요. 누구를 위한 건가요?
학생 가: 기숙사 학생들이 주말에 집에 가면 화분이 말라 죽는 문제가 있어서요. 2박 3일 동안 사람 없이 흙을 촉촉하게 유지하는 게 목표였습니다. 요구사항은 물통 1리터로 3일 버티기, 소음은 밤에 거슬리지 않을 정도, 재료비 3만 원 이하였어요.
시험관: 어떤 방식을 골랐고, 다른 방식도 생각했나요?
학생 가: 토양 수분 센서로 재서 기준값 아래로 내려가면 펌프를 5초 켜는 방식입니다. 처음엔 타이머로 하루 두 번 주는 것도 생각했는데… 그냥 센서가 더 정확할 것 같아서 센서로 했습니다.
시험관: "더 정확할 것 같다"는 건 무엇과 비교해서인가요? 비교해 본 자료가 있나요?
학생 가: 직접 비교 실험은 안 했어요. 타이머는 날씨나 흙 상태를 모르니까 물을 너무 많이 줄 수 있다고 생각했습니다.
시험관: 시험은 어떻게 했나요?
학생 가: 연구실 창가에서 72시간 돌렸고, 2시간마다 센서 값을 기록했어요. 기준값을 400으로 잡았는데 수분 값이 380에서 520 사이를 오갔고, 펌프는 모두 11번 켜졌습니다. 물은 1리터 중에 620 mL 썼어요.
시험관: 그 결과로 요구사항을 만족했다고 볼 수 있나요?
학생 가: 물은 3일 버텼으니까 그건 만족이고요. 그런데 첫날 밤에 펌프가 연달아 세 번 켜져서 흙이 너무 젖었어요. 센서를 화분 가장자리에 꽂아서, 물이 퍼지기 전에 또 재서 그런 것 같습니다.
시험관: 그럼 무엇을 고치겠어요?
학생 가: 펌프를 켠 다음 10분은 다시 안 켜지게 기다리는 시간을 넣고, 센서를 뿌리 가까이 옮기려고 합니다. 소음은 측정을 못 했어요. 다음에는 소음 측정 앱으로라도 재 보겠습니다.

[학생 나 — 자전거 휴대폰 거치대]
시험관: 프로젝트가 해결하려는 문제를 설명해 주세요.
학생 나: 자전거 탈 때 휴대폰 거치대가 흔들리거나 빠지는 문제요. 저희는 3D 프린터로 집게형 거치대를 만들었고, 진짜 튼튼하게 만드는 게 목표였습니다.
시험관: "튼튼하다"를 어떻게 정했나요? 요구사항이 숫자로 있나요?
학생 나: 휴대폰이 보통 200 g 정도니까, 넉넉하게 2 kg까지 버티게 하자고 했습니다. 그리고 한 손으로 끼울 수 있어야 하고요.
시험관: 재료나 구조를 고를 때 어떤 안들을 비교했나요?
학생 나: PLA랑 PETG를 비교했어요. PETG가 덜 깨지고 여름에 덜 휘어서 PETG로 했습니다. 구조는 집게형이랑 고무밴드형 두 개를 스케치해서, 팀원 다섯 명이 한 손 장착·무게·출력 시간 세 기준으로 점수를 매겼는데 집게형이 13점, 밴드형이 9점이었어요.
시험관: 시험 결과를 말해 주세요.
학생 나: 추를 매달아서 시험했는데 2 kg까지 문제없었습니다. 아, 정확히는 1.5 kg에서 집게 끝에 금이 갔고, 그래도 안 떨어져서 통과로 봤습니다. 진동 시험은 학교 앞 보도블록 길을 10분 달려 봤는데 안 빠졌어요.
시험관: 1.5 kg에서 금이 갔는데 2 kg 요구사항을 통과했다고 볼 수 있나요?
학생 나: 음… 안 떨어졌으니까 통과라고 생각했는데, 금이 간 건 실패로 봐야 할 수도 있겠네요. 시험은 한 번만 했습니다.
시험관: 앞으로 고칠 점은요?
학생 나: 사실 거의 완벽하게 나와서 크게 고칠 건 없다고 생각해요. 굳이 하면 색깔이나 디자인 정도요.

🟢 이렇게 나오면 성공
기준마다 4점·2점·0점 설명이 있음
전사본에 학생 이름·학번이 없음
시험관 말과 학생 말이 줄마다 구분됨

STEP 2세 역할로 따로 채점하기 — 프롬프트 ① × 3 (10분)🆕 새 대화창에서 시작

📍 어디서 — 역할마다 새 대화창 (3개)

👆 이렇게 — 프롬프트 ①의 "역할" 줄에 아래 역할 상자 하나를 붙여 넣고, STEP 1의 글을 넣어 전송합니다. 새 창을 열어 다른 역할로 두 번 더 합니다. 세 답을 채점1.txt~채점3.txt로 저장합니다

✅ 성공이면 — 역할마다 학생 2명 × 기준 4개 표, 칸마다 인용과 이유 한 줄, 총점

프롬프트 ①채점 (세 역할 공통)

👉 복사하기를 누른 뒤 AI 입력창에 붙여넣기(Ctrl+V) → 전송(Enter)

너는 대학 공학설계 수업의 구술시험 채점자야.
역할: (여기에 아래 역할 상자 중 하나를 붙여 넣으세요)

아래 루브릭으로 전사본 속 학생을 한 명씩 채점해 줘.

규칙
1. 기준마다 0~4점 정수로 준다. 1점·3점은 두 수준의 중간이다.
2. 점수마다 전사본에서 학생이 한 말을 그대로 옮긴 인용을 하나 이상 붙인다. 시험관 질문은 인용하지 않는다. 줄일 때는 "…"를 쓴다.
3. 인용을 붙일 수 없는 점수는 주지 않는다.
4. 전사본에 없는 일(실제로 했을 것 같은 일)은 짐작해서 점수에 넣지 않는다.
5. 결과는 학생마다 "기준 | 점수 | 인용 | 이유(한 줄)" 표와 총점(16점 만점)으로만 쓴다.

루브릭과 전사본
(여기에 STEP 1의 글을 붙여 넣으세요)

역할 1엄격한 채점자

👉 복사하기를 누른 뒤 AI 입력창에 붙여넣기(Ctrl+V) → 전송(Enter)

엄격한 채점자. 학생이 말로 보여 준 것만 인정한다. 주장만 있고 숫자나 근거가 없으면 점수를 깎는다.

역할 2근거를 중시하는 채점자

👉 복사하기를 누른 뒤 AI 입력창에 붙여넣기(Ctrl+V) → 전송(Enter)

근거를 중시하는 채점자. 인용한 학생 말과 루브릭 문장을 한 줄씩 맞대어, 맞는 수준의 점수를 준다. 인용이 약하면 2점을 넘기지 않는다.

역할 3학생 관점의 채점자

👉 복사하기를 누른 뒤 AI 입력창에 붙여넣기(Ctrl+V) → 전송(Enter)

학생 관점의 채점자. 즉석 구술시험이라는 조건을 감안하고, 후속 질문을 받고 스스로 바로잡은 것도 인정한다. 이유는 학생이 읽을 수 있는 쉬운 말로 쓴다.

🟢 이렇게 나오면 성공
세 답 모두 칸마다 따옴표 인용이 있음
인용이 시험관 말이 아니라 학생 말
총점이 칸 점수의 합과 같음 (직접 더하기)

📝 실제로 받은 답 — 세 역할의 점수 (Claude 한 모델, 역할마다 따로 한 번씩 · 2026-10-21)

역할	학생 가	학생 나
엄격	문제 정의 3 · 결정 근거 1 · 시험 해석 3 · 한계·개선 3 → 10	문제 정의 2 · 결정 근거 3 · 시험 해석 1 · 한계·개선 0 → 6
근거 중시	문제 정의 4 · 결정 근거 2 · 시험 해석 3 · 한계·개선 4 → 13	문제 정의 3 · 결정 근거 4 · 시험 해석 2 · 한계·개선 1 → 10
학생 관점	문제 정의 4 · 결정 근거 2 · 시험 해석 4 · 한계·개선 4 → 14	문제 정의 3 · 결정 근거 4 · 시험 해석 2 · 한계·개선 2 → 11

같은 칸, 다른 이유 (학생 나 · 한계·개선)
· 엄격 0점 — “크게 고칠 건 없다고 생각해요” → 금이 간 결과가 있는데도 약점으로 보지 않음. 개선안은 색깔·디자인뿐.
· 근거 중시 1점 — 질문을 받고 약점을 반쯤 인정했지만 개선안 없음 → 0과 2 사이.
· 학생 관점 2점 — 약점은 말했지만 개선안이 금 간 곳과 상관없음.
같은 칸, 다른 이유 (학생 가 · 문제 정의)
· 엄격 3점 — 사용자·문제·숫자 요구사항 2개는 분명. "밤에 거슬리지 않을 정도"는 잴 수 없는 요구사항이라 1점 깎음.
· 근거 중시 4점 — 루브릭 4점 문장("누구의 어떤 문제 + 숫자 요구사항")과 그대로 맞음.

STEP 3위원장이 합치기 — 프롬프트 ② (5분)🆕 새 대화창에서 시작

📍 어디서 — 새 대화창 (채점한 창 말고)

👆 이렇게 — 프롬프트 ②에 STEP 1의 글과 세 채점 결과를 붙여 넣고 전송합니다. "교수 확인" 칸과 "늘 낮게·높게 주는 채점자" 줄에 형광펜을 칩니다

✅ 성공이면 — 학생·기준마다 세 점수와 차이, 최종 점수, 교수 확인 칸과 그 이유, 인용 확인 결과가 나옴

프롬프트 ②위원장: 합치기

👉 복사하기를 누른 뒤 AI 입력창에 붙여넣기(Ctrl+V) → 전송(Enter)

너는 채점위원회 위원장이야. 아래에 같은 전사본을 채점자 세 명이 따로 채점한 결과가 있어.

할 일
1. 학생·기준마다 "세 점수 | 차이(최고−최저) | 최종 점수 | 근거 인용" 표를 만들어 줘. 최종 점수는 세 점수의 가운데 값으로 하고, 바꾸면 이유를 써 줘.
2. 차이가 2점 이상인 칸은 최종 점수 자리에 "교수 확인"이라고 쓰고, 무엇 때문에 갈렸는지 한 줄로 써 줘.
3. 같은 인용을 채점자마다 다르게 읽은 곳을 찾아 줘.
4. 모든 인용이 전사본에 그대로 있는지 확인해 줘. 없는 인용이 붙은 점수는 버리고 "인용 없음"이라고 표시해 줘.
5. 늘 높게, 또는 늘 낮게 주는 채점자가 있는지 봐 줘.
6. 루브릭 문장이 모호해서 갈린 곳이 있으면 고칠 문장을 하나 제안해 줘.
맨 끝에 "최종 점수는 교수가 확정합니다."라고 한 줄 써 줘.

루브릭과 전사본
(STEP 1의 글)

채점자 1 결과
(채점1.txt)
채점자 2 결과
(채점2.txt)
채점자 3 결과
(채점3.txt)

🟢 이렇게 나오면 성공
차이 2점 이상인 칸이 빠짐없이 "교수 확인"
인용 확인 결과가 있음 (몇 개 중 몇 개)
"최종 점수는 교수가 확정" 한 줄

📝 실제로 받은 답 — 최종 점수표는 1절 오른쪽입니다 (Claude, 위원장 역할 · 2026-10-21)

일치 — 8칸 중 7칸은 세 점수가 1점 안. 세 점수가 모두 같은 칸은 0칸. 두 채점자씩 짝지어 보면 24쌍 중 23쌍이 1점 안.
교수 확인 1칸 — 학생 나 · 한계·개선(0·1·2점). “금이 간 건 실패로 봐야 할 수도 있겠네요”를 엄격은 "질문을 받고서야 나온 말"로, 학생 관점은 "약점 인정"으로 읽음. 임시 점수 1.
점수를 바꾼 칸 — 없음. 학생 가 · 문제 정의(3·4·4)는 4로 둠: "루브릭 4점 문장은 숫자 요구사항을 분명히 말했는지까지 요구한다. 소음 요구사항이 흐린 점은 '시험 해석'에서 이미 반영됐다."
인용 확인 — 인용 24개 모두 전사본 학생 말에 그대로 있음. (AI오토마타가 파이썬으로 따로 대조해도 24개 모두 있음)
늘 낮게 주는 채점자 — 엄격 역할이 8칸 모두 가장 낮거나 같음. 총점은 학생 가 10 · 13 · 14, 학생 나 6 · 10 · 11로 최대 5점까지 벌어짐. "칸마다는 1점 안인데 총점은 크게 갈린다 — 어느 역할이 교수 기준에 가까운지 처음 몇 명으로 맞춰 볼 것."
루브릭 고칠 문장 제안 — '시험과 결과 해석' 4점에 "합격·불합격 기준을 시험 전에 정하고, 그 기준으로 판정함"을 넣기. (학생 나의 "금이 갔지만 통과"가 이 기준이 없어 생긴 문제)

STEP 4학생 피드백 받기 — 프롬프트 ③ (3분)↩️ 같은 대화창에 이어서

📍 어디서 — STEP 3과 같은 대화창

👆 이렇게 — 프롬프트 ③을 그대로 전송합니다. 인용이 피드백 문장과 맞는지(칭찬에 약점 인용을 붙이지 않았는지) 봅니다

✅ 성공이면 — 학생마다 👍 2 · 🔧 2 · ➡️ 1, 모든 항목에 인용

프롬프트 ③학생 피드백

👉 복사하기를 누른 뒤 AI 입력창에 붙여넣기(Ctrl+V) → 전송(Enter)

학생마다 피드백을 써 줘.

- 잘한 점 2개, 고칠 점 2개, 다음에 할 일 1개
- 잘한 점·고칠 점에는 전사본 속 학생 말을 따옴표로 붙여 줘.
- 고칠 점에는 "어떻게 하면 되는지"를 한 문장으로 붙여 줘.
- 학생이 직접 읽는다고 생각하고 쉬운 말로 써 줘.
- "교수 확인" 칸이 있는 학생은 그 기준 점수를 말하지 말고 "교수님이 확인 중"이라고만 써 줘.

🟢 이렇게 나오면 성공
칭찬·고칠 점마다 맞는 인용이 붙음
교수 확인 칸 점수를 학생에게 미리 말하지 않음

📝 실제로 받은 답 — 1절의 피드백 카드 두 장이 이 답입니다

학생 가: 👍 숫자 요구사항, 나쁜 결과까지 해석 / 🔧 센서 선택 근거가 짐작, 소음 요구사항이 숫자가 아님 / ➡️ 10분 대기 시간을 넣고 72시간 시험 다시.
학생 나: 👍 대안을 점수로 비교, 숫자 요구사항 / 🔧 시험 결과와 판정이 맞지 않음, 약점에서 개선안이 안 나옴 / ➡️ 보강한 시제품 3개로 0.5 kg씩 하중 시험. 제목 줄에 "한 칸 교수님 확인 중"이라고 씀.
피드백 속 인용 8개도 모두 전사본에 그대로 있습니다(파이썬 대조).

STEP 5교수가 확인하고 확정하기 (5분)💬 AI 입력 없음

📍 어디서 — 전사본 · 6절 점검표

👆 이렇게 — "교수 확인" 칸만 전사본의 그 부분을 읽고 점수를 정합니다. 처음 3~5명은 교수도 직접 채점해 세 역할 중 누구와 가까운지 봅니다. 늘 낮게(또는 높게) 주는 역할이 있으면 역할 문장이나 루브릭을 고칩니다

✅ 성공이면 — 확정 점수표 · 학생 피드백 · "교수 확인 칸과 결정 이유" 메모가 한 폴더에 남음

실제로 해 본 결과와 고칠 점

Claude(2026-10-21)가 가상 전사본 2개로 직접 해 본 범위

판정 표시 ✅ 됨 · ⚠️ 확인 필요 · ❌ 안 됨 · ⬜ 해 보지 않음

1절의 점수표와 피드백이 이 과정의 결과입니다. 전사본·루브릭을 만든 것도, 세 역할과 위원장을 맡은 것도 AI오토마타 작업 공간의 Claude 한 모델입니다. 역할마다 점수를 따로 파일에 먼저 기록한 뒤, 일치율은 파이썬으로 계산했습니다.

확인한 것	실제로 확인한 내용	판정
인용이 전사본에 있나	채점 인용 24개 + 위원장 인용 8개 + 피드백 인용 8개를 파이썬으로 대조, 모두 학생 말 그대로	✅
일치율 계산	세 점수 1점 안 8칸 중 7칸, 짝 비교 24쌍 중 23쌍, 완전 일치 0칸	✅
채점자의 독립성	세 역할 모두 Claude 한 모델이 같은 작업 공간에서 차례로 맡음. 서로 다른 AI 셋보다 일치율이 높게 나올 수 있음	⚠️
전사본을 만든 AI가 채점	일부러 넣은 약점(학생 가의 비교 자료 없음, 학생 나의 1.5 kg 금)을 미리 알고 있었음	⚠️
역할 문장의 힘	엄격 역할이 8칸 모두 가장 낮거나 같음. 총점이 최대 5점 벌어짐	⚠️
음성 구술시험 에이전트	실제로 음성 AI가 질문하는 시험은 해 보지 않음(해외 사례는 음성 에이전트 사용)	⬜
서로 다른 회사 모델로 위원회	ChatGPT·Gemini 등으로 꾸린 위원회는 해 보지 않음	⬜
교수 직접 채점과 비교	사람 채점과 맞춰 보지 않음	⬜
시간 절약	15시간과 비교할 실제 걸린 시간을 재지 않음	⬜
글 화면	760px·390px 폭에서 가로 넘침 없음(헤드리스 크롬, 컴퓨터에서 흉내 낸 폭)	✅

✍️ 사람이 고칠 점
• 처음 몇 명은 직접 채점 — 세 역할 중 누가 내 기준에 가까운지 보고, 역할 문장을 고칩니다. 그 전에는 AI 점수를 성적에 쓰지 않습니다.
• 가능하면 서로 다른 AI로 — 역할마다 다른 회사의 AI에 넣으면 한 모델의 버릇이 덜 겹칩니다.
• 루브릭에 합격 기준 — 이번에 갈린 칸은 "금이 가면 불합격인가"가 루브릭에 없어서 생겼습니다.
• 학생 이의 제기 절차 — 점수표의 인용을 학생에게 보여 주고, 이의가 있으면 교수가 녹음을 다시 듣습니다.

점검표 · 한 장 요약

점수를 확정하기 전에 마지막으로

확인할 것	어떻게 확인하나
인용이 진짜인가	점수표의 따옴표 문장을 전사본에서 찾아보기(문서 찾기 기능)
따로 채점했나	역할마다 새 창, 다른 채점자 결과를 넣지 않았는지
갈린 곳	차이 2점 이상 칸을 교수가 전사본으로 확인했는지
치우친 채점자	늘 낮게·높게 주는 역할이 있으면 처음 몇 명 직접 채점으로 맞췄는지
학생 정보	전사본에 이름·학번·목소리 파일이 들어가지 않았는지

📌 한 장 요약

① 점수마다 학생 말 인용을 붙이게 하고, 인용이 없는 점수는 버립니다.
② 세 역할로 먼저 따로 채점하고, 위원장이 합쳐 갈린 곳만 표시합니다.
③ 교수는 갈린 칸을 확인하고, 처음 몇 명은 직접 채점해 기준을 맞춥니다. 최종 점수는 교수가 정합니다.

주의

꼭 필요한 것만

- 학생 동의와 학내 규정: 구술시험 녹음·전사, AI 채점 활용은 미리 알리고 학과·대학 규정을 따릅니다.
- 개인정보: 이름·학번·목소리 파일은 AI에 넣지 않습니다. 대학이 허용한 AI 계정인지, 입력이 학습에 쓰이는 설정인지 확인합니다.
- AI 점수는 초안: 성적은 교수가 확정합니다. AI 점수만으로 성적을 내지 않습니다.
- 할 때마다 점수가 달라질 수 있습니다: 같은 전사본도 다시 돌리면 1점쯤 달라질 수 있으니, 최종 점수를 낸 날의 결과를 보관합니다.
- 저작권: 가상 전사본·루브릭·프롬프트는 AI오토마타가 이 글을 위해 만들었습니다.

참고 자료

링크만 모았습니다

🎙️Panos Ipeirotis — Fighting Fire with Fire: Scalable Oral Exams (2025-12-29)NYU Stern 수업 36명에게 음성 AI 구술시험을 하고 Claude·Gemini·ChatGPT 세 모델이 따로 채점한 뒤 서로 보고 고치게 한 사례(2026-10-21 확인).https://www.behind-the-enemy-lines.com/2025/12/fighting-fire-with-fire-scalable-oral.html바로가기 ↗ 📄Scalable and Personalized Oral Assessments Using Voice AI (arXiv 2603.18221)같은 저자들의 논문. 두 학기 73명에게 적용한 결과와 교훈(2026-10-21 확인).https://arxiv.org/abs/2603.18221바로가기 ↗ 🧾구술시험 채점 프롬프트 공개본 (GitHub Gist)위 사례의 채점 프롬프트 원문. 기준마다 0~4점과 전사본 근거를 요구하는 구조(2026-10-21 확인).https://gist.github.com/ipeirotis/99418caa6afae72fb7eec63855632c68바로가기 ↗

AI 오토마타