대학 교수자 AI 실습 · 해외 사례 4 — AI가 대신 풀기 어려운 통계 숙제, 함정 문제 5개와 오답 분석 양식
1
이 장에서 만드는 것
AI가 대신 풀어 주는 숙제 대신, AI 답이 어디서 틀렸는지 찾게 하는 과제 세트
가상 예시 공학 통계·공학수학 숙제를 "문제 + 정답 풀이 + 학생 제출 양식(내 풀이 / AI 답 / 어디서 틀렸나)" 세트로 바꿨습니다. 서두르면 틀리기 쉬운 함정 후보 9개를 만들고, Claude가 도구 없이 먼저 풀어 기록한 뒤, 파이썬으로 정답을 두 번씩 검산해 5개를 남겼습니다.
⚠️ 같은 문제를 다른 AI 두 개에 직접 돌려 보고, 실제로 틀리는 문제만 고르세요 — 우리는 Claude만 확인.
그리고 Claude는 도구 없이 푼 첫 답에서 9문제를 모두 맞혔습니다. 이 문제들은 "AI가 틀린다고 확인된 문제"가 아니라 "틀릴 만한 함정 후보"입니다. 다른 AI 확인은 ⬜(해 보지 않음)입니다.
그리고 Claude는 도구 없이 푼 첫 답에서 9문제를 모두 맞혔습니다. 이 문제들은 "AI가 틀린다고 확인된 문제"가 아니라 "틀릴 만한 함정 후보"입니다. 다른 AI 확인은 ⬜(해 보지 않음)입니다.
남긴 문제 (함정 유형 5가지)
정답 검산 (파이썬)
10번 문제마다 2가지 방법
Claude 첫 풀이에서 틀린 문제
9개 중 0개 · 다른 AI ⬜
전 · 평범한 숙제 문제 (AI가 쉽게 품)
문제 축 지름 5개를 쟀다: 10.2, 9.8, 10.0, 10.4, 9.6 mm. 평균과 표본 표준편차를 구하시오.
AI 답 (Claude, 도구 없이)
평균10.0 mm
표준편차0.316 mm (제곱합 0.40 ÷ 4의 제곱근)
정답과같음 파이썬 확인
학생이 하는 일
제출AI 답을 옮겨 적으면 끝
교수학생이 표준편차를 이해했는지 알 수 없음
후 · AI 오답 분석 과제 세트
문제 라인 A 축 지름 10개: 평균 50.0 mm, 표본 표준편차 2.0 mm. 라인 B 10개는 cm로 기록: 평균 6.0 cm, 표본 표준편차 0.2 cm. 20개를 합친 자료의 표본 표준편차는 몇 mm인가?
지름길로 풀면 (재현 — 특정 AI의 답 아님)
2.0 mm"두 라인 표준편차가 둘 다 2 mm니까" — 두 라인 평균의 차이(50 대 60)를 빼먹음
22.6cm를 mm로 바꾸지 않고 50과 6을 그대로 섞음
정답 풀이 (정답키)
①라인 B를 mm로: 평균 60 mm, 표준편차 2 mm. 전체 평균 55 mm
②제곱합 = 9×2² + 9×2² (라인 안) + 10×5² + 10×5² (라인 사이) = 572
③√(572 ÷ 19) = 5.49 mm 검산 2번 일치
학생 제출 양식 (문제마다 한 장)
① 내 풀이 — AI 없이 손으로 ______
② 첫째 AI 답 — 도구 이름·날짜 ______
③ 둘째 AI 답 — 도구 이름·날짜 ______
④ 어디서 틀렸나 — 틀린 줄을 그대로 옮기고, 무엇이 잘못인지 한 문장, 고친 계산 ______
빨간 줄 = 함정에 빠진 답 · 초록 줄 = 정답 · "재현"은 서두르면 나오는 답을 AI오토마타가 직접 계산해 보인 것으로, 어떤 AI가 실제로 낸 답이 아닙니다. 두 AI가 모두 맞히면 학생은 ④ 대신 "지름길 답이 왜 틀렸는지"를 씁니다(STEP 4 양식).
남긴 5문제와 정답키
| 문제 | 함정 유형 | 지름길로 풀면 (재현) | 정답 (검산) |
|---|---|---|---|
| 1. 불량 판정의 진짜 의미 | 기저율 무시 — 검출률을 그대로 답으로 | 95% | 27.9% (0.019 ÷ 0.068) |
| 2. 두 라인 자료 합치기 | 단위 섞임 + 그룹 사이 차이 빠뜨림 | 2.0 mm 또는 22.6 | 5.49 mm |
| 3. 어느 용접 방법이 나은가 | 심슨의 역설 — 전체 비율만 비교 | B (전체 78.0% > 76.7%) | A (얇은 판 90% > 86%, 두꺼운 판 70% > 62%) |
| 5. 불량 8개 이상 | 정규분포 근사를 보정 없이 사용 | 0.084 | 0.128 (이항분포 정확값) |
| 7. 미분방정식의 값 | 해가 이어지는 구간을 확인하지 않음 | −1 (y = 1/(1−x)에 2를 넣음) | 존재하지 않음 (x = 1에서 무한대로 발산) |
심슨의 역설: 묶음별로는 A가 다 나은데 합치면 B가 나아 보이는 현상. 여기서는 B가 합격하기 쉬운 얇은 판을 두 배 더 맡았기 때문입니다. 번호는 후보 9개 중 번호입니다(4·6·8·9번은 뺌, 이유는 STEP 3).
AI오토마타가 아래 프롬프트를 Claude에 넣어 받은 실제 결과입니다(2026-10-21, 가상 예시).
2
이 과제에서 할 일
함정 후보를 AI에 돌려 보고, 실제로 틀린 문제만 과제로 남깁니다
3
핵심 원리 한 장
"AI가 틀린다"는 말은 직접 돌려 본 문제에만 씁니다
규칙 세 가지
① "AI가 틀린다"는 직접 돌려 본 뒤에만 말합니다. 같은 문제라도 AI마다, 날마다 답이 다릅니다. 새 대화창에 문제만 넣어 확인합니다.
② 정답키는 두 가지 방법으로 검산합니다. 공식으로 한 번, 모의실험·원자료 다시 만들기·대입으로 한 번. AI가 쓴 정답키도 틀릴 수 있습니다.
③ 학기마다 다시 돌립니다. AI가 바뀌면 지난 학기에 틀리던 문제를 맞힐 수 있습니다. 맞히게 된 문제는 빼거나 "지름길 답 설명" 문제로 돌립니다.
① "AI가 틀린다"는 직접 돌려 본 뒤에만 말합니다. 같은 문제라도 AI마다, 날마다 답이 다릅니다. 새 대화창에 문제만 넣어 확인합니다.
② 정답키는 두 가지 방법으로 검산합니다. 공식으로 한 번, 모의실험·원자료 다시 만들기·대입으로 한 번. AI가 쓴 정답키도 틀릴 수 있습니다.
③ 학기마다 다시 돌립니다. AI가 바뀌면 지난 학기에 틀리던 문제를 맞힐 수 있습니다. 맞히게 된 문제는 빼거나 "지름길 답 설명" 문제로 돌립니다.
4
만드는 단계
STEP 카드 → 프롬프트 복사 → 초록 상자로 확인 → 실제로 받은 답
🗂 대화창은 이렇게 씁니다
STEP 1 · 💬 AI 없음→STEP 2 · 🆕 교수용 대화창→STEP 3 · 🆕 다른 AI 두 개, 각각 새 창→STEP 4 · ↩️ STEP 2 창에 이어서→STEP 5 · 💬 AI 없음
왜 STEP 3은 따로 새 창인가요? 정답 풀이를 본 대화창에서 물으면 AI가 이미 함정을 압니다. 학생이 하듯 아무것도 모르는 새 창에 문제만 넣어야 합니다.
💡 처음 해 보는 분이 자주 묻는 것
어느 AI를 쓰나요? 학생이 실제로 쓸 만한 AI 두 개(예: ChatGPT와 Gemini, 또는 Claude와 ChatGPT). 대학에서 허용한 계정이면 됩니다.
파이썬을 못 하면? STEP 2에서 받은 코드를 구글 코랩에 붙여 넣고 실행 버튼만 누르면 됩니다. 결과 숫자가 정답키와 같은지만 봅니다.
내 과목 문제로 바꾸려면? STEP 1의 후보 문제 자리에 내 문제를 넣으면 됩니다. 한 단계만 건너뛰면 틀리는 문제(단위, 조건, 정의역, 근사 조건)가 후보로 좋습니다.
어느 AI를 쓰나요? 학생이 실제로 쓸 만한 AI 두 개(예: ChatGPT와 Gemini, 또는 Claude와 ChatGPT). 대학에서 허용한 계정이면 됩니다.
파이썬을 못 하면? STEP 2에서 받은 코드를 구글 코랩에 붙여 넣고 실행 버튼만 누르면 됩니다. 결과 숫자가 정답키와 같은지만 봅니다.
내 과목 문제로 바꾸려면? STEP 1의 후보 문제 자리에 내 문제를 넣으면 됩니다. 한 단계만 건너뛰면 틀리는 문제(단위, 조건, 정의역, 근사 조건)가 후보로 좋습니다.
🟢 이렇게 나오면 성공
문제마다 답이 숫자나 한 단어로 하나
문제 문장에 "함정"·"주의" 같은 힌트가 없음
문제마다 답이 숫자나 한 단어로 하나
문제 문장에 "함정"·"주의" 같은 힌트가 없음
🟢 이렇게 나오면 성공
코드를 내가 직접 돌렸고, 두 방법의 숫자가 소수 둘째 자리까지 같음
지름길 오답이 "어느 한 단계"를 건너뛴 답으로 설명됨
코드를 내가 직접 돌렸고, 두 방법의 숫자가 소수 둘째 자리까지 같음
지름길 오답이 "어느 한 단계"를 건너뛴 답으로 설명됨
📝 실제로 받은 답 — 남긴 5문제의 검산 결과 (Claude · 2026-10-21, 코드는 이 작업 공간에서 실행)
지름길 오답 해설 (발췌) 문제 5 — "평균 5, 표준편차 √4.75 ≈ 2.18인 정규분포로 바꾸고 8에서 바로 끊으면 0.084. 정수 값을 연속으로 바꿀 때는 7.5에서 끊어야 하며(0.126), 이 정도 표본에서는 이항분포로 바로 계산한 0.128이 정답." 문제 7 — "식에 2를 넣으면 −1이 나오지만, 해는 x = 1에서 끊어져 2까지 이어지지 않는다."
"답이 하나가 아님" 표시 — 없음. 8번(반올림 두께)은 문제에 "10장이 모두 같다"는 가정을 넣어 답이 하나가 됐습니다.
| 문제 | 방법 1 | 방법 2 | 일치 |
|---|---|---|---|
| 1. 불량 판정 | 베이즈 공식 19/68 = 0.2794 | 부품 200만 개 모의실험 0.2793 | ✅ |
| 2. 자료 합치기 | 제곱합 572 → √(572/19) = 5.487 | 같은 평균·표준편차의 자료 20개를 만들어 계산 5.487 | ✅ |
| 3. 용접 방법 | 칸마다 비율 다시 계산: A가 두 칸 모두 높음 | 두께 비율을 반반으로 맞추면 A 80.0%, B 74.0% | ✅ |
| 5. 불량 8개 이상 | 이항분포 누적 0.1280 | 200만 번 모의실험 0.1278 | ✅ |
| 7. 미분방정식 | y = 1/(1−x)를 식에 넣어 확인, x → 1에서 발산 | 수치 적분이 x ≈ 1.0에서 멈춤 (y ≈ 2.3×10¹³) | ✅ |
"답이 하나가 아님" 표시 — 없음. 8번(반올림 두께)은 문제에 "10장이 모두 같다"는 가정을 넣어 답이 하나가 됐습니다.
🟢 이렇게 나오면 성공
교수용 창이 아닌 새 창에서 물었음
"틀림"은 정답키와 숫자가 다를 때만, 반올림 차이는 맞음으로
교수용 창이 아닌 새 창에서 물었음
"틀림"은 정답키와 숫자가 다를 때만, 반올림 차이는 맞음으로
📝 실제로 해 본 것 — Claude만, 도구 없이 첫 풀이 (이 작업 공간 · 2026-10-21)
결과: 9개 중 9개 맞음. 문제를 만든 Claude가 같은 작업 안에서 풀었으므로 함정을 미리 알고 있었습니다. 이 표는 "Claude가 이 문제를 못 푼다"의 반대 증거일 뿐, 학생이 쓰는 다른 AI의 결과는 아닙니다. ChatGPT·Gemini 등 다른 AI: ⬜ 해 보지 않음.
그래도 5개를 남긴 이유 — 지름길 오답이 한 단계만 건너뛰면 바로 나오는 답이라, 서두르는 풀이가 틀릴 여지가 큽니다(1·2·3·5·7번). 4·6·9번은 지름길이 널리 알려진 유형이라 틀릴 가능성이 낮다고 보았고(짐작), 8번은 반올림 범위를 다루지 않은 수업에서는 범위를 벗어납니다. 어느 쪽이든 직접 돌려 본 결과로 다시 고르세요.
| 문제 | Claude 첫 답 | 정답과 비교 |
|---|---|---|
| 1. 불량 판정의 진짜 의미 | 27.9% | 맞음 · 정답 27.9% (19/68) |
| 2. 두 라인 자료 합치기 | 약 5.49 mm | 맞음 · 정답 5.49 mm |
| 3. 어느 용접 방법이 나은가 | A (두께별로 모두 A가 높음) | 맞음 · 정답 A |
| 4. 퍼센트의 퍼센트 | 0.5%포인트 = 25% 증가 / 1.875% | 맞음 · 정답 25% / 1.875% |
| 5. 불량 8개 이상 | 약 0.13 (정확값 0.128 정도로 기억) | 맞음(근사) · 정답 0.128 |
| 6. 연평균 변화율 | 약 5.9% | 맞음 · 정답 5.91% |
| 7. 미분방정식의 값 | 없음 (x = 1에서 발산) | 맞음 · 정답 존재하지 않음 |
| 8. 반올림한 두께 쌓기 | 22.5 mm 이상 23.5 mm 미만 | 맞음 · 정답 22.5 이상 23.5 미만 |
| 9. 이미 500시간 쓴 부품 | 1000시간 | 맞음 · 정답 1000시간 |
그래도 5개를 남긴 이유 — 지름길 오답이 한 단계만 건너뛰면 바로 나오는 답이라, 서두르는 풀이가 틀릴 여지가 큽니다(1·2·3·5·7번). 4·6·9번은 지름길이 널리 알려진 유형이라 틀릴 가능성이 낮다고 보았고(짐작), 8번은 반올림 범위를 다루지 않은 수업에서는 범위를 벗어납니다. 어느 쪽이든 직접 돌려 본 결과로 다시 고르세요.
🟢 이렇게 나오면 성공
학생용 문제지에 정답·힌트가 없음
정답키 숫자가 STEP 2에서 코드로 확인한 숫자와 같음
학생용 문제지에 정답·힌트가 없음
정답키 숫자가 STEP 2에서 코드로 확인한 숫자와 같음
📝 실제로 받은 답 (발췌, Claude · 2026-10-21 · 남긴 번호 1, 2, 3, 5, 7)
학생용 문제지 — 5문제, 정답·힌트 없음. 문제 3은 표 형태(방법 × 판 두께 × 합격 건수)로 바뀜.
제출 양식 — 1절 오른쪽 아래 양식 ①~④ + "⑤ 두 AI가 모두 맞혔다면" 칸. 문제 5에는 교수가 줄 지름길 답 "0.084"를 미리 적어 둠.
채점 기준 (문제당 10점) — 내 풀이 정답 5점(답 3 · 풀이 과정 2) / 오류 설명 5점(틀린 단계를 짚었다 2 · 이유가 맞다 2 · 고친 계산이 맞다 1). "AI가 틀렸다"고만 쓰면 오류 설명 0점.
정답키 — 27.9% · 5.49 mm · A · 0.128 · 존재하지 않음 (1절 표와 같음).
제출 양식 — 1절 오른쪽 아래 양식 ①~④ + "⑤ 두 AI가 모두 맞혔다면" 칸. 문제 5에는 교수가 줄 지름길 답 "0.084"를 미리 적어 둠.
채점 기준 (문제당 10점) — 내 풀이 정답 5점(답 3 · 풀이 과정 2) / 오류 설명 5점(틀린 단계를 짚었다 2 · 이유가 맞다 2 · 고친 계산이 맞다 1). "AI가 틀렸다"고만 쓰면 오류 설명 0점.
정답키 — 27.9% · 5.49 mm · A · 0.128 · 존재하지 않음 (1절 표와 같음).
5
실제로 해 본 결과와 고칠 점
Claude(2026-10-21)가 가상 후보 문제로 직접 해 본 범위
판정 표시 ✅ 됨 · ⚠️ 확인 필요 · ❌ 안 됨 · ⬜ 해 보지 않음
1절의 과제 세트가 이 과정의 결과입니다. 후보 문제·첫 풀이·정답키·과제지를 모두 AI오토마타 작업 공간의 Claude가 만들었고, 정답은 파이썬으로 검산했습니다. 첫 풀이 기록은 검산 전에 파일로 먼저 남겼습니다.
| 확인한 것 | 실제로 확인한 내용 | 판정 |
|---|---|---|
| 정답키 검산 | 남긴 5문제를 문제마다 두 가지 방법(공식·모의실험 등)으로 계산, 10번 모두 일치 | ✅ |
| 지름길 오답 숫자 | 95% · 2.0 mm · 22.6 · B · 0.084 · −1을 직접 계산해 정답과 다름을 확인 | ✅ |
| Claude 첫 풀이 | 도구 없이 9개 모두 맞힘. 문제를 만든 AI가 풀었으니 함정을 알고 있었음 | ⚠️ |
| "AI가 틀리는 문제"인가 | Claude에서는 틀리지 않았음. 그래서 5개는 "함정 후보"로만 씀 | ⚠️ |
| 다른 AI 두 개 | ChatGPT·Gemini 등 학생이 쓸 AI에 새 창으로 돌려 보지 않음 | ⬜ |
| 학생 과제지·채점 기준 | 만들었지만 실제 학생에게 내 보지 않음 | ⬜ |
| 학기마다 다시 돌리기 | 한 번만 해 봄 | ⬜ |
| 글 화면 | 760px·390px 폭에서 가로 넘침 없음(헤드리스 크롬, 컴퓨터에서 흉내 낸 폭) | ✅ |
✍️ 사람이 고칠 점
• STEP 3을 꼭 직접 — 이 글은 "AI가 틀린다"를 보여 주지 못했습니다. 학생이 쓸 AI 두 개에 새 창으로 돌리고, 실제로 틀린 문제만 남기세요.
• 틀리는 문제가 없으면 — 문제를 길게(조건 두세 개를 문장 속에 숨김), 자료를 표·그림으로 주거나, ⑤ "지름길 답 설명" 방식으로 바꿉니다.
• 정답키는 코드 실행 후 — AI가 쓴 정답키를 그대로 옮기지 말고, 코드를 내가 돌린 숫자로 씁니다.
• 내 수업 범위로 — 정규분포 근사, 해의 존재 구간처럼 수업에서 다룬 개념만 남깁니다.
• STEP 3을 꼭 직접 — 이 글은 "AI가 틀린다"를 보여 주지 못했습니다. 학생이 쓸 AI 두 개에 새 창으로 돌리고, 실제로 틀린 문제만 남기세요.
• 틀리는 문제가 없으면 — 문제를 길게(조건 두세 개를 문장 속에 숨김), 자료를 표·그림으로 주거나, ⑤ "지름길 답 설명" 방식으로 바꿉니다.
• 정답키는 코드 실행 후 — AI가 쓴 정답키를 그대로 옮기지 말고, 코드를 내가 돌린 숫자로 씁니다.
• 내 수업 범위로 — 정규분포 근사, 해의 존재 구간처럼 수업에서 다룬 개념만 남깁니다.
6
점검표 · 한 장 요약
과제를 내기 전에 마지막으로
| 확인할 것 | 어떻게 확인하나 |
|---|---|
| 정말 AI가 틀리나 | 학생이 쓸 AI 두 개에 새 창으로 넣어 본 날짜·답이 표에 있는지 |
| 정답키가 맞나 | 검산 코드를 내가 돌렸고 두 방법이 같은 숫자인지 |
| 정답이 하나인가 | 가정에 따라 답이 갈리는 문제는 가정을 문제에 적었는지 |
| 제출 양식 | 내 풀이(AI 없이) · AI 답 2개 · 어디서 틀렸나 · 두 AI가 맞혔을 때 칸 |
| 채점 기준 | "AI가 틀렸다"만 쓴 답과 틀린 단계를 짚은 답의 점수가 다른지 |
7
주의
꼭 필요한 것만
- AI 사용을 요구하는 과제: 대학이 허용한 무료 계정으로 할 수 있게 하고, 유료 AI를 강요하지 않습니다. AI를 쓸 수 없는 학생에게는 교수가 받아 둔 AI 답을 나눠 줍니다.
- 개인정보: 학생 이름·학번·답안은 AI에 넣지 않습니다. 문제와 풀이만 넣습니다.
- AI 결과는 초안: 정답키·채점 기준은 교수가 확인한 뒤 씁니다.
- AI는 바뀝니다: 지난 학기에 틀리던 문제를 이번 학기에 맞힐 수 있습니다. 표에 날짜를 꼭 적습니다.
- 저작권: 후보 문제·정답 풀이·양식은 AI오토마타가 이 글을 위해 만들었습니다.
- 개인정보: 학생 이름·학번·답안은 AI에 넣지 않습니다. 문제와 풀이만 넣습니다.
- AI 결과는 초안: 정답키·채점 기준은 교수가 확인한 뒤 씁니다.
- AI는 바뀝니다: 지난 학기에 틀리던 문제를 이번 학기에 맞힐 수 있습니다. 표에 날짜를 꼭 적습니다.
- 저작권: 후보 문제·정답 풀이·양식은 AI오토마타가 이 글을 위해 만들었습니다.
8
참고 자료
링크만 모았습니다
함께 보면 좋은 글
- 대학교수 AI 실습 16 — 설문 평균, AI에게 맡기기 전에 빈칸·단위·이상값부터 확인하기 — 단위·빈칸을 확인하는 데이터 수업. 이 글의 문제 2와 이어집니다.
- 대학교수 AI 실습 01 — 강의계획서, 목표·활동·평가 빈칸 찾기 — 과제를 어느 학습목표의 평가로 둘지 정할 때.
확인일 2026-10-21 · 자료 ID AA-FACULTY-N04-20261021 · 이 글의 문제는 가상 예시이며 실제 시험 문제가 아닙니다.
댓글
댓글 쓰기