Educational Harness Engineering

학생이 꼼수를 쓴 게 아닙니다.
당신의 평가가 예측 가능한 방식으로 뚫린 겁니다.

AI 시대, 학생들의 꼼수에 강한 수업·평가를 설계하는 법

AI 사용은 이미 학생 다수의 기본값입니다.

“쓰느냐 마느냐”는 끝난 논쟁입니다. 남은 질문은 하나입니다 — 그래서 평가를 어떻게 설계할 것인가.

95%2026년 학업 AI 활용 학부생 비율

HEPI Student Gen-AI Survey 2026 (Report 199, n=1,054) · 2024년 66% → 92% → 95%

91.7%과제·프로젝트 자료검색에 AI 활용

한국직업능력연구원 2024 (n=726) · 60.2%는 “AI 의존 후 사고력 저하가 두렵다”고 응답

2,200만건이 20% 이상 AI 작성으로 표시

Turnitin 실측 — 2억 건 이상 검사 중 · 600만 건 이상은 80% 이상 AI 작성

  • 66
  • 92
  • 95
  • 56
  • 38
  • 37
  • 31
  • 22
  • 91.7
  • 60.2

막대는 왼쪽부터 — HEPI 학업 활용률 3개년(66·92·95) · 2026년 활용 유형 5종(텍스트 생성 56 · 요약 38 · 문장 교정 37 · 번역 31 · 이미지 22) · KRIVET 2024(자료검색 91.7 · 사고력 저하 우려 60.2). 단위 %. 장식 없이 실측값만 씁니다.

한 명의 일탈이 아닙니다.
다수의 합리적 선택이었습니다.

연세대 · 비대면 중간고사 (2025-10)

387명 중 211명

익명 설문에서 절반 이상이 “커닝했다”고 스스로 인정했습니다. 안 베끼면 손해를 보는 구조에서 다수가 내린 선택입니다.

아시아경제 보도

고려대 · 교양 중간고사 (2025-10)

1,400명 / 500명

수강생 1,400명 강의에서 약 500명이 카카오톡 오픈채팅방으로 문제와 정답을 공유해 중간고사가 전면 무효화됐습니다.

시사저널 보도

“탐지기로 잡으면 되잖아요.”

그 길은 이미 막혀 있습니다. 그것도 탐지 기술을 가장 잘 만들 수 있는 곳이 스스로 증명했습니다.

만든 회사가 자기 탐지기를 폐기했습니다

OpenAI 는 AI Text Classifier2023-07-20 “낮은 정확도”를 이유로 중단했습니다. 공개된 성능은 정탐 26% · 사람 글 오탐 9%였습니다.

OpenAI 공지 · TechCrunch 교차 확인

비원어민 학생에게 누명을 씌웁니다

비원어민 TOEFL 에세이 오탐률 61.3%, 입학 에세이 70.0%, 논문 초록 43.9%. 반대로 “원어민처럼 풍부한 단어를 써줘” 프롬프트 한 줄이면 탐지율이 11.3%까지 떨어집니다.

Liang et al. (2023), Patterns 4(7):100779 — 탐지가 perplexity 에 의존하기 때문입니다

이공계 글은 특히 못 잡습니다

Turnitin 오탐 32% · Originality 37%. 이공계 학술 글에서는 각각 49% · 42%로 뛰며, 인문학 글(86% · 96%)과 정확도가 크게 벌어집니다 — 짧고 수치·사실 위주인 글일수록 탐지기가 부적합합니다.

Hadra, Cambridge & Mesbah (2026)

1% 오탐도 대학 규모에서는 수백 명입니다

밴더빌트대는 수개월 테스트 후 Turnitin AI 탐지를 껐습니다. 1% 오탐률이라도 연 75,000편 기준 약 750편의 학생 글이 잘못 표시됩니다.

Vanderbilt University (2023) — “AI 탐지가 효과적 도구라고 믿지 않는다”

네 갈래 중 셋은 이미 닫혔습니다.

금지형

확인 불가능

확인 가능성
학생 역량 성장
윤리적 비용
낮음
교수자 통제
없음

탐지형

기술적 파산

확인 가능성
학생 역량 성장
윤리적 비용
매우 높음
교수자 통제
거짓 신호

방임형

최악

확인 가능성
학생 역량 성장
윤리적 비용
낮음
교수자 통제
없음

설계형

남는 답

확인 가능성
학생 역량 성장
윤리적 비용
없음
교수자 통제
설계 시점에

금지는 확인이 안 되고, 탐지는 위에서 본 대로 파산했으며, 방임은 교수자가 아무것도 통제하지 못합니다. 소거하고 나면 하나가 남습니다.

“하네스”는 비유가 아니라 제약을 명시하는 일입니다.

Prompt

> 팩트체크 해줘

AI 는 “팩트체크”가 무엇인지 모릅니다.

Context

> 한국기자협회(journalist.or.kr) ‘이달의 기자상’ 수상작 페이지에 있는 기사 본문만 대상으로 이 텍스트를 대조해줘

말을 다 풀어서 설명해야 비로소 제대로 작동합니다. 이것이 컨텍스트 엔지니어링입니다.

Harness

> …그리고 그 사이트 이외에는 네 멋대로 참조하지 마

잘 생각해보면, 무언가를 더 구체적으로 명시한다는 것은 사실 “하지 마”라는 제약을 더 세게 거는 일과 같습니다. 이것이 하네스 엔지니어링입니다.

위 창은 프롬프트 인용이며 실시간 콘솔이 아닙니다.

이건 즉흥적인 비유가 아닙니다.

“Good engineering involves thinking about how things can be made to work; the security mindset involves thinking about how things can be made to fail. It involves thinking like an attacker, an adversary or a criminal.”

좋은 공학은 무엇이 작동하게 만들지를 생각합니다. 보안 마인드셋은 무엇이 실패하게 만들 수 있을지를 생각합니다.

Bruce SchneierThe Security Mindset (2008)

Dawson 은 BYOD 전자시험을 직접 해킹해 5개 공격 중 4개가 실제로 작동함을 보였습니다. 평가 설계자가 곧 침투 테스터가 된 연구입니다.

Phillip DawsonBJET 47(4), 2016 · Defending Assessment Security in a Digital World (Routledge, 2020)

마인드를 바꾸셔야 합니다.

학생들이 꼼수를 쓴다면,

교수님 본인께서 학생들이 “꼼수를 쓸 것까지 감안해서”
틀어막는 평가 설계에 실패한 것입니다.

학생들은 “반드시” 생각을 안 하려는 꼼수를 씁니다.

아예 모든 시험과 과제 평가를 거기에서부터 출발해야 합니다.

안창현의 2026-1학기 AI활용조사방법론에서 실제로 한 것

소크라테스식 캐묻기. 학생이 AI 답을 눈으로 읽으려 하면 말을 끊고 되묻습니다. “수식은 됐고, 그래서 이 논문에 따르면 LLM 은 어떻게 작동하나요?” — “잘 모르겠습니다”가 나올 때까지. 그때 알려줍니다. 이해할 때까지 AI 에게 끝까지 되물으라고.

  • 2주차 나는 나를 어떤 사람이라고 생각하는데, 최근 그 생각이 흔들린 순간은?
  • 3주차 중요하다고 자주 말하지만 실제로 꾸준히 지키지 못하는 것은?
  • 4주차 사람을 처음 볼 때 무엇을 보고 믿을 만한지 아닌지 판단하는가?
  • 5주차 혼자 있을 때의 나와 사람들 사이에 있을 때의 나는 어떻게 다른가?
  • 6주차 당연하게 따르는 규칙 하나는 누구에게 유리한 규칙인가?
  • 7주차 무엇을 볼 때 ‘공평하다’고 느끼고 무엇을 볼 때 ‘억울하다’고 느끼는가?

AI 가 대신 써주면 의미가 없는 주제. 매주 수업시간에 30분–1시간씩 8회. 주제는 자기 인식·말과 행동의 틈·판단 기준·관계·규칙과 순응·공정성으로 옮겨 갑니다. “너 자신에 대한 글쓰기를 AI 한테 시키면 그걸 도대체 어디다 써먹을 건데?”

AI 메타인지 분석 리포트 예시 화면 — 사고·메타인지 프로파일 8축과 글쓰기 역량 프로파일 6축이 축별 강도와 함께 표로 정리되어 있다 (익명 처리)

글 묶음을 데이터로 만들어 돌려주기. 21일 매일 글쓰기 뒤 개인별 메타인지 리포트 1회(6/12). 사고 8축 + 글쓰기 6축, 모든 피드백은 학생이 쓴 본문을 근거로만 — 아첨도 가스라이팅도 금지, 이론 출처 포함.

성과: 기말 대면 자필 제출물 기준 90% 이상의 학생이 자기 문장 습관과 사고의 취약점을 스스로 설명해 냈고, 학기 소감 발표에서 모든 학생이 화면을 보지 않고 교수자와 눈을 맞춘 채 말했습니다. (안창현의 2026-1 수업 실적입니다.)

그 변화를 학생들의 문장으로 확인합니다.

“항상 끝맺음이 글을 읽는 독자에게 책임을 전가한다”… 리포트를 받은 이후 크게 달라진 점은 내 주장에 대한 내 생각을 명확히 전달하고 타인 입장도 생각하며 ‘이해’를 해보려고 하기 시작했다는 것이다. 나조차도 리포트를 읽고 간파당한 느낌에 ‘핑계’가 아닌 방식을 택한 것이다.

학생 A

습관적으로 ‘굉장히’를 쓰고 문장 끝마다 ‘~인 것 같다’를 붙여 생각을 흐리는 버릇이 있었다. 알아차리고 곧바로 지웠다. 원래 같으면 ‘잘못된 것 같다’라고 썼겠지만 지금은 ‘잘못됐다’라고 쓴다. 지금 보면 습관을 고친 글이 더 자연스러운데 과거에는 왜 저렇게 썼을까 하는 생각이 든다.

학생 B

이전 글들은 멋있게 적으려 한 것들이 보였다. “이건 나 같지는 않다”는 에세이들도 있었다. 그 이후부터는 생각나는 대로 두서없이 적기도 했다. 그 과정에서 이런 글을 적는 나도 내 모습 중 하나임을 받아들이게 되어내가 나를 잘 알면 그걸로 충분하다는 게 뭔지 조금은 알 것 같다.

학생 C

AI 리포트는 내가 ‘정보를 무조건적으로 수용하는 태도’를 지녔다고 분석했다. 리포트를 받은 뒤 ‘지나친’ 긍정의 태도는 역설적으로 나태함과 안일함을 가져온다는 것을 깨닫고 나의 문제 상황과 사회 문제를 더욱 날카롭게 바라보며 기록하려 했다.

학생 D

2026-1학기 AI활용조사방법론 기말(대면 자필) 답안 발췌 · 저자 승인, 익명 처리

다른 과목에서도 작동합니다 — AI Digital Graphic Design

학생이 제출한 기말 HTML PPT 5번 슬라이드 — 기존 관광 앱과의 차별화를 비교표로 정리한 화면 (익명) 학생이 제출한 기말 HTML PPT 6번 슬라이드 — 지원금 확보 시 예산 배분 계획을 항목별 비율로 정리한 화면 (익명)

AI 사용을 전면 허용하고, 대신 제한 시간 안에 실제 심사위원을 상정한 창업·투자 제안 HTML PPT 를 만들게 했습니다.

작업 로그 미제출 시 50% 즉시 감점. 제출물은 슬라이드 8장 + AI 채팅창 작업과정 전체 로그입니다.

평균 채점 5분 미만. “앱”이라는데 앱 시안이 없으면, 기획이 레드오션이거나 근거가 없으면, “내가 왜 굳이 너희한테 돈을 줘야 하는데?”에 답이 없으면 — 자동적으로 낮은 점수입니다.

오른쪽 아래 슬라이드가 정확히 그 지적을 받았습니다 — “바이브 코딩으로 자본금 0원에 매출을 올리는 시대에, 왜 지원금을 받으면 그때부터 개발하겠다는 사람에게 예산을 줘야 하는가?”

기말 주제 선정 기준 — 학생 배포본 발췌 · 코퍼스에 대응 컴포넌트가 없어 직접 작성했습니다
나쁜 주제좋은 주제
AI 기반 쇼핑몰 창업너무 넓고, 본인이 아는 내용인지 알기 어려움 교내 외국인 유학생을 위한 지역 생활 정보 HTML 뉴스레터실제 사용자와 정보 문제가 비교적 분명함
대학생 대상 앱 만들기누구의 어떤 문제인지 불분명함 운동 초보자를 위한 학교 주변 헬스장·운동 루틴 비교 서비스본인 경험, 자료조사, 비교표, 시장성 설명이 가능함

한 교수의 취향이 아닙니다.

규제기관·대학·기업·학술지가 같은 방향의 문서를 내고 있습니다. 이들이 저를 지지한 것이 아니라, 각자 같은 결론에 도착한 것입니다.

  • TEQSAAI 시대 평가 개혁 — 신뢰할 수 있는 판단에는 다중·맥락적 평가가 필요하다
  • QAA신뢰할 수 없는 탐지 소프트웨어 배치 대신 장기·발달적 재설계
  • Russell Group생성형 AI 의 윤리적 활용을 교육·평가에 통합한다
  • UNESCOGenAI 가 인간보다 잘하는 과제를 평가에 쓰지 않도록 재설계
  • Univ. of Sydneytwo-lane — 보안 평가(대면·구술)와 오픈 평가의 분리
  • AIASAI 허용 수준 5단계 명시 — 금지/허용 이분법 대신 투명한 선언
  • SK AX정부 공인 시험이 결과물이 아니라 구조화 과정을 채점 (최고 S등급 0명)
  • Northwestern제출물에 interaction traces — 입력·도구 호출·출력·인간 개입 시점 전량

Nature(2025-05-14, 전 세계 연구자 약 5,000명) 설문에서는 AI 사용 시 ‘프롬프트까지 공개’해야 한다는 응답이 시나리오에 따라 20–42% 로 나타났습니다. 학계가 ‘사용 여부’를 넘어 과정의 재현 가능성을 요구하기 시작했다는 신호입니다.

다음 학기 과제 하나를 떠올리고, 다섯 번 물어보십시오.

  1. 1

    이 과제는 어떻게 우회될 수 있는가?

    위협 모델링 — Schneier · Dawson

  2. 2

    우회하더라도 반드시 남아야 할 사고의 증거는 무엇인가?

    authentic · 과정 평가 — Villarroel · QAA

  3. 3

    이 중 AI 에게 맡길 반복 작업은 무엇인가?

    개인화 · 정리 · 초안

  4. 4

    교수자가 반드시 직접 판단해야 하는 지점은 어디인가?

    분석 틀 · 최종 판단

  5. 5

    마지막에 학생이 자기 말로 회수하는 장치가 있는가?

    Lane 1 — 대면 · 구술 · 자필 (Univ. of Sydney)

실패하면 학생 탓이 아니라 설계 실패입니다. 새로 발견한 꼼수는 그때그때 교수자 노트에 기록하고 다음 학기 설계에 반영하십시오 — 그것이 하네스 업데이트입니다.

AI 를 막지 마십시오.
AI 를 써도 ‘생각’ 없이는
통과 못 하게 설계하십시오.
그것이 Educational Harness Engineering 입니다.

근거 전체 보기

A · 평가 보안 / 보안 마인드셋
  • Dawson, P. (2020). Defending Assessment Security in a Digital World. Routledge.
  • Dawson, P. (2016). Five ways to hack and cheat with BYOD electronic examinations. BJET 47(4), 592–600.
  • Schneier, B. (2008). The Security Mindset.
  • Jonathan, J. & Walsh, C. (2025). Secure online assessments. ASCILITE 2025 — ⚠️ 초록이 ‘preliminary pilot findings’ 로 규정한 예비 결과
B · AI 시대 평가 개혁 프레임워크
  • Lodge, J., Howard, S., Bearman, M., Dawson, P. (2023). Assessment reform for the age of AI. TEQSA. ⚠️ 부차 수치(전문가 수·다운로드 수)는 원문 재확인 권장
  • QAA (2023). Reconsidering assessment for the ChatGPT era.
  • Russell Group (2023). Principles on the use of generative AI tools in education.
  • UNESCO (2023). Guidance for generative AI in education and research.
  • van der Vleuten, C. et al. (2014). 12 Tips for programmatic assessment. Medical Teacher.
C · 블룸 분류와 그 역전
  • Larsen, T. et al. (2022). Probing Internal Assumptions of the Revised Bloom’s Taxonomy. CBE—Life Sciences Education 21(4):ar66.
  • Gonsalves, C. (2026). Generative AI’s Impact on Critical Thinking. Journal of Marketing Education 48(1).
  • Lubbe, A., Marais, E., Kruger, D. (2025). Cultivating independent thinkers. Education and Information Technologies 30(12).
  • Rivers, C. & Holland, A. (2023). How can generative AI intersect with Bloom’s taxonomy? THE Campus.
  • Krathwohl, D. (2002). A Revision of Bloom’s Taxonomy — ⚠️ 재인용, 1차 출처 미대조
  • Schoonover, J. (2026). Bloom’s Taxonomy Needs an Update for the AI Age — ⚠️ Opinion
D · 인지적 오프로딩 · 비판적 사고 저하
  • Gerlich, M. (2025). AI Tools in Society. Societies 15(1):6. (n=666, 상관 — 인과 아님)
  • Lee, H-P. et al. (2025). The Impact of Generative AI on Critical Thinking. CHI 2025. (Microsoft Research & CMU, n=319)
  • Fan, Y. et al. (2025). Beware of metacognitive laziness. BJET 56(2). (RCT, n=117)
  • Risko, E. & Gilbert, S. (2016). Cognitive Offloading. Trends in Cognitive Sciences 20(9).
E · 탐지기의 한계
  • OpenAI (2023). New AI classifier for indicating AI-written text — 중단 공지 (2023-07-20).
  • Liang, W. et al. (2023). GPT detectors are biased against non-native English writers. Patterns 4(7):100779.
  • Hadra, Cambridge & Mesbah (2026). International Journal for Educational Integrity.
  • Vanderbilt University (2023). Guidance on AI Detection and Why We’re Disabling Turnitin’s AI Detector.
  • Ardito, C. (2024). Contra generative AI detection in higher education assessments. European Journal of Education.
F · Authentic 평가 · 구술 · AI 활용 명시
  • Liu, D. & Bridgeman, A. (2023). Two-lane approach to assessment. Teaching@Sydney.
  • Perkins, M., Furze, L., Roe, J., MacVaugh, J. (2024). The AI Assessment Scale (AIAS). JUTLP 21(6).
  • Sotiriadou, P. et al. (2020). The role of authentic assessment. Studies in Higher Education 45(11).
  • Villarroel, V. et al. (2018). Authentic assessment: creating a blueprint for course design.
  • University of Toronto CTSI (2024). Viva Voce Oral Exam (AI-Resistant Approach).
G · 사용 실태 통계 · 국내외 실사례
  • HEPI (2026). Student Generative AI Survey, Report 199. (n=1,054)
  • 한국직업능력연구원(KRIVET, 2024) 대학생 생성형 AI 이용 조사. (n=726)
  • Turnitin 실측 데이터 — Campus Technology (2024-05).
  • 연세대 비대면 시험 AI 부정 — 아시아경제 (2025-11).
  • 고려대 온라인 시험 부정 — 시사저널.
  • 영국 대학 AI 부정 급증 — THE (2024) · The Register/Guardian (2025).
  • “공부는 쉬워지고 사고의 필요성은 줄었다” — 한국대학신문 (2026-01-31).
H · 산업 · 저널리즘 현장
  • SK AX AI 역량인증 시험 — KBS 뉴스 (2026-06-01).
  • Northwestern University — Agentic AI Investigative Journalism Challenge (2026).
  • Nature (2025-05-14). 전 세계 연구자 약 5,000명 AI 활용 설문.

⚠️ 표시 항목은 서지·존재는 확인했으나 원문 직접 대조가 미완인 것들입니다. 이 페이지의 본문은 이들을 단언에 사용하지 않았습니다.