오픈AI 1,000명 실험 “챗GPT는 답을, 사고 훈련은 독창성을 높였다”

챗GPT를 쓰면 학생의 답안은 더 좋아지지만, 아이디어까지 더 독창적이 되는 것은 아니라는 무작위 실험 결과가 나왔다. 오픈AI는 2026년 8월 27일 이탈리아 보코니대 연구진과 진행한 1,000명 이상 규모의 실험을 공개했다. 챗GPT를 쓴 학생은 답의 완성도와 논리가 좋아졌고, 별도의 비판적 사고 훈련을 받은 학생은 또래와 덜 겹치는 다양한 아이디어를 냈다. 두 가지를 함께 제공받은 집단은 각각의 장점을 모두 보였다.

이 결과는 “학교에서 AI를 허용해야 하나, 금지해야 하나”라는 양자택일보다 중요한 질문을 던진다. AI를 쓰면 최종 결과물이 매끈해지기 때문에 기존 채점표만으로는 학생이 무엇을 이해했고 스스로 어떤 생각을 했는지 판단하기 더 어려워진다는 것이다. AI 활용 능력과 스스로 이유를 따지는 훈련을 따로 가르치고, 평가 방식도 최종 답안만 보는 데서 벗어나야 한다는 의미다.

어떤 실험이었나

실험에는 보코니대 1학년 학생 1,000명 이상이 참여했다. 학생들은 대학 기념품 매장의 인지도와 이용을 높이기 위한 마케팅 제안을 만드는 실제형 과제를 수행했다. 단순 객관식 시험이 아니라 문제를 해석하고 아이디어를 만들고, 왜 그 제안이 효과가 있을지 설명해야 하는 과제였다.

연구진은 수업 시간대별로 학생들을 네 집단에 무작위 배정했다.

• 챗GPT(GPT-4o)를 쓸 수 있는 집단
• 원인과 결과를 따지는 사고 훈련만 받은 집단
• 챗GPT와 사고 훈련을 모두 받은 집단
• 둘 다 받지 않은 비교 집단

여기서 ‘인과 추론’은 어떤 행동이 왜 결과를 낳는지, 예상과 달리 실패할 수 있는 조건은 무엇인지 연결해 생각하는 훈련이다. AI 사용법 교육은 아니었다. 게임, 사례, 질문과 피드백을 통해 원인과 결과를 구분하는 연습을 했다. 따라서 이번 실험은 프롬프트를 잘 쓰는 법을 배운 효과와 비판적으로 생각하는 법을 배운 효과를 섞지 않고 비교하려 했다는 점이 중요하다.

학생들의 제출물은 훈련된 사람이 5점 기준 채점표로 평가했다. 별도로 자동 텍스트 분석을 사용해 아이디어의 개수와 다양성, 인과관계에 대한 설명, 전문가 답안과의 유사성도 측정했다. 한 가지 점수만으로 ‘좋은 답’을 정의하지 않고 완성도, 전문성, 독창성, 사고의 흔적을 나눠 본 셈이다.

챗GPT는 무엇을 개선했나

챗GPT를 사용할 수 있었던 학생은 5점 척도에서 거의 1점 더 높은 평가를 받았다. 답안에 더 많은 아이디어가 들어갔고, 논리의 흐름이 선명했으며, 전문가가 작성한 추천안과 더 비슷했다. 경험이 적은 1학년 학생이 전문적인 문서의 형태와 논리를 빠르게 갖추는 데 AI가 도움을 준 것이다.

이 결과를 단순히 “챗GPT가 과제를 대신 써 줬다”로 해석하면 실험의 핵심을 놓친다. 학생은 무엇을 물을지 결정하고, 나온 답을 평가하고, 최종 제출물에 무엇을 포함할지 선택해야 했다. AI가 초안을 풍부하게 만들고 표현을 다듬어도 사용자의 판단이 사라지는 것은 아니다. 다만 결과물만 보면 그 판단이 어느 정도였는지 구분하기 어려워진다.

일반적인 업무에서도 비슷한 일이 생긴다. 신입 직원이 AI를 이용해 보고서 목차와 문장을 다듬으면 처음부터 더 전문적으로 보이는 문서를 만들 수 있다. 그러나 문서가 매끄럽다는 사실이 시장 상황을 깊이 이해했다는 뜻은 아니다. 형식과 논리의 기본선을 높이는 효과와 주제에 대한 실제 이해를 같은 것으로 보면 안 된다.

학생에게는 이 ‘전문성 격차 축소’가 큰 장점이다. 경험이 부족해도 좋은 답안이 어떤 구조를 갖는지 빠르게 접할 수 있고, 생각을 표현하는 데 어려움이 있는 학생도 자신의 아이디어를 더 명확히 정리할 수 있다. 반대로 교사는 문장의 세련됨만으로 학생의 실력을 판단하기 어려워진다. 예전에는 표현력과 이해도가 어느 정도 함께 움직였지만 AI가 둘을 분리하기 때문이다.

비판적 사고 훈련은 다른 것을 바꿨다

원인과 결과를 따지는 훈련을 받은 학생은 아이디어가 왜 효과를 낼지, 어떤 상황에서 실패할 수 있을지 더 잘 설명했다. 또 전체 집단으로 봤을 때 또래의 답과 덜 겹치는 폭넓은 아이디어를 냈다. 익숙한 정답을 깔끔하게 반복하기보다 가정에 의문을 제기하고 다른 가능성을 탐색한 것이다.

흥미로운 점은 이 학생들이 기존 채점표에서는 더 높은 점수를 받지 못했다는 사실이다. 채점표는 기념품 매장의 인지도와 이용을 높이는 두 가지 표준 목표에 답을 얼마나 잘 맞췄는지를 봤다. 새로운 관점을 냈는지, 다른 학생과 다른 아이디어를 제시했는지는 충분히 반영하지 않았다.

이 차이는 학교 평가의 맹점을 보여준다. 채점 기준이 구조, 명료성, 과제 요구 충족에 집중하면 AI가 잘하는 부분에 높은 점수가 몰릴 수 있다. 반면 독창적인 질문을 만들거나, 보이지 않는 전제를 찾아내거나, 여러 해결책의 실패 조건을 비교하는 능력은 점수에 잘 잡히지 않는다. 학생이 실제로 더 깊이 생각했는데도 성적에는 드러나지 않을 수 있다.

기업의 채용 과제나 사내 평가도 마찬가지다. AI로 작성한 보고서가 모두 비슷한 문체와 구조를 갖게 되면 ‘보기 좋은 결과물’의 구별 능력은 낮아진다. 누가 중요한 질문을 발견했는지, 제한된 정보 속에서 어떤 가정을 세웠는지, 틀렸을 때 어떻게 수정했는지를 평가해야 사람의 판단력을 볼 수 있다.

AI와 사고 훈련은 경쟁 관계가 아니었다

이번 실험에서 가장 실용적인 결과는 챗GPT와 비판적 사고 훈련을 함께 받은 집단에서 나왔다. 이들의 아이디어 다양성은 사고 훈련만 받은 집단과 비슷했고, 채점 점수와 아이디어 개수는 챗GPT만 쓴 집단과 비슷했다. 논리적 일관성과 설명을 찾고 가정을 의심한 흔적도 더 강했다. 한쪽의 장점을 얻기 위해 다른 쪽을 포기할 필요가 없었다.

이는 “AI를 쓰면 생각하지 않게 된다”거나 “AI를 막으면 사고력이 보존된다”는 단순한 주장과 다르다. 생각을 덜 하게 만드는 사용법도 있고, 생각을 확장하는 사용법도 있다. 차이는 도구의 존재 자체보다 과제 설계와 수업 방식에 있다.

예를 들어 학생에게 “마케팅 계획을 작성하라”고만 한 뒤 최종 문서를 제출하게 하면 AI는 정돈된 표준 답을 빠르게 만들 수 있다. 반면 처음 가정, 선택하지 않은 대안, AI의 제안 중 버린 내용, 실패 가능성, 최종 판단의 근거를 함께 제출하게 하면 학생이 AI를 어떻게 검토했는지 볼 수 있다. AI가 답을 생산하는 기계에서 사고를 비교하는 재료로 바뀐다.

직장에서도 바로 적용할 수 있다. 회의 자료를 AI로 만든 사람에게 결과물만 요구하지 않고 “가장 불확실한 가정은 무엇인가”, “AI 제안 중 현실과 맞지 않아 제외한 것은 무엇인가”, “반대 입장에서 보면 어떤 위험이 있는가”를 묻는 식이다. AI의 속도를 활용하면서 판단 책임은 사람에게 남길 수 있다.

학교의 채점 방식은 어떻게 달라져야 하나

첫째, 최종 답안만으로 이해도를 추정하는 방식의 신뢰도가 낮아진다. AI가 초안을 만들고 표현을 다듬을 수 있다면 문장 수준은 학생의 지식 수준과 일치하지 않을 수 있다. 교사는 결과뿐 아니라 질문을 만든 과정, 자료를 고른 이유, 수정 기록, 구두 설명을 함께 봐야 한다.

둘째, 독창성을 채점 기준에 명시해야 한다. “남들과 다르게 써라”는 막연한 주문이 아니라, 서로 다른 해결책을 몇 개 비교했는지, 반례를 찾았는지, 처음 가정을 수정했는지처럼 관찰 가능한 기준으로 바꿀 필요가 있다. 이번 실험에서 사고 훈련의 효과가 전통적 채점표에 잡히지 않았다는 사실은 무엇을 측정하느냐가 수업의 방향을 바꾼다는 점을 보여준다.

셋째, AI 사용 공개 규칙이 필요하다. 사용을 무조건 금지하거나 아무 제한 없이 허용하는 것보다, 어느 단계에서 어떤 도움을 받았는지 기록하게 하는 편이 학습을 평가하기 쉽다. 예를 들어 아이디어 발산, 자료 요약, 문장 교정, 반론 생성 중 어디에 AI를 썼는지 표시하고, 중요한 사실은 어떤 원문으로 확인했는지 적게 할 수 있다.

넷째, 교실에서 직접 수행하는 짧은 평가와 장기 프로젝트를 섞을 필요가 있다. 모든 과제를 감시 환경으로 돌리는 것은 현실적이지도 교육적이지도 않다. 대신 기본 개념은 교실에서 설명하게 하고, 긴 과제에서는 AI를 활용해 더 복잡한 문제를 다루게 한 뒤 결과를 구두로 방어하게 할 수 있다. 학생의 기본 이해와 도구 활용 능력을 따로 측정하는 방식이다.

다섯째, 교사에게도 평가 도구와 시간이 필요하다. 과정 기록을 더 많이 받는다고 자동으로 좋은 평가가 되는 것은 아니다. 수백 명의 대화 기록을 모두 읽으라는 요구는 실현하기 어렵다. 핵심 의사결정 몇 개, 대표 프롬프트, 주요 수정 이유만 남기는 표준 형식이 있어야 한다.

이번 연구를 과장해서는 안 되는 이유

이번 결과는 무작위 실험이라는 장점이 있지만 모든 학교와 과목에 그대로 적용할 수는 없다. 참여자는 한 대학의 1학년 학생들이었고, 과제는 마케팅 추천안이었다. 수학 증명, 외국어 학습, 역사 사료 분석, 실험실 실습, 초등교육에서는 AI와 사고 훈련의 효과가 다를 수 있다.

사용 모델도 GPT-4o였으며 실험 당시 제공된 환경과 과제 조건에 대한 결과다. 더 강한 모델이나 다른 인터페이스, 장기간 반복 사용에서는 학생의 행동이 달라질 수 있다. 한 번의 과제에서 높은 점수를 받은 것이 장기 기억이나 독립적인 문제 해결력 향상을 뜻하지도 않는다.

평가에 자동 텍스트 분석이 사용됐다는 점도 살펴야 한다. 아이디어의 다양성과 유사성을 수치로 비교하는 데 유용하지만 사람의 창의성을 완전히 측정하지는 못한다. 독특하지만 실행 불가능한 아이디어와 새롭고 유용한 아이디어를 구분하려면 맥락과 전문가 판단이 필요하다.

또한 이 발표는 오픈AI가 협력한 연구를 오픈AI가 소개한 자료다. 연구 설계와 세부 통계는 연결된 논문에서 확인해야 하며, 다른 연구진이 다양한 학교와 과목에서 재현하는 과정이 필요하다. “챗GPT가 교육에 좋다는 사실이 입증됐다”는 포괄적 결론으로 확대하면 안 된다.

반대 방향의 위험도 남아 있다. 학생이 AI의 제안을 비판 없이 받아들이면 표준화된 아이디어가 늘고, 잘못된 사실을 자신 있게 제출할 수 있다. 이번 연구는 적절한 과제와 비교 조건에서 나타난 평균 효과를 보여줄 뿐, 모든 학생이 AI를 잘 검증했다는 보장은 아니다. 접근성 격차, 유료 기능 차이, 개인정보, 부정행위 기준도 별도의 문제다.

학생과 직장인에게 실제로 의미하는 것

학생에게 가장 중요한 교훈은 AI 사용 여부보다 역할 분담이다. AI에는 아이디어 후보, 반론, 문장 구조를 요청할 수 있다. 그러나 과제의 목표를 해석하고, 어떤 답이 타당한지 고르고, 사실을 원문으로 확인하고, 자신의 말로 이유를 설명하는 일은 넘겨주면 안 된다. 제출 전에 “AI 없이도 이 결론을 설명할 수 있는가”를 확인하는 것이 현실적인 기준이다.

교사와 학부모는 매끄러운 결과물을 곧바로 학습 성과로 보지 않아야 한다. 아이가 왜 그 아이디어를 골랐는지, 다른 선택지는 무엇이었는지, 어떤 조건에서 결론이 틀릴 수 있는지 물으면 이해의 깊이를 더 잘 볼 수 있다. AI 사용을 숨기게 만드는 분위기보다 사용 과정을 설명하게 하는 규칙이 교육적으로 낫다.

직장인에게도 같은 원리가 적용된다. AI가 보고서의 기본 품질을 높이면 조직 전체의 산출물이 전문적으로 보일 수 있다. 이때 경쟁력은 문장을 잘 만드는 능력에서 좋은 문제를 고르고, 불확실성을 드러내고, 여러 선택지 중 책임 있게 결정하는 능력으로 이동한다. 신입 직원에게 AI를 주는 것만으로 교육이 끝나는 것이 아니라 업무 맥락과 인과관계를 따지는 훈련을 함께 제공해야 한다.

핵심 정리

이번 실험이 남긴 답은 단순하다. 챗GPT는 학생이 더 완성도 높고 전문가와 비슷한 답을 만드는 데 도움을 줬다. 비판적 사고 훈련은 더 다양한 아이디어와 원인·결과에 대한 설명을 끌어냈다. 두 가지를 함께 제공했을 때 장점도 함께 나타났다.

따라서 학교가 확인해야 할 다음 변화는 AI 금지율이 아니라 평가 기준이다. 최종 문장의 완성도 외에 독창성, 가정, 반례, 수정 과정, 구두 설명을 실제 점수에 반영하는지 봐야 한다. 학생이 AI를 썼다는 사실보다 AI의 답을 어떻게 의심하고 선택했는지를 가르치는 것이 이번 연구의 가장 현실적인 결론이다.

핵심 출처: 오픈AI 공식 연구 소개, 연구 논문 PDF