오픈AI 차세대 모델, 미해결 수학 문제 10개 풀었다…검증은 어디까지 됐나
오픈AI가 2026년 8월 1일, 아직 공개하지 않은 차세대 모델 ‘아스트라(Astra)’의 내부 버전이 수학과 이론 컴퓨터과학의 장기 미해결 문제 10건에서 새로운 결과를 만들었다고 발표했다. 회사 설명대로라면 각 문제는 핵심 결과에서 적어도 10년간 진전이 없었고, 일부는 수학계에서 훨씬 오래 논의돼 왔다. 오픈AI는 논문 원고만 내놓은 것이 아니라 컴퓨터가 확인할 수 있는 형식의 증명 파일과 모델의 추론 설명도 함께 공개했다.
이 소식의 핵심은 “AI가 수학 시험을 잘 봤다”가 아니다. 이미 답을 아는 문제를 푸는 벤치마크와 달리, 이번 발표는 답이 알려지지 않았던 연구 문제에서 새 주장을 내놓았다는 데 의미가 있다. 다만 발표 주체가 모델을 만든 오픈AI이고, 독립적인 수학자들의 검토가 이제 본격적으로 시작된 단계라는 점도 동시에 기억해야 한다. 컴퓨터 검증 파일이 있다는 사실은 강한 근거지만, 그것만으로 모든 수학적 의미와 선행 연구 검토까지 자동으로 끝났다는 뜻은 아니다.
무엇이 발표됐나
오픈AI의 공식 발표에 따르면 결과는 고차원 기하학, 부호 이론, 군론, 연산자 대수, 계산복잡도, 양자정보, 격자 암호, 조합론 등 여러 분야에 걸쳐 있다. 일반 독자에게는 분야 이름부터 낯설 수 있지만, 공통점은 “가능한 것과 불가능한 것의 정확한 경계”를 찾는 문제라는 점이다.
예를 들어 구를 가장 빽빽하게 쌓는 문제는 탁구공을 상자에 넣는 생활 속 그림에서 출발하지만, 차원이 높아지면 통신과 데이터 표현 문제로 이어진다. 부호 이론은 잡음이 있는 통신에서 정보를 얼마나 안전하게 전달할 수 있는지와 관련된다. ‘가장 가까운 벡터 문제’는 양자컴퓨터 시대를 대비한 암호 기술의 난이도와 연결된다. 램지 이론은 아무리 무질서해 보이는 큰 구조에도 일정한 규칙이 반드시 나타나는 조건을 다룬다.
오픈AI가 열거한 10개 결과 가운데 특히 눈에 띄는 주장은 다음과 같다.
- 오랫동안 열린 질문이었던 ‘비소픽 군(non-sofic group)’의 존재를 보이는 구성을 제시했다.
- 특정 군이 그에 대응하는 대수 구조로 유일하게 결정된다는 ‘콘느 강성 추측’의 반례를 제시했다고 밝혔다.
- 양자 게임에서 반복할수록 성공 확률이 얼마나 빠르게 낮아지는지 설명하는 지수적 반복 정리를 얻었다고 주장했다.
- 양자컴퓨터에도 버틸 수 있는 암호 연구에서 자주 등장하는 가장 가까운 벡터 문제에 대해 새로운 근사 난이도 하한을 제시했다.
- 여러 색으로 연결된 큰 그래프 안에서 같은 색 삼각형이 나타나는 규모를 다루는 램지 수에 새로운 하한을 제시했다.
이 목록을 보고 당장 새 앱이나 서비스가 나올 것으로 생각할 필요는 없다. 순수수학의 결과는 생활 제품으로 이어지기까지 오랜 시간이 걸리는 경우가 많다. 중요한 변화는 연구 과정 자체다. 연구자가 문헌을 읽고, 가능한 보조정리를 세우고, 반례를 찾고, 긴 증명을 다듬는 과정에 AI가 실제 협력자로 들어올 수 있다는 증거가 늘었다.
기존의 ‘수학 잘하는 AI’와 무엇이 다른가
지금까지 AI 수학 성능을 알리는 발표는 대개 정답이 이미 존재하는 경시대회 문제나 평가 세트를 중심으로 했다. 이런 시험도 어렵지만, 채점 기준이 분명하다. 답이 맞는지 확인할 수 있고, 모델 개발자는 여러 모델의 점수를 비교할 수 있다.
미해결 문제는 다르다. 정답지가 없고, 문제 자체의 표현이 모호할 수 있으며, 기존 논문에 숨어 있는 조건 하나가 전체 주장을 무너뜨릴 수도 있다. 새로운 증명이 나와도 해당 분야 전문가들이 정의, 전제, 기존 결과와의 충돌 여부를 오랜 시간 검토해야 한다. 단순히 긴 문장을 그럴듯하게 만드는 능력으로는 통과하기 어렵다.
이번에 오픈AI가 강조한 장치가 ‘린(Lean) 증명서’다. 린은 수학 증명을 컴퓨터가 엄밀한 규칙에 따라 검사하게 만드는 소프트웨어다. 사람이 종이에 쓴 증명은 “나머지는 자명하다”는 식으로 중간 단계를 건너뛰기도 하지만, 린은 정의와 논리 규칙을 하나씩 확인한다. 따라서 공개된 파일이 정상적으로 검사된다면 논리적 비약이나 계산 실수를 상당 부분 걸러낼 수 있다.
그렇다고 린이 논문의 모든 가치를 판정하는 심사위원은 아니다. 어떤 정리를 형식화했는지, 그 형식화가 원래 연구 질문을 정확히 담았는지, 이미 알려진 결과를 새것으로 오인하지 않았는지는 사람이 확인해야 한다. 프로그램이 “입력된 명제에서 결론이 논리적으로 나온다”고 확인하는 것과, 수학 공동체가 “이 명제가 우리가 관심을 가져온 문제를 정확히 해결한다”고 인정하는 것은 서로 다른 단계다.
약 2,000달러라는 비용 주장은 어떻게 봐야 하나
오픈AI는 10개 해법을 발견하는 데 필요한 모델 추론 비용을 자사 솔(Sol) 모델의 공개 요금으로 환산하면 약 2,000달러라고 밝혔다. 이 숫자가 화제가 되는 이유는 분명하다. 세계적인 전문가가 오랫동안 고민한 문제의 진전을 비교적 적은 실행 비용으로 얻을 수 있다면 과학 연구의 경제성이 크게 달라질 수 있기 때문이다.
하지만 이 숫자를 “새 수학 정리 10개를 총 2,000달러에 완성했다”로 읽으면 과장이다. 공식 설명은 모델의 추론 실행 비용을 환산한 수치다. 차세대 모델을 훈련하는 데 든 막대한 비용, 문제를 선정하고 결과를 검토한 연구자의 노동, 실패한 개발 실험 전체, 논문 작성과 형식화에 든 시간까지 포함한 완전한 회계가 아니다. 더구나 아스트라는 아직 외부 연구자가 같은 조건으로 반복 시험할 수 없는 내부 모델이다.
따라서 현재 확인된 표현은 “선정된 10개 결과를 찾아낸 추론 사용량을 공개 요금 기준으로 환산하면 약 2,000달러라고 오픈AI가 추정했다” 정도다. 값이 작다는 사실은 흥미롭지만, 재현 가능한 연구 비용으로 확정됐다고 말하기에는 이르다.
연구자와 대학에는 무엇이 달라질까
가장 먼저 달라질 수 있는 일은 연구 아이디어의 탐색 범위다. 한 연구자가 한 달 동안 검토할 수 있는 접근법이 수십 개라면, AI는 더 많은 후보를 빠르게 만들고 모순을 찾아내는 데 도움을 줄 수 있다. 연구자는 반복적인 전개보다 문제 선택, 가정의 타당성, 결과의 의미 해석에 시간을 더 쓸 수 있다.
두 번째는 형식 검증의 대중화다. 지금까지 수학 논문을 린 같은 도구로 옮기는 작업은 전문성이 많이 필요한 별도 프로젝트였다. 모델이 초안을 만들고 오류를 고치는 능력을 갖추면, 중요한 정리에 컴퓨터 검증 파일을 함께 붙이는 관행이 늘어날 수 있다. 논문의 신뢰성을 높일 수 있지만, 형식화 도구를 다루는 집단과 그렇지 못한 집단 사이의 격차가 생길 가능성도 있다.
세 번째는 연구 평가 방식의 변화다. AI가 제안한 증명에서 사람의 기여를 어떻게 표시할지, 모델을 저자로 볼 수 있는지, 어떤 실행 기록을 공개해야 하는지 합의가 필요하다. 오픈AI는 자신들이 원고 준비와 형식화를 도왔고 정확성에 책임을 지지만, 수학적 논증 자체는 시스템이 생성했다고 설명했다. 이처럼 역할을 분리해 적는 방식이 향후 연구 윤리의 중요한 사례가 될 수 있다.
학생 교육도 바뀔 수 있다. 계산기 때문에 산수 교육이 사라지지 않았듯, 증명 생성 AI가 등장했다고 수학적 사고 교육이 불필요해지는 것은 아니다. 오히려 모델의 제안을 검토하고 잘못된 가정을 찾는 능력이 더 중요해진다. 답을 생성하는 도구가 강해질수록 “왜 이 문제가 중요한가”, “어떤 전제가 숨어 있는가”, “다른 분야와 어떻게 연결되는가”를 설명하는 인간의 역할이 커진다.
일반 독자에게 왜 중요한가
순수수학 뉴스는 스마트폰 기능 출시보다 멀게 느껴진다. 그러나 이번 발표가 사실로 굳어진다면 AI의 역할이 ‘이미 알려진 지식의 빠른 요약’에서 ‘새 지식을 만드는 연구 도구’로 이동하고 있음을 보여준다. 이는 의약품 후보 탐색, 소재 설계, 물리학 이론 검토처럼 답이 정해져 있지 않은 분야에도 영향을 줄 수 있다.
다만 수학은 다른 과학 분야보다 AI의 답을 검증하기 좋은 편이다. 명제가 명확하고 형식 논리로 옮길 수 있기 때문이다. 약물이 실제 환자에게 안전한지, 경제 정책이 사회에 어떤 영향을 미치는지처럼 현실 자료와 윤리 판단이 필요한 문제는 린 파일 하나로 확인할 수 없다. “수학에서 성공했으니 모든 과학 연구를 곧 자동화한다”는 결론은 건너뛴 단계가 너무 많다.
기업이나 기관이 이번 소식에서 얻을 교훈도 모델 이름 자체가 아니다. AI가 만든 중요한 결과일수록 검증 경로를 함께 설계해야 한다는 점이다. 답만 보여주는 챗봇보다 출처, 중간 과정, 기계 검증 자료, 사람의 책임 범위를 함께 제시하는 시스템이 더 신뢰받을 가능성이 높다.
과장과 아직 확인되지 않은 점
첫째, 10개 결과가 모두 수학계의 독립 검토를 끝냈다고 볼 수 없다. 오픈AI는 논문과 형식 증명을 공개했지만, 분야별 전문가가 새로움과 중요성, 기존 문헌과의 관계를 평가하는 데는 시간이 필요하다.
둘째, 아스트라의 일반 공개 시점과 이용 조건은 발표에서 확인되지 않았다. 이번 결과가 곧 모든 ChatGPT 이용자에게 제공된다는 뜻이 아니다. 내부 연구용 설정, 긴 실행 시간, 사람의 후처리가 필요했을 가능성도 공개 자료를 통해 더 살펴봐야 한다.
셋째, 2,000달러 수치는 전체 프로젝트 비용이 아니다. 모델 학습과 연구 인력, 실패한 개발 과정까지 포함한 비용으로 오해하면 안 된다.
넷째, 형식 검증은 매우 중요하지만 독립 동료평가를 대체하지 않는다. 형식화한 명제가 원래 문제와 정확히 일치하는지, 결과가 실제로 새로운지, 다른 가정에서 어떤 한계가 있는지는 전문가 공동체의 판단이 필요하다.
오픈AI 자신도 과거 ‘퍼스트 프루프’ 실험에서 처음에는 맞을 가능성이 높다고 본 한 풀이를 외부 피드백 뒤 잘못됐다고 수정한 바 있다. 이 전례는 실패가 아니라 공개 검토가 왜 필요한지를 보여준다. 강한 모델과 형식 도구가 있어도 비판적 검증은 남는다.
앞으로 볼 변화
가장 가까운 관전 지점은 모델 출시 행사가 아니라 수학계의 반응이다. 공개된 논문과 추론 설명, 린 형식화 자료를 각 분야 연구자가 검토하면서 오류 수정, 더 짧은 증명, 후속 정리가 나오는지 확인해야 한다. 여러 결과 중 일부만 강하게 인정받더라도 연구용 AI의 수준을 보여주는 중요한 사건이 될 수 있다.
두 번째는 재현성이다. 외부 연구자가 공개 모델이나 향후 출시될 아스트라로 비슷한 난도의 열린 문제를 풀 수 있는지, 성공뿐 아니라 실패 횟수와 사람의 개입 정도까지 공개되는지가 중요하다. 그래야 약 2,000달러라는 숫자의 실제 의미도 평가할 수 있다.
독자가 기억할 핵심은 두 문장이다. 오픈AI는 8월 1일 차세대 내부 모델이 장기 미해결 수학 문제 10건에서 새 결과를 만들었고, 컴퓨터 검증용 자료까지 공개했다고 밝혔다. 그러나 지금은 역사적 성과가 완전히 확정된 날이 아니라, 공개된 주장을 세계 수학계가 검증하기 시작한 날에 가깝다.