AI가 실험실 데이터를 읽는 시험에서 66.7점…오픈AI가 보여준 가능성과 분명한 한계
오픈AI가 11월 6일(미국 현지시간) 생명과학 실험 데이터를 AI가 얼마나 제대로 해석하는지 평가하는 ‘BioBasicsBench(바이오베이직스벤치)’를 공개했다. 효소 설계 기업 리고(Ligo)와 함께 만든 이 평가는 논문에 정리된 깨끗한 표를 읽는 시험이 아니다. DNA 젤 사진, 현미경 영상, 실험 노트, 장비가 내보낸 파일처럼 실제 실험실에서 마주치는 거칠고 불완전한 자료를 AI에 주고, 무엇이 잘못됐는지 찾아내며 결론을 내려도 되는지 판단하게 한다.
가장 높은 점수를 받은 오픈AI의 GPT-6 Astra는 가장 많은 추론을 사용하는 설정에서 받을 수 있는 점수의 평균 66.7%를 얻었다. 이전 세대인 GPT-5.6 Sol의 43.8%보다 크게 올랐지만, 이 숫자를 “실험 100개 중 67개를 완벽하게 해결했다”는 뜻으로 받아들이면 안 된다. 문항마다 결론, 계산, 근거를 나눠 부분 점수를 주기 때문이다. 무엇보다 오픈AI도 높은 점수가 곧 AI가 실험실에서 믿을 만한 독립 판단을 내릴 수 있다는 뜻은 아니라고 선을 그었다.
이 발표가 일반 독자에게 중요한 이유는 AI가 과학자의 일을 대신하느냐는 막연한 질문을 더 구체적으로 바꾸기 때문이다. 이제 확인해야 할 것은 AI가 생물학 지식을 얼마나 많이 외웠는지가 아니라, 지저분한 현실 자료를 보고 “이 실험은 결론을 낼 수 없다”고 말할 수 있는지다. 신약 개발과 진단 연구, 식품과 환경 연구처럼 작은 해석 오류가 시간과 비용을 크게 늘리는 분야에서는 유창한 설명보다 이런 판단 능력이 훨씬 중요하다.
논문 문제풀이가 아니라 ‘실험실의 현실’을 시험했다
기존 과학 AI 평가는 교과서 질문, 논문 초록, 잘 정리된 도표를 중심으로 하는 경우가 많았다. 이런 자료는 이미 연구자가 무엇을 보여줄지 골라 놓은 결과다. 반면 실제 실험 과정은 훨씬 어수선하다. 사진이 흐리거나, 대조군이 빠지거나, 서로 다른 측정이 충돌할 수 있다. 장비가 정상 작동했는지도 살펴야 하고, 예상과 다른 결과가 실수인지 새로운 현상인지 구분해야 한다.
BioBasicsBench의 100개 과제는 단백질 실험, 영상과 세포 분석, 정량 측정, 핵산 실험, 분자 복제 등 다섯 영역을 다룬다. 자료에는 DNA와 단백질을 분리해 띠 모양으로 보여주는 젤·블롯 이미지, 현미경 사진과 시간에 따른 영상, 실험 절차서와 손으로 쓴 기록, 표와 장비 출력 파일, 시약과 실험대 사진 등이 포함됐다. 어떤 과제는 젤 사진에서 DNA 크기를 읽는 비교적 단순한 작업이고, 어떤 과제는 여러 자료를 종합해 실험이 실패한 이유를 찾고 다음 조치를 제안해야 한다.
중요한 평가 항목 가운데 하나는 ‘결론을 내릴 근거가 부족하다’고 알아차리는 능력이다. 사람도 보고 싶은 결과가 있으면 불완전한 자료에서 성급한 결론을 내릴 수 있다. AI는 질문에 무언가 답해야 한다는 압박 때문에 이 문제가 더 심해질 수 있다. 모르는 상황에서도 그럴듯한 설명을 만들어내는 이른바 환각이 과학에서는 특히 위험하다. 틀린 추천을 따라 추가 실험을 하면 시약과 장비 시간, 연구자의 노동이 모두 낭비된다.
오픈AI와 리고는 과제마다 전문가가 만든 채점 기준을 붙였고, 과제를 작성하지 않은 리고 연구자와 외부의 현역 박사급 실험 과학자가 검토했다고 설명했다. 답변은 최종 결론만 보는 것이 아니라 측정값, 추천, 근거를 항목별로 평가했다. 모델 일곱 개를 37가지 모델·추론 설정으로 시험했고, 각 과제는 설정마다 다섯 번 반복했다. 전체 결과 수는 1만8,500개다. 같은 질문에 여러 번 답하게 한 것은 AI 응답의 들쭉날쭉함을 보기 위한 것이지, 서로 다른 1만8,500개 실험을 했다는 의미는 아니다.
66.7점은 무엇을 말하고 무엇을 말하지 않는가
GPT-6 Astra의 66.7%는 이전 모델보다 발전했다는 증거다. 오픈AI는 최신 모델이 여러 이미지와 기록 사이의 맥락을 오래 유지하고, 모순되는 자료를 확인하며, 근거가 부족할 때 결론을 유보하는 능력이 나아졌다고 설명한다. 같은 과제를 풀 때 출력한 텍스트 양도 이전 세대보다 줄었다. 장황하게 생각을 늘어놓는 대신 필요한 판단에 집중했다는 해석이 가능하다.
그러나 평균 점수 하나는 실패의 성격을 감춘다. AI가 쉬운 측정은 잘하면서 결정적인 대조군을 거꾸로 읽을 수도 있고, 최종 결론은 맞지만 계산 과정에서 오류를 낼 수도 있다. 오픈AI가 공개한 사례에서도 Astra는 대조군의 의미를 반대로 해석하거나, 자신의 가설과 맞지 않는 증거를 가볍게 보거나, 이미지 속 대상을 세는 기본 작업에서 실수했다. 이런 오류는 문장 표현을 조금 다듬으면 해결되는 문제가 아니다. 실험의 결론 자체를 바꿀 수 있다.
또한 66.7%는 정답률이 아니라 부분 점수의 평균이다. 한 과제에서 결론을 틀렸어도 일부 계산과 설명이 맞으면 점수를 받을 수 있다. 따라서 이 수치만 보고 “AI가 실험실 업무의 3분의 2를 자동화할 수 있다”고 말할 근거는 없다. 실제 업무에는 샘플을 안전하게 다루고, 예상치 못한 장비 문제를 해결하고, 연구 윤리와 생물 안전 규정을 지키는 일이 함께 들어간다. 이번 평가는 자료 해석의 일부를 측정했을 뿐이다.
비교 범위도 제한적이다. 공개 발표에 따르면 평가된 일곱 모델은 모두 오픈AI 계열이다. 구글 제미나이, 앤트로픽 클로드, 공개형 모델을 같은 조건에서 비교한 결과는 없다. 과제와 원자료, 채점 도구가 외부 연구자가 재현할 수 있을 정도로 공개됐는지도 중요한 확인 항목이다. 독립 기관이 같은 자료로 다시 시험하지 않았다면, 지금 숫자는 기업과 협력사가 보고한 결과라는 점을 기억해야 한다.
과학자에게 가장 먼저 달라질 일은 ‘대체’보다 검토 보조다
현재 점수와 오류 유형을 보면 가까운 활용처는 AI가 혼자 실험 결정을 내리는 자동 과학자가 아니라, 사람이 놓친 부분을 한 번 더 확인하는 보조자다. 연구자가 젤 사진과 장비 파일을 올리면 AI가 이상한 값, 빠진 대조군, 계산이 필요한 부분을 표시하고, 사람은 그 경고를 원자료와 대조하는 방식이다. 항공기 조종석의 경고 장치가 조종사를 없애지 않으면서 실수를 줄이는 것과 비슷하다.
실험 기록 정리도 현실적인 사례다. 여러 사람이 며칠 동안 수행한 실험은 사진과 표, 메모가 흩어지기 쉽다. AI가 자료를 묶어 “이 결론은 어떤 파일에 근거했는가”, “반복 실험끼리 결과가 일치하는가”, “추가 확인이 필요한 부분은 무엇인가”를 정리하면 연구자는 반복적인 검토 시간을 줄일 수 있다. 다만 AI가 만든 요약이 원자료를 대체해서는 안 된다. 원본 파일과 수정 이력, 사람이 승인한 결론을 함께 남겨야 한다.
작은 연구팀과 교육 현장에도 기회가 있다. 숙련된 연구자는 젤의 모양이나 장비 출력에서 이상 징후를 빠르게 알아보지만, 초보자는 무엇을 봐야 하는지 모를 수 있다. AI가 “이 대조군이 왜 필요한가”, “이 사진만으로 결론을 내리기 어려운 이유는 무엇인가”를 설명하면 훈련 도구가 될 수 있다. 그러나 정답을 바로 알려주는 방식으로만 사용하면 학생이 데이터 해석 능력을 기르지 못할 수 있다. 먼저 사람이 판단하고 AI의 설명과 비교하는 방식이 더 안전하다.
기업에서는 비용 절감보다 실패를 일찍 발견하는 가치가 클 수 있다. 신약 후보를 좁히는 과정에서 잘못된 데이터 해석이 다음 단계로 넘어가면 비용이 빠르게 커진다. AI가 초기 단계에서 모순을 표시한다면 재실험 여부를 빨리 결정할 수 있다. 반대로 AI의 잘못된 확신이 잘못된 후보를 밀어주면 피해도 커진다. 그래서 도입 효과는 모델 점수만이 아니라, 사람이 검토한 뒤 실제 오류가 얼마나 줄었는지로 측정해야 한다.
의료 진단과 같은 것으로 오해하면 안 된다
이번 평가는 연구실의 일상적인 생명과학 실험 자료를 다룬다. 환자의 검사 결과를 보고 질병을 진단하거나 치료 방법을 정하는 의료 평가가 아니다. 실험실 데이터 해석 능력이 높아졌다고 해서 의료 상담과 임상 판단이 자동으로 안전해지는 것은 아니다. 임상에는 환자 상태, 병력, 검사 오차, 치료 위험, 규제와 책임 문제가 추가된다.
또한 벤치마크에서 잘한 모델도 새로운 장비나 낯선 실험 조건에서는 성능이 달라질 수 있다. 특정 연구실의 조명, 카메라, 파일 형식, 기록 습관만 바뀌어도 오류가 늘 수 있다. 기업이나 대학이 실제 도입을 검토한다면 공개 점수를 그대로 적용하지 말고, 자기 조직의 과거 데이터로 별도 시험해야 한다. AI가 틀렸을 때 누가 발견하고 누가 승인하는지도 먼저 정해야 한다.
보안과 기밀도 무시할 수 없다. 신약 후보와 실험 조건은 기업의 핵심 지식재산일 수 있다. 외부 AI 서비스에 원자료를 올릴 때 저장 여부, 학습 사용 여부, 접근 권한, 삭제 정책을 확인해야 한다. 환자 유래 샘플이 포함된 연구라면 개인정보와 연구 참여자 동의 조건도 따른다. 성능이 좋아졌다는 이유로 민감한 자료를 무심코 업로드해서는 안 된다.
기업 발표를 넘어 확인해야 할 것
첫째는 독립 재현이다. 다른 대학과 연구소가 같은 과제를 실행해 비슷한 점수를 얻는지, 채점 기준에 편향은 없는지 확인해야 한다. 과제와 평가 코드가 충분히 공개되지 않으면 모델 기업의 자체 성적표에 머물 수 있다.
둘째는 모델 간 비교다. 오픈AI 계열뿐 아니라 다른 회사와 공개형 모델을 같은 조건에서 평가해야 비용과 정확도, 데이터 통제 사이의 선택이 가능해진다. 실험실은 긴 설명을 잘 쓰는 모델보다 특정 이미지와 장비 파일을 안정적으로 읽는 모델이 더 유용할 수 있다.
셋째는 실제 성과다. 벤치마크 점수가 오른 뒤 재실험 횟수, 분석 시간, 잘못된 결론이 얼마나 줄었는지 추적해야 한다. 점수가 높아도 사람이 검토하는 시간이 더 늘거나 중요한 오류를 놓친다면 현장 가치는 낮다.
넷째는 실패를 드러내는 방식이다. 과학 AI는 자신 없는 답을 자연스럽게 꾸미기보다 불확실성을 표시해야 한다. “결론을 낼 수 없음”을 정확히 말하는 능력은 정답을 맞히는 능력만큼 중요하다. 사용자 화면에서도 근거 파일, 대조군, 계산 과정을 쉽게 확인할 수 있어야 한다.
앞으로 볼 변화
BioBasicsBench가 보여준 핵심은 AI가 과학자의 언어를 흉내 내는 단계를 넘어 실험의 원자료를 읽는 쪽으로 이동하고 있다는 사실이다. 동시에 최고 모델도 받을 수 있는 점수의 약 3분의 1을 놓쳤고, 대조군 해석과 이미지 개수 세기 같은 기본 작업에서도 실수했다. 가능성과 위험이 같은 표 안에 함께 나온 셈이다.
앞으로 확인할 지점은 분명하다. 과제가 외부에 얼마나 공개되는지, 다른 연구기관이 결과를 재현하는지, 경쟁 모델을 같은 기준으로 비교할 수 있는지, 그리고 실제 연구실에서 사람의 오류를 줄이는지다. 그 전까지 가장 합리적인 위치는 ‘판단을 대신하는 AI’가 아니라 ‘판단을 검토하게 돕는 AI’다.