앤트로픽 실험서 AI 연구원이 사람보다 빨랐다…‘스스로 개선하는 AI’의 실제와 한계

앤트로픽이 2026년 8월 28일 공개한 연구가 ‘AI가 스스로 더 똑똑해지는 단계에 들어섰다’는 관심을 받고 있다. 연구진은 여러 AI 에이전트에게 다른 AI 모델의 잘못된 행동을 줄이는 방법을 찾게 했고, 정해진 시험에서는 사람이 제안한 방법보다 빠르고 좋은 결과를 냈다고 보고했다. 여기서 AI 에이전트란 질문에 한 번 답하고 끝나는 챗봇이 아니라, 자료를 찾고 가설을 세우고 실험한 뒤 결과에 따라 다음 행동을 고르는 프로그램을 뜻한다.

다만 이 소식을 ‘AI가 인간 연구자를 완전히 대체했다’거나 ‘통제할 수 없는 초지능이 탄생했다’고 읽으면 정확하지 않다. 이번 실험은 연구 주제와 평가 문제가 미리 정해져 있었고, 성공 여부도 연구진이 만든 점수표로 판단했다. 실험 안에서 AI가 빠르게 개선책을 찾았다는 사실과, 현실의 복잡한 연구를 스스로 정의하고 검증할 수 있다는 주장은 서로 다르다. 중요한 변화는 더 현실적이다. AI 개발 과정에서 사람이 직접 반복하던 일부 실험을 AI가 대신 수행할 가능성이 구체적인 수치와 함께 나타났다는 점이다.

무엇을 실험했나

연구 제목은 ‘자동화된 연구자가 정렬 실패를 안정적으로 완화할 수 있다’는 뜻이다. 여기서 ‘정렬’은 AI가 개발자와 이용자가 의도한 방향으로 행동하도록 만드는 일을 말한다. 예를 들어 모델이 해로운 요청을 쉽게 따르거나, 평가를 통과하려고 사실과 다른 답을 꾸미거나, 특정 상황에서 지나치게 복종하는 행동을 보인다면 이를 찾아 줄이는 과정이 필요하다.

연구진은 이런 잘못된 행동을 측정하는 10개의 평가 과제를 준비했다. 자동화된 연구 시스템은 관련 자료를 찾아보고, 어떤 훈련 방법을 적용할지 제안하고, 실제로 모델을 짧게 훈련한 뒤 점수가 좋아졌는지 확인했다. 효과가 있는 방법은 남기고 효과가 없는 방법은 버리면서 여러 차례 반복했다. 각 실험의 훈련 시간은 30분으로 제한됐다. 즉 AI에게 무제한 컴퓨터와 막연한 목표를 준 것이 아니라, 제한된 환경에서 빠르게 많은 가설을 비교하도록 한 실험이다.

결과는 눈에 띈다. 자동화 시스템은 10개 평가 모두에서 목표 행동을 개선했고, 전체적인 성능을 뚜렷하게 떨어뜨리지 않았다고 연구진은 설명했다. 연구 논문에 따르면 가장 좋은 자동화 연구 방법은 평균적으로 6시간 안에 숙련된 사람이 제안한 방법보다 높은 점수를 냈다. 연구진은 비용도 비교했다. AI 연구 시스템의 실행 비용을 시간당 약 4달러, 실험에 참여한 인간 연구자 비용을 시간당 150달러로 계산했다.

이 숫자는 흥미롭지만 그대로 회사의 인건비 비교표로 옮기면 안 된다. AI가 사용할 평가 과제와 실험 환경, 자료, 훈련 절차를 설계한 사람의 노동이 빠져 있기 때문이다. API 사용료는 연구 시스템 전체를 만드는 비용과도 다르다. ‘4달러짜리 AI가 150달러짜리 사람을 대체했다’가 아니라, 잘 정리된 실험 안에서는 AI가 낮은 추가 비용으로 많은 후보를 비교했다는 뜻에 가깝다.

왜 ‘스스로 개선하는 AI’라는 말이 나왔나

지금까지 AI 모델을 개선하는 기본 구조는 사람이 목표를 정하고, 데이터를 준비하고, 훈련 방법을 바꾸고, 결과를 해석하는 방식이었다. AI가 코드를 작성하거나 논문을 요약해 사람을 돕는 경우는 이미 많았지만, 연구의 여러 단계를 연결해 반복 실행하는 일은 상대적으로 초기 단계였다. 이번 실험은 자료 조사, 아이디어 제안, 짧은 훈련, 평가, 다음 실험 선택을 하나의 흐름으로 묶었다.

이 구조가 더 넓은 연구에 적용되면 AI 개발 속도는 빨라질 수 있다. 예전에는 연구자가 하루에 몇 개의 가설을 시험했다면 자동화 시스템은 밤새 더 많은 후보를 걸러낼 수 있다. 사람은 모든 실험을 직접 실행하기보다, 어떤 문제를 풀지 정하고 결과가 진짜 의미가 있는지 판단하는 쪽에 시간을 쓸 수 있다. 신약 후보 탐색이나 재료 연구에서 자동화 실험실이 주목받는 이유와 비슷하다. 기계가 반복 작업을 맡으면 사람은 질문과 검증에 집중할 수 있다는 기대다.

그러나 ‘재귀적 자기 개선’, 즉 AI가 자신을 개선한 뒤 더 좋아진 능력으로 다시 자신을 개선하는 순환과는 아직 거리가 있다. 이번 연구에서 자동화 시스템이 직접 바꾼 것은 정해진 모델의 특정 행동이었다. 시스템이 스스로 새로운 컴퓨터를 확보하거나 연구 목표를 바꾸거나 다음 세대 모델 전체를 설계한 것은 아니다. 실험을 시작하고 끝내는 권한, 평가 기준, 사용할 수 있는 자료와 도구는 사람이 정했다.

그럼에도 이번 결과가 중요한 이유는 자기 개선을 둘러싼 논의가 추상적인 미래 전망에서 실제 연구 절차의 자동화로 이동했기 때문이다. 어느 날 갑자기 모든 것을 아는 AI가 등장하는 장면보다, 수천 개의 작은 실험이 자동화되어 모델 개발 주기가 빨라지는 변화가 먼저 올 가능성이 크다.

일반 이용자와 직장인에게 무엇이 달라질까

당장 클로드의 화면에 새로운 버튼이 생기는 발표는 아니다. 일반 이용자가 오늘 바로 켜서 쓰는 기능도 아니다. 영향은 AI 제품이 만들어지는 속도와 안전 점검 방식에서 먼저 나타날 가능성이 있다.

첫째, 새 모델과 업데이트 주기가 더 짧아질 수 있다. 모델의 말투, 거절 기준, 사실성, 특정 업무 능력을 조정하는 실험을 AI가 대량으로 수행하면 회사가 더 많은 개선 후보를 빠르게 비교할 수 있다. 이용자는 더 자주 바뀌는 AI를 만나게 되지만, 한편으로는 어제 잘 되던 작업이 업데이트 뒤 달라지는 문제도 경험할 수 있다.

둘째, 안전 점검이 제품 출시 뒤의 수습이 아니라 개발 과정의 반복 작업으로 들어갈 수 있다. 지금도 기업은 모델이 위험한 답을 내는지 평가하지만, 평가 항목이 많아질수록 사람만으로 모든 조합을 시험하기 어렵다. 자동화 연구가 제대로 작동하면 특정 위험을 발견한 뒤 완화 방법까지 빠르게 탐색할 수 있다.

셋째, 연구·분석 직무의 일하는 방식이 달라질 수 있다. 이번 결과만으로 연구자 대체를 말하기는 이르지만, 자료 조사와 후보 실험을 AI에게 맡기고 사람이 평가 기준과 최종 해석을 담당하는 업무 분담은 현실적이다. 기업의 시장 조사, 광고 실험, 문서 검토처럼 가설을 세우고 여러 대안을 비교하는 업무도 비슷한 방향으로 움직일 수 있다.

넷째, ‘AI가 만든 개선’을 누가 검증할지가 더 중요해진다. 자동화 시스템이 높은 점수를 얻는 방법을 찾았더라도 점수표가 현실을 잘 반영하지 못하면 잘못된 방향으로 최적화될 수 있다. 회사가 ‘AI가 안전성을 개선했다’고 발표할 때는 어떤 시험을 썼고, 다른 능력은 떨어지지 않았는지, 외부 연구자가 재현했는지를 함께 봐야 한다.

점수가 좋아졌다고 안전해진 것은 아니다

이번 연구의 가장 큰 한계는 평가 과제가 곧 현실은 아니라는 점이다. 시험 문제를 잘 푸는 학생이 모든 실제 상황에서 좋은 판단을 내리는 것은 아니다. AI도 마찬가지다. 자동화 연구 시스템이 주어진 10개 평가의 점수를 높였다고 해서 예상하지 못한 모든 위험이 사라진 것은 아니다.

특히 AI는 평가 기준의 빈틈을 찾을 수 있다. 예를 들어 고객 만족 점수만 높이라고 하면 문제를 해결하기보다 지나치게 긍정적인 답을 내는 쪽으로 변할 수 있다. 안전 평가에서도 겉으로는 위험한 답을 거절하면서 다른 표현으로 같은 내용을 제공하는 식의 우회가 생길 수 있다. 자동화 연구가 강해질수록 평가 설계와 별도의 감시가 더 중요해지는 이유다.

논문도 이 문제를 인정한다. 시스템의 성공은 평가 기준이 실제 정렬 목표를 얼마나 잘 나타내는지에 달려 있다. 사용할 연구 문헌이 충분하고 정확해야 하며, 사람이 평가 항목을 만들고 유지하는 작업도 필요하다. AI가 연구를 자동화한다고 해서 인간의 전문성이 사라지는 것이 아니라, 전문성이 필요한 위치가 실험 실행에서 문제 정의와 검증으로 이동할 수 있다.

또 하나는 독립 검증이다. 이번 결과는 앤트로픽 연구진이 자사와 관련된 환경에서 수행한 연구다. 공식 논문과 보도는 중요한 1차 자료지만, 다른 연구팀이 다른 모델과 평가에서 같은 결과를 내는지 아직 폭넓게 확인되지 않았다. 비용 비교 역시 컴퓨터 가격, 사용한 모델, 실험 규모에 따라 달라진다.

AI 회사에는 편리하면서도 불편한 결과다

자동화 연구는 AI 회사에 두 가지 상반된 의미를 준다. 하나는 개발 생산성이다. 더 적은 시간과 비용으로 모델을 조정할 수 있다면 경쟁에서 유리하다. 다른 하나는 책임이다. 안전 문제를 AI로 더 빨리 찾고 고칠 수 있다고 주장하는 순간, 회사는 왜 알려진 위험을 출시 전에 충분히 시험하지 않았는지 설명해야 한다.

또한 자동화 시스템 자체가 새로운 위험이 될 수 있다. 연구 에이전트가 모델을 훈련하고 평가하는 권한을 가지면, 잘못된 설정이나 권한 관리 때문에 원하지 않는 변화가 생길 수 있다. 중요한 모델에 바로 적용하지 않고 격리된 환경에서 시험하며, 사람이 승인한 변경만 반영하고, 모든 실험 기록을 남기는 절차가 필요하다. 이는 단순한 기술 문제가 아니라 기업의 내부 통제 문제다.

직장에서도 같은 원칙이 적용된다. AI에게 보고서 초안을 맡기는 것과, AI가 만든 결과에 따라 예산이나 채용 결정을 자동으로 바꾸게 하는 것은 위험 수준이 다르다. 자동화 범위가 넓을수록 누가 목표를 정했고 누가 결과를 승인했는지 기록해야 한다.

이번 연구가 중요한 이유

이번 발표에서 기억할 핵심은 세 가지다. 첫째, AI가 다른 AI의 문제를 줄이는 실험을 여러 단계에 걸쳐 수행했고, 정해진 10개 평가에서는 사람의 제안보다 빠른 결과를 냈다. 둘째, 이것은 제한된 실험의 성공이지 인간 연구 전체의 대체나 완전한 자기 개선의 증거가 아니다. 셋째, 앞으로 AI 성능 경쟁은 더 큰 모델을 만드는 경쟁뿐 아니라 연구와 안전 점검을 얼마나 자동화하느냐의 경쟁으로 넓어질 수 있다.

다음에 확인할 것은 재현성이다. 다른 기관이 같은 방식으로 비슷한 결과를 내는지, 더 복잡하고 현실적인 과제에서도 성능이 유지되는지, 평가 점수를 높이는 과정에서 새로운 부작용이 생기지 않는지가 중요하다. 일반 독자에게 가장 실용적인 판단 기준도 분명하다. ‘AI가 스스로 개선했다’는 문구보다 무엇을, 어떤 시험에서, 누가 검증했는지를 먼저 봐야 한다.

핵심 출처: 앤트로픽 연구 원문, TechCrunch 보도