Claude Haiku 5.5 출시: 고속·저비용 소형 모델이 에이전트 비용 구조를 바꾸는 지점

Anthropic이 10월 7일 Claude Haiku 5.5를 공개했다. 핵심은 “작은 모델도 꽤 똑똑해졌다”가 아니라, 대량 요청을 처리하는 제품에서 모델 라우팅 전략을 다시 짜야 할 정도로 가격과 속도 조건이 달라졌다는 점이다. Anthropic은 Haiku 5.5를 자사에서 가장 빠르고 가장 저렴한 Haiku급 모델이라고 설명한다. 이전 Haiku 4.5 대비 평균 실행 비용은 약 75% 낮아졌고, 짧거나 반복적인 작업, 요약, 컨텍스트 압축, 데이터베이스 질의 생성, 분류, 브라우저 사용, 고객지원 같은 지연시간 민감 업무를 주요 사용처로 제시했다.

개발자가 봐야 할 부분은 벤치마크 순위보다 역할 분리다. Sonnet 5.5나 Opus 5.5가 여전히 복잡한 장시간 코딩 작업에 적합하다면, Haiku 5.5는 그 앞뒤에서 반복되는 작은 결정을 처리하는 모델이다. 예를 들어 긴 에이전트 세션의 이전 대화를 압축하고, 수백 건의 티켓을 라벨링하고, 브라우저 자동화 중 짧은 관찰을 요약하고, 큰 모델이 처리할 가치가 있는 작업만 골라내는 식이다. 모델 하나로 모든 일을 처리하던 구조에서, 빠른 소형 모델과 강한 대형 모델을 함께 쓰는 구조로 이동하는 신호에 가깝다.

가격표에서 먼저 확인할 숫자

Anthropic이 공개한 가격은 운영 판단에 직접적이다. Haiku 5.5는 100,000토큰 이하 프롬프트 기준으로 입력 100만 토큰당 0.10달러, 출력 100만 토큰당 0.50달러다. 캐시 읽기는 100만 토큰당 0.01달러, 캐시 쓰기는 0.125달러다. 100,000토큰을 넘는 요청은 더 비싸지만, Anthropic은 이전 Haiku 모델 요청의 약 90%가 100,000토큰 이하였다고 설명한다.

이 숫자가 중요한 이유는 단순하다. 많은 AI 기능은 “한 번 비싼 답변”보다 “짧은 판단 수천 번”에서 비용이 커진다. 고객지원 분류, 문서 태깅, 검색 결과 재랭킹, 에이전트 중간 상태 요약은 출력보다 입력이 반복되는 경우가 많다. 이런 작업에서는 캐시 읽기 가격과 짧은 응답 지연시간이 총비용을 좌우한다.

같은 발표에서 Sonnet 5.5 캐시 읽기 가격도 50% 낮아졌다. Anthropic은 이 변화로 Sonnet 5.5의 대부분 에이전트 작업 비용이 약 20% 줄어든다고 설명한다. 즉 이번 발표는 Haiku 5.5만의 뉴스가 아니라 Claude 제품군 전체에서 캐시 기반 에이전트 운영 비용을 낮추는 조정이다.

Haiku 5.5가 적합한 작업과 아닌 작업

Haiku 5.5를 가장 먼저 넣어볼 작업은 실패 비용이 낮고 반복 횟수가 많은 구간이다. 예를 들어 다음과 같은 작업이다.

• 긴 대화나 로그를 다음 턴에 필요한 상태로 압축
• 고객 문의를 의도, 긴급도, 담당 팀으로 분류
• RAG 검색 결과 20개 중 실제로 읽을 후보 5개를 고르기
• 브라우저 자동화에서 화면 상태를 짧게 관찰하고 다음 액션 후보 만들기
• 큰 모델에게 넘기기 전 프롬프트의 누락 정보 검사
• 코드 리뷰 전 단순 스타일, 파일 경로, 테스트 누락 체크

반대로 복잡한 아키텍처 결정, 여러 저장소를 오가는 수정, 높은 정확도가 필요한 법률·의료·보안 판단, 장시간 도구 사용이 필요한 코딩 작업은 기본값으로 두기 어렵다. Anthropic도 Terminal-Bench 같은 복잡한 명령줄 작업에서는 Sonnet 5.5와 Opus 5.5가 더 적합하다고 구분한다. 작은 모델의 역할은 대형 모델을 대체하는 것이 아니라, 대형 모델이 불필요하게 호출되는 횟수를 줄이고 주변 반복 작업을 싸게 처리하는 데 있다.

조정 가능한 effort 설정의 의미

Haiku 5.5는 Haiku급 모델 중 처음으로 adjustable effort 설정을 제공한다. 사용자는 비용과 지능 사이에서 선택할 수 있다. 이 기능은 운영팀에게 유용하지만, 동시에 새 위험도 만든다. 같은 모델 이름을 쓰더라도 effort 설정에 따라 지연시간, 비용, 정확도가 달라지기 때문이다.

따라서 제품 코드에서는 “claude-haiku-5-5 사용”만 로그에 남기면 부족하다. 요청 유형, effort 설정, 입력 길이, 캐시 적중 여부, 실패 후 재시도 모델까지 함께 기록해야 한다. 장애가 났을 때 어떤 설정에서 문제가 생겼는지 모르면 모델을 바꿔야 하는지, 프롬프트를 줄여야 하는지, effort를 올려야 하는지 판단하기 어렵다.

추천 방식은 작업별 기본 effort를 정하고 예외만 올리는 것이다. 분류와 짧은 요약은 낮은 effort, 고객에게 직접 나가는 답변 초안은 중간 effort, 큰 모델 호출 여부를 결정하는 게이트는 샘플 평가 결과에 따라 조정한다. 처음부터 모든 요청을 높은 effort로 보내면 Haiku를 쓰는 비용 이점이 줄어든다.

에이전트 구조에서의 실제 배치

에이전트 제품에서는 Haiku 5.5를 서브에이전트로 두는 구조가 현실적이다. 메인 에이전트는 Sonnet이나 Opus가 맡고, Haiku는 주변 작업을 처리한다. 예를 들어 코드 에이전트라면 Haiku가 변경 파일 목록을 요약하고, 테스트 실패 로그에서 후보 원인을 추리고, 긴 대화를 압축한다. 메인 모델은 실제 수정 방향 결정과 위험한 변경 판단에 집중한다.

고객지원 에이전트라면 Haiku가 티켓 분류, 고객 등급 확인, 정책 문서 후보 검색, 답변 초안의 금지 문구 검사를 맡을 수 있다. 실제 환불, 계정 제한, 외부 발송처럼 되돌리기 어려운 행동은 큰 모델과 사람 승인 흐름을 유지한다. 작은 모델을 빠르게 붙였다고 해서 권한 경계를 낮추면 안 된다.

브라우저 사용에서도 비슷하다. Haiku 5.5는 빠른 화면 관찰과 단순 클릭 후보 생성에 적합하다. 그러나 결제, 삭제, 공개 게시, 권한 변경 전에는 반드시 별도 승인 단계가 필요하다. 빠른 모델일수록 실수를 빠르게 반복할 수 있기 때문이다.

도입 전 평가해야 할 지표

Haiku 5.5를 붙일 때는 벤치마크가 아니라 내부 작업 단위 지표로 봐야 한다. 최소한 다음 숫자를 수집한다.

• 작업 1건당 총 모델 비용
• 첫 응답까지 걸린 시간과 전체 완료 시간
• 재시도율
• 큰 모델로 에스컬레이션된 비율
• 사람이 수정한 비율
• 캐시 적중률
• effort 설정별 성공률
• 고객에게 노출된 오류율

특히 “싸졌는가”만 보면 안 된다. 작은 모델로 바꾼 뒤 재시도율이 올라가거나 사람이 고치는 시간이 늘면 총비용은 줄지 않는다. 반대로 출력 품질이 약간 낮아도 사람이 보지 않는 내부 분류 작업이라면 비용 절감 효과가 클 수 있다. 모델 평가는 사용 위치와 실패 비용을 같이 봐야 한다.

실행 체크리스트

• 반복·저위험·대량 작업부터 Haiku 5.5 후보로 분리한다.
• 기존 Sonnet/Opus 호출 중 요약, 분류, 압축, 라우팅 작업을 찾아낸다.
• 작업별 기본 effort 설정과 예외 조건을 정한다.
• 모델명, effort, 입력 길이, 캐시 적중, 재시도 모델을 로그에 남긴다.
• 고객에게 직접 영향이 있는 작업은 사람 승인 또는 큰 모델 검토를 유지한다.
• 1주일 단위로 비용 절감률이 아니라 성공 작업당 총비용을 비교한다.
• 작은 모델 전환 후 사람 수정 시간과 재시도율이 증가했는지 확인한다.

Claude Haiku 5.5는 “가성비 모델”로만 보면 아쉽다. 더 정확한 해석은 에이전트 제품을 여러 모델의 역할 분담 시스템으로 만들라는 신호다. 빠른 모델이 반복 판단을 싸게 처리하고, 강한 모델은 실패 비용이 큰 결정에 집중하게 만들 때 효과가 가장 크다.

출처

• Anthropic, Introducing Claude Haiku 5.5: https://www.anthropic.com/claude-haiku-5-5