LFM2.5-24B-A2B 공개: 2B 활성 파라미터로 온디바이스 에이전트를 노리는 오픈 모델

Liquid AI가 Hugging Face를 통해 LFM2.5-24B-A2B를 공개했다. 이 모델은 총 24B 파라미터를 갖지만 토큰당 활성화되는 파라미터는 2B인 Mixture-of-Experts 구조다. 회사는 이를 “빠르고 사적인 온디바이스 에이전트”를 위한 reasoning 모델로 소개한다. 도구 호출, 다단계 작업, 에이전트 하네스 사용을 전제로 훈련됐고, OpenClaw, Hermes Agent, Pi, OpenCode 같은 에이전트 환경에서의 학습 과정도 언급됐다.

이 발표가 흥미로운 이유는 오픈 모델 경쟁의 초점이 단순 챗봇 품질에서 에이전트 실행 비용과 배포 위치로 이동하고 있기 때문이다. 클라우드 대형 모델은 여전히 지식, 코딩, 복잡 추론에서 강하지만, 모든 내부 자동화와 장시간 에이전트 루프를 외부 API로만 돌리면 비용, 지연시간, 데이터 반출 문제가 생긴다. LFM2.5-24B-A2B는 이 지점에 꽂힌 모델이다. 작은 활성 파라미터 수로 reasoning token을 많이 쓰더라도 비용을 낮추고, 로컬 하드웨어에서 계속 실행되는 에이전트를 만들겠다는 방향이다.

모델 구조에서 봐야 할 부분

LFM2.5-24B-A2B는 LFM2-24B-A2B의 구조를 이어받는다. 40개 레이어, MoE 블록당 64개 expert, top-4 routing, gated short convolution과 GQA를 조합한 구조다. 컨텍스트 윈도우는 32K에서 131K 토큰으로 커졌고, tokenizer vocabulary는 65K에서 128K로 늘었다. Liquid AI는 이 확장이 비라틴 문자 토큰화에도 도움이 된다고 설명한다.

실무자가 봐야 할 핵심은 “총 24B”가 아니라 “활성 2B”다. MoE 모델은 전체 파라미터를 모두 쓰지 않고 일부 expert만 활성화한다. 따라서 메모리와 처리량 관점에서 밀집형 24B 모델과 다르게 봐야 한다. 모델 카드의 실제 추론 속도, 사용하는 런타임, 양자화 방식, 배치 크기, 컨텍스트 길이를 함께 확인해야 한다.

또 하나 중요한 점은 reasoning-only 성격이다. 모델은 답하기 전에 명시적인 추론 과정을 생성하는 방향으로 설계됐다. 이 방식은 다단계 도구 사용에는 도움이 될 수 있지만, 짧은 응답이 필요한 제품에서는 출력 길이와 지연시간을 늘릴 수 있다. 따라서 모든 요청에 동일하게 쓰기보다 에이전트 루프, 도구 호출, 내부 계획 작업에 우선 적용하는 편이 맞다.

공개된 성능 수치의 해석

Liquid AI는 LFM2.5-24B-A2B가 여러 도구 사용 및 에이전트 벤치마크에서 더 큰 MoE 모델과 경쟁한다고 밝혔다. AutomationBench, BFCLv4, ToolSandbox, LiveClaw, τ³-Bench Banking 등에서 강점을 보였고, 특히 LiveClaw에서는 48.09점을 기록해 비교 대상인 Qwen3.6-35B-A3B의 38.19보다 높다고 제시했다. AutomationBench에서는 다음 모델보다 3배 이상 높은 점수도 제시됐다.

반대로 지식 중심 벤치마크와 일부 코딩 벤치마크에서는 더 큰 모델이 우세하다. GPQA Diamond, HLE, SWE-Bench Verified, SciCode 같은 항목에서는 Qwen 계열이나 다른 모델이 더 좋은 숫자를 보인다. 이 차이는 실제 제품 선택에 중요하다. LFM2.5-24B-A2B를 “모든 것을 대체하는 로컬 GPT”로 보면 실망할 수 있다. 강점은 도구 호출, instruction following, 에이전트 하네스 안에서의 반복 실행이다.

즉 추천 사용처는 명확하다. 로컬 파일 검색, 내부 도구 호출, 개인 워크스테이션 자동화, 사내 문서 기반 업무 보조, 민감 데이터가 포함된 에이전트 루프다. 반대로 최신 지식이 필요한 리서치, 매우 어려운 코딩 수정, 장문 전문 판단은 검색·RAG·상위 모델 fallback을 함께 둬야 한다.

온디바이스 에이전트가 필요한 이유

온디바이스 모델의 장점은 단순히 API 비용 절감이 아니다. 첫째, 민감 데이터가 외부로 나가지 않는다. 고객 로그, 내부 코드, 개인 파일, 로컬 브라우저 상태를 다루는 에이전트라면 이 차이가 크다. 둘째, 짧은 반복 작업에서 네트워크 왕복 지연시간이 줄어든다. 셋째, 실험과 디버깅을 더 많이 할 수 있다. 에이전트는 한 번의 프롬프트보다 수십 번의 관찰과 도구 호출을 반복하기 때문에, 로컬 실행 비용이 낮을수록 설계 실험이 쉬워진다.

그러나 로컬 모델은 운영 부담도 함께 온다. 모델 파일 다운로드, GPU/메모리 요구사항, 런타임 설정, 컨텍스트 길이, tool calling 포맷, 로그 저장, 업데이트 관리가 필요하다. API 모델은 장애와 최적화의 상당 부분을 공급자가 감당하지만, 로컬 모델은 팀이 직접 봐야 한다. 따라서 “무료로 돌린다”가 아니라 “비용을 인프라와 운영 복잡도로 바꾼다”고 보는 편이 정확하다.

개발자가 바로 확인할 실행 조건

LFM2.5-24B-A2B는 transformers, llama.cpp, MLX, vLLM, SGLang, ONNX 등 주요 추론 생태계를 지원한다고 소개됐다. Hugging Face 글은 transformers 예제와 OpenAI 호환 백엔드 뒤에 모델을 올린 뒤 Hermes Agent 같은 하네스에서 base_url을 로컬 서버로 지정하는 구성을 보여준다. 포트는 백엔드마다 다르다. llama.cpp와 MLX는 8080, vLLM은 8000, SGLang은 30000, LM Studio는 1234를 예시로 제시했다.

실제 도입 전에는 다음을 먼저 측정해야 한다. 첫 토큰 지연시간, 평균 출력 토큰 속도, 긴 컨텍스트에서의 메모리 사용량, 도구 호출 JSON 안정성, 한국어 토큰 효율, 동일 작업 20회 반복 시 성공률이다. 특히 에이전트 제품에서는 pass@1보다 반복 안정성이 중요하다. 한 번 성공한 데모보다 같은 작업을 여러 번 실행했을 때 상태를 망가뜨리지 않는지가 더 중요하다.

또한 모델이 생각을 길게 출력하는 구조라면 최종 사용자에게 reasoning 전체를 노출하지 않는 UI가 필요하다. 내부 로그에는 남기되, 사용자가 보는 화면에는 결론과 근거만 정리한다. 민감한 로컬 파일 경로, 토큰, 개인 정보가 reasoning에 섞일 수 있기 때문이다.

어디에 먼저 붙여볼까

가장 좋은 첫 실험은 권한이 낮고 반복이 많은 개인 자동화다. 예를 들어 로컬 노트 정리, 코드베이스 검색, 테스트 로그 요약, PR 변경 파일 분류, 브라우저 탭 정리 같은 작업이다. 이 단계에서는 모델이 틀려도 되돌리기 쉽고, 도구 호출 패턴을 관찰하기 좋다.

두 번째 단계는 사내 문서 기반 에이전트다. 외부 API로 보내기 애매한 문서를 로컬 또는 내부 서버에서 처리한다. 이때는 RAG를 함께 붙이고, 모델이 근거 문서를 남기게 해야 한다. 모델이 지식 벤치마크에서 최상위가 아니므로 검색 없이 기억에 의존하게 만들면 정확도가 떨어질 수 있다.

세 번째 단계는 반자동 업무 실행이다. 파일 생성, 티켓 업데이트, 내부 시스템 조회까지는 허용하되 삭제, 결제, 외부 발송, 권한 변경은 사람 승인을 거친다. 로컬 모델이라고 해서 안전 문제가 사라지는 것은 아니다. 오히려 장시간 로컬 권한을 가진 에이전트는 실수했을 때 피해가 빠르게 누적될 수 있다.

실행 체크리스트

• 로컬에서 처리할 가치가 있는 민감 데이터 업무를 먼저 고른다.
• 첫 실험은 읽기 전용 도구와 되돌리기 쉬운 파일 생성으로 제한한다.
• OpenAI 호환 서버 뒤에 모델을 올리고 기존 에이전트 하네스와 연결한다.
• 한국어 입력, 긴 컨텍스트, 도구 호출 JSON 안정성을 별도로 평가한다.
• 같은 작업을 20회 이상 반복해 성공률과 상태 오염 여부를 본다.
• 최신 지식이 필요한 작업에는 RAG 또는 웹 검색 fallback을 둔다.
• 삭제, 결제, 외부 발송, 권한 변경은 사람 승인 없이는 막는다.

LFM2.5-24B-A2B의 의미는 “오픈 모델이 또 하나 나왔다”가 아니다. 에이전트를 어디서 실행할 것인가에 대한 선택지가 늘었다는 점이다. 민감 데이터와 반복 도구 호출이 많은 팀이라면, 클라우드 API와 로컬 모델을 나눠 쓰는 구조를 지금부터 실험해볼 만하다.

출처

• Hugging Face, Run fast, private agents on-device with LFM2.5-24B-A2B: https://huggingface.co/blog/LiquidAI/lfm25-24b-a2b