AI 검색과 RAG는 한동안 개발자용 기능처럼 보였습니다. 문서를 임베딩합니다. 벡터 DB에 넣습니다. 질문하면 관련 문서를 찾아서 답합니다.
그런데 2025년 이후 흐름은 조금 다릅니다. 이제 핵심은 “문서를 찾아주는 챗봇”이 아닙니다. 핵심은 “조사하고, 비교하고, 근거를 남기고, 업무 결과물까지 만드는 기능”입니다.
OpenAI의 Deep Research는 여러 웹 문서를 직접 찾아 읽고 보고서 형태로 정리합니다. Google Gemini Deep Research도 먼저 조사 계획을 만들고, 사용자가 승인하면 여러 번 검색하며 보고서를 만듭니다. Anthropic은 Claude API에 웹 검색 도구를 붙여 최신 정보와 출처를 함께 다루게 했습니다. Google Cloud의 Vertex AI RAG Engine은 기업 데이터와 검색, 생성 모델을 연결하는 관리형 구조를 제공합니다.
방향은 분명합니다.
그래서 제품 기회가 생깁니다. 큰 모델 회사가 “범용 리서치 도구”를 만들수록, 작은 팀은 “특정 업무용 리서치 기능”을 만들 수 있습니다.
예를 들어 이런 차이입니다.
두 번째가 돈을 받기 쉽습니다. 사용자가 결과를 바로 업무에 쓰기 때문입니다.
AI 검색은 새 기술이 아닙니다. RAG도 오래된 패턴입니다. 하지만 지금 다시 중요해진 이유가 있습니다.
첫째, 사용자의 기대가 바뀌었습니다. 예전에는 검색 결과 링크 10개를 받는 것이 자연스러웠습니다. 지금은 요약, 비교, 추천, 실행 계획까지 기대합니다.
둘째, 모델이 길고 복잡한 작업을 버티기 시작했습니다. OpenAI Deep Research는 수십 분 동안 여러 출처를 찾아 읽고 종합합니다. Google Deep Research는 먼저 계획을 세운 뒤 사용자가 수정하거나 승인할 수 있게 합니다. 이 방식은 그냥 “한 번 답하기”가 아닙니다. 작은 조사 프로젝트에 가깝습니다.
셋째, 기업 데이터가 너무 많아졌습니다. Slack, Notion, Google Drive, Jira, GitHub, PDF, 고객상담 로그, 회의록이 흩어져 있습니다. 사람은 이미 다 못 봅니다. 검색만으로도 부족합니다. 필요한 것은 “업무 질문에 맞는 근거 묶음”입니다.
넷째, 멀티모달 데이터가 기본이 되었습니다. 제품 스크린샷, 영수증, 차트, 계약서 PDF, 영상 캡처, 디자인 파일이 모두 지식입니다. 텍스트만 검색하는 RAG는 많은 업무에서 반쪽짜리입니다.
다섯째, 출처와 품질이 제품 차별점이 되었습니다. AI가 그럴듯하게 틀리면 업무에서는 바로 문제가 됩니다. 그래서 이제는 답변보다 “근거를 어떻게 가져왔는가”가 중요합니다.
Deep Research를 단순히 “검색 잘하는 ChatGPT”로 보면 놓치는 것이 많습니다. 제품 관점에서는 5단계 워크플로우입니다.
이 구조가 중요합니다. 왜냐하면 대부분의 업무는 질문 하나로 끝나지 않기 때문입니다.
예를 들어 “요즘 AI 검색 트렌드 알려줘”라는 질문은 너무 넓습니다. 실제 업무에서는 이렇게 바뀌어야 합니다.
좋은 AI 검색 제품은 바로 이 질문들을 내부에서 처리합니다. 사용자에게 모든 것을 묻지 않아도 됩니다. 하지만 중요한 선택지는 보여줘야 합니다.
여기서 제품 기회가 생깁니다. Deep Research를 그대로 따라 만들 필요는 없습니다. 오히려 더 좁게 만들어야 합니다.
이런 식으로 좁힐수록 더 강해집니다. 범용 AI는 넓게 잘합니다. 작은 제품은 좁게 정확해야 합니다.
많은 팀이 RAG를 이렇게 생각합니다.
이것은 시작점입니다. 제품으로는 부족합니다.
실제 사용자는 이렇게 묻습니다.
이 질문들은 단순 검색이 아닙니다. 문서 권한, 시간, 작성자, 버전, 표, 이미지, 누락된 맥락까지 봐야 합니다.
그래서 RAG 제품은 4개 레이어로 봐야 합니다.
수집 레이어
정리 레이어
검색 레이어
답변 레이어
RAG를 기술 스택으로만 보면 흔한 기능이 됩니다. RAG를 업무 운영 방식으로 보면 제품이 됩니다.
기존 지식베이스는 사람이 정리합니다. 문서를 쓰고, 폴더를 만들고, 태그를 붙입니다. 문제는 아무도 오래 관리하지 않는다는 것입니다.
새로운 지식베이스는 조금 달라야 합니다.
자동으로 들어와야 합니다.
자동으로 묶여야 합니다.
오래된 정보를 표시해야 합니다.
충돌을 보여줘야 합니다.
업무 결과물을 만들어야 합니다.
여기서 중요한 질문이 있습니다. “사용자가 지식베이스를 왜 열어보는가?”입니다.
대부분은 공부하려고 열지 않습니다. 일을 끝내려고 엽니다. 따라서 지식베이스 제품은 “찾기”보다 “끝내기”에 가까워져야 합니다.
멀티모달 검색은 거창하게 들립니다. 쉽게 말하면 텍스트 말고도 이미지, PDF, 표, 화면을 같이 찾는 것입니다.
돈이 되는 영역은 꽤 구체적입니다.
커머스
부동산/인테리어
금융/보험
개발/디자인
제조/현장 업무
멀티모달 검색은 “이미지도 됩니다”라고 팔면 약합니다. “사진 한 장으로 클레임 처리 시간을 줄입니다”라고 팔아야 합니다.
기술보다 업무 비용을 줄이는 메시지가 중요합니다.
아래 아이디어는 Aibase 독자가 바로 실험해볼 수 있는 크기로 잡았습니다. 공통 기준은 3가지입니다.
대상은 초기 스타트업 팀입니다.
하는 일은 단순합니다.
MVP는 이렇게 만들 수 있습니다.
돈을 받을 포인트는 “경쟁사 모니터링”이 아닙니다. “대표가 매주 2시간 쓰는 조사를 10분으로 줄임”입니다.
대상은 빠르게 커지는 팀입니다.
문제가 많습니다.
제품은 이렇게 동작합니다.
초기에는 전사 지식베이스를 노리지 않는 편이 좋습니다. 한 팀만 잡는 것이 낫습니다. 예를 들면 CS팀, 세일즈팀, 개발팀 중 하나입니다.
좁게 시작해야 품질을 관리할 수 있습니다.
대상은 SaaS, 커머스, 앱 운영팀입니다.
많은 팀이 고객 문의를 쌓아두기만 합니다. 실제로는 금광입니다.
제품 흐름은 이렇습니다.
이 제품은 “AI 요약”으로 팔면 약합니다. “CS 로그를 제품 로드맵으로 바꿔준다”로 팔아야 합니다.
좋은 MVP 지표는 답변 정확도가 아닙니다. “실제로 생성된 이슈 중 PM이 채택한 비율”입니다.
대상은 앱/웹을 자주 배포하는 팀입니다.
하는 일은 명확합니다.
여기서는 텍스트 RAG만으로 부족합니다. 이미지 비교, OCR, 디자인 토큰, 접근성 규칙이 같이 필요합니다.
작게 시작하려면 모든 화면을 하지 마세요. 결제 화면, 회원가입 화면, 온보딩 화면처럼 돈과 전환에 가까운 화면부터 하세요.
고객은 “디자인 QA”를 사는 것이 아닙니다. “전환율에 영향을 주는 화면 깨짐을 빨리 잡는 것”을 삽니다.
대상은 B2B 영업팀, 프리랜서, 작은 법무팀입니다.
제품 흐름은 이렇습니다.
이 영역은 정확도가 중요합니다. 그래서 처음부터 “법률 판단을 대신한다”고 말하면 위험합니다. 대신 “검토할 부분을 빠르게 표시한다”고 포지셔닝해야 합니다.
규제와 책임이 있는 영역에서는 AI가 최종 판단자가 되면 안 됩니다. AI는 초안 작성자와 체크리스트 생성자에 가까워야 합니다.
AI 검색/RAG 제품을 처음 만들 때는 거창하게 시작하지 않는 편이 좋습니다. 아래 구조면 충분합니다.
처음부터 모든 데이터를 연결하지 마세요. 하나만 고릅니다.
범위가 좁아야 실패 원인을 알 수 있습니다. 검색이 문제인지, 문서 정리가 문제인지, 프롬프트가 문제인지 구분할 수 있습니다.
기본 구조는 이렇습니다.
여기서 metadata가 정말 중요합니다. RAG 품질은 모델보다 메타데이터에서 갈리는 경우가 많습니다.
예를 들어 “최신 가격 정책 알려줘”라는 질문에는 의미 검색만으로 부족합니다. 날짜 필터가 필요합니다. 문서 타입 필터도 필요합니다. 권한 체크도 필요합니다.
벡터 검색만 믿지 마세요. 키워드 검색도 같이 써야 합니다.
추천 구조는 이렇습니다.
특히 제품명, 고객사명, 에러 코드, 계약 조항 번호는 키워드 검색이 강합니다. 의도, 유사 표현, 문맥은 벡터 검색이 강합니다. 둘을 같이 써야 합니다.
많은 팀이 챗 UI부터 만듭니다. 저라면 근거 UI부터 만듭니다.
사용자에게 필요한 것은 이 5가지입니다.
답변만 있으면 사용자는 믿을 수 없습니다. 근거가 있으면 검토할 수 있습니다. 한계가 있으면 오히려 신뢰가 생깁니다.
처음부터 자동 평가를 크게 만들 필요는 없습니다. 질문 30개면 시작할 수 있습니다.
구성은 이렇게 합니다.
각 질문마다 기대 답변, 근거 문서, 금지 답변을 적습니다. 이 작은 평가셋이 없으면 개선이 불가능합니다. 느낌으로 품질을 판단하게 됩니다.
AI 검색 제품은 데모가 쉽습니다. 운영이 어렵습니다. 아래 체크리스트를 초기에 넣어야 합니다.
AI 검색 제품은 “월 9,900원 챗봇”으로 가면 힘듭니다. 대체재가 너무 많습니다.
포지셔닝은 업무 비용으로 잡는 편이 낫습니다.
예를 들어 이렇게 말할 수 있습니다.
가격도 사용량보다 결과물 기준이 더 이해하기 쉽습니다.
처음 고객은 “AI 검색”을 사지 않습니다. 자기 업무의 병목 제거를 삽니다. 그래서 랜딩페이지 첫 문장은 기술 설명이면 안 됩니다. 고객의 반복 업무를 바로 말해야 합니다.
전사 지식베이스부터 만들기
챗봇 UI만 만들기
벡터 DB만 믿기
출처 없는 답변 만들기
평가셋 없이 개선하기
너무 넓은 고객을 잡기
이번 주에 작게 해볼 수 있는 실험은 이렇습니다.
한 업무를 고릅니다.
데이터 100개만 모읍니다.
질문 30개를 만듭니다.
정답과 근거를 사람이 적습니다.
하이브리드 검색을 붙입니다.
답변에 출처를 붙입니다.
실패 케이스를 모읍니다.
한 가지 지표를 정합니다.
이 정도면 거창한 플랫폼 없이도 제품 가능성을 볼 수 있습니다.
AI 검색의 다음 기회는 검색창이 아닙니다. 업무 안에 박힌 리서치 기능입니다.
Deep Research류 기능은 방향을 보여줍니다. 사용자는 링크 목록보다 조사 결과물을 원합니다. RAG는 답변 생성 기술이 아니라 업무 데이터를 운영하는 방식이 됩니다. 멀티모달 검색은 이미지와 PDF까지 업무 지식으로 바꿉니다.
작은 팀이 할 일은 명확합니다.
처음 만들 제품은 “우리 회사 전용 ChatGPT”가 아닙니다. 너무 넓습니다.
더 좋은 시작점은 이것입니다.
“매주 반복되는 조사 업무 하나를 자동화하는 작은 Deep Research.”
여기서부터 시작하면 됩니다.