모델 회사가 내세우는 점수
- 코딩 점수92점
- 수학 점수88점
- 퀴즈 정답률95%
모든 회사가 같은 문제로 잰 점수입니다.우리 유저와 우리 기능은 들어 있지 않습니다.
앱토(ABTO) AI 모델 A/B 테스트. 다들 쓰길래 고른
GPT-6.1 Sol
우리 서비스에서도 최선일까요?
앱토(ABTO)에서 우리 유저 반응으로 직접 확인하세요
AI 추천비교
옵션 A
기존 모델현재
gpt-6.1-sol
옵션 B
Sonnet 5.5
claude-sonnet-5-5
옵션 C
Gemini 3.8
gemini-3.8-flash
기존 모델
Sonnet 5.5
Gemini 3.8
OpenAI, Anthropic, Gemini, DeepSeek, Kimi 모델 가운데 우리 서비스에 맞는 모델을 고릅니다
고객 인터뷰에서 반복해서 들은 고민
AI 모델을 자주 바꾸며 시험해보긴 하는데,점점 너무 많은 모델들이 나오고 있어요.
매주 새 AI 모델이 쏟아지는데,그만한 값어치를 하는지는 잘 모르겠어요.
저렴한 AI도 서비스에 사용해보고 싶은데,고객 경험이 나빠질까 봐 쉽게 못 바꿔요.
점수표와 우리 서비스의 성과는서로 다릅니다
우리 서비스에서 나온 성과
- 결제 전환율3.4%
- 체류 시간4분 12초
- 고객 응답률62%
우리 유저가 결제하고 머문 기록입니다.앱토는 이 숫자로 모델을 비교합니다.
세 단계로 우리 서비스에 맞는 모델을 고릅니다
1. 유저 행동 수집
결제나 재방문처럼 성과로 볼 행동을 기록합니다.
2. 유저 나눠 보내기
유저를 나눠 그룹마다 다른 모델이나 프롬프트를 씁니다.
3. 모델별 성과 비교
모델마다 전환율과 AI 비용을 대시보드에서 비교합니다.
Sonnet 5.51. 유저 행동 수집
무엇을 성과로 볼지
먼저 정합니다
결제나 가입이 일어나는 곳에 SDK 코드 한 줄을 넣습니다.여기 쌓인 기록으로 모델을 비교합니다.
2. 유저 나눠 보내기
유저를 나눠
그룹마다 다른 모델을 붙입니다
모델 호출 주소만 앱토 게이트웨이로 바꾸면 됩니다.시험할 모델에 유저 일부를 보냅니다.
3. 모델별 성과 비교
어느 모델이 나은지
실제 성과로 확인합니다
모델마다 성과와 비용을 한눈에 확인합니다.성과가 비슷하면 더 싼 모델로 옮길 근거가 생깁니다.
코드 한 줄 추가
결제할 때마다 이벤트 기록
1. 유저 행동 수집
무엇을 성과로 볼지
먼저 정합니다
결제나 가입이 일어나는 곳에 SDK 코드 한 줄을 넣습니다.여기 쌓인 기록으로 모델을 비교합니다.
모델별 유저 비율 설정
정한 비율대로 유저 배정
2. 유저 나눠 보내기
유저를 나눠
그룹마다 다른 모델을 붙입니다
모델 호출 주소만 앱토 게이트웨이로 바꾸면 됩니다.시험할 모델에 유저 일부를 보냅니다.
결제마다 답한 모델 표시
모델별 전환율과 비용 비교
3. 모델별 성과 비교
어느 모델이 나은지
실제 성과로 확인합니다
모델마다 성과와 비용을 한눈에 확인합니다.성과가 비슷하면 더 싼 모델로 옮길 근거가 생깁니다.
연동은 5분이면 충분합니다코딩 에이전트에 한 줄만 입력하세요
Claude Code와 Codex에서 쓸 수 있습니다.코드 수정부터 첫 요청 확인까지 에이전트가 알아서 합니다.
저희 서비스에 먼저 붙여 봤습니다
앱토 팀이 직접 운영하는 논수리와 Career SSOT에서 확인한 변화입니다
- 논수리
대입 인문논술 답안 첨삭과 문제 추천
문제 해설 기능답안 평가 기능추론을 가볍게, 해설을 간결하게 바꿨습니다.
모델 비용은 41% 줄었고 결제율은 18% 올랐습니다.기록 읽기모델 비용
41%절감
결제율
18%증가
- Career SSOT
경험 기반 자기소개서 초안과 이력서 피드백
자기소개서 초안 기능이력서 첨삭 기능초안과 첨삭에 서로 다른 모델 세팅을 적용했습니다.
모델 비용은 28% 줄었고 재방문율은 12% 올랐습니다.기록 읽기모델 비용
28%절감
재방문율
12%증가
우리 서비스에서도 확인해 보세요
결제수단 등록 없이 5분 안에 도입할 수 있습니다.
무료로 시작하기
언론 보도
기사를 누르면 각 매체 사이트에서 원문이 열립니다
뉴스탭
앱토는 이 같은 간극을 실제 서비스 이용자의 반응을 측정하는 방식으로 보완한다.
기사 보기IT타임스
추가 비용을 투입한 만큼 매출이나 이용자 반응이 개선됐는지 확인하고, 저비용 모델로도 비슷한 결과가 나오면 모델 교체를 검토할 수 있다.
기사 보기머니투데이
같은 비용으로 어느 모델이 더 많은 매출을 냈는지 기능별로 보여줄 수 있다는 설명이다.
기사 보기플래텀
성과에 차이가 없으면 저렴한 모델 비중을 단계적으로 늘리고, 기존 모델이 낫다면 그 차이가 현재 비용을 유지할 근거가 된다.
기사 보기데이터넷
근거 없이 불어난 AI 비용은 결국 서비스 가격을 거쳐 이용자의 부담으로 돌아온다.
기사 보기스타트업엔
앱토가 주목한 것은 AI 모델의 ‘절대적인 성능’보다 실제 서비스에서 만들어내는 경제적 가치다.
기사 보기beSUCCESS
신규 모델의 경우 이용자의 10%에게 우선 적용하는 기능을 제공한다.
기사 보기
자주 묻는 질문
앱토(ABTO)는 어떤 서비스인가요?
앱토(ABTO)는 AI 모델이나 프롬프트를 바꿨을 때 결제와 재방문 같은 실제 행동이 어떻게 달라지는지 AI 호출 비용과 함께 보여 주는 AI 성과 분석 도구입니다. 같은 AI 기능을 쓰는 유저 일부에게 새 모델을 먼저 붙여 보고 지금 모델과 비교합니다.성과가 같다면 더 저렴한 모델에 배정할 유저 비율을 대시보드에서 직접 늘려 LLM 비용을 줄일 수 있습니다.
어떤 AI 모델을 비교할 수 있나요?
OpenAI, Anthropic, Gemini, DeepSeek, Kimi의 모델을 같은 방식으로 호출하고 비교할 수 있습니다.옵션은 최대 다섯 개까지 두고, 각 옵션에 보낼 유저 비율을 나눕니다.
지금 쓰는 코드를 많이 바꿔야 하나요?
아닙니다. 쓰던 OpenAI SDK의 base URL을 앱토 게이트웨이로 바꾸고, 호출에 헤더 몇 개를 싣는 것이 전부입니다.Node.js, Python, Java/Kotlin 서버 SDK와 브라우저 JavaScript, Android, iOS, Flutter SDK도 제공합니다.
쓰던 API 키와 모델 계약은 어떻게 되나요?
모델 제공사와의 계약과 API 키는 그대로 유지합니다.키는 호출할 때마다 요청에 실려 전달될 뿐, 게이트웨이가 남기는 호출 기록에는 들어가지 않습니다.
새 모델을 모든 유저에게 바로 적용해야 하나요?
아닙니다. 새 옵션은 비율 0으로 저장되고, 처음에는 10%만 주고 성과를 확인한 뒤 비율을 늘리기를 권합니다.기기 ID를 함께 보내면 같은 유저는 비율을 바꾸기 전까지 같은 옵션을 받고, 문제가 생기면 몇 초 만에 되돌릴 수 있습니다.
무료로 써 볼 수 있나요?
네. Free 요금제는 결제 수단 등록 없이 30일간 AI 호출 최대 30,000건까지 쓸 수 있습니다.한도를 넘어도 연결된 서비스에는 영향이 없습니다.
유료 요금제는 어떻게 되나요?
Plus는 29,000원, Pro는 79,000원이고 한 번 결제하면 30일 동안 씁니다. 30일간 AI 호출은 Plus가 최대 100,000건, Pro가 최대 300,000건입니다.이벤트 데이터는 Free 30일, Plus 60일, Pro 90일 동안 보관합니다. 그보다 큰 규모는 Enterprise로 따로 견적을 드립니다.
Enterprise 견적 문의
회사 규모와 트래픽에 맞춘 계약을 안내해 드립니다.이메일을 남겨 주시면 상세 정보를 적을 수 있는 링크를 보내 드립니다.
지금 바로 시작하고 싶다면 무료로 시작하기