모델사가 말하는 성능
- 코딩 점수92점
- 수학 점수88점
- 퀴즈 정답률95%
어느 회사나 똑같이 보는 점수입니다.우리 유저도, 우리 기능도 전혀 반영하지 않습니다.
앱토(ABTO)에서 우리 유저 반응으로 직접 확인하세요.
AI 추천비교
옵션 A
기존 모델현재
gpt-6.1-sol
옵션 B
Sonnet 5.5
claude-sonnet-5-5
옵션 C
Gemini 3.8
gemini-3.8-flash
기존 모델
Sonnet 5.5
Gemini 3.8
40여 개 모델 중 우리 서비스 최적의 모델을 찾습니다
새 모델이 매달 쏟아지는데,우리 서비스에 뭐가 맞는지 모르겠어요.
더 싼 모델로 바꾸고 싶긴 한데,매출이 떨어질까 봐 못 바꾸고 있어요.
모델을 바꾸긴 했는데,잘한 선택인지 확인할 방법이 없어요.
어느 회사나 똑같이 보는 점수입니다.우리 유저도, 우리 기능도 전혀 반영하지 않습니다.
유저가 실제로 한 행동을 기준으로 삼습니다.외부 점수 대신 우리 유저 반응으로 검증합니다.
Client SDK로 결제와 재방문 같은 유저 행동을 모읍니다.
AI 게이트웨이로 유저를 나눠 모델과 프롬프트를 비교합니다.
전환과 AI 호출 비용을 대시보드에서 나란히 봅니다.
1. 유저 행동 수집
유저 반응은
SDK 한 줄로 모읍니다
결제나 가입처럼 성과로 볼 행동에 코드 한 줄을 넣습니다.그 행동이 모델을 비교하는 기준이 됩니다.
2. 유저 나눠 보내기
주소 한 줄 바꾸면
앱토가 유저를 나눠 보냅니다
기존 코드는 그대로 두고 호출 주소만 바꿉니다.같은 유저는 항상 같은 모델로 연결됩니다.
3. 모델별 성과 비교
모델별 성과와 비용을
한 화면에서 비교합니다
모델별 전환율과 호출당 비용을 한 표에서 봅니다.성과가 같다면 더 저렴한 모델로 바꾸면 됩니다.
코드 한 줄 추가
결제할 때마다 이벤트 기록
1. 유저 행동 수집
결제나 가입처럼 성과로 볼 행동에 코드 한 줄을 넣습니다.그 행동이 모델을 비교하는 기준이 됩니다.
모델별 유저 비율 설정
게이트웨이가 비율대로 분배
2. 유저 나눠 보내기
기존 코드는 그대로 두고 호출 주소만 바꿉니다.같은 유저는 항상 같은 모델로 연결됩니다.
결제를 응답한 모델과 연결
모델별 전환율과 비용 비교
3. 모델별 성과 비교
모델별 전환율과 호출당 비용을 한 표에서 봅니다.성과가 같다면 더 저렴한 모델로 바꾸면 됩니다.
베타로 도입한 서비스들이 확인한 변화입니다.
대학별 논술 기출 AI 채점
추론을 가볍게, 해설을 간결하게 바꿨습니다.
비용은 41% 줄었는데 재응시율은 오히려 18% 올랐습니다.
모델 비용
41%절감
재응시율
18%증가
AI 자기소개서, 이력서 첨삭 플랫폼
초안과 첨삭에 서로 다른 모델 세팅을 적용했습니다.
비용은 28% 줄었는데 재방문율은 오히려 12% 올랐습니다.
모델 비용
28%절감
재방문율
12%증가
다음 사례를 함께 만들어요
결제 수단 등록 없이 가입하고, 오늘 바로 첫 실험을 돌려 보세요.
무료로 시작하기이용자 반응으로 AI 모델을 고르는 방식, 기사로 먼저 만나 보세요.
뉴스탭
앱토는 이 같은 간극을 실제 서비스 이용자의 반응을 측정하는 방식으로 보완한다.기사 보기
IT타임스
추가 비용을 투입한 만큼 매출이나 이용자 반응이 개선됐는지 확인하고, 저비용 모델로도 비슷한 결과가 나오면 모델 교체를 검토할 수 있다.기사 보기
머니투데이
같은 비용으로 어느 모델이 더 많은 매출을 냈는지 기능별로 보여줄 수 있다는 설명이다.기사 보기
플래텀
성과에 차이가 없으면 저렴한 모델 비중을 단계적으로 늘리고, 기존 모델이 낫다면 그 차이가 현재 비용을 유지할 근거가 된다.기사 보기
데이터넷
근거 없이 불어난 AI 비용은 결국 서비스 가격을 거쳐 이용자의 부담으로 돌아온다.기사 보기
스타트업엔
앱토가 주목한 것은 AI 모델의 ‘절대적인 성능’보다 실제 서비스에서 만들어내는 경제적 가치다.기사 보기
beSUCCESS
신규 모델의 경우 이용자의 10%에게 우선 적용하는 기능을 제공한다.기사 보기
앱토는 같은 AI 기능을 쓰는 유저를 나눠 서로 다른 LLM이나 프롬프트를 적용하고, 결제와 재방문 같은 실제 행동을 AI 호출 비용과 함께 비교하는 AI 모델 A/B 테스트 서비스입니다.성과가 같으면 더 저렴한 모델로 트래픽을 옮겨 LLM 비용을 줄입니다.
OpenAI, Anthropic, Gemini, DeepSeek, Kimi의 모델을 같은 방식으로 호출하고 비교할 수 있습니다.옵션은 최대 다섯 개까지 두고, 각 옵션에 보낼 유저 비율을 나눕니다.
아닙니다. 쓰던 OpenAI SDK의 base URL을 앱토 게이트웨이로 바꾸고, 호출에 헤더 몇 개를 싣는 것이 전부입니다.Node.js와 Python 서버 SDK, 브라우저 JavaScript, Android, iOS, Flutter SDK도 제공합니다.
모델 제공사와의 계약과 API 키는 그대로 유지합니다.키는 호출할 때마다 요청에 실려 전달될 뿐, 게이트웨이가 남기는 호출 기록에는 들어가지 않습니다.
아닙니다. 새 옵션은 비율 0으로 저장되고, 처음에는 10%만 주고 성과를 확인한 뒤 비율을 늘리기를 권합니다.기기 ID를 함께 보내면 같은 유저는 비율을 바꾸기 전까지 같은 옵션을 받고, 문제가 생기면 몇 초 만에 되돌릴 수 있습니다.
네. Free 요금제는 결제 수단 등록 없이 30일간 AI 호출 최대 30,000건까지 쓸 수 있습니다.한도를 넘어도 연결된 서비스에는 영향이 없습니다.