마케터를 위한 Amplitude, Feature Experiment 기능 따라하기

마케터를 위한 Amplitude, Feature Experiment 기능 따라하기

안녕하세요, 위어드섹터 래빗연구소입니다.

오늘은 Amplitude 실험 플랫폼(Experiment)에 대해 이야기해보려고 합니다.

이 플랫폼을 활용하면, 바꾸고 싶은 기능이나 정책이

실제로 사용자 경험과 지표에 어떤 영향을 주는지 “실험을 통해” 손쉽게 검증할 수 있습니다.

이번 글에서는 실제 현업에서 자주 사용하는 시나리오를 통해 Experiment가 어떻게 활용되는지 알기 쉽게 소개드리겠습니다.

Experiment란?

Amplitude의 Experiment는 제품과 웹사이트의 경험을 과학적으로 개선하기 위한 실험 플랫폼입니다.

단순히 A/B 테스트를 넘어서, 어떤 사용자에게 어떤 경험을 언제/어떻게 제공할지를 정교하게 제어하고,

그 결과가 실제 비즈니스 성과에 어떤 영향을 주는지까지 측정할 수 있게 해줍니다.

Web Experiment vs Feature Experiment

Experiment는 두 가지 방식의 실험을 제공합니다.

Feature Experiment란?

Feature Experiment는 제품의 동작 로직이나 기능 노출 방식을 제어하여

실제 비즈니스 지표 변화를 실험적으로 검증하는 실험 방식입니다.

=> 쉽게 말해, “어떤 기능을 누구에게 보여줄지”를 실시간으로 제어해 제품 전략을 실험하는 도구입니다.

모의 실험 시나리오: 요금제 구성 변경 실험

핵심 가설 : “무료 체험을 제공하면 결제 전환율이 상승한다.”

목표: 무료 체험이 실제로 결제율, 환불율, 유지율에 영향을 주는지 검증하기.

실험 구조

Variant	설명
A (Control)	월 9,900원, 무료 체험 없음
B (Experiment)	월 11,000원, 7일 무료 체험 제공

왜 Feature Experiment인가?

이 실험은 단순히 문구를 바꾸는 실험이 아닙니다.

무료 체험 제공 여부에 따라 백엔드 로직 전체가 달라지기 때문입니다.

변경되는 요소들:

⇒ 즉, “보여지는 내용” 뿐 아니라 “작동 방식”이 달라지는 실험, Feature Experiment

실험 구현 단계

Amplitude 콘솔에서 JSON payload를 수정을 통해서 별도의 코드 배포 없이 실험 변형값을 제어할 수 있습니다.

Variant	Payload (JSON)
control	{ "plan": "basic", "price": 9900, "trial": 0 }
variant	{ "plan": "premium_trial", "price": 11000, "trial": 7 }

프론트 예시 (대상 유저에 맞춰, 결제 로직과 이벤트 배너 표시)
백엔드 예시 (유저에 따라, 결제 로직을 변경)
### 팁 ###
테스트를 진행할 때 특정 테스터 계정을 지정해두면, 그 계정으로 접속할 때마다 항상 동일한 실험 변형(Variant) 을 확인할 수 있습니다. 이렇게 하면 매번 실험군이 달라지는 일이 없어, A/B 테스트나 기능 실험 중에도 일관된 화면과 동작을 안정적으로 검증할 수 있습니다.

예시:
test-user-20251016-control → 항상 control
test-user-20251016-treatment → 항상 treatment

④ 실험 적용 및 결과 확인 (Amplitude)

실험 결과로 얻는 인사이트

이 실험을 통해 얻을 수 있는 핵심 인사이트는 다음과 같습니다.

=> “무료 체험이 실제 결제 전환에 유의미한 영향을 주는가?”

=> 즉, 단순 문구 테스트를 넘어 “제품 전략 검증”이 가능한 실험

Feature Experiment로 할 수 있는 실험들

요금제 실험 외에도 아래와 같은 시나리오를 Feature Experiment로 진행할 수 있습니다.