이전 시간에 이어,
데이터 분석을 위한 PO의 역할을 알아보도록 할게요.
1편은 아래에 !
[새싹X러닝스푼즈] 데이터 분석을 위한 PO의 역할 (1)
안녕하세요, 기획자 팥씨입니다. 오늘은 PM/PO로서 프로덕트를 설계하고 유지하기 위해 알아야 할 '데이터 분석' 이라는 것에 대해 알아보도록 하겠습니다! 서비스의 성과를 측정하고 개선하기
yujinwhomakes-anko.tistory.com
목차
데이터 분석을 위한 PO의 역할 (2)
1. 데이터 분석 환경 설계
(1편에서 확인!)
2. 데이터를 지표로 가공
(1편에서 확인!)
3. 목표 설정
데이터 분석 환경설계와, 데이터를 지표로 가공하는 것을 완료한 후에는
아래 두가지를 고려하여 목표를 설정해야 한다.
| 우리의 가장 중요한 목표는 무엇인가?
| 지표를 개선하기 위해선 무엇을 해야하는가?
3-1 North Star Metric
북극성지표.
북극성 지표는
1. 수익을 이끌 수 있어야 하며
2. 사용자에게 가져다주는 가치를 반영하며
3. 진척도를 측정할 수 있어야 한다.
기업별 NSM의 예시는 다음과 같다.
3-2 OMTM : One Metric That Matters
OMTM은
- 한 팀이 정의된 기간 (보통 2~6개월) 동안 집중하는 수치로,
- NSM을 달성하는 데 도움이 되는 지표를 뜻하며
- 사이트의 트래픽, 평균 클릭률, 고객획득비용(CAC), 전환율 등이 될 수 있다.
예를 들어, 카카오T의 '오더건수'를 높이는 것을 북극성 지표로 삼는다면
OMTM은 다음과 같다. (예시)
4. 데이터 분석
PO의 마지막 역할은 데이터 분석을 통한 인사이트 도출이다.
데이터 분석은 아래와 같은 순서로 진행되며,
2~4의 과정이 주기적으로 반복 (iterate) 되어야 한다.
1. 문제정의
2. 전략 및 가설 수립
3. 실험
4. 결과 및 인사이트 도출
데이터 분석은 "질문에 대한 해답을 찾는 과정"이다.
이를 위해서는 아래의 조건이 필요하다.
(1) 좋은 질문
(2) 양질의 데이터
(3) 빈틈없는 분석
(1) 아래와 같은 질문들을 할 수 있다.-
우리 서비스는 하루에 몇 명이 가입할까?
- 우리 서비스 가입자들의 30일 리텐션은 어느 정도일까?
- 우리 서비스를 이탈하는 사람들은, 직전에 어떤 경험을 했을까?
- 우리 서비스를 이탈했다가 다시 돌아온 사람들은, 어떤 계기로 돌아오게 되었을까?
(2) 데이터에서 유의미한 인사이트를 찾기 위해서는,
쪼갤 수 있을 때까지 쪼개서 봐야한다. 페이지 안에서도 필드를 쪼개서!
그렇지만 동시에, 전체적인 관점에서 통합적으로 사고해야 한다.
데이터 분석을 위한 방법론은 세가지가 있다.
4-1. 코호트 분석 (Cohort Analysis)
사용자 행동을 그룹으로 나누어 지표별로 수치화한 뒤 분석하는 기법을 말한다.
-> 어떤 그룹으로 나누는가?
(1) 특정 기간
(2) 특정 행동 (기능 사용 횟수 or 구매 금액)
(3) 특정 속성 (앱 or SDK 버전)
(4) 인구 통계 (연령 or 위치)
이러한 그룹으로 쪼개놓고 보면 유의미한 특성들이 관찰되는 경우가 많다.
예를 들어, 가입 시점을 기준으로 Cohort를 나누어 Retention을 확인할 때는
- 동일 기간에 Paid 마케팅으로 유입된 50대 유저와 / Organic으로 유입된 50대 유저의 Retention을 비교할 수 있다.
페이드 트래픽(Paid Traffic)
검색 결과의 가장 상단이나 하단에 노출되는 Google 검색 광고나 Facebook의 스폰서 포스트를 통해 웹사이트로 들어온 방문자. 페이드 트래픽은 광고 트래픽이라고도 불림. 만약 웹페이지가 현재 검색엔진 결과 페이지 상위에 노출되고 있지 않다면, 콘텐츠를 만들고 검색엔진최적화가 마무리 되어 노출될 때까지 기다릴 수 없기 때문에 광고를 통해 웹사이트로 페이드 트래픽을 만들어야 한다.
오가닉 트래픽 (Organic Traffic)
광고나 소셜미디어, 리퍼럴 사이트와 같은 채널을 통해 사이트로 유도되는 트래픽을 제외하고 검색 엔진을 통해 곧바로 유입되거나 동일한 도메인 안에서 유입되는 트래픽.
네이버, 구글, 다음과 같은 검색엔진의 자연 검색 결과 상위에 노출된 웹페이지 링크를 타고 들어온 웹사이트 방문자 수.
출처 :
코호트 분석은 보통 GA나 Amplitude 로 진행된다.
4-2. 퍼널 분석 (Funel Analysis)
퍼널 분석을 통해서는
사용자 유입 / 전환 / 타겟 행동에 이르는 주요 경로를 파악하고,
각 단계별 전환과 이탈율을 측정할 수 있다.
서비스 유형과 특성에 맞는 퍼널을 설계하는 것이 중요한데,
이커머스 / 웹서비스 / 콘텐츠 서비스 / B2B 기업 등은 서로 다른 목표와 단계를 가지고 있을 것이다.
ex. 이커머스의 경우 결제 완료를 통한 매출 상승이 목표이고,
이에 따라 퍼널은 1. 메인 2. 제품 상세 페이지 3. 장바구니 4. 결제 5. 결제완료로 이루어진다.
4-2-1 퍼널 분석 시 고려할 점
- 하나의 서비스가 꼭 하나의 퍼널을 가지는 것은 아니다.
- 하나의 페이지라고 하더라도, 페이지 내의 Step이 있다면 쪼개어 봐야 한다.
- 아무리 단순한 단계라고 하더라도 100% 전환은 없기에 Step의 수를 줄이는 것이 중요하다.
- Cohort 분석과 함께할 때 보다 더 큰 효과가 있다. (유저 그룹핑 > 퍼널별 분석)
4-3. A/B Test
두 개의 A와 B를 사용하는 종합 대조 실험이다.
4-3-1. A/B 테스트를 진행하는 경우
- 확실한 개선이 필요하지만 의견이 갈리거나 근거가 빈약한 경우,
- 개선 의지가 있으나 사용자의 반응을 예상하기 어려운 경우
4-3-2. A/B 테스트 진행방법 3가지
(1) 노출 분산 방식 - 비율로 A/B를 다르게 노출시킴
(2) 사용자 분산 방식 - 사용자를 A/B 그룹으로 분리하여 고정적으로 다르게 노출
(3) 시간 분할 방식-시간대를 세밀하게 분할하여 A/B 노출
4-3-3. 테스트 결과 확인 : P-Value 검증
- 통계 분석에서 가장 널리 활용되는 유의성 검증
- 테스트 결과 p<0.07 이라면 100번 실험 진행 시 7번은 예외 경우가 있을 수 있음을 의미
- 샘플의 수가 적을 때 P-Value 값이 높아질 수 있음
- 관례적으로 P-Value =< 0.05 일 때 신뢰할 수 있는 수준으로 간주
- P-Value가 높다면 일반적으로 테스트 기간을 늘린다.
4-3-4. A/B 테스트 진행 시 고려할 점
- 검증하고자 하는 가설은 무엇인가? (답을 정해놓지 말 것)
- 시간의 흐름에 따른 차이를 살펴봐야 함
- A/B 테스트의 결과가 언제까지 유효할지 모름.
계절/시장상황/사용자층 변화 등 시간의 흐름에 따라 유효하지 않을 수 있음. - 국지적 최적화의 함정 (A/B 테스트 통해 높아진 클릭률이 본질적인 문제를 해결했는가?)
4-3-5. A/B 테스트 주의할 점
- 동일한 시점에 노출함으로써 성과 측정할 것
- P-Value에 집착하지 말 것
- 적절한 샘플 사이즈 확보
- OMTM에 기반한 테스트 진행 (명확한 목적없는 테스트 지양)
4-3-6. A/B 테스트 분석 툴
웹) Optimizely, Google Optimize
앱) Firebase, Amplitude
4-4. SQL
SQL은 '로그' 보다는 'Database'를 보는 방법!
DB는 목적한 바가 있는 데이터들의 집합이다.
▶SQL = Structured Query Language
- 데이터베이스 시스템에서 자료를 처리하는 용도로 사용되는 구조적 데이터 질의 언어
▶ DBMS = Database Management System
- 다양한 데이터가 저장되어 있는 DB에, 여러 명의 사용자가 동시에 접근 가능하고
응용프로그램과 공유가 가능하도록 도와주는 소프트웨어이다.
▶ 관계형 DBMS = RDBMS
- 대부분이 RDBMS 형태로 사용, 테이블로 이루어져 있다. 테이블은 열과 행으로 구성된다.
PO로서 데이터 분석을 위한 역할은
이렇게 마치도록 하겠습니다 !
기획자 팥씨는 모든 피드백을 환영합니다 ( _ _ ) >
'[IT 서비스기획 공부]' 카테고리의 다른 글
| 기획자의 SQL 맛보기 (3) WHERE & SQL 연산자 (1) | 2024.01.23 |
|---|---|
| 기획자의 SQL 맛보기 (2) SELECT, FROM 구문 (1) | 2024.01.14 |
| 기획자의 SQL 맛보기 (1) SQL 배워야하는 이유, 구문 살펴보기 (0) | 2024.01.13 |
| [새싹X러닝스푼즈] 데이터 분석을 위한 PO의 역할 (1) (3) | 2024.01.07 |
| [새싹X러닝스푼즈] 카카오택시 합승 UX/UI 개선 (5) | 2023.12.31 |
