AI 프로덕트 기획과 운영 (6. 목표 설정과 성공 측정)

"한빛미디어 서평단 <나는리뷰어다> 활동을 위해서 책을 협찬 받아 작성된 서평입니다

 

CH6. 목표 설정과 성공 측정 

어떤 지표가 적합한지는 프로덕트의 특성, 주요 사용자, 그리고 사용자가 해결하고자 하는 문제의 성격에 따라 달라진다. 

AI 기능의 성능을 제대로 파악하려면, 하나의 지표에만 의존해서는 안된다.

여러가지 지표를 동시에 살펴봐야한다. AI 프로덕트 지표의 블렌딩.

3가지 핵심 지표.

1. 프로덕트 상태 지표

AI PM이 직접적으로 관리해야하는 주요 지표. 프로덕트 모니터링 최적화 목적.

 

- 참여도 : 사용자가 AI 프로덕트와 얼마나 적극적으로 상호작용하는지. (사용빈도, 세션 지속시간, 활성 사용자수)

- 사용자 만족도 : 사용자가 AI 프로덕트에 얼마나 만족하는지 정성적 지표. (설문조사,피드백 폼)

- 채택률 : 사용자가 AI 프로덕트를 사용하는 비율. (회원가입 추이, 사용자 유입경로)

- 전환율 : 목표 달성 측정 지표 

- 유지율(이탈율) : 시간이 지난 후에도 사용자가 AI 프로덕트를 계속해서 사용하는 /중단하는 비율. 지속적인 가치 검증.

 

2. 시스템 상태 지표

프로덕트가 기술적 수준에서 어떻게 작동하는지 보여주는 지표. 

 

- 가동시간 및 지연시간 : 얼마나 지속적으로 서비스를 제공하는지 지표. 가동시간이 높고, 지연시간이 짧을수록 신뢰도 높음.

- 확장성(동시성) : 많은 사용자가 동시에 서비스를 이용할때 서비스를 제공하는지 지표. 트래픽이 몰리는 시기에 부하테스트 모니터링

- 오류율 : 시스템에서 발생하는 오류빈도 측정하는 지표. 

 

3. AI 프록시 지표 (모델 품질 지표)

모델의 성능을 측정하고 프로덕트 내 모델의 효과성을 평가하는 중요한 기준

학습된 모델이 얼마나 정확하게 예측하거나 판단을 내릴수 있는지. 

 

예를들어, 이메일 스팸 분류 시스템을 모델품질 지표로 평가한다면..?

- 정확도 : 모델이 분류할때, 실제로 올바르게 스팸으로 판단한 비율.

- 정밀도 : 모델이 스팸이라고 판단한 것중에 실제로 스팸이였던 비율. 정밀도가 높을수록 오류가 적다.

 

3가지 핵심 지표에서 최소 하나 이상씩 측정 지표를 포함하는것이 바람직하다. 

AI 프로덕트의 ORK 수립

북극성 지표 (핵심지표,KPI) : OKR 성공여부를 단순명확하게 판단하는 가장 중요한 지표

가드레일 지표 : 부정적인 부작용이나 리스크를 최소화하기 위한 모니터링 지표. 

 

프로덕트 상태 지표 : 사용자의 만족이나 프로덕트의 전반적인 상태를 평가하는 지표.

시스템 상태 지표 : 기능적으로 안정적으로 동작하는지 검증하는 지표.

AI 프록시 지표 : 알고리즘 자체 성능을 점검할수 있는 AI 특화 지표. 

 

예를들어, 음악 추천 시스템의 OKR 예시

구성항목	예시 내용
OKR	맞춤화 된 음악 추천 플레이리스트를 제공함으로써 사용자 경험 강화
기능	사용자 행동, 기분, 음악 트렌드를 반영한 3개의 신규 알고리즘 도입
북극성 지표	추천 플레이리스트를 통해 사용자 참여도 25% 향상
가드레일 지표	전체 음악 감상 시간이 5% 감소하지 않도록 유지
프로덕트 상태 지표	AI가 생성한 플레이 리스트에서 노래를 건너뛰는 사용자수를 20% 절감
시스템 상태 지표	플레이리스트 로딩시간을 1초 미만으로 단축
AI 프록시 지표	추천 알고리즘 정밀도 15% 향상