AI 프로덕트 기획과 운영 (3. AI PM의 필수 지식)

"한빛미디어 서평단 <나는리뷰어다> 활동을 위해서 책을 협찬 받아 작성된 서평입니다

Ch3. AI PM의 필수지식

크게 4가지로 나뉜다.

 

 

1. 핵심 PM 기술

1. 사용자 세분화 및 요구사항 파악

사용자 집단을 세분화하여 페르소나 정의, 그룹 특성 분석.

 

2. 유저 스토리 작성

최종 사용자 관점으로 필요한 기능을 간결하고 명확하게 설명하는 문서 (타겟유저, 사용목적, 기대효과 한줄로 정의)

예를들어, 넷플릭스 추천시스템 고도화 (반복되는 추천방지) 라면

특정 프로그램 추천을 무시하는 넷플릭스 시청자로써 프로그램에 관심없음을 인지하고 더이상 추천하지 않기를 바랍니다.

그래서 제 취향에 더 맞는 추천을 받을수 있었으면 합니다. 

 

3. 트레이드오프 평가와 우선순위 설정

비즈니스 목표, 기술적 실현가능성,윤리적 문제를 종합적으로 고려해서 트레이드오프를 꼼꼼히 평가하고 우선순위를 결정해야함.

 

트레이드 오프 사례

[정확도와 속도]

정확도가 높을수록 데이터 처리속도가 느려지고, 속도를 빠르게 하면 오류가 늘어서 신뢰가 낮아지는 이슈.

[복잡성과 단순성]

복잡한 모델은 성능이 좋을수 있지만 유지보수가 힘듦.

단순한 모델은 문제해결이 쉬운 대신 성능이 낮을수 잇음.

[데이터 품질과 데이터양]

많은 양의 데이터를 확보하는게 품질이 좋을수 있지만, 윤리적으로 올바르게 데이터를 수집하기 어려울수 있음

[일반화와 특수화]

범용적인 모델은 여러 도메인에 추천을 제공하지만 정확성이 떨어질수 있음.

반면 특화된 모델은 정확성은 향상되지만 개발 복잡도 비용 증가. 

[설명가능성과 성능]

성능이 아무리 뛰어나도 근거를 밝히기 어려워 설명하기 어려운 모델은 사용하기 힘들수 있다.

 

2. PM을 위한 엔지니어링 기초

1. 버전관리 (깃)

문서와소스코드의 변경이력을 체계적으로 관리하는 시스템.

 

2. 빌드 프로세스

최신 빌드 시스템과 워크플로 자동화 도구

 

ml플로(mlflow), 재피어(Zapier) 같은 솔루션이 생성형 AI 빌드 프로세스에 많이 사용 된다. 

mlflow는 AI모델 학습 및 배포과정에서 업무를 체계적으로 관리하는 중요한 역할.

https://mlflow.org/

MLflow

 

재피어(Zapier) 는 특정 트리거가 발생하면 특정 액션이 발생하는 플로우를 자동화 할수 있는 툴. 

https://zapier.com/

Zapier: Automate AI Workflows, Agents, and Apps

 

3. 테스트

pytest 같은 단위 테스트 프레임워크를 사용.

개별 구성 요소가 독립적으로 성능을 제대로 내는지 검증하는 절차. 

 

4.리소스 관리

AI 프로젝트 성능과 비은 컴퓨팅 리소스에 의해 크게 좌우된다.

도커랑 쿠버네티스 사용.

쿠버네티스를 사용해서 서버 부하에 따라 애플리케이션 자동으로 확장

 

3. 필수 리더십 협업 능력  (비기술적 역량)

1. 창의성 

혁신적인 문제 해결에 도움.

차별화를 통해 고객에세 새로운 가치 제공.

설득력있는 스토리텔링으로 브랜드 아이덴티티 형성.

 

2. 커뮤니케이션

복잡한 AI 개념을 이해관계자와 사용자 모두가 쉽게 이해할수 있도록 명확하고 효과적으로 전달하는 능력

 

3.리더십

다양한 팀을 하나의 목표 아래 통합하는 역량

 

4.분석적 사고

성공과 직결되는 핵심 지표부터 정의. 데이터흐름과 이상치를 정기적으로 확인. 의사결정시 AB테스트 활용.

 

5.공감

사용자의 감정과 요구, 어려움에 공감 할줄 알아야한다.

 

4. AI 프로덕트 개발 라이프사이클과 운영이해 

 

 

1. 프로젝트 범위 설정

AI 프로덕트의 목표, 사용자 요구, 성공지표, 제약사항이 명확히 확정된 최종요구사항문서(PRD) 사전 필요.

요구사항을 실제 기술적 한계와 기대치로 구체화 하는 작업.

 

해결하고자 하는 문제는 무엇인지,

목표로 삼는 결과는 어떤것인지,

어떤 데이터가 적용될건지 명확히 할 것.

범위에서 제외되는 항목도 명확히 언급해야한다.

 

2. 데이터 수집

모델을 학습시키는데 필요한 데이터의 양에 대한 초기 계획.

내부 디비, 외부 API, 사용자 생성 데이터, 오픈소스 데이터, 센서 데이터 등

 

데이터가 전처리.

데이터를 모델 학습에 적합한 형태로 정제하고, 레이블링하고, 구조화하는 과정.

데이터가 진정한 가치를 가지려면, 어떻게 레이블링하고, 분류하며, 의미를 부여하는지에 달려있다.

 

3. 모델 학습 

데이터가 알고리즘에 입력되어 실제로 예측하거나 인사이트를 제공할수 있는 모델이 만들어진다. 

 

알고리즘과 모델의 차이점

알고리즘은 의사결정을 내릴때 따르는 절차나 과정. 예를 들어 의사결정트리,회구분석,군집화

모델은 알고리즘을 실제 데이터에 적용하여 학습시킨 결과물. 데이터가 알고리즘을 통해 학습될때 만들어지는 것. 

같은 알고리즘으로도 학습하는 데이터셋에 따라 서로 다른 모델을 만든다.

 

4 검증 및 테스트

한번도 학습하지 않은 새로운 데이터에 대해 얼마나 잘 일반화 할수 있는지를 판단.

별도의 검증 데이터셋을 사용해 모델의 정확도,신뢰도, 전체적인 성능 평가.

 

모델이 기대와 다르게 동작하지 않으면, 재학습. 학습-검증-테스트 사이클 반복.

모델이 출시 기준에 부합하는

수준 (MVQ)에 도달할떄까지 개선거듭.

예를들어, 추천에서 MVQ는 일정 수준 이상의 사용자 만족도를 달성하는것. 

 

5.배포

개발환경에서 완성한 모델을 실제 운영환경으로 옮기고, 사용자에게 제공하는 단계.

 

각 단계에서는 사람이 개입되어야한다. 

실제로 우리가 하고 있는 방법 같다. PM, ds, de.

 

 

5. AI 알고리즘과 애플리케이션 연결

https://marily.substack.com/p/its-here-marilys-map-of-ai-algorithms?triedRedirect=true

It's here. Marily's map of AI, Algorithms & Applications 🗺️🧠

 

지도학습

정답(라벨)이 지정된 데이터셋을 활용해 모델을 훈련시키는 방법.

학습데이터에 정답이나 결과가 짝지어져 있다.

출력값을 이미 알고 잇고, 입력값이 바뀔때 , 그 결과를 예측하는 경우에 사용

사례: 이미지 분류, 매칭, 감정분석, 예측 -> 사기탐지 

 

자기지도학습 

정답(라벨)을 매기지 않아도 시스템이 스스로 데이터를 이해하도록 학습하는 방법.

대규모 언어모델과 트랜스포머는 인간과 유사한 텍스트를 이해하고 생성하는 자기지도 학습 모델. 

라벨링이 된 데이터 확보가 어렵거나 비용이 많이 드는 자연어 이해에 사용

사례: 음성처리, 멀티모달 학습, 자연어처리 -> 챗봇, 콘텐츠생성

 

비지도 학습 

따로 정답이 제공되지 않은 환경에서 모델을 훈련시키는 방법.

모델이 스스로 입력 데이터 내에서 패턴이나 관계성을 찾아낸다. 

결과물을 미리 알수 없는 데이터셋에서 군집화, 연관성분석,차원축소에 사용.

사례: 이상탐지, 이미지 세분화, 고객 세분화, 데이터압축,시각화 -> 이상탐지를 통한 사기식별, 고객세분화로 타겟광고개선 

 

강화 학습

어떤 목표를 달성하기 위해 의사결정을 내리는 에이전트가 환경과 상호작용하며,

선택한 행동에 따라 보상이나 패널티를 받으며 학습해나가는 방식. 

사례: AI가 매수/매도 의사결정을 자동으로 내림, 다중선택문제, 호기심기반 탐색 -> 자율주행차