AI 프로젝트를 개발할때, 둠 프로프팅에 빠지지 말 것!

 

최근 AI 프로젝트를 개발하면서 "둠 프롬프팅"에 빠진다는걸 정말 느꼈다.

끊없는 무한 수정의 늪에 빠져서 아마 괴로웠을지도 모르겠다...

 

심지어 계속해서 달라지는 LLM 결과에 테스트를 검증하는것도 까다로웠다. 

문제가 발생해면 기능을 수정해서 문제를 해결하며 테스트를 하던 방법과 달리 LLM은 응답결과가 계속해서 달라지기에 테스트를 해도 끝이 없는 것처럼 느껴졌다..이게 둠 루프였을까..어딘가 끝이 없는 이 느낌...

 

그래서 아래 아티클을 읽으면서 정말 공감이 많이 됐다.

그리고 AI 프로젝트의 요구사항에는 성공기준에 대한 조건이 명확해야함을 배웠다.

어디까지를 성공기준의 조건으로 볼것인지, 계속해서 달라지는 결과를 어떤기준으로 판단할것인지를 명확히해야 한다.

그래야 이번처럼 무한수정의 늪으로 빠지지 않을 수 있을것 같다.

---

LLM과 AI 에이전트 결과물을 무한 반복 수정하는 현상.

AI가 만든 결과물에 불신이 지나치게 확대되면서 결과물을 끊임없이 수정 명령을 내리는 현상.

 

부정적인 뉴스에서 눈을 떼지 못하는 둠스크롤링(doom scrolling)과 행동 양식 측면에서 유사성이 있다.

다만 둠 스크롤링은 잠들기 전까지 몇시간을 허비하며 개인적인 시간 및 주의력 낭비라면, 

둠 프롬프팅은 AI 출력물을 완벽하게 만들기 위해 조직차원의 시간과 자원을 낭비.

 

LLM은 답변이 새로운 프롬프트를 유도하도록 설계되어 있어 지속적인 대화 순환을 만들어낸다.

더 나은 답변을 제공하려는 의도지만, 최악의 경우 사용자가 챗GPT에 중독된다.

즉, 무한 수정의 늪에 빠지게 되는 것.

 

특히 많은 엔지니어가 무언가를 계속 만지는 성향을 갖고 있기에 IT팀에서는 이 문제가 더 심각해진다.

 

파머는“엔지니어가 AI에 프롬프트를 입력하면 꽤 괜찮은 답변을 금방 얻는다.
그러면 머릿속에 ‘조금만 더 하면 완벽해질 수 있지 않을까’라는 생각이 자리 잡는다.
결국 ‘여기까지 시간을 쏟았으니, 분명히 프롬프트를 더 쓰면 문제를 해결할 수 있있을 것’
이라는 전형적인 매몰비용 오류에 빠지게 된다”라고 설명했다

.

 

좋은 결과가 무엇인지 명확히 정의되지 않았을때 이런 문제가 자주 발생한다.

목표를 제대로 이해하지 못하면, 언제 일을 끝내야할지, 언제 멈춰야할지 알지 못하고 제자리에서 멈춘다.

 AI 에이전트가 점점 정교해질수록 IT 팀이 더 나은 결과를 끊임없이 추구하려는 유혹에 빠진다.

 

AI가 내놓은 결과를 무조건 믿어서는 안 되지만,
동시에 ‘이 정도면 충분하다’고 인정하고 멈춰야 할 순간도 있다.
그런데 이 둘 사이의 경계가 모호하다

 

출력 결과를 다듬기 위해 에이전트에 점점 더 많은 지시를 추가하다가, 룸 루프 (doom loop)에 빠지게 된다.

결과를 계속 수정하려다가 배포 속도가 늦어지고, 인력 소모가 커진다. 

둠 프롬프팅의 본질은 지시를 계속 추가하면서 '이번에는 제대로 작동할 것'이라고 기대하는것.

하지만 이렇게 지시가 늘어나면 지시 중 일부가 충돌해서 시스템 지능이 희생되는 결과를 낳는다.

 

 AI 프로젝트 요구사항 문서에  콘텐츠의 대상 독자가 누구인지, 목표가 무엇인지, 어떤 제약 조건이 있는지,

그리고 성공의 기준이 무엇인지 명확히 담겨야 한다고 설명했다.

 

명확한 계획이나 과제가 언제 끝난 것인지 정의하지 않고 AI를 사용하기 시작하면
사용자는 무엇을 해야 할지에 대한 챗GPT의 제안에 쉽게 끌려갈 수 있다.
하지만 그 제안은 사용자의 최종 목표를 이해한 상태에서 나온 것이 아니라
단지 가능한 다음 단계 중 하나일 뿐이라는 점을 잊지 말아야 한다

 

 

출처

https://www.cio.com/article/4059200/%EB%81%9D%EC%97%86%EC%9D%B4-%EC%88%98%EC%A0%95%ED%95%98%EB%8B%A4-ai-%EC%84%B1%EA%B3%BC-%EB%AC%B4%EB%84%88%EB%9C%A8%EB%A6%B0%EB%8B%A4%C2%B7%C2%B7%C2%B7-%EB%91%A0%ED%94%84%EB%A1%AC%ED%94%84%ED%8C%85.html

끝없이 수정하다 AI 성과 무너뜨린다··· '둠프롬프팅'의 함정

---