AI 가상 소비자의 답이 일관적이라고 해서 사람과 같다는 보장은 없습니다. 일관성은 출발점이고, 믿을 범위는 사람 조사와 맞춰 봐야 정해집니다.
맞춰 볼 때는 점수 수준보다 콘셉트 사이의 순서와 방향을 먼저 봅니다. 그리고 맞는 범위에서만 AI 결과를 씁니다.
보정의 기준은 사람 응답입니다. 모델이나 제품군이 바뀌면 다시 확인합니다. 이 절차를 담아 특허를 출원했습니다.
일관된 답과 맞는 답은 다릅니다
합성 페르소나 설문의 첫 번째 문제는 같은 질문에도 답이 흔들린다는 것이었습니다(합성 페르소나 설문, 같은 질문에 답이 흔들린다면). 그 흔들림을 줄였다면 다음 질문이 남습니다. 그 답은 사람의 반응과 같은가?
같은 기준으로 꾸준히 답하는 가상 응답자도, 그 기준 자체가 실제 소비자와 어긋나 있을 수 있습니다. 시계가 매일 같은 시각을 가리켜도 그 시각이 틀렸다면 쓸 수 없는 것과 같습니다. 그래서 AI 조사 결과를 실무에 쓰려면 어디까지 믿을지를 사람 조사로 정해야 합니다.
다섯 단계로 맞춰 보기
어떤 도구를 쓰든, AI 조사 결과를 사람 조사와 맞춰 볼 때 아래 순서를 권합니다. 아웃도어 용품 회사가 새 텐트 콘셉트 세 개를 비교한다고 해 보겠습니다(가상 사례).
1. 같은 설문을 사람에게도 한다
AI 가상 응답자에게 보여 준 콘셉트 설명, 문항, 보기를 그대로 사람에게 보여 줍니다. 문구 하나, 보기 순서 하나가 달라도 비교가 흐려집니다.
2. 응답 품질을 먼저 거른다
사람 조사에도 불성실 응답이 섞입니다. 문항을 읽지 않고 같은 번호만 고르거나, 너무 빨리 끝낸 응답입니다. 어떤 응답을 뺄지 조사 전에 정해 두고 그 기준대로 거릅니다. 결과를 본 뒤에 기준을 정하면, AI와 맞는 쪽으로 기준을 고르게 되기 쉽습니다.
3. 수준보다 순서와 방향을 본다
AI의 구매의향 점수가 사람보다 전반적으로 높게 나오는 일은 흔합니다. 그런데 상품기획에서 실제로 필요한 답은 「세 콘셉트 가운데 무엇이 낫나」, 「어떤 소비자층에서 반응이 갈리나」인 경우가 많습니다. 그래서 콘셉트 사이의 순서와 방향이 사람과 같은지를 먼저 봅니다. 순서가 맞으면 후보를 좁히는 데 쓸 수 있고, 순서가 다르면 그 범위의 AI 결과는 참고하지 않습니다.
4. 믿을 범위를 정하고, 사람 기준으로 보정한다
맞춰 본 결과는 「AI 조사 전체를 믿는다/안 믿는다」가 아니라 범위별 판정으로 남깁니다. 제품군, 문항, 대상에 따라 「참고해도 됨」, 「참고만」, 「쓰지 않음」으로 나눕니다. 수준 차이는 사람 응답을 기준으로 보정하거나 표시합니다. 이때 기준은 사람 응답뿐입니다. AI 응답만으로 기준을 바꾸면 검증이 아니라 AI가 AI를 맞추는 셈이 됩니다.
5. 바뀌면 다시 본다
응답을 만드는 모델이나 설정, 조사하는 제품군이 바뀌면 지난번 판정이 그대로 맞는다는 보장이 없습니다. 바뀔 때마다 같은 절차를 다시 거칩니다.
맞춰 볼 때 자주 하는 실수
평균 점수만 비교하기. 평균이 비슷해도 콘셉트 순서가 뒤집혀 있으면 비교 조사에는 쓸 수 없습니다.
AI 프롬프트를 사람 결과에 맞춰 고치기. 이렇게 하면 그 조사에서는 맞아 보이지만, 다음 조사에서 무엇을 믿어야 할지 알 수 없게 됩니다.
한 번 맞았다고 모든 제품군에 쓰기. 텐트에서 맞은 결과가 화장품에서도 맞는다는 근거는 없습니다.
사람 조사 없이 일관성만으로 판단하기. 일관성은 측정이 믿을 만하다는 뜻이지, 맞는다는 뜻이 아닙니다.
특허 출원 내용
디지엠유닛원 주식회사는 목표 점수 없이 응답 일관성을 높이는 방법과, 사람 조사와 비교해 AI 결과를 검증·보정하는 절차를 담아 특허를 출원했습니다.