솔루션

같은 데이터면 같은 결론, 의미 있는 변화면 결론이 움직이는 AI 분석

언어모델 분석은 같은 자료를 다시 넣어도 결론이 달라질 수 있고, 결과를 저장해 재사용하면 잘못된 판단이 굳습니다. 두 문제를 함께 다루는 세 가지 장치와 비교시험 결과, 도입 전에 확인할 점을 정리했습니다.

목차

이 글의 결론

  1. 언어모델에게 같은 자료를 다시 분석시키면 결론이 달라질 수 있습니다. 매주 같은 주제를 보는 팀에게 이 흔들림은 「시장이 바뀐 것인지, 분석이 흔들린 것인지」를 모르게 만듭니다.
  2. 결과를 저장해 두고 재사용하면 흔들림은 사라지지만, 한 번 잘못 내린 판단도 같이 굳습니다.
  3. 좋은 분석은 같은 데이터에는 같은 결론을, 의미 있는 변화에는 바뀐 결론을 냅니다. 이를 위한 세 가지 장치를 특허 출원했습니다.

지난주와 결론이 다른 보고서

아웃도어 용품 회사의 상품기획자가 매주 월요일 시장 신호 보고서를 받는다고 해 보겠습니다(가상 사례). 지난주 보고서는 방수 재킷 불만이 늘어난 원인을 「봉제선 누수」로 정리했습니다. 이번 주 보고서는 같은 신호의 원인을 「사이즈 표기 혼란」으로 적었습니다.

새로 들어온 글은 몇 건 되지 않습니다. 그렇다면 둘 중 하나입니다. 시장에서 정말 새로운 이야기가 커졌거나, 분석이 같은 자료를 다르게 읽었거나. 보고서만 봐서는 어느 쪽인지 알 수 없습니다. 그리고 이걸 가를 수 없다면, 이번 주 결론으로 회의를 열기도 어렵습니다.

언어모델은 같은 입력에도 출력이 조금씩 달라질 수 있습니다. 한 번 답하고 끝나는 대화에서는 크게 문제 되지 않지만, 게시글을 읽고(판독) → 비슷한 것끼리 묶고(묶음) → 묶음이 무엇을 말하는지 판정하고 → 원인 결론과 근거 문장을 쓰는 여러 단계의 분석에서는 앞 단계의 작은 차이가 뒤 단계에서 결론 전체의 차이로 커집니다.

저장해 두면 되지 않나 — 두 번째 문제

가장 쉬운 해결은 한 번 낸 판단을 저장해 두고, 같은 자료가 들어오면 그대로 꺼내 쓰는 것입니다. 실제로 흔들림은 사라집니다.

하지만 이렇게 얻은 안정성에는 대가가 있습니다.

  • 잘못된 판단도 같이 굳습니다. 처음에 엉뚱한 글끼리 한 묶음으로 묶였다면, 그 묶음은 계속 남아 매주 같은 잘못된 결론을 만듭니다.
  • 실제 변화를 놓칠 수 있습니다. 내용이 정말 반대로 바뀌었는데도 예전 판단이 남아 있으면, 분석은 안정적이지만 틀립니다.

그래서 필요한 것은 두 조건을 함께 만족하는 방법입니다.

  • 데이터가 같으면 결론이 같다.
  • 데이터가 의미 있게 바뀌면 결론이 올바르게 움직인다.

세 가지 장치

Raven’s Nest의 시장 신호 분석은 원인 연구 단계에서 이 문제를 세 가지 장치로 다룹니다.

1. 판단을 기록하고, 기록도 다시 대조한다

한 번 내린 판단과 묶음은 기록해 두고 같은 데이터에는 그대로 씁니다. 여기까지는 저장·재사용과 같습니다. 다른 점은 매번 기록 없이 다시 판단해 본 결과와 맞춰 본다는 것입니다. 기록이 틀렸다고 볼 만큼 어긋나면 기록을 풀고, 왜 풀었는지 경보를 남깁니다. 기록은 결론을 붙잡아 두는 닻이지만, 스스로 검증받는 닻입니다.

2. 경계에 선 판정은 흔들리지 않게 한다

판정 가운데에는 애매한 경계에 걸친 것이 있습니다. 이런 판정은 아주 작은 차이로도 「그렇다」와 「아니다」를 오갑니다. 판정이 경계 안에 있으면서 결정이 바뀌려 할 때는 이전 결정을 유지하고 그 사실을 기록합니다. 반대로 내용이 실제로 바뀌어 판정이 경계를 분명히 넘어가면 새 결정을 반영합니다.

3. 불확실하면 지우지 않고 보류한다

원인 결론은 근거 문장들 위에 섭니다. 근거 문장 가운데 판정이 불확실한 것이 있을 때, 그것을 빼다 보면 결론의 근거가 모두 사라져 결론까지 지워질 수 있습니다. 이때 결론을 지우지 않고 「보류」로 표시합니다. 사용자는 확인된 결론과 더 확인해야 할 결론을 나눠 볼 수 있고, 정당한 결론이 불확실성 때문에 조용히 사라지는 일을 막습니다.

비교시험에서 확인한 것

운영 중인 분석 모델로 실제 수집 데이터의 신호 4개를 대상으로, 단순 저장·재사용 방식이나 일부 장치만 쓴 경우와 비교했습니다.

확인한 것 비교 대상 세 장치 적용
잘못 묶인 판단이 그대로 남은 비율 결과를 저장해 재사용 100% 5.7%
같은 묶음의 판정이 뒤집힌 횟수(308건 중) 기록 없음 7건 · 판단 재사용만 3건 0건
판정이 반대인 내용으로 바꿔 넣었을 때 새 결정을 반영한 비율 — 88%(58건 중 51건)
정당한 결론이 지워진 비율 불확실한 문장 재판정만 8.9% 2.0%
결론의 있고 없음이 뒤바뀐 비율 불확실한 문장 재판정만 4.2% 0%

읽는 법은 이렇습니다. 첫 줄은 「저장해 두면 잘못도 굳는다」는 문제를, 둘째·셋째 줄은 「흔들리지 않으면서도 실제 변화는 따라간다」는 두 조건을, 넷째·다섯째 줄은 「불확실하다고 결론을 지우지 않는다」는 점을 보여 줍니다. 정상 데이터에서는 불필요한 경보가 한 건도 없었고, 「확인됨」으로 잘못 판정되는 비율도 늘지 않았습니다.

이 결과는 회사 내부 비교시험이며, 데이터와 분석 주제에 따라 달라질 수 있습니다.

영상으로 보기

같은 질문에 답이 바뀌는 문제와 세 가지 장치를 2분 안쪽으로 정리했습니다.

1분 37초 영상. 화면은 가상 데모 회사 데이터이며, 그림은 설명용 예시입니다.

AI 분석 도구를 고를 때 확인할 다섯 가지

어떤 도구를 쓰든, 언어모델이 만든 분석 보고서를 반복해서 받는다면 아래를 물어볼 만합니다.

  1. 같은 자료를 두 번 넣으면 같은 결론이 나오나요? 가장 먼저 해 볼 수 있는 시험입니다.
  2. 결론이 바뀌었을 때 이유를 알 수 있나요? 새 자료 때문인지, 이전 판단을 고쳤기 때문인지 구분돼야 합니다.
  3. 저장된 판단은 다시 검증되나요? 재사용만 하는 구조라면 처음의 잘못이 계속 남습니다.
  4. 실제로 바뀐 내용은 반영되나요? 너무 안정적인 분석은 변화를 놓칩니다. 1번과 4번은 짝으로 봐야 합니다.
  5. 불확실한 결론을 어떻게 보여 주나요? 조용히 지우는 것과 「보류」로 표시하는 것은 다릅니다.

특허 출원 내용

디지엠유닛원 주식회사는 위의 장치를 담아 특허를 출원했습니다.

항목 내용
명칭 언어모델을 이용한 데이터 분석 장치 및 그의 동작 방법
출원일 2026년 11월 19일
출원번호 제10-2026-0233696호 · 제10-2026-0233697호
상태 특허 출원 단계로, 심사를 거쳐 등록 여부가 결정됩니다

첫째·둘째 장치는 제10-2026-0233696호, 세 번째 장치(불확실한 결론의 보류)는 같은 날 별도로 낸 제10-2026-0233697호에 담았습니다.

이 방식의 한계

  • 예측이 아니라 근거와 함께 보는 출발점입니다. 일관된 결론이 곧 옳은 결론은 아닙니다. 중요한 결정 전에는 근거 원문을 함께 읽으시길 권합니다.
  • 일관성은 같은 데이터에 대한 약속입니다. 수집 범위나 기간을 바꾸면 결론이 달라지는 것이 정상입니다.
  • 「보류」는 답이 아니라 질문입니다. 보류된 결론은 추가 자료나 사람의 확인이 필요하다는 뜻입니다.

다음 단계

매주 같은 시장을 보는 팀이라면, 결론이 바뀐 이유부터 설명하는 분석으로 시작해 보세요.

사례의 회사·제품·신호는 설명을 위한 가상 예시입니다.

자주 묻는 질문

AI 분석 결과가 매번 달라지는 이유는 무엇인가요?
언어모델은 같은 입력에도 출력이 조금씩 달라질 수 있습니다. 게시글을 읽고, 묶고, 판정하고, 원인 결론을 쓰는 여러 단계의 분석에서는 앞 단계의 작은 차이가 뒤 단계에서 결론 전체의 차이로 커집니다.
AI 분석 결과를 저장해 두고 재사용하면 되지 않나요?
흔들림은 줄지만, 처음에 잘못 내린 판단도 함께 굳고 실제로 바뀐 내용을 놓칠 수 있습니다. 저장한 판단도 기록 없이 다시 판단한 결과와 대조해 검증해야 합니다.
AI 분석 도구의 일관성은 어떻게 확인하나요?
같은 자료를 두 번 넣어 같은 결론이 나오는지, 결론이 바뀌었을 때 이유를 알 수 있는지, 실제로 바뀐 내용은 반영되는지, 불확실한 결론을 지우지 않고 표시하는지를 확인합니다.
NEXT STEP

우리 제품 콘셉트로 직접 해 보고 싶다면

담당자가 귀사의 제품·대상 시장에 맞춘 데모 실험을 함께 설계해 드립니다. 실제 조사 전에 무엇을, 누구에게 물을지 먼저 확인해 보세요.

데모 신청 →카탈로그 받기 ↓

영업일 기준 2일 안에 회신드립니다 · unit1@dgmit.com