Как метод SSR делает ответы ИИ похожими на реальные оценки покупателей
Как метод SSR делает ответы ИИ похожими на реальные оценки покупателей
Исследование личного ухода показало, что LLM способны имитировать поведение человека в опросах.
Что изучили
Исследование LLMs Reproduce Human Purchase Intent via Semantic Similarity Elicitation of Likert Ratings проверяло, могут ли большие языковые модели реалистично воспроизводить покупательские оценки.
Проблема: когда у LLM напрямую спрашивают «оцени по шкале от 1 до 5», модель даёт слишком ровные, неестественные ответы.
Цель — добиться поведения, похожего на реального респондента: с вариативностью, нюансами и непредсказуемостью.
Что такое SSR (Semantic Similarity Rating)
Semantic Similarity Rating — метод, работающий в два шага.
Сначала LLM формирует текстовый ответ, как человек, объясняя своё мнение.
Затем этот текст сравнивают с эталонными утверждениями Likert-шкалы через эмбеддинги (оценка смысловой близости).
На основе сходства система вычисляет оценку от 1 до 5.
Простыми словами: моделям не предлагают выбрать цифру — они описывают мнение словами, а система сама превращает текст в оценку.
Что получилось в эксперименте
Данные: 57 опросов и 9300 человеческих ответов в категории ухода за собой.
Результаты SSR:
• 90% совпадения с человеческой тест-ретест надёжностью
• KS similarity выше 0.85 — распределения практически совпадают с человеческими
• модели дают детализированные объяснения, близкие к реальным рассуждениям респондентов
Это первый метод, который одновременно обеспечивает реалистичность оценок и человеческий стиль мышления.
Ключевые термины — простыми словами
Likert scale — привычные оценки «1–5».
Эмбеддинги — представление текста в виде числовых векторов для сравнения смыслов.
Test–retest reliability — насколько стабильны ответы при повторных опросах.
KS similarity — тест, показывающий степень сходства двух распределений.
Что это даёт бизнесу
• Тестирование спроса без затрат на панели.
• Возможность проведения виртуальных фокус-групп.
• Использование привычных метрик маркетинга.
• Более реалистичное моделирование реакции покупателей, чем при обычных прямых ответах LLM.
Цитата авторов
«Метод SSR достигает 90% человеческой надёжности и сохраняет реалистичные распределения оценок, обеспечивая масштабируемые симуляции потребителей и интерпретируемые метрики».
