논문 정보
Using LLMs for Market Research (2024. 07. 29.)
by James Brand, Ayelet Israeli, Donald Ngwe
assisted by Noah Ahmadi, Meng Yang
1. Introduction
| LLM은 인간과 같은 언어를 이해하고 생성하도록 설계된 AI의 한 종류임. 이 모델은 자연어의 패턴과 구조를 이해할 수 있도록 하는 수많은 텍스트 데이터에 기반하여 훈련됨. LLM은 언어 번역, 대화 인지부터 콘텐츠 생성, 텍스트 분류까지 넓은 범위에서 응용되고 있음. LLM은 다량의 텍스트데이터를 빠르게 처리하고 분석할 수 있기 때문에 금융, 헬스케어, 마케팅 산업에서 매우 인기가 높아지고 있음. LLM은 코딩(깃허브 코파일럿), 검색(Bing, 구글) 분야에서 몇몇 잘 얄려진 AI 강화 솔루션을 지원하고 일부 연구에서 LLM이 투표와 몇몇 경제 실험을 포함하는 제한된 실제 세계 행동을 복제할 수 있다는 걸 보임. |
| 본 연구에서는 LLM이(주로 GPT3.5 터보 모델) 어떻게 시장 조사를 위한 도구로 사용될 수 있는지 연구함. GPT의 훈련 데이터는 쇼핑하거나 구매한 물건에 대해 토론하는 많은 소비자의 기여로 만들어진 상품 후기와 다른 온라인 포럼을 포함할 수 있는 인터넷 상의 수많은 정보를 포함함. GPT와 다른 비슷한 LLM들은 텍스트의 다음 시퀀스와 가장 유사하도록 쿼리와 프롬프트에게 응답하도록 훈련되었기 때문에 본 연구는 시장 조사 설문에 GPT가 제공한 응답이 부분적으로 훈련데이터에 있는 소비자가 동일한 질문에 대해 답했을 응답의 유형을 반영한다고 가정함. 동시에 이 요소들은 GPT가 인간의 응답을 모방하거나 복제할 수 있기 때문에 소비자 선호도에 대한 인사이트의 매우 유용한 자료임을 제안함. |
| 공동 연구, 포커스 그룹, 소유권 데이터와 같은 현존하는 시장 조사 도구는 매우 비쌀 수 있음. 만약 LLM이 인간 객체에 대한 현존하는 연구로 이루어진 응답을 생성할 수 있다면, LLM은 빠르고 저렴하게 공동 연구와 다른 소비자 설문으로부터 생성되는 정보를 보충하는 방법을 서비스할 수 있음. 주요 테크 회사가 LLM을 웹상의 정보를 검색하고 합성하는 도구로 갖추기 시작했기 때문에 LLM을 신제품 런칭 이전의 마케팅이나 가격 전략 개발에 사용하고 LLM에게 반복적으로 오랫동안 제품 시장 적합성을 평가하고 마케팅 전략을 수정하라고 질의하는 것을 상상할 수 있음. 어떤 면에서는 LLM이 훈련되는 텍스트를 생성하는 부분에서 소비자들이 간접적으로 조사될 수 있음. |
| 본 연구는 ‘전형적인 소비자 설문 질문에 대한 GPT의 응답으로부터 배울 것으로 기대하는 것이 불분명할 수 있다’는 점을 사전에 강조함. 예를 들어 GPT의 훈련 세트에 존재할 가능성이 높은 상품 리뷰가 상품에 대한 소비자의 선언된 선호를 밝힐 수도 있지만 항상 가격 또는 의사 결정 요인(소득 또는 인구 통 등)의 주요 특성을 언급하는 것은 아님. GPT가 $100의 캔디바를 제공받았을 때 거절하는 것을 알까? GPT가 $1의 플레인 바닐라 바와 $2의 초콜릿 퍼지 바 사이에서 선택해야 할 때 균형을 맞추는 방법을 알까? 게다가, GPT가 각 독립된 질문에 대해 합리적인 응답을 생성할 수 있다고 해도 다른 질문 전체에 걸쳐서 GPT의 응답이 소비자가 응답할 것으로 예상되는 방식으로 구성되어 있을까? 이러한 이슈를 평가하는 것은 거의 모든 시장 분석가에게 GPT와 다른 LLM의 잠재 가치를 이해하는 핵심(key)이며 본 논문의 핵심(focus)임. |
| 우선, GPT의 훈련 세트가 이 맥락에서 유의미한 응답을 생성할 수 있을지 또한 불확실함. 다량의 문헌이 상품의 번들에 대한 확언된 선호를 끌어내는 소비자 조사와 소비자 선호가 실제 선택으로 밝혀지는 실제 세계의 수요의 차이를 입증함. GPT의 훈련 세트는 2가지 측면을 포함함 1) 소비자들은 온라인에 실제와 예측된 구매에 대한 코멘트를 남김. 2) 하지만 구매에 대해 게시된 코멘트는 실제 판매 데이터를 대표하는 샘플도 아니고 전형적인 소비자 설문 질문에 의해 유도된 것도 아님. LLM이 프롬프트에 응답하는 것에 대한 불투명성과 함께 훈련 세트에 대한 이 측면이 시장 조사를 위한 LLM의 유용성 연구(본 연구)에 동기를 부여함. |
| 이 환경에서 GPT의 효율성을 수량화하기 위해 본 실증적인 연구는 시장 조사가들이 실무에서 마주칠 수 있는 문제의 근사치를 내는 것을 시도함. 많은 경우에, 시장 조사는 기존의 상품과 특징 또는 기존 상품에 대한 새로운 특징에 대한 소비자의 손호와 관련된 무언가를 배우기 위해 사용됨. 이러한 맥락에서 ‘새로움’은 회사가 과거 정보를 거의 가지고 있지 않는 상품이나 특징을 참조하거나 이전에는 만들어지지 않았던 특징을 혁신할 수 있음. 게다가, 마케터는 종종 ‘일반적인 시장 소비자의 선호’와 ‘마케터가 타겟하고 싶은 시장의 일부’ 2가지 모두를 신경씀. 이러한 사례를 명심하고, 본 연구는 가정된 시장 연구가의 정보 세트를 고립시키고 각 케이스에서 GPT의 성능을 탐구할 수 있는 인간 참여자의 5가지 설문을 설계함. 본 연구는 연구자가 상품 카테고리에 대한 사전 정보를 가지고 있지 않은 상황에서 GPT의 소비자 선호를 시뮬레이션하는 능력을 연구하는 것부터 시작하고 인간 설문으로부터 얻은 상품과 관심있는 고객에 대한 정보의 다양한 수준과 형태를 더함. 이 연구는 시장 연구자가 GPT를 보충하기 위해 동일하거나 비슷한 상품 시장에 대한 이전 연구와 소비자 세그먼트를 사용하는 단계를 시뮬레이션함. |
| 전체적으로, WTP(지불 가능 금액) 추정치를 결론짓는 것은 규모와 분포 면에서 현질적임. 특히 본 연구는 선호 추정에 대한 결합형 접근 방식이 본 연구가 수행한 추가적인 인간 설문에서뿐만 아니라 Fong에 의해 수행된 실제 소비자에 대한 최신 설문에서 찾아진 결론와 현저히 유사한 결론을 생산한다는 것을 보임. 게다가 본 연구는 인간 설문으로부터 얻은 데이터로 GPT를 강화하는 것이 이러한 설문에 대한 GPT의 지속적인 응답 능력을 향상시킬 뿐만 아니라 아니라 놀랍게도 새로운 상품 특징에 대한 선호에 관한 별개의 인간 설문과도 매치된다는 것을 찾음. 반면, 이 접근법을 다른 제품 카테고리에 적용하는 것은 GPT로부터 더 많은 정돈된 결과를 생성하지 않음. |