MCM2020C

问题的综述

问题描述

亚马逊在其创建的在线市场中，为顾客提供了对购买进行评分和评价的机会。个人评级（称为“星级”）使购买者可以使用 1（低评级，低满意度）到 5（高评级，高满意度）的等级来表示他们对产品的满意度。此外，客户可以提交文本消息（称为“评论”），以表达有关产品的更多意见和信息。其他客户可以在这些评论中提交有帮助或无帮助的评级（称为“帮助评级”），以协助他们自己的产品购买决策。公司使用这些数据来深入了解市场状况，参与的时间以及产品设计功能选择的潜在成功。

阳光公司计划在网络上推出和销售三种新产品：微波炉、婴儿奶嘴和吹风机。他们已聘请您的团队作为顾问，识别与其他竞争产品相关的客户提供的过去评级和评论中的关键模式、关系、度量和参数，用于 1）告知其在线销售策略； 2）识别潜在的重要设计功能，提高产品的吸引力。阳光公司过去曾使用数据为销售策略提供信息，但他们以前从未使用过这种特殊的组合和数据类型。阳光公司特别感兴趣的是这些数据中的基于时间的模式，以及顾客的互动方式是否有助于公司打造成功的产品。

1.分析提供的三个产品数据集，以使用数学证据来识别、描述和⽀持有意义的定量和/或定性模式、关系、量度和参数，这些数据在星级、评论和帮助评分之内和之间进行，这将有助于阳光公司在他们三个新的在线市场产品中都取得成功。

2.使用您的分析来解决阳光公司市场总监的以下特定问题和要求： - ⼀旦阳光公司的三款产品在网络市场上销售，根据对其信息量最⼤的评级和评论确定数据衡量标准。 - 在每个数据集中识别并讨论基于时间的度量和模式，这些度量和模式可能表明产品在网络市场中的声誉在上升或下降。 - 确定最能表明潜在成功或失败产品的基于文本的度量和基于评级的度量的组合。 - .特定星级会引起更多评论吗？例如，在看到⼀系列低星级评级之后，客户是否更有可能撰写某种类型的评论？ - 诸如“热情”，“失望”之类的基于文本的评论的特定质量描述符是否与评级⽔平密切相关。

写⼀两页的信给阳光公司市场总监，总结您团队的分析和结果。包括针对您的团队最有信⼼推荐给市场总监的结果的具体理由。

参赛状况

2020年MCM比赛参赛队伍的总体状况如下：

13753 Teams Participated

3852 Problem A (28%)

2455 Problem B (18%)

7446 Problem C (54%)

19 Outstanding Winners (<1%)

180 Finalist Winners (1%)

839 Meritorious Winners (6%)

3525 Honorable Mentions (26%)

8956 Successful Participants (65%)

56 Unsuccessful Participants (<1%)

177 Disqualified (1%)

1 Not Judged (<1%)

可见超过一半的队伍选择了C题，在选择C的这些队伍中，有6支队伍获得O奖，其中有两队来自上海交通大学。

详细的参赛与获奖情况见附件。 ## 问题的背景资料

问题的专业背景

如今，随着越来越多的商家加入电商行业，互联网营销的竞争变得越来越激烈。同时，随着越来越多的客户参与在线评级，评论和互动，对评级和评论的综合分析在了解客户的痛点和制定未来的生产营销战略发挥着越来越重要的作用。 ### 问题的技术背景在亚马逊在线市场平台（其他在线市场平台均类似），客户可以从1到5中选择一个数字来表达他们对商品的满意程度，称为评级，写下任何基于文本的消息作为评论，并自由投票选择他们认为有帮助的其他评论。这些是相关公司深入了解其参与的市场、参与时机，以及产品设计功能的主要数据来源。如何挖掘出这些数据之间的相关性，以及基于评论文本分析客户的情感指向是其中的关键。

建立模型

建模框架可以如图所示:

为了简化建模，我们做出了以下假设： 1. 所提供的数据不包括来自竞争对手或有害客户的垃圾邮件评论。 2. 每次审查的内容都是合法和公正的。 3. 一个产品的审查记录的数量等于同一产品自推出以来的销售总额，即。，在所提供的任何数据集中都没有被遗漏或被排除的记录。 4. 客户的评论和评级是在他们购买产品的同一天发布的，包装、交付、用户质量确认等程序的时间消耗被忽视。 5. 每个客户最多对一种产品（微波炉、奶嘴或吹风机）有一次评价和评级记录。

经过简化后，我们可以运营RRBS模型分析求解此问题，结合了明星评级和来自评论的文本信息。在确定量化过程时，我们考虑了所提供的数据中的几乎所有影响属性。因此，一旦阳光公司的三款新产品推出，就提出了一个信息丰富的数据测量来跟踪。

0. 符号表

符号	描述
i	Product type (either Microwaves, Pacifiers or Hair dryers), i = 1, 2, 3
k	Unique model identifier of a type of products
t	Timestamp identifier (unit: Month)
n	Number of rating and review records of a model within a specific month
scorei, kt	Measure for customer responses a product model receives
α	Rating vector—an n-dimensional row vecto
β	Review vector—an n-dimensional column vector
λ	Rating weight parameter
A	Sentiment polarity matrix—an n-by-n diagonal matrix
Φ	Review-quantifying vector—an n-dimensional column vector
θj	Vine factor
sj	Sentiment intensity factor
vj	Validity factor
hj	Helpfulness-rating factor
Lj	Review-length factor
ϵj	Correction term
score	Time series of a model’s scores
Repi, k(t)	Quantified reputation

1. 评论模型

作为我们指标的一部分，我们将分数定义为一个公司收到的评级和评论来衡量其特定产品。它定量地表明了一个产品在收到客户的积极回应方面是表现好还是不好。我们将我们的指标定义为： score(t) = α ⋅ λβ - i∈{1、2、3}表示i的乘积th类型 - k表示kth模型(由“i”值唯一标识)类型产品； - t表示t月 - α是一个n维的行向量，其值由星号评级决定； - β是一个n维列向量，其值由评审和其他影响因素决定； - λ是一个影响因子，它决定了评分影响价值的权重。我们最初将它的值设为1。

其中α的值与产品的星级评级直接相关，从1到5不等。值1表示“非常不满意”，值5表示“非常满意”。我们考虑两个星的评级，一个值为1，另一个值为5，具有相同程度的强度(即一个表示“非常”不满意，另一个表示“非常”满意)。同样地，4星评级也被认为具有与2星评级相同的强度。3星评级代表中立立场，我们认为这相对不那么强烈。因此，我们进行了一个映射过程。

β是一个n维列向量，其值与综述和其他一些影响因素密切相关。它综合考虑了评论文本的情绪强度，不同评论的不同长度，帮助性评级，评论者的权威(即无论他/她是否是亚马逊葡萄树的评论家)，以及审查员是否为经过核实的买家。因此，我们可以充分利用所提供的数据中的信息，并有效地将文本审查和其他非数值影响因素整合到我们的数据度量中。

我们定义了衡量文本评论的语义信息和其他影响属性的方程，考虑了评论者的权威、评论的有效性、评论的情绪强度、评论的帮助性评级和评论的文本长度: $$ \phi_{i,k,j}^{(t)}=\theta_j s_j^{vj} e^{\frac{h_j}{t_j}-0.5} \frac{1}{2} log_{10}{l_j} $$ 该方程对评论价值进行了综合的考虑：为了量化评论的语义信息和其他影响属性，我们定义了评论Φ作为一个n维列向量。虽然Vine审查员对所提供的产品发表独立意见，但供应商不能影响、修改或编辑评论。因此，我们有理由相信，由Vine评论者发布的评论比常规评论更专业和值得信赖。因此，通过定义θ，我们可以增加Vine评审时的测量价值内容。直观地说，如果一篇评论没有由经过验证的买家发布，它的有效性就有些怀疑。因此，考虑到来自未经验证的买家的评论的潜在不真实性，我们在我们的测量中减少了此类评论的权重。我们定义vj为了代表一个评审的有效性，当它较低时，相应的评审对我们衡量产品得分的影响较小。因此，我们定义hj作为我们测量中的帮助性得分。当还没有人投票给它的帮助时，它的价值应该是1，这使它在我们衡量的帮助性方面有最初的权重。如果“有用”投票与总票数的比例大于0.5，我们认为这是有益的审查，因此权重应该大于1；另一方面，如果比率低于0.5，权重应该小于1，这是没有用的。我们可以定义Lj作为衡量评论的帮助，仅由评论的长度贡献。一个评论中包含的词越多，我们认为这个评论就越有价值。但应该注意的是，L的增长j通过评审，长度应该是非线性的，增长率应该随着评审长度的增加而降低，否则它会对我们对产品得分的测量产生太大的影响。

2. 声誉模型

直观地看，某一时间的声誉在某种程度上取决于它以前的声誉，而不是根据它过去或未来的状态突然改变。一般来说，产品在某一时期的声誉与其整个生命周期中的声誉密切相关。有了这种心态，我们定义了时间权值序列的概念来描述时间t时先前声誉的影响，用t维行向量γ表示：

γ = (γ1,γ2,…γm…,γt)

我们知道时间权重序列γ遵循单调递增的指数模式，这意味着最近一个月的产品分数对新声誉的影响比最近一个月的分数更大。因此，通过对产品声誉的量化，我们应该能够解决观察和预测产品在网络市场中的声誉的增加或减少的任务。

3. 成功性预测模型

一种产品的销售趋势与其声誉趋势高度相关。结合我们所拥有的知识，如果一个产品的声誉提高，那么它的销量很可能在类似的程度内增加，因此我们可以假设这个产品很可能成功；另一方面，一个产品的声誉下降可能意味着它潜在的失败。此外，我们注意到我们的销售在一定程度上的将产品的成功与销售情况进行回归，以预测产品未来的成功或失败，这些预测可能非常容易出错。我们在章节中构建的RRBS模型有效地结合了星级评级水平和信息在基于文本的评论，而声誉模型提供了一种基于时间的度量方法，可以很好地量化产品随时间变化的声誉。考虑到我们之前提出的模型的强大的能力和事实声誉变化更突然与销售相比，我们意识到，用我们的声誉衡量实际销售时预测产品的成功和预测产品的未来声誉基于计算声誉系列，可能是一个很好的方法。

3.1 高斯过程回归

高斯过程(GP)是一种通用的监督学习方法，设计用于解决回归和概率分类问题，而具有高斯过程先验的连续值推理被称为高斯过程回归(GPR).我们知道GPR有几个我们觉得方便的属性，例如它在小数据集上工作得很好，并有能力提供预测的不确定性测量。因此，我们采用GPR来适应一个产品的声誉系列，从而预测产品未来的声誉（晚于提供数据中的最新标签日期），最终使预测产品未来的成功成为可能。

Python代码

整理数据

可视化结果

参考文献

[1] Y. KOREN, R. BELL, AND C. VOLINSKY, Matrix factorization techniques for recommender systems, Computer, 42 (2009), pp. 30–37. [2] E. RASMUSSEN AND C. K. I. WILLIAMS, Gaussian Processes for Machine Learning (Adaptive Computation and Machine Learning), The MIT Press, 2005

修改记录

2022-09-08，张耀中、郝一蔚、董道航