数据挖掘入门（十四）

,
6.评价和解释。
a. 模型验证。模型建立好之后，必须评价他的结果、解释他的价值。记
住从测试集中得到的准确率只对用于建立模型的数据有意义。在实际应用中，随
着应用数据的不同，模型的准确率肯定会变化。更重要的是，准确度自身并不一
定是选择最好模型的正确评价方法。你需要进一步了解错误的类型和由此带来的
相关费用的多少。
无序矩阵。对分类问题来说，无序矩阵是理解结果的非常好的工具。如图9所示，
无序矩阵把预测的结果与实际的情况进行对比。它不仅说明了模型预测的准确情
况，也把模型究竟在哪里出了问题也展示了出来。下表是一个简单的无序矩阵，
其中的列代表数据的实际分类情况，行是预测的结果。在这张表值中，可以看到
此模型在总共46个B类数据中成功预测了38个，8个出了问题：2个预测成了A，6个
成了C。显然这比简单的说模型总体准确度是82%要更详细的多（123个成功预测除
以总共150）。
在实际应用中，如果每种不同的预测错误所需付出的代价（金钱）也不同的话，
那么代价最小的模型（而不一定是错误率最小的模型）就是我们所要选择的。例
如，上面的无序矩阵中，如果每个准确的预测会带来￥10的收益，错误的预测A要
付出￥5的代价，B是￥10，C是￥20，那么整个模型的纯价值是：
(123*￥10)-（5*￥5）-（12*￥10）-（10*￥20）=￥885
然而考察下面的无序矩阵（图10），虽然准确度降低到79%（118/150），但纯价
值却升高了：
（118*￥10）-（22*￥5）-（7*￥10）-（3*￥20）=￥940
收益表（图11）也是一种描述模型价值的方法。它显示了通过应用模型响应（如
直接邮件推销）的变化情况。变化的比率称为lift。例如，如果用随机抽取的方
法选择10%的客户响应率是10%，而通过模型选取10%的用户响应率是30%，则lift
值为3。
模型解释的另一个重要组成部分是确定模型的价值。一个模型可能看起来很有意
义，但要实施它的话很有可能花的钱比赚的钱多。图12是一个描述模型投资回报
率（ROI）的图表（这里定义 ROI为利润与开销的比值）。 注意图中当选取比例
超过80%时，ROI变成了负数，ROI最高是在横坐标为2时。
当然，也可以直接看利润的变化情况（利润为收入与花费的差值），如图13所示：
注意到我们上面的例子中，最大lift在第一个1/10处（10%），最大ROI在第2个
1/10（20%），而最大利润在第3、4个1/10处。
理想情况下，应该按照利润表行事，但很多情况下利润表并不能很容易的计算出
来。
b. 外部验证。如前面指出的，无论我们用模拟的方法计算出来的模型的
准确率有多高，都不能保证此模型在面对现实世界中真实的数据时能取得好的效
果。经验证有效的模型并不一定是正确的模型。造成这一点的直接原因就是模型
建立中隐含的各种假定。例如，在建立用户购买模式的模型时，可能没有考虑通
货膨胀的影响，但实施模型时通货膨胀率突然由3%增加为17%，这显然会对人们的
购买意向产生重大影响，因此再用原来的模型来预测客户购买情况必然会出现重
大失误。
因此直接在现实世界中测试模型很重要。先在小范围内应用，取得测试数据，觉
得满意之后再向大范围推广。
相比于我们要达到的目标，与我们同行的人更加重要。
.
※ 修改:·wizard 於 06月20日13:58:38 修改本文
※ 转载:· bbs.sjtu.edu.cn


收藏到ViVi   收藏此页到365Key
上一篇： 数据挖掘入门（十三）
下一篇： 精通数据库系列之入门－基础篇