表白失败女孩想跟你做朋友

表白失败女孩想跟你做朋友:在上一篇文章（分类模型的超链接评估，第1部分）中，我们讨论了给定分类结果的评估指标，即精度、召回和F分数。不幸的是，这些指标不是评价二元模型有效性的好方法，因为在人工智能领域，大多数模型都能产生多重分类结果。在这一点上，把这个模型看作是一个专业的吃鸡游戏，玩家可以玩很多吃鸡的游戏。每场鸡食游戏的结果可以通过最终排名或杀死的敌人数量来判断。但是对于玩家来说，很明显需要定义新的指标（根据每个游戏的结果给玩家一套统一的标准），比如杀死敌人的平均数量、吃鸡的百分比等。同样，为了更好、更全面地评价模型的效果，学术界设计了新的评价指标。这些是本文将关注的ROC曲线和AUC。一、逻辑回归为了便于讨论各种评价指标，我们首先介绍了一个非常常见的分类模型：逻辑回归。虽然这个模型是解决分类问题的模型，但是它的模型输出是概率（如前一篇文章所述，我们使用变量来表示实际结果，以表示预测结果）。其中或）。具体来说，逻辑回归模型公式如下，其中是模型参数的估计值。但这只是对概率的预测，我们真正想要的是对概率的预测，这是两者之间的最后一步。此时，需要选择一个阈值（当然，在大多数情况下，该值等于0.5）。此时只能得到预测结果，如式（2）所示。以逻辑回归为例，说明了同一模型产生不同分类结果的原因：调整预测阈值α可以得到不同的分类结果。第二，ROC空间现在我们来探讨如何评估二进制分类模型。在最后一篇文章中，我们讨论了准确率，并仔细考虑了召回率的定义：公式中的分母是所有成功表达爱意的幸福人士，即数据中的数字。这个数是固定的，它与模型无关，当然公式中的分子受模型的影响。但对于准确率，公式中的分母是预测结果中成功表达的快乐人数，即。换言之，分子和分母受模型精度的影响。因此，当准确率发生变化时，很难分析变化的来源。这将影响对模型影响的进一步分析。为了解决这个问题，可以模拟召回率：分母是固定的，预测结果只影响评价指标的分子。因此，我们定义了真阳性率（TPR）和假阳性率（FPR）。使用前文表1中定义的符号，这两个指标的具体定义如公式（3）所示，相应的直观表示可参考图2。根据公式，真实阳性率实际上是召回率。它显示了快乐的人成功表达他们的感受的百分比，以及模型对他们的预测，这是模型的精确性的度量。假阳性率是衡量模型错误程度的指标，它表明了失败的人所占的百分比。对于一个预测结果，很明显希望真阳性率越高越好，假阳性率越低。在定义了这两个评价指标后，我们考虑画出一个以假阳性率为水平轴，以真阳性率为垂直轴，长度为1的正方形，形成所谓的ROC空间。对于预测结果，可以根据相应的真、假阳性率在ROC空间中表示为一个点，如图1所示。图1关于ROC空间，以下几点值得注意。在ROC空间中，点越靠近左上角，预测精度越高。例如，图5-19中的两个点A和B，其中点B位于点A的左上角，具有较高的准确率和较低的误差率。所以这是一个更好的预测。方格左上角的点表示预测结果与实际情况完全一致，是一个完美的预测。假设对于每个数据点i，有60%的预测概率；它有40%的预测概率。这是一个完全随机的分类预测。它的阳性或假阳性率为60%，与图中的D点相对应。通过类比，虚线（正方形的对角线）代表所有随机分类的预测结果。显然，随机分类只是一种具有一定概率的猜测，没有任何预测函数。理论上，这是最糟糕的预测方法。但请注意，图中位于对角线右下方的点F比随机分类更差。这是因为它的结果是“颠倒的”：只要根据F的结论做出相反的预测，新的预测结果就是E.E预测，比随机分类更好。从图像来看，e是以对角线为中心的f的镜像。准确的召回率通常是相反的。假阳性率为正相关。例如，对于一个逻辑回归模型，当阈值降低时，这两个指数将上升。整个过程如图2所示。从长远来看，真正的正利率是做出预测的回报，而错误的正利率则是要付出的代价。就像生活一样，回报越大，成本越高。图2ROC曲线和AUC如果模型的阈值从0慢慢增加到1，并在图上记录每个阈值对应的预测结果，则可以得到所谓的ROC曲线（接收器工作特性曲线），如图3所示。ROC曲线下的区域，即图中的灰色部分，称为AUC。它是一个非常重要的评价指标。简而言之，AUC越大，模型的预测效果越好。图3我们可以更深入地探讨AUC的意义（预警，本文的实质内容如下）。在我们进入抽象数学之前，让我们举一个简单、直观的例子：数据集中有四个数据块，分别是1、2、3和4。这些数据根据值分为两组：第一组包含数据1和2，即第二组包含数据3和4，即假设一个逻辑回归模型的直接预测结果表示为，我们可以将这些结果称为数据得分。在哪里，和。因此，模型阈值对应的真假阳性率及最终预测结果见表1。表1上述结果表示为图4所示的图，可以在ROC空间中得到。其中，AUC为0.75，即第一组数据得分高于第二组数据得分的概率。让我们回到更一般的情况。如第一节所述，逻辑回归模型的直接预测结果是发生概率，即将该预测值称为事件得分。现在随机选择两个数据点k和l，其中，和。如果预测结果中K点的得分大于L点的得分，即模型对这两个点的直接预测结果是正确的（当然，由于模型阈值的存在，最终预测结果可能不正确）。AUC表示发生这种情况的概率，即K点大于L点的概率。换句话说，AUC可以被视为模型正确预测的概率。数学公式可以表示为：图4.可以看出，AUC不同于先前定义的精确召回率。它的值不依赖于模型阈值alpha，而是完全依赖于模型本身。因此，可以认为它是一个更全面的模型评价指标。此外，虽然传统的AUC是在二进制分类问题上定义的。但是，如果如公式（4）所示，从概率的角度理解它，可以帮助我们将这个指标应用到更多的场景中，比如大规模推荐系统（在这些场景中，可以通过随机抽样概率值估计公式（4），概率值为AUC）极限到了太空，这里的细节不做进一步的开放。四个，由于人工智能的分类模型大多是所谓的评分模型，即模型的直接结果是分类的概率而不是分类本身，因此分类结果的评价指标如准确性、回忆性、F-评分不能很好地判断模型效果。另一方面，AUC可以综合评估模型，因为它通过构造ROC曲线来考虑所有可能的分类结果。五、广告时间本文的大部分内容都是基于我的新书《掌握数据科学：从线性回归到深度学习》。李国杰院士和韩家伟教授看完这本书后，为它作了前言。欢迎您购买。此外，请查看此链接以获取免费视频课程表白失败女孩想跟你做朋友