费希尔判别法理论.doc

《费希尔判别法理论.doc》由会员分享，可在线阅读，更多相关《费希尔判别法理论.doc（10页珍藏版）》请在课桌文档上搜索。

1、word费希尔判别费希尔判别或称典型判别的根本思想是投影或降维：用维向量的少数几个线性组合称为费希尔判别函数或典型变量一般明显小于来代替原始的个变量，以达到降维的目的，并根据这个判别函数对样品的归属做出判别或将各组别离。成功的降维将使样品的归类或组的别离更为方便和有效，并且可以对前三个判别函数作图，从直观的几何图像上区别各组。在降维的过程中难免会有局部有用信息的损失，但只要使用的方法得当，我们可以最大限度地减少这种损失，从而保存尽可能多的有用信息，即关于能够反响组之间差异的信息。为便于理解，我们以下用一个简单的二维例子来加以说明。图 投影到某个方向再判别如图 所示，两个组的所有样品都测量了两个

2、变量和，将所有点画于直角坐标系上，一组的样品点用“表示，另一组的样品点用“表示。假定我们希望将二维空间的点投影到某个一维空间，即一条直线上，然后再对两组进展判别，如此投影到不同的直线上，判别的效果一般是不同的。从图 中可见，如果两组的点都投影到直线上如此这两组的投影点在该直线上的分布几乎无任何差异，他们完全混合在一起，我们无法将这两组的点区别开来，这样的降维把反响两组间差异的信息都给损失了，显然是不可取的。事实上，最好的投影是投影到直线上，因为它把两组的投影点很清楚地区分了开来，这种降维把有关两组差异的信息很好地保存了下来，几乎没有任何损失，如此就完全可以在一维的直线上作判别分析。我们现考虑在

3、中将组的维数据向量投影到某个具有最优方向的上，即投影到上的点能最大限度地显现出各组之间的差异。设来自组的维观测值为，将它们共同投影到某一维常数向量上，得到的投影点可分别对应线性组合，。这样，所有的维观测值就简化为一维观测值。下面我们用表示组中的均值，表示所有组组的的总均值，即式中，。对于任一用来投影的，我们需要给出一个能反映组之间别离程度的度量。比拟图 中的上、下半图，上半图三组均值之间的差异程度与下半图是一样的，而前者组之间的别离程度却明显高于后者，原因就在于前者的组变差要远小于后者，后者组之间有较多重叠。因此，可以考虑将组之间的别离程度度量为相对其组变差的组间变差。在以下的讨论中，我们需假

4、定各组的协方差矩阵一样，即。图 三组之间的别离程度的组间平方和式中为组间平方和与叉积和矩阵。的组平方和式中为组平方和与叉积和矩阵。可用来度量的组之间别离程度的一个量是我们应选择这样的，使得达到最大。由于对任意非零常数，用代替上式中的，将保持不变，故考虑对加以约束。我们希望判别函数具有单位方差，即，但因未知，于是用其联合无偏估计替代，所以的约束条件实际应为，即判别函数的联合样本方差为1。设的全部非零特征值依次为，这里，且有 通常情况下上式等号成立，相应的特征向量依次记为标准化为，。由式知，当时达到最大值。所以，选择投影到上能使各组的投影点最大限度地别离，称为费希尔第一线性判别函数，简称第一判别函

5、数。在许多情况下如组数是大的，或者原始的数据向量维数是大的，仅仅使用第一判别函数也许不够，因为仅在这一个投影方向上组之间的差异可能还不够清晰，各组未能很好地分开。这时，我们应考虑建立第二线性组合，为使降维最具效率，应要求在线性关系的意义上不重复中的信息，即用代替未知的，于是我们在约束条件下寻找，使得达到最大。按式，当时达到最大值，称为第二判别函数。如还不够，可再建立第三判别函数，依次类推。一般地，我们要求第个线性组合不重复前个判别函数中的信息，即，用代替，上式变为，我们希望在约束条件下寻找，使得达到最大。由式知，当时达到最大值，称为第判别函数，。设是阶对称矩阵，是阶正定矩阵，是的个特征值，相应

6、的一组特征向量，满足，如此，综上所述，费希尔判别函数具有这样一些特点：1各判别函数都具有单位联合样本方差；2各判别函数彼此之间不相关确切地说，是彼此之间的联合样本协方差为零；3判别函数方向并不正交，但作图时仍将它们画成直角坐标系，虽有些变形，但通常并不严重。依式可知，组数时只有一个判别函数，时最多只有两个判别函数。这从直观上也不难理解，不重合的两个组重心即组均值点可在一维直线上有最大别离，不在一直线上的三个组重心也可在二维平面上有最大分开。一般地，由全部维空间可最大限度地别离个组重心。明确了第判别函数对别离各组的贡献大小，在所有个判别函数中的贡献率为而前个判别函数的累计贡献率为它明确了能代表进

7、展判别的能力。在实际应用中，通常我们并不使用所有个判别函数，除非很小，因为费希尔判别法的根本思想就是要降维。如果前个判别函数的累计贡献率已达到了一个较高的比例如75%95%，如此就采用这个判别函数进展判别。在确定了需使用的个判别函数之后，可制定相应的判别规如此。由于各判别函数都具有单位方差且彼此不相关，故此时的马氏距离等同于欧式距离。我们采用距离判别法，依据值，判别新样品归属离它最近的那一组，即判别规如此为，假如 其中，为第判别函数在组的样本均值的平方欧式距离，式也可表达为，假如如果只使用一个判别函数进展判别即，如此式可简化为，假如 式中和分别是式中的和。有时我们也使用中心化的费希尔判别函数，

8、即，式中为个组的总均值，仍使用式进展判别。例5.4.1有用结论 组数时的费希尔判别。由于，故组间矩阵假设组矩阵是可逆的必须有，如此有一中的性质2知有唯一的非零特征值这是一个正数因为。令为相应的特征向量，它应满足即于是易见，满足上述方程，这里为联合协方差矩阵。为此，费希尔判别函数为按式，判别规如此为其中，。注意到，。因此，上述判别规如此等价于也可以表达为此正为式。上例明确，对于两组的判别，费希尔判别等价于协方差矩阵相等的距离判别，对两个正态组也等价于协方差相等且先验概率和误判代价也均一样的贝叶斯判别。当使用的判别函数个数时，可将各样品的两个判别函数得分画成平面直角坐标系上的散点图，用目测法对新样

9、品的归属进展判别或对来自各组样品的别离情况与结构进展观测评估。当时，可利用SAS的交互式数据分析菜单系统，让样本中来自不同组的样品点呈现不同颜色或不同形状以区分各组，然后作三维旋转图从多角度来区分新样品的归属或观测评估各组之间的别离效果，但其目测效果一般明显不如时清楚。能够利用降维后生成的图形用目测法进展判别是费希尔判别的最重要应用，图中常常能清晰地展示出通过计算未必能得到的丰富的信息，如发现构成各组的结构、离群样品点和数据中的其他异常情况等。附：回代判别为考察上述判别准如此是否优良，采用以训练样本为根底的回代估计法计算误判率。来自总体容量为的训练样本其中，；，以所有的训练样本作为新样本，依次代入建立的判别函数中，并且利用判别准如此进展判别，该过程称为回判。用表示将属于总体的样本误判为总体的个数，设总的误判个数为，如此误判率的回代估计为10 / 10