通过多分类器结合的方法提高分类精度的程度依赖于各分类器分类表现的独立性，当分类器用独立的特征集训练或用独立的训练数据训练时，分类器之间被认为是独立的（Xu et al.，1992）。可以预见，当用多源遥感数据进行分类或用完全不同的特征（如光谱特征和各种纹理特征）参与训练分类器时，分类器具有很高的独立性；对于一般的多光谱数据而言（如Landsat TM数据），如何通过不同波段结合，既保证单个分类器一定的分类精度，又使各种波段结合方式下的特征具有较高独立性，并不是一件容易的事。
下面利用美国Lanier湖区的Landsat TM数据土地覆盖分类为例，比较抽象级的多分类器结合方法和测量级的多分类器结合方法。
一、抽象级的投票多分类器结合实验
在抽象级的投票方法进行多分类器结合分类时，参数α的选取对分类精度有很大影响。α越大，分类精度越高，但同时分类的拒绝率也越高，即更多的像元被判别为未知像元。为便于比较，我们在投票决策过程中强制将每个像元分类到已知类别，也就是说，不设定α，而将像元分类为票数最多的类别。
参与分类器结合的各分类器包括最大似然分类器（MLC），最小距离分类器（MinD）、K-NN分类器，马氏距离分类器（MaD）和多层感知器神经网络分类器（MLP）。
1.相同特征集训练的多分类器抽象级结合
相同特征集训练的多分类器抽象级结合方式如图5-3所示。
图5-3 相同特征集的抽象级多分类器结合示意图
图5-3中B1，B2，…B5 表示 Landsat TM 多光谱遥感数据中的波段 1 至波段5。图5-4为参与投票的各分类器的分类结果图。表5-2是根据各分类器分类结果的误差矩阵计算的总体分类精度，生产者精度，用户精度以及条件 Kappa系数。本文第二章详细介绍了基于误差矩阵的各精度指标计算方法。可以看出，虽然各分类器的总体精度差别不大，但对各个类别的分类精度差别很大，特别是农地与草地、针叶林与阔叶林，以及城镇与裸地、裸地与云的区分方面。无论是生产者精度，用户精度、还是条件Kappa系数，每个分类器对不同类别的分类精度差别都很大。每一类别分类精度最高的分类器各不相同。
图5-5是由图5-3 所示的分类器结合方式，用相同的特征训练各分类器，用投票法进行抽象级的分类器结合生成的分类结果。表5-3是用相同特征训练的分类器在抽象级结合后的分类精度。与表5-2 中的结果比较可以看出，将多分类器结合后，对于单个类别的分类精度，无论是生产者精度、用户精度还是条件Kappa系数，都不会高于单个分类器分类精度中的最高精度，但多分类器结合后的总体分类精度和Kappa系数都高于任何单个分类器的总体分类精度和Kappa系数。总体精度比单个分类器提高 6%～9%，Kappa 系数提高 7%～10%。
图5-4 各分类器的分类结果
表5-2 分类器系统中各分类器的分类精度
图5-5 相同特征训练的多分类器抽象级结合分类结果
表5-3 相同特征训练的多分类器抽象级结合分类结果精度评价
2.不同特征集训练的多分类器抽象级结合
在多分类器结合过程中，一般总希望参与结合的各分类器之间具有独立性。理论上，对于两个类别分类的情况，假设有奇数个分类器且分类精度相同，则将这奇数个分类器在抽象级结合后总的分类精度服从一个二项式分布，分类器越多，分类精度越高。这时当单个分类器精度高于50%时，单个分类器之间独立可得到更高的结合后的分类精度（Kuncheva et al.，2000）。Kuncheva（2000）的实验研究表明相互不独立的多分类器结合仍然可以显著提高分类精度。
独立的分类器一般是指由独立的特征训练的分类器。因此分类器的独立性的评价常常是对分类器训练特征之间独立性的评价。对于多光谱遥感数据分类来说，不同的波段组合形成不同的训练特征，因此希望不同的波段组合形成的特征之间具有独立性。
分类器之间的独立性一般是指由独立的特征训练的分类器。因此分类器的独立性的评价常常是对分类器训练特征之间独立性的评价。对于多光谱遥感数据分类来说，不同的波段组合形成不同的训练特征，而各特征具有独立性。
我们利用不同的组合分别对最大似然分类器、最小距离分类器、多层感知器神经网络、马氏距离分类器和K-NN分类器进行训练。训练特征的波段组合为 234，345，457 三种组合方式。每个分类器分类结果通过投票决策方法结合得到最后的分类结果。不同特征集训练的多分类器抽象级结合分类过程如图5-6所示。分类结果如图5-7。
图5-6 不同特征集训练的多分类器抽象级结合示意图
表5-4为不同特征集训练的多分类器抽象级结合分类结果的精度统计。与表5-3中相同特征集训练的多分类器抽象级结合分类结果精度对比可以发现，两者的分类精度非常接近，后者的分类精度并没有高于前者，相反略低于前者。造成这种情况的原因大概有两方面：一是 TM图像各波段之间具有较高的相关性，不同的特征（波段组合）如234与345，345与457之间也有较高的相关性，因此各特征之间的独立性不高；二是为了使各分类器训练特征不同而使各特征的波段数减少，导致某些分类器的分类精度降低，因此结合后的总体分类精度虽然高于单个分类器，但并不比用相同特征训练的多分类器结合后的分类精度高。
图5-7 不同特征训练的多分类器抽象级结合分类结果
表5-4 不同特征训练的多分类器抽象级结合分类结果精度评价
二、测量级的多分类器结合实验
测量级的多分类器结合也是多分类器结合的常用方式。测量级的分类器结合方式是根据分类器各输出的一系列说明像元属于各类别的程度测量值（如后验概率），以一定方式结合各分类器，用结合后的测量值作为判别像元类别的依据。很显然，分类器在分类过程中输出的说明像元属于各类别程度的测量值，包括后验概率估计、距离测量等，正是分类不确定性度量的基础。因此，测量级的多分类器结合可以理解为以各单个分类器不确定性为基础的多分类器结合。
本实验中，我们分别用 TM遥感数据的 12345 波段对最大似然分类器、多层感知器神经网络、最小距离、马氏距离四个分类器进行训练并分类。最小距离和马氏距离分类器输出的距离像元到个类别中心的距离测量通过式（5-11）转换为“概率测量”。各分类器的测量值按照式（5-9）中的 Bayesian 平均方法结合并以式（5-10）确定最终的分类结果。图5-8给出了用 Bayesian平均方法进行测量级多分类器结合的过程示意图。图5-9为用测量级的多分类器结合方法分类的 Lanier湖区土地覆被图。表5-5 为 Bayesian平均法测量级多分类器结合分类结果精度统计。可以看出，测量级的多分类器结合的总体分类精度比单个分类器的总体分类精度提高约4%～9%，Kappa系数提高5%～8%；和抽象级的多分类器结合分类精度比较（表5-3，表5-4），测量级的多分类器结合的分类精度略低于抽象级结合的分类精度。
图5-8 Bayesian平均法进行测量级多分类器结合示意图
由于在测量级的多分类器结合分类过程中，分类器的结合是在最大似然分类和多层感知器神经网络分类的后验概率以及最小距离和马氏距离分类的距离测量等基础上进行，而这些测量正是本文第二章中像元尺度分类不确定性表达的基础，因此，在用 Bayesian平均法进行测量级的多分类器结合的过程中，经Bayesian平均后的测量就相当于最大似然分类中的后验概率。这样，就可以用本文第二章中的不确定性指标方便地在像元尺度表达测量级分类器结合分类结果的不确定性。
图5-9 测量级的 Bayesian平均法多分类器结合分类结果
表5-5 Bayesian平均法进行测量级多分类器结合的分类结果精度评价
图5-10和图5-11分别为用 Bayesian 平均法进行测量级的多分类器结合分类后分类结果的概率残差和相对概率熵。可以看出，较大的不确定性主要发生在城镇与开发用地、裸地和云之间，以及草地和农地之间。较小的不确定性主要发生在水体和阔叶林。与图4-4和图4-7 表达的最大似然分类的不确定性比较可以看出，用 Bayesian平均法进行测量级多分类器结合分类的不确定性大于最大似然的分类不确定性。因此，虽然测量级多分类器结合的分类结果用误差矩阵的统计结果评价时，精度比单个分类器分类结果高，但每个像元分类的不确定性却不一定低于每一个单个分类器分类结果的不确定性。这也证实了：基于误差矩阵的方法和基于概率矢量的方法反映不同方面的不确定性信息。将某一像元“分类正确”，并不保证将这个像元分类为该类别的确定性很高；同样，某一像元分类的不确定性很低，也并不保证该像元被“正确分类”。
图5-10 Bayesian平均法测量级多分类器结合分类结果的概率残差
图5-11 Bayesian平均法测量级多分类器结合分类结果的相对概率熵
三、不同分类器结合方法比较
从以上的分类实验可以看出，抽象级的多分类器结合与测量级的多分类器结合方法都能比较显著地提高遥感数据的分类精度，但不同结合方法各有优缺点。
抽象级多分类器结合方法的优点在于对参与结合的分类器的特性没有要求。由于结合是在最终的分类结果基础上进行，因此任何分类器，包括专家系统分类器、语义分类器等都可以参与抽象级的多分类器结合。但是对与抽象级的分类器结合，为保证投票决策过程中不发生两个或多个类别“得票”相等的局面，必须要求有奇数个分类器参与分类器结合。但是，抽象级分类器结合的分类结果的不确定性无法在像元尺度上表达。
相反，测量级的多分类器结合方法的缺点在于参与分类器结合的各分类器在分类过程必须能够进行不确定性的度量（如后验概率），因此像平行六面体分类、专家系统分类器以及各种语义分类器等不能参与测量级的多分类器结合。但测量级的分类器结合对参与结合的分类器的个数没有要求，因为测量多级分类器系统最终的分类决策根据像元属于各类别的程度的测量，而不是将像元分类为某一类别的分类器的个数进行的。测量级多分类器结合进行分类的另一个重要的优点在于其分类结果的不确定性便于在像元尺度上表达。