篇一：非監督學習法
非監督學習法
本章重點
1. 什麼叫非監督學習方法，什麼叫有監督學習方法？
2. 非監督學習方法主要的用途
3. 非監督學習方法的兩種基本處理方法：按分佈密集程度劃分，與按相似度聚類劃分
4. 按分佈密度程度劃分的基本方法
5. 動態聚類方法與分級聚類方法的概念
6. 典型的動態聚類方法C-均值演算法與ISODATA演算法
7. 使用非歐氏距離計算相似度的動態聚類方法
8. 分級聚類方法
本章課前思考題
1. 如果給機器一維資料，機器能自動地找出其中存在的規律嗎？
2. 有人把非監督學習方法叫無教師的學習，而把第二章、第三章討論的內容成為有監督學習，又稱有教師的學習，你知道誰是教師嗎？教師的作用體現在哪裡？
3. 機器能總結資料中存在的哪些規律呢？
4. 機器能總結天氣變化的規律，給出天氣預報嗎？
5. 機器能炒股嗎？
6. 非監督學習方法與資料有關係嗎？
知識樹
5.1 引 言
以前各章討論的分類器設計方法都是在樣本集中的類別標籤已知的條件下進行的，這些樣本稱為訓練樣本。在樣本標籤已知的情況下，可以統計出各類訓練樣本不同的描述量，如其概率分佈，或在特徵空間分佈的區域等，利用這些引數進行分類器設計，稱為有監督的學習方法。然而在實際應用中，不少情況下無法預先知道樣本的標籤，也就是說沒有訓練樣本，因而只能從原先沒有樣本標籤的樣本集開始進行分類器設計，這就是通常說的無監督學習方法。對一個具體問題來說有監督與無監督的作法是不相同的。
人們日常生活中經常要觀察事物與分析事物，從中尋找其規律性，這就是非監督學習方法要解決的問題。例如人們見到圖5.1的道路圖時，會發現中間有一條帶與圖中其它區域不同，見到圖5.3會發現在這個二維空間中有資料顯現出聚成兩類的現象。這就是事物(對我們來說就是資料集)自身體現出的一些規律性，非監督學習方法就是尋找資料集中體現出來的規律性。從中我們可以強調非監督學習與有監督學習方法的以下幾種不同點：
1． 有監督學習方法必須要有訓練集與測試樣本。在訓練集中找規律，而對測試樣本使用這種規律；而非監督學習沒有訓練集這一說，只有一組資料，在該組資料集內尋找規律。
2． 有監督學習方法的目的就是識別事物，識別的結果表現在給待識別資料加上了標號。因此訓練樣本集必須由帶標號的樣本組成。而非監督學習方法只有要分析的資料集本身，預先沒有什麼標號。如果發現數據集呈現某種聚集性，則可按自然的聚集性分類，但不以與某種預先的分類標號對上號為目的。例如圖
5.1道路影象，有監督學習方法的目的是找到“道路”，而非監督學習方法則只是將中間一條帶狀區域區分開來，本質上講與“道路”這個標號沒有關係。
3． 非監督學習方法在尋找資料集中的規律性，這種規律性並不一定要達到劃分資料集的目的，也就是說不一定要“分類”。這一點是比有監督學習方法的用途要廣泛。譬如分析一堆資料的主分量，或分析資料集有什麼特點都可以歸於非監督學習方法的範疇。
4． 用非監督學習方法分析資料集的主分量與用K-L變換計算資料集的主分量又有區別。應該說後者從方法上講不是一種學習方法。因此用K-L變換找主分量不屬於非監督學習方法，即方法上不是。而通過學習逐漸找到規律性這體現了學習方法這一點。在人工神經元網路中尋找主分量的方法屬於非監督學習方法。 以上四點是對非監督學習方法的定義，及與有監督學習方法的區別。
例如圖5.1表示對一幅道路影象按路面與非路面分類可用兩種不同做法，其中左圖是在影象中路面區與非路面中各找一個視窗，將其中每個象素分別作為這兩類的訓練樣本集，用這兩個樣本集在特徵空間的分佈引數進行設計。而無監督學習方法則不同，它不預先選擇樣本類別的樣本集，而是將整幅圖的畫素都作為待分類樣本集，通過它們在特徵空間中表現出來的聚類現象，把不同類別劃分開。
圖5.1的有監督學習中，樣本集分佈呈現交迭情況，而無監督學習方法由於沒有類別樣本指導，無法確定它們的交迭情況，只能按分佈的聚類情況進行劃分。在類似於該例的實際應用問題中，預先選定不同類別的樣本往往不可能，如時間不允許，或無法用人工幹予等因素。另外在某些有監督學習方法中，也往往需要
利用聚類方法將樣本按其分佈劃分成若干子類等。聚類方法就是無監督學習方法的一個內容，它是經常應用的一門技術。
圖 5.1 無監督學習方法可以分成兩大類，一類為基於概率密度函式估計的直接方法，指設法找到各類別在特徵空間的分佈引數再進行分類。另一類稱為基於樣本間相似性度量的間接聚類方法，其原理是設法定出不同類別的核心或初始類核，然後依據樣本與這些核心之間的相似性度量將樣本聚整合不同類別。下面分別討論這兩種方法。
最常用的基於概率密度估計的直接方法的例子是直方圖方法。例如我們統計一所學校中學生身高分佈就往往可採用直方圖方法，把身高劃分成一段段，如1米到1米75算一段，然後對每一段統計身高在此範圍內的學生數，得到直方圖。如果這個學校的男女學生數目相近，則我們就會發現該直方圖會體現出有兩個分佈高峰。那麼找到兩高峰中的谷點，就會將學生劃分成兩類。
因此，使用概率統計方法的關鍵是能找出各個峰值區，這就是5.2節中的主要內容。另一種方法則在5.3節中再進一步討論。5.2 單峰子類的分離方法
對於樣本在某一種度量中的分佈統計，一般稱為直方圖統計，在樣本數量很大時，又可作為概率統計的估計。由於這種方法基於將樣本投影到某個座標軸上，因而稱為投影方法。 使用投影方法有兩個組成部分，一個是如何設計合適的座標系統， 另一是如何設計直方圖。
如果對於各類別的類條件概率分佈一無所知，我們只按待分類樣本在特徵空間的自然聚集進行劃分。如圖5.2所示的一維特徵空間中，樣本在整個特徵空間中呈現出兩個分佈高峰，如果從分佈的谷點將此特徵空間劃分為兩個區，則對應每個區域，樣本分佈就只有一個峰值，這些區域被稱為單峰區域，而每個單峰區域則被看作不同的決策域。落在同一單峰區域的待分類樣本就被劃分成同一類，稱為單峰子類。下面討論一些單峰子類的劃分演算法。
圖 5.2
5.2.1 投影法
投影法的原理很簡單，拿圖5.3顯示的一個二維空間為例。在該分類問題中，兩個類別分別在其特徵空間中形成兩個聚類，圖中用兩個區域的輪廓勾出這兩類樣本聚類的區域。對人來說一旦畫出這兩類的空間分佈，可以很容易地判斷出這兩類在特徵空間聚集的區域，但是對計算機來說，要識別出這兩類的分佈情況，直接從二維的圖形來說是很困難的，更不用說在高維特徵空間直接對樣本的分佈作出判斷了。一個辦法是如果將樣本對某個方向的軸作投影，或換句話說只取這些樣本的某一分量的統計值來看，樣本的分佈往往顯現出高峰與低谷，找到低谷，將峰值分別劃分在不同的區域中，每個區域只有一個高峰，並把聚在同一高峰下的樣本劃分為一類，這是計算機容易做到的。對於樣本在某一種度量中的分佈統計，一般稱為直方圖統計，在樣本數量很大時，又可作為概率統計的估計。由於這種方法基於將樣本投影到某個座標軸上，因而稱為投影方法。
圖 5.3
使用投影方法有兩個組成部分，一個是如何設計合適的座標系統，另一是如何設計直方圖。在樣本屬性完全不知的情況下，如何選擇座標系統，是比較困難的，因為這時還沒有一個準則函式來表徵這樣一個座標系統的性質。一種啟發式的辦法是使待分類的樣本在某個座標軸方向具有最大的分散性，這可以採用上一章討論過的K-L變換方法。具體說來是用混合樣本協方差矩陣作為K-L變換的產生矩陣，找到其特徵值，並按大小排序，對應最大特徵值的特徵向量對此混合樣本來說，離散程度最大，預期能發現明顯的峰值，但是這種方法並不能保證分出各個聚類，例如圖5.4所示情況，其兩個特徵向量 都只呈現單峰狀態，無法用此法將他們分開。
圖 5.4
投影法的具體演算法分以下幾個步驟：
步驟1： 計算樣本協方差矩陣具有最大特徵值的特徵向量Uj，把資料投影
到Uj軸上。
步驟2： 用直方圖方法求資料的邊緣概率密度函式。
步驟3： 在直方圖的峰值間求最小值，在這些最小點作垂直於Uj的各個超平面把資料劃分為若干個聚類。
步驟4： 如果在這個軸上沒有這樣的最小值，則用下一個最大特徵值對應的特徵向量重複以上過程。
步驟5： 對每個得到的子集(聚類)重複上述過程，直到每個集不能再分(為單峰)為止。
5.2.2 基於對稱集性質的單峰子集分離法
不要求
在一個多維空間中給單峰區域下嚴格的定義是困難的。譬如一個單峰區域的資料集用Γ表示，峰值在處形成，則可寫在
(5-1)
但是僅滿足(5-1)式的區域並不能保證是單峰區。另一方面，如果考慮資料Γ，其中任何一對點y1和y2之間的距離用
式的性質外，還具有以下性質： 表示，該資料集Γ除了具備(5-1)
篇二：有監督學習(supervised learning)和無監督學習(unsupervised learning)
有監督學習(supervised learning)和無監督學習(unsupervised learning) 機器學習的常用方法，主要分為有監督學習(supervised learning)和無監督學習(unsupervised learning)。監督學習，就是人們常說的分類，通過已有的訓練樣本（即已知資料以及其對應的輸出）去訓練得到一個最優模型（這個模型屬於某個函式的集合，最優則表示在某個評價準則下是最佳的），再利用這個模型將所有的輸入對映為相應的輸出，對輸出進行簡單的判斷從而實現分類的目的，也就具有了對未知資料進行分類的能力。在人對事物的認識中，我們從孩子開始就被大人們教授這是鳥啊、那是豬啊、那是房子啊，等等。我們所見到的景物就是輸入資料，而大人們對這些景物的判斷結果（是房子還是鳥啊）就是相應的輸出。當我們見識多了以後，腦子裡就慢慢地得到了一些泛化的模型，這就是訓練得到的那個（或者那些）函式，從而不需要大人在旁邊指點的時候，我們也能分辨的出來哪些是房子，哪些是鳥。監督學習裡典型的例子就是KNN、SVM。無監督學習（也有人叫非監督學習，反正都差不多）則是另一種研究的比較多的學習方法，它與監督學習的不同之處，在於我們事先沒有任何訓練樣本，而需要直接對資料進行建模。這聽起來似乎有點不可思議，但是在我們自身認識世界的過程中很多處都用到了無監督學習。比如我們去參觀一個畫展，我們完全對藝術一無所知，但是欣賞完多幅作品之後，我們也能把它們分成不同的派別（比如哪些更朦朧一點，哪些更寫實一些，即使我們不知道什麼叫做朦朧派，什麼叫做寫實派，但是至少我們能把他們分為兩個類）。無監督學習裡典型的例子就是聚類了。聚類的目的在於把相似的東西聚在一起，而我們並不關心這一類是什麼。因此，一個聚類演算法通常只需要知道如何計算相似度就可以開始工作了。
那麼，什麼時候應該採用監督學習，什麼時候應該採用非監督學習呢？我也是從一次面試的過程中被問到這個問題以後才開始認真地考慮答案。一種非常簡單的回答就是從定義入手，如果我們在分類的過程中有訓練樣本(training data)，則可以考慮用監督學習的方法；如果沒有訓練樣本，則不可能用監督學習的方法。但是事實上，我們在針對一個現實問題進行解答的過程中，即使我們沒有現成的訓練樣本，我們也能夠憑藉自己的雙眼，從待分類的資料中人工標註一些樣本，並把他們作為訓練樣本，這樣的話就可以把條件改善，用監督學習的方法來做。當然不得不說的是有時候資料表達的會非常隱蔽，也就是說我們手頭的資訊不是抽象的形式，而是具體的一大堆數字，這樣我們很難憑藉人本身對它們簡單地進行分類。這個說的好像有點不大明白，舉個例子說就是在bag-of-words模型的時候，我們利用k-means的方法聚類從而對資料投影，這時候用k-means就是因為我們當前到手的只有一大堆資料，而且是很高維的，當我們想把他們分為50個類的時候，我們已經無力將每個資料標記說這個數應該是哪個類，那個數又應該是哪個類了。所以說遇到這種情況也只有無監督學習能夠幫助我們了。那麼這麼說來，能不能再深入地問下去，如果有訓練樣本（或者說如果我們可以獲得到一些訓練資料的話），監督學習就會比無監督學習更合適呢？（照我們單純地想，有高人教總比自己領悟來的準，來的快吧！）我覺得一般來說，是這樣的，但是這要具體看看訓練資料的獲取。本人在最近課題的研究中，手動標註了大量的訓練樣本（當然這些樣本基本準確了），而且把樣本畫在特徵空間中發現線性可分性非常好，只是在分類面附近總有一些混淆的資料樣本，從而用線性分類器進行分類之後這樣樣本會被誤判。然而，如果用混合高斯模型(GMM)來分的話，這些易混淆的點被正確分類的更多了。對這個現象的一個解釋，就是不管是訓練樣本，還是待聚類的資料，並不是所有資料都是相互獨立同分布的。換句話說，資料與資料的分佈之間存在聯絡。在我閱讀監督學習的大量材料中，大家都沒有對訓練資料的這一假設（獨立同分布）進行說明，直到我閱讀到一本書的提示後才恍然大悟。對於不同的場景，正負樣本的分佈如果會存在偏移（可能是大的偏移，也可能偏移比較小），這樣的話用監督學習的效果可能就不如用非監督學習了。
篇三：監督學習演算法基礎知識整理
第三章 監督學習演算法
監督學習又稱為分類（Classification）或者歸納學習（Inductive Learning）。幾乎適用於所有領域，包括文字和網頁處理。給出一個數據集D，機器學習的目標就是產生一個聯絡屬性值集合A和類標集合C的分類/預測函式（Classification/Prediction Function），這個函式可以用於預測新的屬性集合的類標。這個函式又被稱為分類模型（Classification Model）、預測模型（Prediction Model）。這個分類模型可以是任何形式的，例如決策樹、規則集、貝葉斯模型或者一個超平面。
在監督學習（Supervised Learning）中，已經有資料給出了類標；與這一方式相對的是無監督學習（Unsupervised Learning），在這種方式中，所有的類屬性都是未知的，演算法需要根據資料集的特徵自動產生類屬性。其中演算法中用於進行學習的資料集叫做訓練資料集，當使用學習演算法用訓練資料集學習得到一個模型以後，我們使用測試資料集來評測這個模型的精準度。
機器學習的最基本假設：訓練資料的分佈應該與測試資料的分佈一致。
訓練演算法：訓練演算法就是給定一組樣本，我們計算這些引數的方法。本節簡要介紹以下幾種常用的機器學習演算法，比如決策樹，樸素貝葉斯，神經網路，支援向量機，線性最小平方擬合，kNN，最大熵等。
3.1 兩類感知器
見課本
3.2 多類感知器
見課本
3.3 決策樹演算法
決策樹學習演算法是分類演算法中最廣泛應用的一種技術，這種演算法的分類精度與其他演算法相比具有相當的競爭力，並且十分高效。
決策樹是一個預測模型；他代表的是物件屬性與物件值之間的一種對映關係。樹中每個節點表示某個物件屬性，而每個分叉路徑則代表的某個可能的屬性值，而每個葉結點則對應從根節點到該葉節點所經歷的路徑所表示的物件的值（類別）。決策樹僅有單一輸出，若欲有複數輸出，可以建立獨立的決策樹以處理不同輸出。
如何構造精度高、規模小的決策樹是決策樹演算法的核心內容。決策樹構造可以分兩步進行。
決策樹的生成：由訓練樣本集生成決策樹的過程。一般情況下，訓練樣本資料集
是根據實際需要有歷史的、有一定綜合程度的，用於資料分析處理的資料集。
1. 樹以代表訓練樣本的單個結點開始。
2. 如果樣本都在同一個類．則該結點成為樹葉，並用該類標記。
3. 否則，演算法選擇最有分類能力的屬性作為決策樹的當前結點。
4. 根據當前決策結點屬性取值的不同，將訓練樣本資料集分為若干子集，每個取值形成一個分枝。
5. 針對上一步得到的一個子集，重複進行先前步驟，形成每個劃分樣本上的決策樹。
6. 遞迴劃分步驟僅當下列條件之一成立時停止：
(a) 給定結點的所有樣本屬於同一類。
(b) 沒有剩餘屬性可以用來進一步劃分樣本。以樣本組中個數最多的類別作為類別標記。
決策樹的剪技：決策樹的剪枝是對上一階段生成的決策樹進行檢驗、校正和修下的過程，主要是用新的樣本數扼集（稱為測試資料集）中的資料校驗決策樹生成過程中產生的初步規則，將那些影響預衡準確性的'分枝剪除。由於資料表示不當、有噪聲或者由於決策樹生成時產生重複的子樹等原因，都會造成產生的決策樹過大。因此，簡化決策樹是一個不可缺少的環節。尋找一棵最優決策樹，主要應解決以下3個最優化問題：
1. 生成最少數目的葉子節點；
2. 生成的每個葉子節點的深度最小；
3. 生成的決策樹葉子節點最少且每個葉子節點的深度最小。
例如，對於表3-1所示的貸款申請的資料集，可以學習到一種決策樹結構，表示為圖3-1。
表3-1 貸款申請資料
根據資料集建立的一種決策樹結構如下：
圖3-1 對應與表3-1的決策樹
樹中包含了決策點和葉子節點，決策點包含針對資料例項某個屬性的一些測試，而一個葉子節點則代表了一個類標。
一棵決策樹的構建過程是不斷的分隔訓練資料，以使得最終分隔所得到的各個子集儘可能的純。一個純的子集中的資料例項類標全部一致。決策樹的建立並不是唯一的，在實際中，我們希望得到一棵儘量小且準確的決策樹。
決策樹的典型演算法有ID3，C4.5，CART（分類與迴歸樹）等。依次得到改進。相對於其它演算法，決策樹易於理解和實現，人們在通過解釋後都有能力去理解決策樹所表達的意義。決策樹可以同時處理不同型別的屬性, 並且在相對短的時間
內能夠對大型資料來源做出可行且效果良好的結果。
3.4 貝葉斯分類演算法
貝葉斯分類器的分類原理是通過某物件的先驗概率，利用貝葉斯公式計算出其後驗概率，即該物件屬於某一類的概率，選擇具有最大後驗概率的類作為該物件所屬的類。目前研究較多的貝葉斯分類器主要有四種，分別是：Naive Bayes、TAN、BAN和GBN。
▲準備知識
條件概率：設A, B是兩個事件，且Pr(A)?0稱Pr(B|A)?
發生的條件事件B發生的條件概率。
乘法公式： 設Pr(A)?0 則有Pr(AB)?Pr(B|A)Pr(A)
全概率公式：設隨機事件A1，A2，...，An以及 B滿足：(1) A1，A2，…，An兩兩互不相容；(2)?An?S或者B??An；(3) Pr(A)?0(n=1,2,…)，則有
n?1n?1??Pr(AB)為在條件A下Pr(A)
Pr(B)??Pr(An)Pr(B|An)，稱為全概率公式。
n?1?
全概率公式的應用：把事件B看作是某一個過程的結果，把A1，A2，…，An看作該過程的若干個原因，根據歷史資料，每個原因發生的概率已知（即Pr(Ai)已知），且每一個原因對結果的影響已知（即Pr(B|Ai)已知）則可用全概率公式計算結果發生的概率，即求Pr(B)。
貝葉斯公式：設隨機事件A1，A2，…，An以及B滿足：(1) A1，A2，…，An兩兩互不相容；(2)
PrA(nB)?PrB()???An?1?n?S或者B??An；(3) Pr(A)?0(n=1,2,…)，則n?1PrA(nB|?)PBr(An|
(?PrB
n?1A|jA)P)nr(，稱為貝葉斯公式。 )PAr)j(
貝葉斯公式的使用：把事件B看作某一過程的結果，把A1，A2，…，An看作該過程的若干原因，根據歷史資料，每一原因發生的概率已知（即Pr(An)已知），如果已知事件B已經發生，要求此時是由第i個原因引起的概率，用貝葉斯公式（即求Pr(Ai|B)）。
▲樸素貝葉斯（Naive Bayes，NB）演算法
在貝葉斯分類中，在資料集合D中，令A1,A2,…,An為用離散值表示的屬性
集合，設C具有|C|個不同值的類別屬性，即c1,c2,…,c|c|，我們設所有的屬性都是條件獨立於類別，給定一個測試樣例d，觀察到屬性值a1到a|A|，其中ai是Ai可能的一個取值，那麼預測值就是類別cj，使得Pr(C=cj | A=a1,…,A|A|=a|A|)最大。cj被稱為最大後驗概率假設。
根據貝葉斯公式，有 Pr(C?cj)?Pr(Ai?ai|C?cj)|A|
Pr(A1?a1,...,A|A|?a|A||C?cj)??Pr(C?c)?Pr(A?a|C?c)kiik
k?1i?1|C|i?1|A|
因為分母對每一個訓練類別都是一樣的，所以如果僅僅需要總體上最可能的類別為所有測試樣例做預測，那麼只需要上式的分子部分即可。通過下式來判斷最有可能的類別：
c?argmaxPr(C?cj)?Pr(Ai?ai|C?cj)
cji?1|A|
例如，假設我們有圖4-1中的訓練資料，有兩個屬性A和B,還有類別C，對於一個測試樣例：A=m B=q 求
C=?
圖4-1 訓練資料
計算如下：
對於類別為t的概率
1222Pr(C?t)?Pr(Aj?aj|C?t)?Pr(C?t)?Pr(A?m|C?t)?Pr(B?q|C?t)????25525j?12
類似的，對於類別為f的概率 1121Pr(C?f)?Pr(Aj?aj|C?f)???? 25525j?12
因此C=t的可能性較大，因此將此種情況下的類別判斷為t。
樸素貝葉斯分類將每篇文件看作一“袋子”的詞，需要做以下假設，這也是
篇四：融合無監督和監督學習策略生成的多分類決策樹
第25卷第4期小型微型計算機系統 Vol.25 No.4 融合無監督和監督學習策略生成的多分類決策樹
邱德紅，陳傳波
（華中科技大學 電腦科學與技術學院，湖北 武漢430074）
摘 要：提出了一種融合無監督和監督兩 種學習策略生成多分類決策樹的方法 .它首先利用無監督聚類方法能夠發現待分類樣本之間的內在聯絡和規律的特點 ,確定出最為符合多類樣本分佈特徵的決策樹的樹型 ,繼而利用監督學習支援向量機的方法對樣本進行準確的分類 .通過採用核函式和不對稱的 L agrangian係數限制條件 ,支援向量機很好的解決了樣本特徵空間上的線性不可分性和決策樹型確定過程中出現的訓練樣本不對稱性的影響 .該方法具有較高的計算效率和準確性 ,在實驗中取得了比較好的結果.
關 鍵 詞：多分類決策樹；無監督聚類；支援向量機
中圖分類號：TP391.41 文獻辨識碼：A 文章編號：1000-1200(2004)04-0555-05
Construction of Multi-classification Decision Tree Combining
Unsupervised and Supervised Learning Strategy
QIU De-hong,CHENChuan-bo
(School of Comouter Science and Technology Huazhong University of Science and Technology,Wuhan 430074,china)
Abstract:In this paper,a new method which combines unsupervised and supervised learning steategy is put forward to construct the multi-classification decision tree,It firstly uses the unsupervised clustering to determine the structure of the multi-classification decision tree,whose each node has a binary unsupervised clustering is able to find out the relationship between the mulit-classes,therefore the decision tree’s structure determined by it is the best one that fits to the distribution of mulit-classes in feature ,a supervised learning method,ort vector machine,is used to classify the two groups of samples of each node of the decision cases the multi-classes cannot be classified by a linear hyperplane,kernel functions are therefore introduced into to solve ltaneously,unsymmetrical constrains of Lagrangian coefficients are set to overcome the negative influences of unbalanced train samples. These efforts guarantee the efficiency and accuracy of the multi-classification decision sfying results were obtained in experiment.
Key words:multi-classification decision tree; unsupervised cluster support vector machine
1 引 言
多分類問題是一個比較常見的問題，機器學習理論和方法
的研究在解決二分類問題上取得了比較滿意的結果
[3][1,2] 無監督學習和監督學習是機器學習方法研究的二大策略.無監督學習方法如無監督聚類(UC)[8,9]是從樣本的特徵向量出.多分發，研究通過某種演算法特徵比較相似的樣本聚集在一起，從而達到區分具有不同特徵的樣本的目的.無監督聚類的優點是可
以發現樣本中隱含的共性和規律，但是由於沒有專家知識的監
督，分類的準確性有限.監督學習方法是通過對已知類別的訓
練樣本的學習，實現對未知樣本的分類判斷.支援向量機
(SVM)[1,2]類問題雖然也有研究,但在理論構架和現實方法上還有相當大的困難.目前解決多分類問題主要運用多分類決策數，決策樹上的每一個節點對應一個二分類器，實際上是利用二分類方法解決多分類問題.生成類分類決策樹的方法有（1）‘一對其餘’，決策樹上N個節點對應的二分類器只判斷是某一類還是
其餘類；（2）‘一對一’，決策樹上N(N-1)/2個節點對應的二
分類器只能對類中的兩類作出是否判斷；（3）‘一半對一半’，
即決策樹的節點對應的二分類器將節點上的類二等分（允許一
類別在兩個節點上出現），直至葉節點.決策樹上節點的數目為，
其中為大於或等於log2(N)最小整數.這三類方法生成的決策
樹雖然具有不同的計算效率和分類效果，但各自在應用中取得
了比較好的結果[4~7]是一種主要用於二分類的準確率比較高的監督學習方法，其基礎是統計學習理論中的結構風險最小化原則.它在許多領域得到了很好的應用[10~12]. 本文提出一種將無監督聚類和監督學習的支援向量機方法結合起來生成多分類決策樹的方法.它的基本思想如下：待方法的多類樣本可以看成是某一巨集觀層面之上的刺激機制激勵下，或者是在某個程序中產生的.該巨集觀層面之下刺激機制的差異，或者是程序中的不同階段導致不同類的出現。差異小.
收稿日期：2002-08-05 作者簡介：邱德紅，博士，主要研究方向為機器學習和生物測定學；陳傳波，教授博士生導師，主要研究方向為影象處理和計算機網路應用。E-mail:
的刺激機制，或者相鄰程序階段產生的類別之間的特徵較為接
近，反之則分散.因而，多類之間雖然具有向異性，但他們在
特徵空間的分佈上有內在規律.如果決策樹的樹形結構能夠體
現多類之間的內在規律，就可能在計算效率和準確性上獲得較
好的均衡，從而提高決策樹的效能.本文介紹的方法的目的是
通過無監督聚類確定反映多類之間分佈規律的決策樹的樹型，
繼而利用監督學習支援向量機方法的準確率高的特點對分佈
接近的類別進行詳細分割槽，使多分類決策樹具有較高的計算效
率和準確率.
2 多分類決策樹的樹型確定
一個N(N≥3)類的多分類問題可以描述為：給定組訓練樣
本：（x1,y1）,…（xl1,yl1）,(x1,y2),…(xl2,y2),……(x1,yN),…
(xlN,ydN),L=l1+l2+…+lN為N類訓練樣本的總數目，xi∈R，
i=1,…,L是d維空間上的特徵向量，yn∈
｛1,2,…,N｝,n=1,…,N是N類標號.多分類問題即函式F：Rd
→｛1,2,…,N｝確定待分類向量x的類別標號y.多分類問題
可以通過由二分類器為節點構成的決策樹來解決.由於待分類
的N類樣本通常是其形成的刺激機制在某個巨集觀層面之下的
差異，或者是同一程序的不同階段形成的，刺激機制差異的大
小和程序階段相隔時間的久遠導致N類樣本在特徵空間上分
布有一定的規律.如圖1所示的N=6的多分類問題，左下三類
(○、□、△)和右上三類(＋、×、*)之間的刺激機制相差較遠，
而左下三類(○、□、△)之間、右上三類(＋、×、*)之間的刺
激機制相差較小.如果多分類決策樹型能夠反映出類樣本之間
的分佈規律，繼而實施輕重有別的詳細區分，必將能獲得比較
優秀的效能，為此設計以下利用無監督聚類確定決策樹型的方
法.
圖 1
多類樣本的特徵向量在特徵空間上的分佈
Fig.1 Distribution of multi-classes samples on
the feature space
第1步:計算N類訓練樣本共L個特徵向量中的任何兩個特徵
向量,比如xr,xs之間的Minkowski距離
dd1/p
r,s={?|x,r,s=1,…,m+1,且r≠s,p=2
sj?xrj|}
j?1
第2步: 將N類訓練樣本共L個特徵向量編號為1,…,L
號葉節點,從1號葉節點開始在C2
L個距離之中找到最小距離,
將對應的兩個葉節點(比如為xr,xs,)做個連線,形成一個二元樹枝.將此連線‘看成’為一個新葉節點,編號為L+1.該新葉節點到其餘某個葉節點xk,k≠r,s(即xr,xs,之外的節點)之間的距離定義為已經連線的兩個葉節點(xr,xs)與該節點之間的最小距離,即dL+1,k=min(dr,k,ds,k) . 第3步:按照第2步同樣的規則,在新生成的葉節點和其餘葉節點之中繼續生成一個新的二叉連線,重複 直到生成最後一個二叉連線而成為一棵聚類樹.如圖2所示的一棵聚類樹，它對應於圖1中的60個樣本. 圖2 無監督聚類生成的聚類樹 Fig.2 Decision tree produced by unsupervised clustering 第4步:將第3步中最後生成的一個二叉連線的左右兩個分枝連線的最底層的葉節點(即1,…,L葉節點)對應的特徵向量劃分到的左右兩個集合SR,SL中.依次檢查待分類的1,…,N類樣本的特徵向量, 如果第n類的Ln個特徵向量被聚類到左右兩個集合SR、SL中,數目分別為lnR和lnL(lnR+lnL=ln)則依下情況處理: ·如果lnR大於或等於lnL,且集合SL中特徵向量的個數大於lnL,則將集合SL中對應的lnL個特徵向量移至集合SR ·如果lnR大於或等於lnL,但集合SL中特徵向量的個數等於lnL,則將集合SR中對應的lnR個特徵向量移至集合SL ·如果lnL大於lnR ,且集合SR中特徵向量的個數大於lnR,則將集合SR中對應的lnR個特徵向量移至集合SL ·如果lnL大於lnR ,但集合SR中特徵向量的個數等於lnR,則將集合SL中對應的lnL個特徵向量移至集合SR 至此可以確定決策樹上的一個二叉節點,它的訓練樣本是非空的左右兩個集合SR、SL,將集合SL中的特徵向量的標籤設定為-1,集合SR中的特徵向量的標籤設定為+1.它們將用於訓練支援向量機來生成該節點對應的二分類器. 第5步:分別將左右兩個集合SR、SL中包含的特徵向量看成一個新的分類問題,重複第1步到第4步,直到左右兩個集合SR、SL中均只包含N類訓練樣本中的某一類樣本.從而確定出完整的N分類決策樹的樹型.圖1所示的N=6的分類問題對應的決策樹型如圖3所示. 無監督聚類方法確定決策樹樹型與‘一對其餘’,‘一對一’和‘一半對一半’確定決策樹樹型方法上是不一樣.後三者對於所有N 的多分類問題採用的決策樹型均是固定的,
而這
裡介紹的方法將依據N 類樣本之間的聯絡和分佈規律生成相
應的決策樹型.決策樹型本身在一定的程度上反映了N 類樣本
之間的差異大小,可以一定程度的降低二分類的難度.以此為
基礎的N 分類問題的計算效率將隨決策樹型有所變化.如果假
設這些方法均採用同樣的二分類方法,二分類器的計算複雜度
可大致描述為??cn?,其中為係數, n 為訓練樣本數,λ
≈為複雜度指數.則對於N 類、樣本總數為L的多分類
圖3 無監督聚類生成的決策樹型
Fig.3The structure of decision tree produced
byunsupervised clustering
問題,‘一對其餘’生成的決策樹的計算複雜度為NL?；
‘一對一’生成的決策樹的計算複雜度為
0.5cN(N?1)(li?lj)?li和lj為對應兩類的訓練樣
本的數目;‘一半對一半’生成的決策樹的計算複雜度約為c
( 2k-1)(l?)2 ,其中k為大於或等於log2(N)的最小整數,訓練
樣本數l′逐步遞減.無監督聚類生成的決策樹的節點數小於
‘一半對一半’和‘一對一’生成的決策樹,其節點的訓練樣
本數小於‘一對其餘’的生成方法,遞減速度大於‘一半對一
半’的生成方法.綜合來說,無監督聚類生成的決策樹具有比較
高的計算效率.
3 支援向量機二分類器
無監督聚類生成的決策樹上的每個二叉節點對應於一個
二分類器.無監督聚類分類的準確率有限，這裡採用準確率高
的支援向量機來生成決策樹上每個二叉節點對應的二分類器，
它的訓練樣本分別是該二叉節點連線的左右兩個集合SR、SL
中的樣本，它們可以統一表示為：(xd
i,yi),xi,∈R,yi∈{+1,-1}
,訓練樣本數為l.支援向量機是一種建立在統計學習理論基
礎上的機器學習方法他採用學習理論的結構風險最小原則【1,2】
.其學習目的是在所有分割超平面中1確定最優超平面
H:wx+b=0,該平面到兩類之間的間隔最大,且滿足一下約束條
件：
1http:^mlearn/MLR Repository,html
w?xi?b??1ifyi??1 w?xi?b??1 ifyi??1??w,b??2兩類之間的間隔為w，因此, 確定最優分割超平面即為求( w ,b)使得??w??1w2最小，它等效2求解二次優化問題，即求Lagrangian係數α使目標函式W (α)最大: iW?a??i?a1li?（1） ,j?12??i?jyiyj?xi?xj? i?1滿足條件αi≥0(i=1,2,…,l)和?l?iyi?0.然後可求i?1得（w,b）為； lW???x1iyii,b?????x??x?? i?12X+和x-分別是兩類向量的支援向量，與它們對應的αi＞0，其餘的αi=0,支援向量機學習確定的分類器為： f?x??sign???x?b??sign?l?????iyi?xi?x??b?i?1?無監督聚類確定的分類決策樹的二叉節點對應的訓練樣本往往不具有線性的可分性.此時可以引入適當的核函式K (xi,xj)=φ(xi)·φ(xj),將將原空間中的向量對映到另一特徵內積空間中去進行分類.此時目標函式(1)相應修正為: iW?a???a1li???i?jyiyjK?xi?xj?（2） i,j?12i?1滿足約束條件： 引入核函式K?xi,xj?後新特徵向量x的分類器法則如下： f?x??sign?l????x??b?iyiK?xi??i?1? 核函式K(xi ,xj)需要滿足Mercer定理【2】,經常採用的核函式有多項式函式:K(x,y)=(x·y+1)d,高斯徑向基函式?x2K?x,y??exp??y?????2?2??和多層感知器函式：K?x,y??tanh?k?x?y???? 訓練樣本中如果存在不可分的樣本(噪音),就需要適度對待訓練誤差.此時,如果過份地強調減小訓練誤差可以導致二分類器的效能惡化.因為這樣生成的二分類器可能過於傾向訓練樣本的個性特徵,而沒有體現出訓練樣本整體共性,不利於對未知樣本的判斷.這時候需要採用柔性邊界,它依然可以通過求解最大目標函式(2)得到,然而需要將約束條件αi>0改為0≤αi≤C. C可以協調訓練誤差和分類器的綜合能力,其物
第25卷第4期小型微型計算機系統 Vol.25 No.4 理的解釋可以看成是與引數Ti對應的訓練樣本對分類邊界的
作用力大小的變化範圍.無監督聚類生成的決策樹型時經常會
出現的左右兩個集合SR、SL中的樣本數目的不均衡,數目少的一
邊對分類邊界確定的作用合力的大小往往有限,因而對分類邊
界的確定影響力弱.為此我們對數目不等的兩類樣本確定不對
稱的作用力變化範圍,即使0≤Ti+ ≤C+,0≤Ti≤C-,C+和C-與訓
練樣本數目相關,以此來消除訓練樣本數目不均衡性的影響. 決策樹型確定之後,採用監督學習支援向量機的方法來生成決策樹中二叉節點對應的二分類器,採用的是徑向基核函式和非對稱的Lagrangian係數限制條件.調節徑向基的寬度和係數限制條件,可以得到對應決策樹上每個二叉節點的效能很好的二分類器.之後用5類共74個心臟病變樣本的特徵向量進行了測試,測試結果列在表1之中.在表1中還給出了幾個其它研究人 表1 採用不同方法對Clev eland心臟病變
資料的處理結果
Table 1 Expermental results of cleveland
heartdisease datausing different classifer
方法
UC+SVM
UC+SVM
INC-NET
Na?ve Bayes
k-NN,VDM
GOT/SVM 準確率 93.2% 85.1% 90.0% 82.8%±1.3% 82.6% 82.5% 說明 本文方法，如果只區分病變和非病變 本文方法，區分所有類別 病變和非病變分類，文獻[13] 病變和非病變分類，文獻[14] 病變和非病變分類，文獻[15] 樹型邊界分類病變和非病變，文獻[16] 4 實驗結果 我們採用Cleveland心臟病變資料來檢驗上文介紹的融合無監督聚類和監督學習支援向量機生成的多分類決策樹的效果eland心臟病變資料在一個知名的有關機器學習研究的網站1 上公佈,成為許多分類方法的檢驗資料.這組資料包含有303個樣本,每個樣本的特徵向量的維數為13.其中有6個樣本的特徵向量不完整,這裡將它們從樣本中剔出,因而可使用的樣本資料為297個.樣本的特徵向量被分為5類,其中心臟沒有病變的正常情況的樣本數目為160個,標號為0.其餘的樣本為心臟有病變的特徵樣本,標號依此為1、2、3和
4,對應的樣本數目分別為54、35、35和13,標號遞增表示心
髒病變的程度越發厲害.我們對於每一類樣本,選擇其中的四
分之三為訓練樣本,數目共為223個,其餘的四分之一用來驗
證,數目共為74個.
利用第二節介紹的無監督聚類方法,首先從224個訓練樣本
確定決策樹的樹型,結果如圖4所示.為了平衡樣本特徵向量各
個特徵值對決策樹型的影響程度,對所有樣本的特徵向量的每
項特徵值進行了正規處理,即進行了以下運算:員採用不同的研究方法對Cleveland心臟病變資料的分類結果,更多的有關該組資料的處理結果可以參閱文獻[17]或網站.這些結果準確率均在85.1%之下,居多方法只區分樣本特徵向量是病變還是非病變,是二分類的研究結果.從表1的資料比較可以看出,本文提出的決策樹型確定和決策樹節點的二分類器的生成方法一定程度的提高了分類效果. 25 結 論 綜合利用多種學習策略來解決多分類問題是一種比較好
的指導思想,它可以提高解決問題的效率和結果.本文利用無
監督聚類學習策略和監督學習支援向量機的方法來生成多分
類決策樹,在實驗中獲得了比較好的效果.該方法不僅能夠針
對待處理的多分類問題多類之間的內在聯絡和分佈特點,生成
相應的決策樹型,具有靈活解決問題的能力,而且採用了準確
率高的支援向量機對不易區分的類別進行分類,彌補了無監督
聚類分類準確率低的缺陷,實現了策略之間的優勢互補.該方
法在解決多分類問題上體現了問題產生的刺激機制和人們區
分多種類別時先易後難的思維習慣,實現了比較高的計算效率
和分類效果. ?????min???，表示所有樣本特徵向量的同max??min?一項特徵值構成的列向量.從圖4可見,無監督聚類方法確定的決策樹型明確地反映出Cleveland心臟病變資料中幾類樣本之間的關係,如正常的樣本向量(0)與病變樣本向量首先被區分開來,嚴重病變的樣本向量(3、4)將與輕度病變(1、2)的樣本向量區分開來,最後區分比較難以區分的兩類樣本.無監督聚類方法生成的決策樹型不僅很好的體現了心臟病變這一程序中不同階段的特點,而且符合人們區分事物先易後難的習慣.
2References: 1. Vapnik V. The nature of statistical learning theory[M]ork: Springer-Verlag,1995. 2. Vapnik V. Statistical learning theory[M]. John Wiley &Sons,New York ,1998. 3. Weston J and Watkins . M ulti-class support vector machines
[R] nical Report CSD-T R-98-04, Royal Holloway,
University of London, Department of Computer 圖4 無監督聚方法生成的Cleveland心臟病變診斷決策樹型
Fig .4 The structure of decisiontree of clev eland heart
disease data produced by unsupervised clustering Science,EBIOL 1998. Available on http://www. clrc.
1
篇五：監督分類是需要學習訓練的分類方法
監督分類是需要學習訓練的分類方法,如最大似然分類,人工神經網路分類,即是需要事先為每類地物在遙感影象上採集樣本資料,之後通過學習訓練過程才來分類;非監督分類不需要人工採集地物樣本點資料,多是通過聚類的方法來自動分類,主要有isodata,k均值等.總體來說,監督分類的效果要優於非監督分類.
遙感影像的分類方法按照是否有先驗類別可以分為監督分類和非監督分類，這兩種分類法有著本質的區別但也存在一定的聯絡．
監督分類的主要方法
最大似然判別法.也稱為貝葉斯(Bayes)分類,是基於影象統計的監督分類法,也是典型的和應用最廣的監督分類方法.它建立在Bayes準則的基礎上,偏重於叢集分佈的統計特性,分類原理是假定訓練樣本資料在光譜空間的分佈是服從高斯常態分佈規律的,做出樣本的概率密度等值線,確定分類,然後通過計算標本(像元)屬於各組(類)的概率,將標本歸屬於概率最大的一組.用最大似然法分類,具體分為三步:首先確定各類的訓練樣本,再根據訓練樣本計算各類的統計特徵值,建立分類判別函式,最後逐點掃描影像各像元,將像元特徵向量代入判別函式,求出其屬於各類的概率,將待判斷像元歸屬於最大判別函式值的一組s判別分類是建立在Bayes決策規則基礎上的模式識別,它的分類錯誤最小精度最高,是一種最好的分類方法.但是傳統的人工取樣方法由於工作量大,效率低,加上人為誤差的干擾,使得分類結果的精度較差.利用GIS資料來輔助Bayes分類,可以提高分類精度,再通過建立知識庫,以知識來指導分類的進行,可以減少分類錯誤的發生[1],這正是Bayes分類的發展趨勢和提高其分類精度的有效途徑.
神經元網路分類法.是最近發展起來的一種具有人工智慧的分類方法,包括BP神經網路、Kohonen神經網路、徑向基神經網路、模糊神經網路、小波神經網路等各種神經網路分類法神經網路模型(前饋網路
型)是神經網路的重要模型之一,也是目前應用最廣的神經網路模型,它由輸入層、隱含層、輸出層三部分組成,所採取的學習過程由正向傳播過程和反向傳播過程組成.傳統的BP網路模型把一組樣本的輸入/輸出問題作為一個非線性優化問題,它雖然比一般統計方法要好,但是卻存在學習速度慢,不易收斂,效率不高的缺點.採用動量法和學習率自適應調整的策略,可以提高學習效率並增加演算法的可靠性[3].
模糊分類法.由於現實世界中眾多的自然或半自然現象很難明確劃分種類,反映在遙感影像上,也存在一些混合畫素問題,並有大量的同譜異物或者同物異譜現象發生,使得像元的類別難以明確確定.模糊分類方法忽略了監督分類的訓練過程所存在的模糊性,沿用傳統的方法,假定訓練樣本由一組可明確定義、歸類,並且具有代表性的目標(畫素)構成.監督分類中的模糊分類可以利用神經元網路所具有的良好學習歸納機制、抗差能力和易於擴充套件成為動態系統等特點,設計一個基於神經元網路技術的模糊分類法來實現.模糊神經網路模型由ART發展到ARTMAP再到FasART、簡化的FasART模型[4],使得模糊神經網路的監督分類功能不斷完善、分類精確度不斷增加.
最小距離分類法和Fisher判別分類法.它們都是基於影象統計的常用的監督分類法,偏重於幾何位置.最小距離分類法的原則是各像元點劃歸到距離它最近距離的類別中心所在的類,Fisher判別分類採用Fisher準則即“組間最大距離”的原則,要求組間距離最大而組內的離散性最小,也就是組間均值差異最大而組內離差平方和最小.用這兩種分類法進行分類,其分類精度取決於對已知地物類別的瞭解和訓練統計的精度,也與訓練樣本數量有關.針對最小距離分類法受模式散佈影響、分類精度不高的缺點,人們提出了一種自適應的最小距離分類法,在訓練過程中,將各類樣本集合自適應地分解為子集樹,定義待分類點到子集樹的距離作為分類依據[2],這種方法有效地提高了最小距離法的分類正確率和分類速度,效率較高er判別分類也可以通過增加樣本數量進行嚴密的統計分類來增加分類精度。
非監督分類的主要方法
動態聚類.它是按某些原則選擇一些代表點作為聚類的核心,然後將其餘待分點按某種方法(判據準則)分到各類中去,完成初始分類,之後再重新計算各聚類中心,把各點按初始分類判據重新分到各類,完成第一次迭代.然後修改聚類中心進行下一次迭代,對上次分類結果進行修改,如此反覆直到滿意為止.動態聚類的方法是目前非監督分類中比較先進、也較為常用的方法.典型的聚類過程包括以下幾步:選定初始叢集中心;用一判據準則進行分類;迴圈式的檢查和修改;輸出分類結果.聚類的方法主要有基於最鄰近規則的試探法、K-means均值演算法、迭代自組織的資料分析法(ISODATA)等.其中比較成熟的是K-means和ISODATA演算法,它們較之其他分類方法的優點是把分析判別的統計聚類演算法和簡單多光譜分類融合在一起,使聚類更準確、客觀.但這些傳統的建立在統計方法之上的分類法存在著一定的缺點:很難確定初始化條件;很難確定全域性最優分類中心和類別個數;很難融合地學專家知識.基於尺度空間的分層聚類方法(SSHC)是一種以熱力學非線性動力機制為理論基礎的新型聚類演算法[10],它與傳統聚類演算法相比最大的優點是其樣本空間可服從自由分佈,可獲取最優聚類中心點及類別,可在
聚類過程中融合後驗知識,有更多的靈活性和實用性.
模糊聚類法.模糊分類根據是否需要先驗知識也可以分為監督分類和非監督分類.事實上,由於遙感影像的複雜性和不精確性等特點,預先很難獲得所有有代表性樣本的各類別的精確含量,因此很多情況下用純粹的監督方法作模糊分類並不現實.模糊聚類屬於非監督分類的一種,它根據樣本間的統計量的相似程度作為模糊隸屬度,在無預知類別的前提下對資料集中各點作含量劃分.模糊聚類演算法有多種,如基於模糊等價關係的模糊聚類分析法、基於最大模糊支撐樹的模糊聚類分析法等
[11],最典型的模糊聚類法是模糊迭代自組織的資料分析法———Fussy-ISODATA.但純粹的非監督分類對影像一無所知的情況下進行所得到的結果往往與實際特徵存在一定的差異,因此聚類結果的精度並不一定能夠滿足實際應用的要求,還需要地學知識的輔助,也就是部分監督的Fussy-ISODATA聚類.
系統聚類.這種方法是將影像中每個像元各自看作一類,計算各類間均值的相關係數矩陣,從中選擇最相關的兩類進行合併形成新類,並重新計算各新類間的相關係數矩陣,再將最相關的兩類合併,這樣繼續下去,按照逐步結合的方法進行類與類之間的合併.直到各個新類間的相關係數小於某個給定的閾值為止.
分裂法.又稱等混合距離分類法,它與系統聚類的方法相反,在開始時將所有像元看成一類,求出各變數的均值和均方差,按照一定公式計算分裂後兩類的中心,再算出各像元到這兩類中心的聚類,將像元歸併到距離最近的那一類去,形成兩個新類.然後再對各個新類進行分類,只要有一個波段的均方差大於規定的閾值,新類就要分裂.
遙感影像的監督分類是在已知類別的訓練場地上提取各類別訓練樣本,通過選擇特徵變數、確定判別函式或判別式把影像中的各個像元點劃歸到各個給定類的分類.它的基本思想是:首先根據類別的先驗知識確定判別函式和相應的判別準則,利用一定數量的已知類別樣本的觀測值確定判別函式中的待定引數,然後將未知類別的樣本的觀測值代入判別函式,再根據判別準則對該樣本的所屬類別做出判定.遙感影像的非監督分類也稱為聚類,它是事先無法知道類別的先驗知識,在沒有類別先驗知識的情況下將所有樣本劃分為若干類別的方法.它的基本思想是事先不知道類別的先驗知識,僅根據地物的光譜特徵的相關性或相似性來進行分類,再根據實地調查資料比較後確定其類別屬性.
遙感影像的監督分類和非監督分類方法,是影像分類的最基本、最概括的兩種方法.傳統的監督分類和非監督分類方法雖然各有優勢,但是也都存在一定的不足.新方法、新理論、新技術的引入,為遙感影像分類提供了廣闊的前景,監督分類與非監督分類的混合使用更是大大的提高了分類的精度.
計算機技術對影像分類的促進與發展.計算機技術的引進,解決了影像分類中海量資料的計算與管理問題;計算機技術支援下的GIS用來輔助影像分類,主要通過四種模式進行[12]:GIS資料作為影像分析的訓練樣本和先驗資訊;利用GIS技術對研究區域場景和影像分層分析;GIS建立物件導向的影像分類;提取和挖掘GIS中的知識進行專家分析.這些模式促進了GIS與遙感的結合,提高了影像分類精確性和準確性,使得影像分類邁入了新的天地.
數學方法的引入和模型研究的進展為影像分類注入了新的活力.不同的數學方法被引用到模型研究上來,為模型研究的發展提供了廣闊的天地,相應地,在遙感影像分類中也產生了大量不同形式的分類模型.如徑向基函式(RBF)與粗糙理論結合的基於粗糙理論的RBF網路模型應用於遙感分類[5],對於提供分類精度、增加收斂性都有很好的作用;而基於RBF對映理論的神經網路模型更是融合了引數化統計分佈模型和非引數化線性感知器對映模型的優點,不僅學習速度快,而且有高度複雜的對映能力[6].又如模糊數學理論應用於影像分類產生模糊聚類,對影像中混合像元的分類有很好的效果;模糊理論與各種模型結合,更使得影像分類方法的不斷完善,分類精度不斷提高.
人工智慧技術對影像分類的促進.專家分類系統被用於影像分類中,利用地學知識和專家系統來輔助遙感影像分類
[12],大大提高了影像分類和資訊提取的精度.人工神經網路由大量神經元相互連線構成網路結構,通過模擬人腦神經系統的結構和功能應用於影像分類,具有一定的智慧推理能力.同時,它還引入了動量法和學習自適率調整的策略,並與地學知識整合,很好的解決了專一的BP神經網路法分類的缺點和不足,提高了分類效率和分類精度.
監督分類與非監督分類的結合.由於遙感資料的資料量大、類別多以及同物異譜和同譜異物現象的存在,用單一的分類方法對影像進行分類其精確度往往不能滿足應用目的要求.用監督分類與非監督分類相結合的方法來對影像進行分類,卻常常可以到達需要的目的.利用這種方法分類時首先用監督分類法如多層神經網路的BP演算法將遙感影象概略地劃分為幾個大類,再用非監督分類法如K-Means聚類和ISODATA聚類對第一步已分出的各個大類進行細分,直到滿足要求為止[13].監督分類與非監督分類的結合的複合分類方法,改變了傳統的單一的分類方法對影像進行分類的弊端,彌補了其不足,為影像分類開闢了廣闊的前景.