|
最近在學(xué)習(xí)矩陣相關(guān)知識(shí)，但是其抽象的解釋讓人摸不著頭腦，通過瀏覽一些博客的內(nèi)容和自己的理解，本文通過通俗的語言將矩陣的內(nèi)涵做了總結(jié)。其中除了書本和個(gè)人觀點(diǎn)，部分引用博客。本文主要幫助大家理解矩陣，但不一定都是正確的，但愿能起到促進(jìn)學(xué)習(xí)的作用。 正式開始之前，我們需要明確一些事情，什么是問題的實(shí)質(zhì)，什么是解決問題的工具。比如相似矩陣，相似是一類問題的實(shí)質(zhì)，雖然兩個(gè)矩陣相似，但是我們通過矩陣并不能清楚看出他們的特點(diǎn)作用，于是我們引入對角化這個(gè)工具，將n階矩陣通過對角化轉(zhuǎn)成對角矩陣便于運(yùn)算和理解。本文只講思想，不測重計(jì)算，所以舉例皆為3階及以下矩陣。 第一節(jié)： 矩陣這么多的應(yīng)用是有一個(gè)前提條件的，那就是這個(gè)矩陣是位于線性空間當(dāng)中的。本節(jié)主要講述什么是線性空間，以及一些基本的規(guī)定（概念）。
書本概念:線性空間是滿足……的一個(gè)封閉空間。線性子空間是在滿足上述特點(diǎn)的同時(shí)還要是父空間（自定義概念，便于理解）的子集。那什么是線性空間?我們怎么才能從線性空間中分割一個(gè)子線性空間出來呢。舉個(gè)很簡單的例子： 我們以三維空間T為例，它的x,y,z軸坐標(biāo)分別從負(fù)無窮到正無窮。根據(jù)以往的經(jīng)驗(yàn)很顯然，它是一個(gè)封閉的空間，而且滿足線性空間的特點(diǎn)，所以它肯定是一個(gè)線性空間。現(xiàn)在我去掉它的一個(gè)維度，比如讓Z=常數(shù)，這時(shí)候我們得到一個(gè)二維空間S，空間S實(shí)際上只包含x,y兩個(gè)維度，根據(jù)以往的經(jīng)驗(yàn)，很容易知道它也是一個(gè)線性空間，因此S也是T的子線性空間。同理我們再去掉一個(gè)維度，讓空間變成一維空間。這些也是成立的。
歐式空間：簡單理解為可以用長度角度等來度量的線性空間，帶有內(nèi)積的空間（內(nèi)積可以理解為投影，是空間可以度量的一種表現(xiàn)形式，我們通過長度和夾角來求內(nèi)積，也可以反過來用內(nèi)積表示長度和大小）高中幾何的空間就是歐式空間。 酉空間：一種特殊的帶有正定埃爾米特型的復(fù)內(nèi)積空間V（非完備內(nèi)積空間），可以進(jìn)行與歐式空間類似的度量，度量工具如：范數(shù)（范數(shù)：簡單理解為向量的長度，到0點(diǎn)的距離，將向量空間對象進(jìn)行歐式空間的描述，簡化理解）。 希爾伯特空間:完備的內(nèi)積空間。 完備性：其中完備性的意思就是空間中的極限運(yùn)算不能跑出該空間，如有理數(shù)空間中的√2 的小數(shù)表示，其極限隨著小數(shù)位數(shù)的增加收斂到√2，但√2 屬于無理數(shù)，并不在有理數(shù)空間。 關(guān)于空間的推導(dǎo)遞進(jìn)關(guān)系可以參考博客： http://blog.csdn.net/shijing_0214/article/details/51052208 理解：現(xiàn)在我們學(xué)習(xí)的空間是對我們生活中常用的歐式歐式空間的一個(gè)抽象提升，比如距離長度對應(yīng)抽象提升為范數(shù)，角度的表示抽象成內(nèi)積相關(guān)，理解簡化學(xué)習(xí)難度。
在這門學(xué)科中，空間的物體都是由向量或者向量的組合進(jìn)行表示。在之前的數(shù)學(xué)中，我們使用的坐標(biāo)系是固定的，為了簡化，我們規(guī)定坐標(biāo)系后就忽略了基向量，但現(xiàn)在因?yàn)樽鴺?biāo)系不在固定（個(gè)人覺這是因?yàn)?，矩陣中使用的空間是一種廣義的空間，所有的物體都包含在該空間內(nèi)，沒有人可以跳出這個(gè)空間來規(guī)定哪里是基向量，我們都是處于空間中不同的角度來觀察這個(gè)空間，這樣我們必須同時(shí)使用所處的相對坐標(biāo)系和相對坐標(biāo)來描述空間的物體，這種空間在某種意義上涵蓋更為廣泛，更加貼近對現(xiàn)實(shí)的客觀描述），我們描述一個(gè)物體時(shí)就要同時(shí)表明他的坐標(biāo)系（基向量的組合）和坐標(biāo)。 基向量相當(dāng)于每個(gè)維度的單位向量，我們用向量或者向量的組合表示的物體可以整理為坐標(biāo)+基向量，例如在基向量x,y,z.構(gòu)成的空間中，我們有一個(gè)點(diǎn)O,我們有三個(gè)方向的向量表示該點(diǎn)：a,b,c。那么我們也可以說是在以x,y,z為基向量的空間中，點(diǎn)O的坐標(biāo)為：(|a|/|x|,|b|/|y|,|c|/|z|)。 這幾個(gè)概念都非常簡單，后面章節(jié)有用到的會(huì)相應(yīng)的說明。 第二節(jié) 這一節(jié)主要講矩陣的線性變換，這些變換是整個(gè)線代的基礎(chǔ)重點(diǎn)，弄懂了這些東西的實(shí)際物理意義將會(huì)大大幫助后面的學(xué)習(xí)和理解。 什么是線性變換（這是一種規(guī)定性質(zhì)，很容易理解這里不做解釋）？線性變換可以用一個(gè)矩陣來描述，所以矩陣的本質(zhì)是一個(gè)變換，矩陣的乘法就是將這個(gè)變換施加給被乘的對象（可以是單點(diǎn)對象也可以是多點(diǎn)對象，單點(diǎn)對應(yīng)一個(gè)向量，多點(diǎn)對應(yīng)一個(gè)矩陣）。這么說可能不太具體，你可能還有疑問說，左乘和右乘的結(jié)果為啥不一樣？我們舉個(gè)簡單的例子來證明這個(gè)觀點(diǎn)。 先看一般情況，普通空間中，我們通過旋轉(zhuǎn)，縮放來描述一個(gè)物體的變換。下面是三維空間下的旋轉(zhuǎn)矩陣，我們可以嘗試將其放在右面去乘一個(gè)向量點(diǎn)，我們發(fā)現(xiàn)點(diǎn)會(huì)繞規(guī)定的坐標(biāo)旋轉(zhuǎn)，但是尺寸沒有發(fā)生變化，因?yàn)檫@些旋轉(zhuǎn)因子的行列式為1，使得旋轉(zhuǎn)不會(huì)影響尺寸的變化。 矩陣在三個(gè)方向的旋轉(zhuǎn)因子： 矩陣的縮放因子： 矩陣三個(gè)方向的平移因子： 關(guān)于這三種變換可以看博客： http://blog.csdn.net/leaf6094189/article/details/18554549 說完右乘，我們看一下左乘，由于矩陣運(yùn)算的特殊性，A*B != B*A。我們引入一個(gè)工具來使其相等，這個(gè)工具就是轉(zhuǎn)置。將一個(gè)右乘的矩陣公式按照一定規(guī)律改變一下位置就可以實(shí)現(xiàn)左乘。如下： 這樣我們就很容易的實(shí)現(xiàn)左右乘的轉(zhuǎn)換。 有了以上對變化的理解，我們還是會(huì)有疑問，一個(gè)看起來毫無規(guī)律的矩陣我們怎么知道他描述了怎樣的變化？對于一個(gè)普通的矩陣我們確實(shí)無法直觀的看出它描述了怎樣的變化，我們需要先將普通矩陣進(jìn)行等價(jià)變換（初等變換），然后根據(jù)旋轉(zhuǎn)，縮放，平移的因子矩陣，就可以看出這個(gè)矩陣的具體含義。比如對于單純的縮放矩陣，它可以變換成對角矩陣，這樣我們很容易看出它的縮放因子。比如對于單純的平移矩陣，我們可以將它變換成初等矩陣，這樣我們很容易看出它的平移關(guān)系。對于旋轉(zhuǎn)來說變換較為麻煩，但是原理相似，看官可以自行推導(dǎo)。 上面使用了一種變換工具，初等變換。通過上面的例子，相信我們就不難理解，書本上為什么要花費(fèi)不少篇幅來講解初等變換和初等矩陣了。 矩陣為什么支持分塊計(jì)算？我們該怎么分塊。 先從簡單的劃分開始: （1）我們把左邊的矩陣當(dāng)作變換矩陣，那么右邊的矩陣就相當(dāng)于待變換點(diǎn)的組合，無論是一個(gè)還是兩個(gè)都不影響計(jì)算結(jié)果，所以右邊矩陣的任意行劃分都不影響結(jié)果。 （2）我們把右邊的矩陣當(dāng)作變換矩陣，那么左邊的矩陣就相當(dāng)于待變換點(diǎn)的組合，無論是一個(gè)還是兩個(gè)都不影響計(jì)算結(jié)果，所以左邊矩陣的任意列劃分都不影響結(jié)果。 接下來看左矩陣的列劃分和右矩陣的行劃分。 從網(wǎng)上找了個(gè)例題：要想能使用矩陣乘法計(jì)算，我們必須把A的列每段劃分的個(gè)數(shù)與B行每段劃分的個(gè)數(shù)相同，這個(gè)不難理解。現(xiàn)在我們忽略掉矩陣中的0元素，將其當(dāng)作普通元素處理。那么我們會(huì)得到下面的式子： 不難看出計(jì)算結(jié)果和不分塊時(shí)完全一樣，只是簡單的拆分組合。究其原因我們可以將其理解為在滿足劃分特點(diǎn)的情況下，分塊計(jì)算就相當(dāng)于對某個(gè)或某幾個(gè)維度分量進(jìn)行計(jì)算，然后求和的過程。 綜合上面幾條，滿足上面特點(diǎn)的任何劃分都是成立的。 逆矩陣：AA-1 =E; 目前先了解逆矩陣相當(dāng)于矩陣的倒數(shù)，兩者相乘等于單位矩陣。它有很多特點(diǎn)，后面使用到了會(huì)繼續(xù)解釋，比如非奇異矩陣行列式，|A|=1/|A-1|.等等。如果從倒數(shù)的角度出發(fā)就很容易理解。 第三節(jié)：行列式與秩 為了描述行列式的意義，我們自己引入一個(gè)概念叫做維度積，舉例理解一下，二維維度積表示面積，三維維度積叫做體積，對于高維我們將其抽象為維度積。有了這個(gè)概念之后，我們發(fā)現(xiàn)，行列式的代數(shù)結(jié)果表示的正是矩陣向量所圍成的這種維度積。 關(guān)于這個(gè)的證明是一項(xiàng)不小的工作量，前人已經(jīng)證明過了，這里貼出博客： http://blog.csdn.net/vernice/article/details/48512203 由上面的行列式的幾何含義，我們可以推斷出什么是奇異矩陣，奇異矩陣就是維度積為0的矩陣（方陣），當(dāng)方陣中向量不全部線性無關(guān)時(shí)，維度積為0，比如不完全線性相關(guān)的二維方陣表示一條直線，它的二維維度積（面積）為0，比如不完全線性相關(guān)的三維方陣表示一條直線或一個(gè)平面，它的三維維度積（體積）為0。 所以行列式只有對非奇異矩陣成立，且det(A)=1/det(A-1)。A-1就是定義了A的逆變換，是矩陣A的延伸，用于還原A的變換。 求解A-1除了之前的初等變換方法外，我們還可以通過代數(shù)余子式的方式求解。 余子式：在一個(gè)n階行列式D中,把元素aij (i,j=1,2,…..n)所在的行與列劃去后，剩下的(n-1)^2個(gè)元素按照原來的次序組成的一個(gè)n-1階行列式Mij,稱為元素aij的余子式。 代數(shù)余子式：余子式Mij帶上符號(hào)(-1)^(i+j)稱為aij的代數(shù)余子式,記作Aij=(-1)^(i+j) Mij。 余子式相當(dāng)于某一面的片面維度積，我們按正負(fù)將他們運(yùn)算組合就可以得到實(shí)際維度積。 兩種計(jì)算過程中需要的矩陣。 伴隨矩陣：A*,每項(xiàng)為矩陣的代數(shù)余子式。伴隨矩陣用來求逆：A-1=A*/|A|。 增廣矩陣：將線性方程組的前后兩個(gè)部分寫在一個(gè)矩陣中，通過化簡求解或者通過秩來判斷解的個(gè)數(shù)。這就引入了一個(gè)工具秩。 秩：矩陣A的列秩是A的線性獨(dú)立的縱列的極大數(shù)。通常表示為r(A)，rk(A)或rank A。 相似矩陣：相似矩陣是通過一個(gè)變換在不同視角的表現(xiàn)形式，它們的特點(diǎn)相同。我們可以通過計(jì)算相似矩陣來簡化運(yùn)算。B=P-1AP,該公式可以簡單理解為矩陣B與后面三個(gè)矩陣的組合效果相同。假設(shè)我們有一個(gè)向量x，讓x進(jìn)行B變化，等到在B所在視角下的變換結(jié)果。等號(hào)右面讓x先做P變換，將坐標(biāo)點(diǎn)變換到A所在的坐標(biāo)系當(dāng)中，然后對變換點(diǎn)做A變換，然后將變換結(jié)果逆變換到B的坐標(biāo)系下。這時(shí)我們發(fā)現(xiàn)兩個(gè)結(jié)果相同，顯然很容易理解這個(gè)結(jié)果。 第四節(jié)：特征值，特征向量與二次型 特征值和特征向量在機(jī)器學(xué)習(xí)等的算法中極為常見也十分重要，這里對他們實(shí)際表示的意義和特點(diǎn)做一個(gè)簡單的理解。 設(shè)T是數(shù)域K上的線性空間Vn的線性變換，且對K中某一數(shù)a，存在非0向量x屬于Vn，使得Tx=ax成立，則稱a為T特征值，x為T的屬于a的特征向量。 如上式：1為矩陣的特征值，向量為特征向量。那么他們分別代表什么含義呢。我們知道，矩陣乘法對應(yīng)了一個(gè)變換，是把任意一個(gè)向量變成另一個(gè)方向或長度都大多不同的新向量。在這個(gè)變換的過程中，原向量主要發(fā)生旋轉(zhuǎn)、伸縮的變化。如果矩陣對某一個(gè)向量或某些向量只發(fā)生伸縮變換，不對這些向量產(chǎn)生旋轉(zhuǎn)的效果，那么這些向量就稱為這個(gè)矩陣的特征向量，伸縮的比例就是特征值。根據(jù)之前提到縮放因子，我們知道這個(gè)矩陣可以變換成對角陣。但是它對機(jī)器學(xué)習(xí)中的特征提取有什么用呢？首先聲明機(jī)器學(xué)習(xí)中的特征值并不是矩陣論中的特征值，機(jī)器學(xué)習(xí)中的特征值是指變化較為顯著，能作為描述一個(gè)物體的一個(gè)主要特點(diǎn)。當(dāng)我們有一百個(gè)方面來描述一個(gè)物體時(shí)，我們發(fā)現(xiàn)它的計(jì)算量十分龐大而且有些方面對結(jié)果幾乎不起作用，這時(shí)候我們就需要提取出它的主要特征。目的是讓所有樣本盡量分散，這樣數(shù)據(jù)信息就能更充分的表現(xiàn)出來，我們就很容易通過簡單的曲線將數(shù)據(jù)分類。為了將數(shù)據(jù)分散，我們先列出所有方面的兩兩協(xié)方差矩陣。實(shí)對稱矩陣可以化成對角矩陣，而且兩個(gè)矩陣相似，通過對角矩陣我們不難發(fā)現(xiàn)，經(jīng)過變換后某些維度的數(shù)據(jù)信息較為分散，即對角陣上較大的特征值，我們將這幾個(gè)特征值選取出來，并提取他們的特征向量，該向量描述了一種變換，我們將這些方向的變換向量組成一個(gè)變換矩陣，然后將原始數(shù)據(jù)變換到新的空間。該空間的數(shù)據(jù)就會(huì)相對分散，易于分類。 詳細(xì)解釋見博客： http://www.hbhlny.cn/content/13/1124/02/9482_331688889.shtml 二次型：n個(gè)變量的二次多項(xiàng)式稱為二次型，即在一個(gè)多項(xiàng)式中，未知數(shù)的個(gè)數(shù)為任意多個(gè)，但每一項(xiàng)的次數(shù)都為2的多項(xiàng)式。這個(gè)概念和我的學(xué)習(xí)內(nèi)容不太相關(guān)就沒有仔細(xì)看，提一下以后用到再回頭學(xué)習(xí)。 到此終于結(jié)束。僅僅記錄一下自己初看矩陣論的想法，肯定是漏洞百出，以后再看肯定會(huì)有不同的感悟和見解，以后的感悟以后再做記錄。上面只是將抽象的東西講的便于理解，并沒有嚴(yán)謹(jǐn)?shù)淖C明。所以認(rèn)真推導(dǎo)和練習(xí)是必不可少的。 ———— 編輯 ∑Pluto 來源：CSDN |
|
|
