最近2個星期在嘗試用OpenStack搭建私有云，提供方便的虛擬機(jī)部署和管理。寫一篇博客記錄一下相關(guān)資料。

1. OpenStack簡介
OpenStack是一個開源軟件，它提供了一個部署云的平臺。為虛擬計算或存儲服務(wù)的公有/私有云，提供可擴(kuò)展的、靈活的云計算。
OpenStack包含了一組由社區(qū)維護(hù)的開源項目，主要項目有Compute（Nova）， Object Storage（Swift），Image Service（Glance）。
Nova提供虛擬計算服務(wù)，Swift提供存儲服務(wù)，Glance提供虛擬機(jī)鏡像的注冊、分發(fā)服務(wù)。

他們之間的關(guān)系可以用這個簡圖來表示：


2. OpenStack能夠做什么
OpenStack能幫我們建立自己的IaaS，提供類似Amazon Web Service的服務(wù)給用戶：
普通用戶可以通過它注冊云服務(wù)，查看運(yùn)行和計費(fèi)情況
開發(fā)和運(yùn)維人員可以創(chuàng)建和存儲他們應(yīng)用的自定義鏡像，并通過這些鏡像啟動、監(jiān)控和終止實(shí)例
平臺的管理人員能夠配置和操作網(wǎng)絡(luò)，存儲等基礎(chǔ)架構(gòu)


3. OpenStack Compute(Nova)的軟件架構(gòu)
下圖是Nova的軟件架構(gòu)，每個nova-xxx組件是由python代碼編寫的守護(hù)進(jìn)程，每個進(jìn)程之間通過隊列（Queue）和數(shù)據(jù)庫（nova database）來交換信息，執(zhí)行各種請求。而用戶通過nova-api暴露的web service來同其他組件進(jìn)行進(jìn)行交互。Glance是相對獨(dú)立的基礎(chǔ)架構(gòu)，nova通過glance-api來和它交互。


4. Nova各個組件的作用
nova-api是Nova的中心。它為所有外部調(diào)用提供服務(wù)，除了提供OpenStack本身的API規(guī)范外，他還提供了兼容EC2的部分API，所以也可以用EC2的管理工具對nova進(jìn)行日常管理。

nova-compute負(fù)責(zé)對虛擬機(jī)實(shí)例進(jìn)行創(chuàng)建、終止、遷移、Resize的操作。工作原理可以簡單描述為：從隊列中接收請求，通過相關(guān)的系統(tǒng)命令執(zhí)行他們，再更新數(shù)據(jù)庫的狀態(tài)。

nova-volume管理映射到虛擬機(jī)實(shí)例的卷的創(chuàng)建、附加和取消。

nova-network從隊列中接收網(wǎng)絡(luò)任務(wù)，然后執(zhí)行任務(wù)控制虛擬機(jī)的網(wǎng)絡(luò)，比如創(chuàng)建橋接網(wǎng)絡(luò)或改變iptables的規(guī)則。

nova-scheduler 提供調(diào)度，來決定在哪臺資源空閑的機(jī)器上啟動新的虛擬機(jī)實(shí)例

Queue為守護(hù)進(jìn)程傳遞消息。只要支持AMQP協(xié)議的任何Message Queue Sever都可以，當(dāng)前官方推薦用RabbitMQ。

SQL database存儲云基礎(chǔ)架構(gòu)中的各種數(shù)據(jù)。包括了虛擬機(jī)實(shí)例數(shù)據(jù)，網(wǎng)絡(luò)數(shù)據(jù)等。

user dashboard是一個可選的項目。它提供了一個web界面來給普通用戶或者管理者來管理、配置他們的計算資源。


5. Nova的硬件架構(gòu)
Nova采用無共享、基于消息的架構(gòu)，我們能安裝每個nova-xxx組件在單獨(dú)的服務(wù)器上，這樣可以根據(jù)不同目的進(jìn)行不同的配置安裝

單結(jié)點(diǎn)：一臺服務(wù)器運(yùn)行所有的nova-xxx組件，同時也驅(qū)動虛擬實(shí)例。這種配置只為嘗試Nova，或者為了開發(fā)目的進(jìn)行安裝。


1控制節(jié)點(diǎn)+N個計算節(jié)點(diǎn)：一個控制結(jié)點(diǎn)運(yùn)行除nova-compute外的所有nova-services，然后其他compute結(jié)點(diǎn)運(yùn)行nova-compute。所有的計算節(jié)點(diǎn)需要和控制節(jié)點(diǎn)進(jìn)行鏡像交互，網(wǎng)絡(luò)交互，控制節(jié)點(diǎn)是整個架構(gòu)的瓶頸，這種配置主要用于概念證明或?qū)嶒灜h(huán)境。


多節(jié)點(diǎn)：增加節(jié)點(diǎn)單獨(dú)運(yùn)行nova-volume，同時在計算節(jié)點(diǎn)上運(yùn)行nova-network，并且根據(jù)不同的網(wǎng)絡(luò)硬件架構(gòu)選擇DHCP或者VLan模式，讓控制網(wǎng)絡(luò)和公共網(wǎng)絡(luò)的流量分離。



6. OpenStack的安裝
OpenStack的安裝是比較麻煩，可以參考官方文檔進(jìn)行： http://docs./diablo/openstack-compute/admin/content/ , 文檔有一些地方?jīng)]有更新到最新版本，會遇到一些小問題，推薦一個第3方腳本進(jìn)行安裝:  http:/// 它適合用來搭建實(shí)驗環(huán)境?？梢酝ㄟ^閱讀這個腳本，同時配合官方文檔來理解整個軟件架構(gòu)。

同時通過Ubuntu源安裝的nova在實(shí)際使用過程中遇到一些小問題，都需要打補(bǔ)丁來解決，建議了解整個配置以后，可以改成從git上獲取stable分支的代碼進(jìn)行安裝，這樣日后維護(hù)升級也比較方便。

如果你需要從無到有搭建整個數(shù)據(jù)中心，推薦Crowbar實(shí)現(xiàn)自動化遠(yuǎn)程安裝： https://github.com/dellcloudedge/crowbar 從裸機(jī)到可用系統(tǒng)只用在web界面點(diǎn)擊幾下即可完成，還自帶各種SA常用功能（比如nagios監(jiān)控等），不過這個東西也比較復(fù)雜，推薦有興趣的SA們試用。

7. 遇到的問題
官方文檔和devstack腳本基本上都是為了搭建實(shí)驗環(huán)境寫的，沒有為生產(chǎn)環(huán)境做最佳實(shí)踐的指導(dǎo)，在安裝過程中遇到很多問題，比如：
A. 多節(jié)點(diǎn)部署的時候要用multi host參數(shù)
B. 使用VLAN+硬件網(wǎng)關(guān)的時候做網(wǎng)絡(luò)配置時候，需要指定dnsmasq_config_file來強(qiáng)制覆蓋dnsmasq的網(wǎng)關(guān)配置
C. 用KVM制作windows鏡像的時候需要安裝virtio驅(qū)動
D. 通過Ubuntu源安裝的Nova，在Ami格式的鏡像啟動的instance無法做snapshot，需要打補(bǔ)丁
E. 通過Ubuntu源安裝的Nova，在啟用keystone進(jìn)行身份認(rèn)證的情況下，無法提供EC2的兼容API，也需要打補(bǔ)丁

8. Openstack 的各種資料
A. 官網(wǎng)和wiki http://docs./
B. Devstack的腳本說明，對于了解如何配置各個組件非常有幫助 http:///stack.sh.html
C. Rackspace的參考架構(gòu)，有很多很有用的信息，包括硬件，網(wǎng)絡(luò)，軟件配置等等，強(qiáng)烈推薦： http://www.
D. 看你準(zhǔn)備基于什么技術(shù)進(jìn)行虛擬化，KVM或者Xen的文檔也是很有用的。


9. 展示
用dashboard管理虛擬機(jī)


通過noVNC在web上連接到虛擬機(jī)