打開Ollama的官網(wǎng)，整個網(wǎng)頁上就只有一句顯眼的話：Get up and running with large language models, locally. 中文意思是：在本地快速上手并運行大型語言模型。

1 什么是 Ollama？

Ollama 是一種假設(shè)存在的本地大模型運行框架，允許用戶在自己的硬件環(huán)境中輕松部署和使用大規(guī)模預(yù)訓(xùn)練模型。

1.1 Ollama 特性概覽：

• 易用性與廣泛支持：
  Ollama具有良好的生態(tài)支持，可以兼容不同架構(gòu)的大語言模型，截至今天（2024年3月20日），Ollama官網(wǎng)上公開支持的大模型就有70個之多。
• 量化與推理能力：
  提供了對模型的量化和推理優(yōu)化能力，這使得模型能夠在有限計算資源下進行高效推理，并且能夠近乎無縫地遷移至相同架構(gòu)的開源大模型上。
• 安全、快速、穩(wěn)定的服務(wù)：
  使用Ollama，個人開發(fā)者或企業(yè)可以在不依賴云端的情況下，在本地設(shè)備上實現(xiàn)大模型的服務(wù)化，從而滿足隱私保護、實時響應(yīng)或其他特定需求。

1.2 Ollama 資源網(wǎng)址

官網(wǎng)：https:///
Gtihub：https://github.com/ollama/ollama

2 安裝 Ollama

訪問 Ollama 下載地址：https:///download
1）macOS 版本

點擊下方的“Download for macOS”按鈕，下載安裝文件的zip壓縮包。打開解壓縮后生成的文件 ollama.app，直接執(zhí)行即可完成安裝并運行。在終端窗口里輸入：

ollama --version

返回版本信息即表示安裝完成并正在運行。

2） Windows 版本

點擊下方的“Download for Windows（preview）”按鈕，下載 .exe 可執(zhí)行安裝文件。
執(zhí)行下載的文件，安裝過程中殺毒軟件提示有病毒，關(guān)閉殺毒軟件，或者將提示的執(zhí)行文件加入信任白名單，即可完成安裝和運行。

打開 cmd 窗口，在命令行輸入執(zhí)行：

ollama --version

如果返回版本信息，即表示安裝成功！

3 使用 Ollama

Windows 和 macOS 在使用上幾乎沒有區(qū)別。訪問 Ollama 官網(wǎng)，列舉了很多大模型，我們可以從中找一個模型進行測試：

ollama pull qwen:0.5b-chat

下載完成后，運行此模型，在 cmd 中輸入下面的命令：

ollama run qwen:0.5b-chat

簡單測試一些，可以運行了：