DeepSeek接入個人知識庫，最新軟件安裝包發(fā)布！

今生再約 2025-05-06 發(fā)布于河南

展開全文

你好，我是郭震

咱們每個人電腦上都有很多文件，隨著AI大模型技術(shù)發(fā)展，高效檢索個人知識庫，然后叫大模型幫我們分析，是一個高效提升工作效率的方法。

在過去二個月，我和一位小伙伴，一起攻堅(jiān)克難，實(shí)現(xiàn)了上面的大模型接入個人知識庫功能，又被稱為RAG（Retrieval-Augmented Generation）。

為了好記憶，我們把軟件命名為：DeepSeekMine.

這篇文章我將解答大家在使用DeepSeekMine-V6過程中普遍關(guān)心的一些問題，并且深入介紹軟件背后的算法內(nèi)核和技術(shù)原理，對這些感興趣的可以看看。

1 DeepSeekMine使用技巧一

個人知識文檔是有分類的，比如生活類，工作類，理財(cái)類，體育類，新聞，娛樂類等等?；谶@個特點(diǎn)，我們在開發(fā)DeepSeekMine時，算法就考慮了此維度，加速大模型回答速度同時，還提升RAG精度。

在界面中表現(xiàn)如下，大家可以分門別類，創(chuàng)建多個分類卡片，如下一共創(chuàng)建了4類：

所以大家在使用DeepSeekMine時，非常建議大家新建這樣多個卡片，分門別類上傳自己的個人文件，這是第一個使用技巧。

2 DeepSeekMine使用技巧二

本地跑大模型還是比較消耗機(jī)器，再加上RAG功能，就會更加消耗電腦資源，其他知識庫，如cherry, anythingllm等，回答延時就會比較長，我用過，有時一次回答延時竟有2分鐘，所以我們設(shè)計(jì)DeepSeekMine時，就想解決此問題，到V6版本，配置DeepSeek-R1:1.5b回答，能做到1秒鐘回復(fù)。

通過下面的GIF動畫，大家可以驗(yàn)證下回復(fù)速度是不是這樣，GIF無任何加速，全部保持原始速度。我的測試機(jī)器是m1-pro, 16G內(nèi)存，沒有GPU顯卡。限于公眾號內(nèi)幀數(shù)限制，只能截取前幾幀：

如何做到在本地算力下秒級回復(fù)的，DeepSeekMine算法是混合RAG算法，利用關(guān)鍵詞檢索和語義向量結(jié)合，高效做到RAG響應(yīng)。設(shè)計(jì)的混合RAG算法，從業(yè)務(wù)角度看，算法主線有兩條，文檔上傳處理，用戶查詢處理。

文檔上傳處理的算法流程如下圖所示，包括用戶上傳單個或多個文件 → 知識庫文件智能分類 → 后臺多線程并發(fā)處理 → 線程1/線程2/線程3/線程N(yùn) → 智能文檔切片 → 中文文檔進(jìn)行分詞 → 去除停用詞 → 微服務(wù)異步計(jì)算嵌入向量 → 寫入Meilisearch：

用戶查詢處理的算法流程如下所示，包括用戶輸入查詢問題 → 中文查詢進(jìn)行分詞 → 計(jì)算查詢嵌入向量 → 領(lǐng)域語義匹配 → 關(guān)鍵詞兩輪篩選+BM25算法 → 查詢與向量關(guān)系矩陣優(yōu)化算法 → 定制rerank算法：

所以基于以上算法設(shè)計(jì)，大家在使用DeepSeekMine時，提問的問題中盡量包括一些準(zhǔn)確的關(guān)鍵詞，然后組合起來提問它，這是第二個使用技巧。

舉個例子，比如這樣提問：Janus-Pro能做什么事情，Janus-Pro就是最重要的一個關(guān)鍵詞，大家看看下面的回復(fù)，哪怕使用1.5b這樣的小模型，回答總結(jié)的都很精準(zhǔn)，如果配置更好的模型，那就徹底起飛了：

3 DeepSeekMine使用技巧三

一次會話包括多輪用戶和助手的來回交流，DeepSeekMine會把歷史交流和命中的知識庫文檔一起注入到大模型，然后讓大模型學(xué)習(xí)和總結(jié)，這里利用了大模型的few-shots learner特性。

但是很多大模型應(yīng)用這樣設(shè)計(jì)都會有一個問題，如果某次或某些會話它回答的不夠精準(zhǔn)，就會干擾接下來的回答質(zhì)量。

基于此，一旦中間回答出現(xiàn)漂移問題，可以點(diǎn)擊「清空歷史」按鍵，重新開始提問，這是第三個使用技巧：

為了大幅減少漂移問題，DeepSeekMine軟件也提供了不同大模型配置功能，這也是大家普遍關(guān)心的一個問題，在這里詳細(xì)介紹下。

比如ollama本地安裝的不同大模型，只需要1.5b改為8b，自動將會啟用8b做回答：

此外還支持云端API配置，如下所示配置也比較方便：

本站是提供個人知識管理的網(wǎng)絡(luò)存儲空間，所有內(nèi)容均由用戶發(fā)布，不代表本站觀點(diǎn)。請注意甄別內(nèi)容中的聯(lián)系方式、誘導(dǎo)購買等信息，謹(jǐn)防詐騙。如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容，請點(diǎn)擊一鍵舉報(bào)。

轉(zhuǎn)藏 分享

QQ空間 QQ好友新浪微博微信

獻(xiàn)花（0） +1

來自：今生再約 > 《辦公》

舉報(bào)/認(rèn)領(lǐng)