小渔分享

為什麼要在本地部署 deepseek R1？#

1. 數據隱私與安全#

• 敏感數據保護：處理醫療、金融、政府等敏感數據時，本地部署確保數據不出內部網絡，避免雲端傳輸或第三方存儲的洩露風險。
• 合規要求：某些法規（如 GDPR、HIPAA）強制要求數據必須存儲在本地或特定區域，本地部署可直接滿足合規性。

2. 性能與低延遲#

• 實時性需求：製造業質檢、實時決策等場景需要毫秒級響應，本地伺服器減少網絡延遲。
• 大帶寬數據處理：如高頻交易或視頻分析，本地部署避免因上傳雲端導致的帶寬瓶頸。

3. 定制化與系統集成#

• 深度適配業務：可針對企業特有流程調整模型參數、接口或輸出格式（如與內部 ERP、BI 工具整合）。
• 私有化功能開發：支持添加行業專用模塊（如法律條款解析、工業故障診斷）並保護知識產權。

4. 成本控制（長期）#

• 規模化使用更經濟：若長期調用量大，本地硬件投入可能低於持續支付的雲服務訂閱費。
• 復用現有基礎設施：企業已有伺服器 / GPU 資源時，部署成本進一步降低。

5. 網絡與穩定性#

• 離線環境運行：礦井、遠洋船舶等網絡不穩定或無網場景下，本地部署保障服務連續性。
• 避免雲服務中斷風險：不依賴第三方雲廠商的可用性（如 AWS/Azure 偶發故障）。

6. 完全自主控制權#

• 升級與維護自主：自行決定何時更新模型版本，避免雲端強制升級導致業務中斷。
• 審計與監管：完整掌握系統日誌、訪問記錄，便於內部審計或應對監管檢查。

安裝 DeepSeek R1 需要什麼配置？#

DeepSeek 模型 Win配置要求：

DeepSeek 模型 Mac 配置要求：

如何本地部署 Deepseek R1 ？#

說明：我這使用 Mac 機型的 Mac mini M4，win 的部署和 mac 大同小異。

• 需要下載兩個工具

  1. Ollama
  2. AnythingLLM

• 安裝流程圖

  

1. Ollama#

• 主要用來在本地安裝和運行包括 DeepSeek 在內的各種大模型

  Ollama

  • Ollama 是一個免費的開源項目，是一個專為在本地機器上便捷部署和運行 LLM 而設計的開源工具，可在本地運行各種開源 LLM，它讓用戶無需深入了解複雜的底層技術，就能輕鬆地加載、運行和交互各種 LLM 模型
  • Ollama 的特點：
    • 本地部署：不依賴雲端服務，用戶可以在自己的設備上運行模型，保護數據隱私。
    • 多操作系統支持：無論是 Mac、Linux 還是 Window，都能很方便安裝使用。
    • 多模型支持：Ollama 支持多種流行的 LLM 模型，如 Llama、Falcon 等，包括最近 Meta 公司新開源的大模型 llama3.1 405B 也已經更新，用戶可以根據自己的需求選擇不同的模型，一鍵運行。
    • 易於使用：提供了直觀的命令行界面，操作簡單，上手容易。
    • 可擴展性：支持自定義配置，用戶可以根據自己的硬件環境和模型需求進行優化。
    • 開源：代碼完全開放，用戶可以自由查看、修改和分發（雖然沒有很多人會去修改）

2. DeepSeek R1#

• 在 Ollama 官網中找到 deepseek-r1，在 Mac 終端安裝。

  Ollama

• 安裝

  Ollama 中安裝 deepseek- r1

  1. 回到 Ollama 官網，選擇 Models，選擇 deepseek-r1

     

  2. 這裡默認選擇 7b 參數的模型，我們這裡就使用默認推薦的 7b 參數的模型

     https://ollama.com/library/deepseek-r1

     

  3. 打開 mac 終端，複製這行命令

     Copy

     ollama run deepseek-r1:7b
     

     • 如何下載速度變慢或者暫停，我們只需要按住鍵盤 **Control+c，** 重新執行命令，你會神奇發現它的下載速度變快了，它是支持斷點續傳的。

       

  4. 如果看到底部的 **success，** 說明已經安裝成功。

  5. 現在我們可以在這個終端的窗口，可以隨意輸入你想問的問題。

     

3. Embedding 的模型#

• 說明
  • Embedding 模型是將文本、圖像等高維數據轉換為低維向量的技術，核心是捕捉語義信息，便於機器學習處理
  • Embedding 模型是 AI 的 “翻譯器”，將複雜數據轉化為機器能理解的向量，驅動語義理解類應用
  • 常見類型和特點

• 說明
  • Embedding 模型是將文本、圖像等高維數據轉換為低維向量的技術，核心是捕捉語義信息，便於機器學習處理
  • Embedding 模型是 AI 的 “翻譯器”，將複雜數據轉化為機器能理解的向量，驅動語義理解類應用
  • 常見類型和特點
• 我們要使用的是 Embedding 模型中的 BGE-M3 模型。
  • 解釋 BGE-M3。
    • 語言通吃
      • 支持 100 多種語言，比如用中文搜英文資料、用日語查西班牙語新聞，都能精準匹配。
    • 雙重搜索模式
      • 理解意思：比如搜 “寵物”，也能找到 “貓貓狗狗” 的內容。
      • 匹配關鍵詞：比如嚴格搜含 “AI”“人工智能” 的文章，不漏結果。
    • 長文章不斷片
      • 讀論文、合同等長文本時，不會像普通工具那樣 “看了後面忘前面”，能記住整體內容
    • 省資源
      • 有小巧版本（如 “mini 版”），手機、小網站也能用，不卡頓。
  • 下載 bge-m3

    • 打開 Mac 終端，輸入

      Copy

      ollama pull bge-m3
      

    • 如果看到success，安裝成功

      

      http：//127.0.0.1:11434

4. AnythingLLM#

1. 說明

   • AnythingLLM通過簡潔的 UI 用戶端窗口來替代終端的窗口。
   • AnythingLLM幫助我們搭建個人本地知識庫
   • AnythingLLM支持文本、圖像、音頻等多種輸入方式，能將 PDF、TXT、DOCX 等格式的文檔分割並向量化處理，通過 RAG（檢索增強生成）技術使 LLM 在對話中引用文檔內容。

   主要功能：

   • 多用戶管理和權限控制： 讓團隊協作更輕鬆，每個人都能安全地使用 LLM。
   • AI Agent 加持： 內置強大的 AI Agent，可以執行網頁瀏覽、代碼運行等複雜任務，自動化程度更高。
   • 可嵌入聊天窗口： 輕鬆集成到您的網站或應用中，為用戶提供 AI 驅動的對話體驗。
   • 廣泛的文件格式支持： 支持 PDF、TXT、DOCX 等多種文檔類型，滿足不同場景需求。
   • 向量數據庫管理： 提供簡單易用的界面來管理向量數據庫中的文檔，方便知識管理。
   • 靈活的對話模式： 支持聊天和查詢兩種對話模式，滿足不同場景需求。
   • 信息來源追蹤： 聊天過程中會提供引用的文檔內容，方便追溯信息來源，增強結果可信度。
   • 多種部署方式： 支持 100% 雲部署，也支持本地部署，滿足不同用戶的需求。
   • 自定義 LLM 模型： 可以使用您自己的 LLM 模型，定制化程度更高，滿足個性化需求。
   • 高效處理大型文檔： 相較於其他文檔聊天機器人解決方案，AnythingLLM 在處理大型文檔時效率更高，成本更低，最多可節省 90% 的成本。
   • 開發者友好： 提供全套開發者 API，方便自定義集成，擴展性更強。

2. 下載、安裝、配置

   • 下載
     • 找到官網：https://anythingllm.com/
   • 安裝

     • 點擊開始

       

     • 選擇 Ollam

       

     • 點擊下一頁

       

     • 跳過調查

       

     • 隨便輸入一個工作名稱，暫且叫作小漁助手

       

     • 看到 Workspace created successfully，已經安裝成功了

       

   • 配置

     • 點擊左下角 🔧，找到 Customization，Display Language，選擇 Chinese
       

     • 选择 Embedder 首选项

     • 嵌入引擎提供商，選擇Ollama

     • Ollama Embedding Model，選擇剛剛下載好的 bge-3

     • 保存更改
       

3. 工作區

   • 作用說明：
     • 分門別類
       • 創建不同 “房間” 做不同事：比如一個房間處理客服問答，另一個房間分析合同文件，互不干擾，避免數據混雜。
     • 餵資料給 AI
       • 往工作區上傳文檔、網頁或筆記（像給 AI “備課”），讓它學習你的專屬知識庫。
     • 邊做邊試
       • 直接在工作區提問（比如模擬客戶諮詢），實時看 AI 回答對不對，隨時調整 Ai 指令。
   • 設置
     • 點擊工作區的 ⚙️
     • 通用設置
       • 這裡可以刪除工作區
     • 聊天設置
       • 聊天模式，設置為查詢（將 僅 提供找到的文檔上下文的答案）
       • 聊天提示

4. 搭建個人知識庫

   • 點擊小漁助手⏫按鈕

     

   • 將準備好的文檔，上傳到左邊知識庫，再移動到右邊的小漁助手，點擊下保存。