跳轉到主要內容

​
專案概述

本指南整理 GPUStack v2.1.2 的伺服器（server）與工作節點（worker）完整部署步驟，並透過 Cloudflare Tunnel 將推論 API 安全地對外曝露，無需開放入站防火牆埠號。適用於在私有機器或實驗室 GPU 主機上自架 LLM 推論基礎設施的場景。

​
技術棧

  • GPUStack v2.1.2：GPU 叢集管理與 LLM 推論排程
  • Cloudflare Tunnel：零埠號開放的安全通道
  • Shell (Bash)：部署自動化腳本

​
功能特色

  • GPUStack server 節點初始化與設定流程
  • Worker 節點加入叢集的完整步驟
  • Cloudflare Tunnel 設定，安全曝露推論端點
  • 無需對外開放 80/443 以外任何埠號
  • 適用於多 GPU 主機的水平擴展部署

​
快速開始

  1. 部署 GPUStack Server 節點 
    curl -sfL https://get.gpustack.ai | sh -s - --server-host 0.0.0.0
  2. 加入 Worker 節點 
    curl -sfL https://get.gpustack.ai | sh -s - \
  --server-url http://<SERVER_IP>:80 \
  --token <JOIN_TOKEN>
  3. 建立 Cloudflare Tunnel 
    cloudflared tunnel create gpustack
cloudflared tunnel route dns gpustack <your-domain>
cloudflared tunnel run gpustack

​
相關連結