# 查看显卡信息
nvidia-smi

# 查看系统版本信息
lsb_release -a

hejinyo@hejinyos-ubuntu:~$ nvidia-smi
Fri Oct 10 22:12:18 2025       
+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 580.65.06              Driver Version: 580.65.06      CUDA Version: 13.0     |
+-----------------------------------------+------------------------+----------------------+
| GPU  Name                 Persistence-M | Bus-Id          Disp.A | Volatile Uncorr. ECC |
| Fan  Temp   Perf          Pwr:Usage/Cap |           Memory-Usage | GPU-Util  Compute M. |
|                                         |                        |               MIG M. |
|=========================================+========================+======================|
|   0  NVIDIA GeForce RTX 4070        Off |   00000000:01:00.0  On |                  N/A |
|  0%   36C    P8              4W /  200W |     595MiB /  12282MiB |      0%      Default |
|                                         |                        |                  N/A |
+-----------------------------------------+------------------------+----------------------+

+-----------------------------------------------------------------------------------------+
| Processes:                                                                              |
|  GPU   GI   CI              PID   Type   Process name                        GPU Memory |
|        ID   ID                                                               Usage      |
|=========================================================================================|
|    0   N/A  N/A            1835      G   /usr/lib/xorg/Xorg                      136MiB |
|    0   N/A  N/A            2117    C+G   ...c/gnome-remote-desktop-daemon        156MiB |
|    0   N/A  N/A            2197      G   /usr/bin/gnome-shell                     95MiB |
|    0   N/A  N/A            3845      G   ...144 --variations-seed-version         41MiB |
+-----------------------------------------------------------------------------------------+
hejinyo@hejinyos-ubuntu:~$ lsb_release -a
No LSB modules are available.
Distributor ID:	Ubuntu
Description:	Ubuntu 24.04.3 LTS
Release:	24.04
Codename:	noble
hejinyo@hejinyos-ubuntu:~$ lscpu | grep "Model name\|Socket(s)" && free -h
hejinyo@hejinyos-ubuntu:~$ 

# 安装 Ollama
curl -fsSL https://ollama.com/install.sh | sh

# 下载并运行 Qwen1.5-14B 模型
ollama run qwen:14b-chat

#模型下载并加载完成，终端会进入交互模式，您就可以开始对话了：
>>> Send a message (/? for help)


# Ollama 服务安装成功后，它会自动在后台启动并暴露一个 REST API 接口（默认地址：http://127.0.0.1:11434）

# 查找 Ollama 服务文件，用于编辑一个服务覆盖文件
sudo systemctl edit ollama.service

# 在打开的文件中，添加以下内容
[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"

# 重载并重启服务
sudo systemctl daemon-reload
sudo systemctl restart ollama.service

# Ubuntu 防火墙配置：开放端口
# 允许来自任何 IP 的 TCP 端口 11434
sudo ufw allow 11434/tcp

# 检查防火墙状态和规则
sudo ufw status

# 远程命令行示例 (在 Mac Mini 终端运行):
# 设置环境变量，告诉 Mac Mini 的 curl 请求发到哪里
export OLLAMA_HOST=192.168.32.147:11434

# 尝试让远程 Ollama 服务运行 Qwen 模型并进行对话
ollama run qwen:14b-chat "Hello, I am calling from Mac Mini!"



# Web 交互界面
# 假设您已安装
sudo apt update
sudo apt install docker.io docker-compose
sudo usermod -aG docker $USER  # 将当前用户添加到 docker 组，避免每次都用 sudo
# 重新登录或运行 newgrp docker 使更改生效


# 注意：OLLAMA_HOST 必须设置为您的 Ubuntu PC 局域网 IP
export OLLAMA_HOST=192.168.32.147

# 运行 Open WebUI 容器
docker run -d -p 3000:8080 \
    --add-host=host.docker.internal:host-gateway \
    -v open-webui:/app/backend/data \
    --name open-webui \
    --restart always \
    -e OLLAMA_BASE_URL=http://${OLLAMA_HOST}:11434 \
    ghcr.io/open-webui/open-webui:main

# 访问 Web 界面
http://192.168.32.147:3000


# Ubuntu 防火墙中开放端口 3000
sudo ufw allow 3000/tcp

# 测试接口
curl -x POST 
{
  "model": "qwen2:7b-instruct",
  "prompt": "请用 Java 编写一个快速排序的函数，并解释其时间复杂度。",
  "stream": false,
  "options": {
    "temperature": 0.5,
    "num_gpu": 99 // 关键：强制将尽可能多的层加载到 GPU (4070)
  }
}

# 下载并运行 其他大 模型
 ollama run deepseek-coder-v2:16b 
 ollama run deepseek-coder:7b 
 ollama run qwen:14b-chat
 ollama run mixtral