AI模型部署实战：使用Ollama本地部署大模型与API服务封装

Ollama作为轻量级大模型部署工具，支持在本地服务器上一键拉取和运行开源大语言模型。大模型开发团队在AI模型部署环节面临GPU资源调度、并发推理、接口鉴权等工程化挑战。本文以Llama 3和Qwen2为例，介绍从Ollama安装到API服务封装的完整流程，涵盖GPU加速配置、并发调优和接口鉴权等生产环境关键环节。

Ollama安装与GPU环境准备

在Linux服务器上安装Ollama，执行官方一键脚本：

curl -fsSL https://ollama.com/install.sh | sh

安装完成后验证版本：

ollama --version
# ollama version is 0.3.0

服务器配备NVIDIA GPU时，安装脚本自动检测并配置CUDA运行时。手动验证GPU识别状态：

ollama ps
# NAME           ID           SIZE     PROCESSOR    UNTIL
# llama3:8b      365c0bf3be01 5.5 GB   100% GPU     4 minutes from now

GPU未识别时，检查NVIDIA驱动和Container Toolkit是否正确安装：

nvidia-smi
# 确认驱动版本和GPU显存

# 安装NVIDIA Container Toolkit
distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
curl -s -L https://nvidia.github.io/libnvidia-container/gpgkey | sudo apt-key add -
curl -s -L https://nvidia.github.io/libnvidia-container/$distribution/libnvidia-container.list | \
  sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
sudo apt-get update && sudo apt-get install -y nvidia-container-toolkit

拉取大模型与本地运行配置

从Ollama模型库拉取开源大语言模型：

# 拉取Llama 3 8B模型（约4.7GB）
ollama pull llama3:8b

# 拉取通义千问Qwen2 7B中文优化模型
ollama pull qwen2:7b

# 拉取代码生成专用模型
ollama pull deepseek-coder:6.7b

模型默认存储在/usr/share/ollama/.ollama/models目录。磁盘空间有限时，通过环境变量修改存储路径到独立数据盘：

sudo systemctl edit ollama
[Service]
Environment="OLLAMA_MODELS=/data/ollama/models"
sudo systemctl daemon-reload
sudo systemctl restart ollama

命令行直接对话测试模型推理效果：

ollama run llama3:8b "解释Transformer架构中多头注意力机制的工作原理"

配置Ollama REST API服务

Ollama默认监听127.0.0.1:11434，仅允许本地访问。生产环境需要修改监听地址：

sudo systemctl edit ollama
[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"
Environment="OLLAMA_ORIGINS=https://your-app.com"
sudo systemctl restart ollama

API调用测试——单轮生成接口：

curl http://localhost:11434/api/generate -d '{
  "model": "llama3:8b",
  "prompt": "用Python实现快速排序算法并添加注释",
  "stream": false
}'

对话接口支持多轮上下文，适合构建智能对话系统：

curl http://localhost:11434/api/chat -d '{
  "model": "qwen2:7b",
  "messages": [
    {"role": "system", "content": "你是一位资深Python开发工程师"},
    {"role": "user", "content": "如何优化Python列表的内存占用？"}
  ],
  "stream": false,
  "options": {
    "temperature": 0.7,
    "top_p": 0.9,
    "num_ctx": 4096
  }
}'

GPU显存管理与并发推理调优

大模型推理的瓶颈通常在GPU显存。通过环境变量控制并发和资源分配：

sudo systemctl edit ollama
[Service]
Environment="OLLAMA_NUM_PARALLEL=4"
Environment="OLLAMA_MAX_LOADED_MODELS=2"
Environment="OLLAMA_KEEP_ALIVE=24h"

各参数含义：

• OLLAMA_NUM_PARALLEL：同时处理的推理请求数，显存充足时可调高
• OLLAMA_MAX_LOADED_MODELS：显存中保持加载的模型数量，避免频繁加载卸载
• OLLAMA_KEEP_ALIVE：模型在显存中的保持时间，设为24h减少冷启动延迟

显存不足时的诊断方法：

# 查看GPU显存使用情况
nvidia-smi --query-gpu=memory.used,memory.total --format=csv
# memory.used, memory.total
# 15234 MiB, 24576 MiB

# 查看Ollama运行日志
journalctl -u ollama -f --no-pager

显存不够时Ollama自动降级到CPU推理，响应延迟从毫秒级飙升到秒级。此时使用量化模型降低显存占用：

# 使用4-bit量化版本，显存占用减少约60%
ollama pull llama3:8b-q4_0

使用FastAPI封装带鉴权的API网关

Ollama原生API没有鉴权机制，直接暴露到公网存在安全风险。使用FastAPI封装一层网关，添加Token验证和请求限流：

from fastapi import FastAPI, HTTPException, Header
from fastapi.middleware.cors import CORSMiddleware
import httpx
import os

app = FastAPI(title="LLM API Gateway")

app.add_middleware(
    CORSMiddleware,
    allow_origins=["https://your-app.com"],
    allow_methods=["POST"],
    allow_headers=["*"],
)

OLLAMA_URL = "http://localhost:11434"
API_TOKEN = os.getenv("LLM_API_TOKEN", "your-secret-token-here")

async def verify_token(authorization: str = Header(...)):
    if authorization != f"Bearer {API_TOKEN}":
        raise HTTPException(status_code=401, detail="Invalid API token")

@app.post("/v1/chat/completions")
async def chat_completions(request: dict, authorization: str = Header(...)):
    await verify_token(authorization)
    model = request.get("model", "llama3:8b")
    messages = request.get("messages", [])

    async with httpx.AsyncClient(timeout=120) as client:
        resp = await client.post(
            f"{OLLAMA_URL}/api/chat",
            json={
                "model": model,
                "messages": messages,
                "stream": False,
                "options": request.get("options", {"temperature": 0.7})
            }
        )
        if resp.status_code != 200:
            raise HTTPException(status_code=502, detail="Ollama backend error")
        data = resp.json()
        return {
            "model": model,
            "choices": [{"message": data.get("message", {})}],
            "usage": data.get("eval_count", 0)
        }

使用Gunicorn部署到生产环境，配合Nginx反向代理处理TLS终止：

gunicorn main:app -w 4 -k uvicorn.workers.UvicornWorker \
  -b 127.0.0.1:8000 --timeout 120

Modelfile自定义模型与Prompt工程配置

通过Modelfile创建自定义模型，预设系统提示词和推理参数，固化Prompt工程最佳实践：

cat > Modelfile << 'EOF'
FROM qwen2:7b

SYSTEM """
你是一位专业的技术文档撰写助手。
回答时使用Markdown格式，代码块标注语言类型。
技术描述准确严谨，避免模糊表述。
"""

PARAMETER temperature 0.3
PARAMETER top_p 0.8
PARAMETER num_ctx 8192
PARAMETER repeat_penalty 1.1
EOF

# 构建自定义模型
ollama create tech-writer -f Modelfile

# 运行验证
ollama run tech-writer "撰写一份Redis缓存穿透防护方案文档"

常见问题诊断与排查

问题1：模型加载超时或OOM错误

8B模型FP16需要约6GB显存，4-bit量化约需4GB。检查显存是否被其他进程占用：

# 查看GPU进程占用
nvidia-smi --query-compute-apps=pid,name,used_memory --format=csv

问题2：API响应延迟突然增大

排查方向：确认模型运行在GPU而非CPU（ollama ps查看PROCESSOR列）；检查OLLAMA_NUM_PARALLEL是否过高导致显存争抢；查看是否有多个模型同时加载消耗显存。

问题3：中文输出质量不稳定

优先选择中文优化模型如qwen2或yi系列。在Modelfile中设置中文系统提示词，temperature控制在0.3-0.5区间获得更稳定输出。num_ctx参数调大到8192以支持更长上下文。

监控告警与日志管理

配置Ollama日志轮转，避免日志文件撑满磁盘：

cat > /etc/logrotate.d/ollama << 'EOF'
/var/log/ollama/*.log {
    daily
    rotate 7
    compress
    missingok
    notifempty
    create 0644 ollama ollama
}
EOF

通过Prometheus采集API网关指标，重点关注三个核心指标：推理延迟P99值（正常应低于2秒）、GPU显存利用率（保持80%以下留出缓冲）、请求队列积压数量。设置告警规则，当推理延迟超过5秒或显存利用率超过95%时触发告警通知。

对于多卡服务器场景，通过CUDA_VISIBLE_DEVICES环境变量指定Ollama使用的GPU，将不同模型绑定到不同GPU上实现资源隔离。配合Docker容器化部署，可以为每个模型服务分配独立的运行环境和资源限制，实现更灵活的算力资源规划。