LLM结构化输出控制技巧：JSON Schema约束与Prompt工程实战

为什么LLM结构化输出如此重要

Prompt工程中一个高频痛点：调用大模型API时，返回的内容格式飘忽不定。让模型返回JSON，它给你带个注释；让它输出列表，它加一段开场白。这些看似小问题，在工程化链路中会直接导致JSON解析失败、下游管道中断。OpenAI在2024年底推出了Structured Outputs功能，支持通过JSON Schema严格约束模型输出格式，其他主流推理服务也陆续跟进。本文整理LLM结构化输出控制的核心技巧，覆盖JSON Schema约束、多格式切换和常见踩坑场景。

JSON Schema约束输出格式实战

以OpenAI API为例，在chat completions请求中设置response_format参数，可以让模型严格按照预定义的JSON Schema输出。核心参数是type: "json_schema"配合json_schema字段：

from openai import OpenAI

client = OpenAI()

response = client.chat.completions.create(
    model="gpt-4o-2024-08-06",
    messages=[
        {"role": "system", "content": "你是服务器运维专家，根据故障描述给出诊断结果。"},
        {"role": "user", "content": "服务器CPU使用率持续99%，load average达到128，但内存还有60%空闲。"}
    ],
    response_format={
        "type": "json_schema",
        "json_schema": {
            "name": "diagnosis",
            "strict": True,
            "schema": {
                "type": "object",
                "properties": {
                    "root_cause": {"type": "string"},
                    "confidence": {"type": "number"},
                    "suggestions": {
                        "type": "array",
                        "items": {"type": "string"}
                    }
                },
                "required": ["root_cause", "confidence", "suggestions"],
                "additionalProperties": False
            }
        }
    }
)

import json
result = json.loads(response.choices[0].message.content)
print(result["root_cause"])
print(result["suggestions"])

关键细节：strict: True是必须的，它会启用constrained decoding，确保每个token的采样概率只分配给Schema合法的后续token。additionalProperties: False也不可省略，否则模型可能额外塞入未定义字段。

非OpenAI模型的结构化输出方案

使用开源模型或第三方推理服务时，不一定支持原生的JSON Schema约束。此时可以退回到Prompt层面的控制策略：

策略一：示例驱动（Few-shot）。在system prompt中给出2-3个完整输入输出对，格式与目标Schema完全一致：

system_prompt = """你是故障诊断助手。严格按照以下JSON格式输出，不要添加任何额外文本：

{"root_cause": "原因描述", "confidence": 0.85, "suggestions": ["建议1", "建议2"]}

示例输入：磁盘IO wait超过40%
示例输出：{"root_cause": "磁盘IO瓶颈，可能存在全表扫描或日志刷盘", "confidence": 0.78, "suggestions": ["检查慢查询日志", "确认innodb_flush_log_at_trx_commit设置", "评估是否需要SSD升级"]}

示例输入：内存使用率95%且持续增长
示例输出：{"root_cause": "内存泄漏，进程未释放已分配内存", "confidence": 0.82, "suggestions": ["pmap排查内存分布", "检查应用是否有未关闭的数据库连接", "重启进程并观察内存增长曲线"]}"""

策略二：正则兜底提取。当模型偶尔不遵守格式时，用正则从返回文本中提取JSON块：

import re

def extract_json(text):
    # 尝试直接解析
    try:
        return json.loads(text)
    except json.JSONDecodeError:
        pass
    
    # 提取markdown代码块中的JSON
    code_block = re.search(r'```(?:json)?\s*\n?(.*?)\n?```', text, re.DOTALL)
    if code_block:
        try:
            return json.loads(code_block.group(1).strip())
        except json.JSONDecodeError:
            pass
    
    # 提取第一个完整的JSON对象
    brace_match = re.search(r'\{[^{}]*(?:\{[^{}]*\}[^{}]*)*\}', text, re.DOTALL)
    if brace_match:
        try:
            return json.loads(brace_match.group(0))
        except json.JSONDecodeError:
            pass
    
    raise ValueError(f"无法从输出中提取有效JSON: {text[:200]}")

多格式动态切换的Prompt设计

同一个Agent可能需要输出不同格式：调试时输出自然语言，生产环境输出JSON，数据报表输出CSV。在Prompt中定义格式标记：

FORMAT_TEMPLATES = {
    "json": "严格按JSON Schema输出，不要添加markdown标记或额外解释。",
    "text": "用自然语言段落回复，条理清晰，关键数据加粗。",
    "csv": "输出CSV格式，首行为字段名，逗号分隔，不要添加额外空行。"
}

def build_prompt(task: str, output_format: str = "json"):
    format_instruction = FORMAT_TEMPLATES.get(output_format, FORMAT_TEMPLATES["json"])
    return f"""任务：{task}

输出格式要求：{format_instruction}

注意：不要在输出内容前后添加任何与格式无关的文字说明。"""

结构化输出的常见踩坑与解决思路

坑1：Schema嵌套层级过深。当JSON Schema嵌套超过4层，部分模型的遵守率显著下降。解决方式是拆分为多次调用，每次处理一层，通过代码组装最终结果。

坑2：枚举值被模型自行扩展。Schema中定义enum: ["critical", "warning", "info"]，模型偶尔输出"moderate"。在strict: True模式下这个概率极低，但Prompt层面无法完全杜绝，需要在解析后做枚举校验：

VALID_SEVERITY = {"critical", "warning", "info"}

def validate_result(result: dict) -> dict:
    if result.get("severity") not in VALID_SEVERITY:
        # 降级为最接近的合法值
        result["severity"] = "warning"
    return result

坑3：数组长度的不可控性。模型返回的数组可能包含0个或50个元素。通过Schema的minItems和maxItems约束（支持的话），或者在Prompt中明确指定数量范围：

"suggestions": {
    "type": "array",
    "items": {"type": "string"},
    "minItems": 2,
    "maxItems": 5
}

批量调用中的格式一致性保障

批量调用LLM处理数百条任务时，格式一致性尤为关键。推荐做法：为每条调用做Schema校验，校验失败的加入重试队列，同时记录失败模式用于Prompt优化：

from jsonschema import validate, ValidationError

DIAGNOSIS_SCHEMA = {
    "type": "object",
    "properties": {
        "root_cause": {"type": "string", "minLength": 5},
        "confidence": {"type": "number", "minimum": 0, "maximum": 1},
        "suggestions": {"type": "array", "items": {"type": "string"}, "minItems": 1}
    },
    "required": ["root_cause", "confidence", "suggestions"]
}

def safe_parse(raw_text: str, max_retries: int = 2) -> dict:
    for attempt in range(max_retries + 1):
        try:
            data = extract_json(raw_text)
            validate(instance=data, schema=DIAGNOSIS_SCHEMA)
            return data
        except (ValidationError, ValueError) as e:
            if attempt == max_retries:
                return {"error": str(e), "raw": raw_text[:500]}
            # 重试时追加纠正提示
            raw_text = f"上次输出格式有误：{e}\n请重新输出："
    return {}

Prompt工程的输出稳定性优化清单

结构化输出控制的关键检查点：

• 优先使用API原生JSON Schema约束（strict: True + additionalProperties: False）
• Schema嵌套不超过3层，复杂结构拆分为多次调用
• 枚举字段务必做校验兜底，不要完全信任模型遵守
• 数组字段指定minItems/maxItems，或Prompt中明确数量范围
• 生产环境必须有JSON解析兜底逻辑（正则提取 + Schema校验 + 重试）
• 批量场景记录格式失败模式，迭代优化Prompt
• 不同输出格式通过模板变量动态注入，避免硬编码