大模型结构化输出控制与Function Calling实战指南

为什么大模型需要结构化输出

大模型在自然语言生成上表现优异，但生产环境对输出格式有严格约束——API返回JSON、数据库写入需字段对齐、前端渲染依赖固定Schema。裸调用大模型，输出格式飘忽不定，下游解析失败率居高不下。结构化输出控制是AIGC应用从demo走向上线的核心门槛。

Prompt工程中，结构化输出不只是”请以JSON格式回答”这么简单。模型对格式指令的遵循程度受模型能力、上下文长度、指令位置、温度参数等多重因素影响。下文拆解三种主流控制方案，并给出生产级代码示例。

方案一：Prompt约束 + 输出校验

最轻量的方式，通过精心设计的Prompt模板约束输出格式。核心技巧：

1. 在System Message中明确定义输出Schema，包含字段名、类型、枚举值
2. 用few-shot示例锚定格式，示例数量≥2时格式遵循率显著提升
3. 设置temperature=0降低随机性
4. 输出后做JSON解析校验，失败则重试

import json
from openai import OpenAI

client = OpenAI()

SCHEMA_PROMPT = """
你是一个信息提取引擎。从用户输入中提取以下字段，严格以JSON返回：
- name: str，人名
- company: str，公司名
- action: str，枚举值["入职","离职","晋升"]
- date: str，日期，格式YYYY-MM-DD

示例输入：张三于2026年7月15日从腾讯离职
示例输出：{"name":"张三","company":"腾讯","action":"离职","date":"2026-07-15"}

用户输入：{user_input}
"""

def extract_with_retry(user_input, max_retries=3):
    for i in range(max_retries):
        resp = client.chat.completions.create(
            model="gpt-4o",
            messages=[
                {"role": "system", "content": SCHEMA_PROMPT.format(user_input=user_input)}
            ],
            temperature=0,
        )
        raw = resp.choices[0].message.content.strip()
        try:
            data = json.loads(raw)
            required = ["name", "company", "action", "date"]
            if all(k in data for k in required):
                if data["action"] in ["入职", "离职", "晋升"]:
                    return data
        except json.JSONDecodeError:
            pass
    return None

此方案的局限：复杂Schema下格式遵循率下降，嵌套JSON极易出错，重试成本高。适合字段数≤5的简单场景。

方案二：Function Calling协议

Function Calling是模型原生支持的能力，通过工具定义将结构化Schema注入请求，模型输出直接为参数JSON。主流大模型（GPT-4o、Claude、GLM-4等）均已支持。

tools = [{
    "type": "function",
    "function": {
        "name": "extract_person_event",
        "description": "从文本中提取人员变动事件",
        "parameters": {
            "type": "object",
            "properties": {
                "name": {"type": "string", "description": "人名"},
                "company": {"type": "string", "description": "公司名"},
                "action": {
                    "type": "string",
                    "enum": ["入职", "离职", "晋升"],
                    "description": "变动类型"
                },
                "date": {
                    "type": "string",
                    "format": "date",
                    "description": "日期YYYY-MM-DD"
                }
            },
            "required": ["name", "company", "action", "date"]
        }
    }
}]

resp = client.chat.completions.create(
    model="gpt-4o",
    messages=[{"role": "user", "content": "李四2026年3月1日加入字节跳动"}],
    tools=tools,
    tool_choice={"type": "function", "function": {"name": "extract_person_event"}},
)

tool_call = resp.choices[0].message.tool_calls[0]
data = json.loads(tool_call.function.arguments)
# data = {"name": "李四", "company": "字节跳动", "action": "入职", "date": "2026-03-01"}

Function Calling的关键细节：

– tool_choice参数：设为强制调用可确保模型走function路径，而非自由文本输出
– enum约束：枚举值在参数定义中声明，模型对枚举的遵循度远高于Prompt描述
– required字段：缺失必填字段时模型会尝试推理补全，减少空值
– 嵌套对象：支持object嵌套，复杂Schema表达能力远超纯Prompt

方案三：Structured Output（JSON Schema模式）

OpenAI在2024年推出的JSON Schema模式，对输出格式做确定性保证。核心是response_format参数配合json_schema定义：

resp = client.chat.completions.create(
    model="gpt-4o-2024-08-06",
    messages=[{"role": "user", "content": "提取：王五于2026年6月晋升为阿里云VP"}],
    response_format={
        "type": "json_schema",
        "json_schema": {
            "name": "person_event",
            "strict": True,
            "schema": {
                "type": "object",
                "properties": {
                    "name": {"type": "string"},
                    "company": {"type": "string"},
                    "action": {"type": "string", "enum": ["入职", "离职", "晋升"]},
                    "date": {"type": "string"}
                },
                "required": ["name", "company", "action", "date"],
                "additionalProperties": False
            }
        }
    },
)

data = json.loads(resp.choices[0].message.content)

strict=True开启约束模式，模型保证输出严格匹配Schema，不做任何自由发挥。这是当前最高可靠性的结构化输出方案，实测格式遵循率>99.9%。

三种方案选型决策

对比维度：

1. 格式可靠性：Structured Output > Function Calling > Prompt约束
2. 模型兼容性：Prompt约束（全模型）> Function Calling（主流模型）> Structured Output（仅部分模型）
3. Schema复杂度：Structured Output支持最深嵌套，Prompt约束超过3层嵌套几乎不可用
4. 延迟开销：三者差异可忽略，均在200ms量级

生产环境推荐策略：优先使用Structured Output，模型不支持时降级Function Calling，简单场景用Prompt约束即可。不要在Prompt约束上堆重试逻辑——重试3次的成本已经超过换一个方案了。

生产环境踩坑记录

坑1：模型幻觉导致枚举值溢出
Function Calling下，模型偶尔输出enum以外的值。解法：应用层做二次校验，非枚举值映射到”未知”类型，不要直接抛异常阻断流程。

坑2：长文本场景输出截断
当提取目标涉及超长上下文时，模型可能因token限制截断JSON。解法：拆分输入为多个chunk分批提取，应用层合并结果。

坑3：日期格式不一致
模型对日期的理解随训练数据分布变化。即使Schema声明format:date，输出仍可能是”2026年7月”而非”2026-07-01″。解法：应用层用dateutil.parser做二次归一化。

坑4：并发请求下token计数抖动
同一Prompt在不同并发下，token消耗波动可达±15%。结构化输出的token计数相对稳定，但Function Calling的tool定义会占用额外token预算，长工具列表场景下注意留够context窗口。

多模型部署下的统一封装

实际部署中，不同模型对结构化输出的支持程度不同。推荐封装一层Adapter：

class StructuredOutputAdapter:
    """统一结构化输出接口，按模型能力自动选方案"""

    def __init__(self, client, model: str):
        self.client = client
        self.model = model

    def extract(self, prompt: str, schema: dict) -> dict:
        if self._supports_json_schema():
            return self._call_json_schema(prompt, schema)
        elif self._supports_function_calling():
            return self._call_function_calling(prompt, schema)
        else:
            return self._call_prompt_constraint(prompt, schema)

    def _supports_json_schema(self) -> bool:
        return self.model in ("gpt-4o-2024-08-06", "gpt-4o-mini")

    def _supports_function_calling(self) -> bool:
        return self.model in ("gpt-4o", "gpt-4-turbo", "glm-4", "claude-3-5-sonnet")

    def _call_json_schema(self, prompt, schema):
        pass

    def _call_function_calling(self, prompt, schema):
        pass

    def _call_prompt_constraint(self, prompt, schema):
        pass

这套Adapter让上层业务无需感知底层模型差异，切换模型时只需更新模型名称，结构化输出逻辑自动适配。对于AI模型部署来说，屏蔽模型接口差异是保障系统可维护性的基本操作。