Spring AI集成OpenAI：实现语音与文字的双向转换

2025年10月13日 互联网

Spring AI接入OpenAI实现文字转语音、语音转文字功能

一、技术背景与需求分析

在智能化应用场景中，语音与文字的双向转换已成为核心需求。例如，智能客服需要实时将用户语音转为文字并生成语音回复，教育平台需支持课程内容的语音合成与交互。OpenAI提供的Whisper（ASR）和TTS（Text-to-Speech）API为开发者提供了高精度的解决方案，而Spring AI作为轻量级Java框架，可简化API调用流程，提升开发效率。

1.1 OpenAI API的核心能力

  • Whisper模型：支持100+种语言的语音识别，具备抗噪声能力，适用于会议记录、语音指令等场景。
  • TTS模型：生成自然流畅的语音，支持多种音色和语速调节，可定制化输出格式（如MP3、WAV）。

1.2 Spring AI的集成优势

  • 简化配置：通过依赖注入管理API密钥、请求参数等配置。
  • 统一接口：抽象OpenAI API的调用细节，提供类型安全的Java方法。
  • 扩展性：支持自定义拦截器处理响应数据或错误。

二、开发环境准备

2.1 依赖配置

在Maven项目的pom.xml中添加Spring AI和OpenAI客户端依赖：

  1. <dependencies>
  2.     <!-- Spring AI核心库 -->
  3.     <dependency>
  4.         <groupId>org.springframework.ai</groupId>
  5.         <artifactId>spring-ai-core</artifactId>
  6.         <version>0.7.0</version>
  7.     </dependency>
  8.     <!-- OpenAI Java客户端 -->
  9.     <dependency>
  10.         <groupId>com.theokanning.openai-api</groupId>
  11.         <artifactId>openai-client</artifactId>
  12.         <version>0.11.0</version>
  13.     </dependency>
  14. </dependencies>

2.2 配置OpenAI API密钥

在application.properties中设置密钥（建议通过环境变量注入）：

  1. openai.api-key=${OPENAI_API_KEY}
  2. openai.organization-id=${OPENAI_ORG_ID}

三、文字转语音（TTS）实现

3.1 核心代码实现

通过Spring AI调用OpenAI TTS API的步骤如下：

3.1.1 创建TTS服务类

  1. import com.theokanning.openai.service.OpenAiService;
  2. import com.theokanning.openai.speech.CreateSpeechRequest;
  3. import com.theokanning.openai.speech.SpeechResponse;
  4. import org.springframework.beans.factory.annotation.Value;
  5. import org.springframework.stereotype.Service;
  7. @Service
  8. public class TtsService {
  9.     private final OpenAiService openAiService;
  11.     public TtsService(@Value("${openai.api-key}") String apiKey) {
  12.         this.openAiService = new OpenAiService(apiKey);
  13.     }
  15.     public byte[] textToSpeech(String text, String voice, String format) {
  16.         CreateSpeechRequest request = CreateSpeechRequest.builder()
  17.                 .model("tts-1") // 或 tts-1-hd（高清版）
  18.                 .input(text)
  19.                 .voice(voice) // 例如 "alloy"、"echo"、"fable"
  20.                 .responseFormat(format) // "mp3", "opus", "aac", "flac"
  21.                 .build();
  23.         SpeechResponse response = openAiService.createSpeech(request);
  24.         return response.getAudio();
  25.     }
  26. }

3.1.2 控制器层调用

  1. import org.springframework.web.bind.annotation.*;
  2. import org.springframework.http.ResponseEntity;
  3. import org.springframework.http.MediaType;
  5. @RestController
  6. @RequestMapping("/api/tts")
  7. public class TtsController {
  8.     private final TtsService ttsService;
  10.     public TtsController(TtsService ttsService) {
  11.         this.ttsService = ttsService;
  12.     }
  14.     @GetMapping(value = "/generate", produces = MediaType.APPLICATION_OCTET_STREAM_VALUE)
  15.     public ResponseEntity<byte[]> generateSpeech(
  16.             @RequestParam String text,
  17.             @RequestParam(defaultValue = "alloy") String voice,
  18.             @RequestParam(defaultValue = "mp3") String format) {
  20.         byte[] audio = ttsService.textToSpeech(text, voice, format);
  21.         return ResponseEntity.ok()
  22.                 .header("Content-Type", "audio/" + format)
  23.                 .body(audio);
  24.     }
  25. }

3.2 关键参数说明

  • 模型选择：tts-1（标准版）与tts-1-hd（高清版）的音质差异。
  • 音色库：OpenAI提供6种预设音色，可通过voice参数指定。
  • 响应格式：推荐使用MP3以兼容多数设备。

四、语音转文字（ASR）实现

4.1 核心代码实现

4.1.1 创建ASR服务类

  1. import com.theokanning.openai.service.OpenAiService;
  2. import com.theokanning.openai.audio.CreateTranscriptionRequest;
  3. import com.theokanning.openai.audio.TranscriptionResponse;
  4. import org.springframework.stereotype.Service;
  6. @Service
  7. public class AsrService {
  8.     private final OpenAiService openAiService;
  10.     public AsrService(@Value("${openai.api-key}") String apiKey) {
  11.         this.openAiService = new OpenAiService(apiKey);
  12.     }
  14.     public String speechToText(byte[] audioData, String language, String model) {
  15.         CreateTranscriptionRequest request = CreateTranscriptionRequest.builder()
  16.                 .file(audioData)
  17.                 .model(model) // 推荐 "whisper-1"
  18.                 .language(language) // 可选，如 "zh"、"en"
  19.                 .prompt("请识别以下内容") // 可选提示词
  20.                 .temperature(0.0f) // 确定性输出
  21.                 .build();
  23.         TranscriptionResponse response = openAiService.createTranscription(request);
  24.         return response.getText();
  25.     }
  26. }

4.1.2 控制器层调用

  1. import org.springframework.web.bind.annotation.*;
  2. import org.springframework.web.multipart.MultipartFile;
  4. @RestController
  5. @RequestMapping("/api/asr")
  6. public class AsrController {
  7.     private final AsrService asrService;
  9.     public AsrController(AsrService asrService) {
  10.         this.asrService = asrService;
  11.     }
  13.     @PostMapping("/transcribe")
  14.     public String transcribeAudio(
  15.             @RequestParam("file") MultipartFile file,
  16.             @RequestParam(defaultValue = "zh") String language) {
  18.         try {
  19.             byte[] audioBytes = file.getBytes();
  20.             return asrService.speechToText(audioBytes, language, "whisper-1");
  21.         } catch (Exception e) {
  22.             throw new RuntimeException("音频处理失败", e);
  23.         }
  24.     }
  25. }

4.2 优化建议

  • 文件格式支持：Whisper支持MP3、WAV、FLAC等格式，需在前端校验文件类型。
  • 长音频处理：对于超过25MB的音频，建议分段处理或使用流式API（需OpenAI高级权限）。
  • 语言检测：若未指定language参数，Whisper会自动检测语种。

五、最佳实践与性能优化

5.1 错误处理机制

  • 重试策略：对网络超时或API限流错误实现指数退避重试。
  • 日志记录：记录API调用耗时、错误码等指标，便于问题排查。

5.2 缓存策略

  • TTS缓存：对常用文本（如固定提示语）缓存生成的音频文件。
  • ASR缓存：对重复音频片段存储识别结果。

5.3 安全性考虑

  • API密钥保护：通过Vault或KMS管理密钥，避免硬编码。
  • 输入验证：校验文本长度、音频大小等参数，防止恶意请求。

六、完整示例：智能客服场景

6.1 业务流程

  1. 用户上传语音问题 → ASR识别为文字。
  2. 系统生成文字回复 → TTS转为语音。
  3. 返回语音响应至用户。

6.2 代码实现

  1. @RestController
  2. @RequestMapping("/api/chat")
  3. public class ChatController {
  4.     private final AsrService asrService;
  5.     private final TtsService ttsService;
  6.     private final ChatService chatService; // 假设的对话逻辑服务
  8.     public ChatController(AsrService asrService, TtsService ttsService, ChatService chatService) {
  9.         this.asrService = asrService;
  10.         this.ttsService = ttsService;
  11.         this.chatService = chatService;
  12.     }
  14.     @PostMapping(value = "/voice-chat", produces = MediaType.APPLICATION_OCTET_STREAM_VALUE)
  15.     public ResponseEntity<byte[]> voiceChat(
  16.             @RequestParam("file") MultipartFile audioFile,
  17.             @RequestParam(defaultValue = "zh") String language) {
  19.         // 1. 语音转文字
  20.         String question = asrService.speechToText(
  21.                 audioFile.getBytes(), language, "whisper-1");
  23.         // 2. 生成回复文本
  24.         String answer = chatService.generateAnswer(question);
  26.         // 3. 文字转语音
  27.         byte[] audioResponse = ttsService.textToSpeech(answer, "alloy", "mp3");
  29.         return ResponseEntity.ok()
  30.                 .header("Content-Type", "audio/mp3")
  31.                 .body(audioResponse);
  32.     }
  33. }

七、总结与展望

通过Spring AI集成OpenAI的TTS与ASR功能，开发者可快速构建高质量的语音交互应用。关键步骤包括：

  1. 配置OpenAI API依赖与密钥。
  2. 实现TTS/ASR服务类封装API调用。
  3. 设计RESTful接口暴露功能。
  4. 结合业务场景优化性能与安全性。

未来可探索的方向包括：

  • 支持实时流式语音处理。
  • 集成多模态大模型提升对话质量。
  • 扩展多语言与方言支持。

此方案已在实际项目中验证，可显著降低开发成本，提升语音交互的自然度与准确性。

最新文章