尧图网站建设 
最近很多读者在讨论“China doesnt need to beat US AI”这类话题社交媒体上也有不少相关视频和评论。作为开发者我们其实不太适合在文章里评价谁领先、谁落后因为这类讨论往往掺杂了大量非技术因素。更值得关注的是另一件事无论大模型来自哪里我们能不能把它真正用起来做成能跑的业务系统。这篇文章不聊排名也不聊口号只聊 AI 应用开发这件事本身。我会从国内开发者最常见的工程场景出发梳理当前 AI 应用开发的核心概念、环境准备、代码实战、模型部署思路和最佳实践。你会看到一套完整的、可复制的 AI 应用开发流程而不是零散的 API 调用示例。适合阅读本文的读者包括刚接触大模型开发想系统了解 AI 应用技术栈的后端工程师。准备把大模型能力接入公司项目的技术负责人。想学习 Agent、RAG、模型部署等工程实践的开发者。对“AI 应用开发学习路线”有需求但不知道从哪里入手的学生。读完本文你将掌握以下能力理解大模型应用开发中的核心概念Prompt、RAG、Agent、模型部署。用 Spring AI 快速接入大模型构建一个简单的问答服务。用 Python 手写一个轻量 Agent 工作流理解工具调用的实现原理。了解模型私有化部署的选型思路和注意事项。掌握 AI 应用在生产环境中的常见问题排查方法。1. 从“谁更强”到“怎么用”AI 应用开发的真正重心1.1 为什么“应用落地”比“模型对比”更重要过去两年大模型的能力边界在不断扩展。从最初的文本生成到多模态理解、代码生成、复杂推理模型能力已经不再是制约业务落地的核心瓶颈。真正卡住企业的往往是“怎么把模型能力嵌入到现有业务流程中”。举一个很直观的例子一家公司想做一个合同审核助手。如果只是把合同文本扔给大模型得到的结果大概率不够准确因为大模型不了解这家公司的业务规则、历史风险案例、合同模板格式。这时候开发者需要做的工作包括把公司内部的知识库向量化构建检索增强生成RAG流程。设计合适的 Prompt把审核标准、风险提示语注入提示词。开发一个工具调用层让模型可以查询数据库、调用内部 API。把整个流程封装成一个异步任务嵌入到合同管理系统中。这些工作本质上和模型本身谁强谁弱没有直接关系考验的是工程能力。这也正是当前 AI 应用开发的核心模型是引擎但真正跑起来的是车。1.2 AI 应用开发的技术地图为了方便理解我把当前 AI 应用开发的技术栈分成五层层级核心内容常用技术模型层大语言模型、多模态模型国内开源模型、商业 API、海外模型 API框架层开发框架、SDK、中间件Spring AI、LangChain、LlamaIndex应用层RAG、Agent、Prompt 工程向量数据库、知识库、工具调用平台层模型部署、推理服务vLLM、Ollama、Docker、Kubernetes业务层业务系统集成Spring Boot、消息队列、任务调度国内开发者在选择技术栈时通常会考虑API 调用还是私有化部署数据敏感度决定部署模式。模型能力是否满足业务场景不是所有场景都需要最强模型。开发框架的成熟度Spring 生态开发者更倾向 Spring AIPython 团队更常用 LangChain。成本控制长上下文、高并发都会带来显著的算力成本。1.3 从输入材料看热词趋势AI 应用开发正在成为主流从近期技术社区的高频搜索词可以看出AI 相关话题正在从“模型能力展示”转向“工程实践”。比如“ai 应用开发”“ai 应用开发学习路线”“ai agent”“ai agent 开发”“ai 模型部署”“spring ai”“ai coding”“cursor ai 编程”“pycharm ai 插件”这些关键词说明开发者最关心的已经不是“模型能做什么”而是“我怎么把模型接进自己的项目里”。本文后面的实战部分就会围绕这些关键词展开。2. 核心概念把黑盒变成白盒2.1 大语言模型LLM应用开发的本质大语言模型本质上是一个“根据输入文本预测下一个词”的统计模型。但基于这个模型我们可以构造出极其丰富的应用形态。理解这一点的关键是要明白模型本身只是一个“概率生成器”真正决定输出质量的是输入内容的设计。所以AI 应用开发的核心工作是“控制输入”和“处理输出”。这里的输入不只是一句用户问题而是包括系统指令System Prompt告诉模型扮演什么角色、遵守什么规则。上下文数据Context来自知识库、数据库、用户会话历史。工具定义Tools告诉模型可以调用哪些外部能力。用户输入User Input最终的用户问题。这个视角非常重要因为后续所有开发工作都围绕这四个部分展开。2.2 Prompt 工程模型输出的第一个开关Prompt 是开发者最容易上手也最容易忽视的部分。很多初学者认为“写一句提示词就能调用模型”但实际商业场景中Prompt 的设计直接决定模型输出的可用性。举一个实际例子# 低质量 Prompt 请帮我写一个请假申请。 # 高质量 Prompt 你是一位企业行政助理。请根据以下信息编写一份正式的请假申请单 - 申请人张三 - 部门技术部 - 请假时间2025年12月1日至2025年12月3日 - 请假事由参加行业技术峰会 - 补充要求语气正式包含交接工作说明长度不超过150字。同样是生成请假申请后者在格式、内容、风格上都更可控。在企业应用中Prompt 往往是反复打磨后固化成模板再配合变量渲染使用的。2.3 RAG让模型知道“你不知道的事”大模型的训练数据有截止时间也不包含企业内部私有数据。如果直接问“我们公司去年的订单金额是多少”模型只会编造答案。RAG 就是为了解决这个问题而出现的模式。RAG 的全称是 Retrieval-Augmented Generation即检索增强生成。工作流程如下把企业文档PDF、Word、Markdown、数据库记录等切分成文本块。用 Embedding 模型把文本块转换成向量存入向量数据库。用户提问时把问题也转换成向量从向量库中检索最相似的文本块。把检索到的文本块作为上下文连同用户问题一起发给大模型。大模型基于检索到的内容生成回答。RAG 的优点非常明显不需要重新训练模型成本低。可以随时更新知识库实时性高。可以追溯答案来源便于审计。降低模型幻觉。2.4 Agent让模型学会“动手做事”如果说 RAG 解决的是“知识不足”的问题Agent 解决的就是“能力不足”的问题。Agent 允许模型在生成过程中调用外部工具比如查询数据库、调用 API、执行代码、发送邮件。一个典型的 Agent 流程是用户提出请求。模型判断需要调用哪个工具。程序执行工具得到结果。把工具结果返回给模型。模型结合工具结果生成最终回答。这种“模型 工具 循环”的架构构成了 Agent 应用的基础。目前主流的 Agent 开发框架包括 LangChain、LangGraph 以及 Spring AI 中的相关组件。2.5 模型部署从“调用 API”到“拥有自己的推理服务”很多企业因为数据安全要求不能把业务数据发送到外部 API只能选择私有化部署模型。模型部署就是把大模型权重文件加载到 GPU 服务器上启动一个推理服务对外提供 OpenAI 兼容的接口。常用方案包括vLLM高性能推理引擎支持 PagedAttention吞吐量高。Ollama本地极简部署工具适合开发环境。llama.cpp支持 CPU 推理量化友好。TensorRT-LLMNVIDIA GPU 上性能最优但配置复杂。选择部署方案时需要考虑 GPU 显存、并发量、量化方式、框架兼容性等因素。3. 环境准备与版本选型3.1 开发环境清单为了完成本文后面的实战案例建议准备以下环境工具版本建议用途JDK17 或 21运行 Spring Boot 项目Maven3.8依赖管理Python3.10编写 Agent 工作流示例Docker20.10启动向量数据库、模型服务IDEIntelliJ IDEA / VS Code开发调试Git2.30版本管理版本需要根据你的项目实际情况调整本文示例以常见环境为例重点演示配置思路。JDK 17 是 Spring Boot 3.x 的基线版本如果你的项目还在 JDK 8建议先做版本升级再接入 AI 能力。3.2 大模型 API 获取方式本文示例将使用兼容 OpenAI 接口的大模型 API。你可以根据自己的情况选择国内主流大模型厂商提供的 API 服务。企业内部已部署的模型推理服务。开源模型本地部署后提供的接口。无论选择哪种方式核心要点是确认接口地址和鉴权方式。大部分模型服务都会提供base-url和api-key两个参数。在下面的示例中我会使用环境变量来管理这些敏感信息避免把密钥写死在代码里。3.3 技术选型说明本文实战部分将使用两个技术体系Spring AI适合 Java / Spring Boot 技术栈的开发者。可以直接复用现有微服务架构。Python Requests适合希望了解 Agent 底层原理的开发者。不依赖重型框架代码清晰。两者在实际项目中并不是互斥关系很多公司会用 Python 做模型服务层用 Java 做业务系统层通过 HTTP 接口通信。4. 实战一用 Spring AI 构建大模型问答服务4.1 项目结构首先创建一个 Spring Boot 项目目录结构如下ai-demo/ ├── pom.xml ├── src/main/java/com/example/ai/ │ ├── AiDemoApplication.java │ ├── controller/ │ │ └── ChatController.java │ └── service/ │ └── ChatService.java └── src/main/resources/ └── application.yml4.2 添加 Maven 依赖Spring AI 提供了多个 Starter 模块。本文以最基础的 OpenAI 兼容接口为例添加依赖!-- 文件路径pom.xml -- parent groupIdorg.springframework.boot/groupId artifactIdspring-boot-starter-parent/artifactId version3.3.5/version relativePath/ /parent dependencies dependency groupIdorg.springframework.boot/groupId artifactIdspring-boot-starter-web/artifactId /dependency dependency groupIdorg.springframework.ai/groupId artifactIdspring-ai-starter-model-openai/artifactId version1.0.0/version /dependency /dependencies需要注意的是Spring AI 的版本迭代速度较快API 在 0.8.x 到 1.0.x 之间有过调整。如果你使用的是其他版本请以官方文档为准。上面的版本号仅为示例实际使用时建议去 Maven Central 查询最新稳定版本。4.3 配置文件在application.yml中配置模型接口信息# 文件路径src/main/resources/application.yml server: port: 8080 spring: application: name: ai-demo ai: openai: base-url: ${AI_BASE_URL:http://localhost:8000/v1} api-key: ${AI_API_KEY:sk-demo} chat: options: model: ${AI_MODEL:qwen2.5} temperature: 0.7这里做了几个关键设计使用环境变量注入base-url、api-key和model避免硬编码。base-url默认指向http://localhost:8000/v1方便本地接入 vLLM 或 Ollama 等服务。temperature控制随机性客服场景建议调低到 0.2~0.3。4.4 编写核心代码创建主启动类// 文件路径src/main/java/com/example/ai/AiDemoApplication.java package com.example.ai; import org.springframework.boot.SpringApplication; import org.springframework.boot.autoconfigure.SpringBootApplication; SpringBootApplication public class AiDemoApplication { public static void main(String[] args) { SpringApplication.run(AiDemoApplication.class, args); } }创建 ChatService封装对话逻辑// 文件路径src/main/java/com/example/ai/service/ChatService.java package com.example.ai.service; import org.springframework.ai.chat.client.ChatClient; import org.springframework.stereotype.Service; Service public class ChatService { private final ChatClient chatClient; public ChatService(ChatClient.Builder builder) { this.chatClient builder .defaultSystem(你是一位专业的AI助手请用中文回答问题。回答要准确、简洁、有条理。) .build(); } public String chat(String userMessage) { return chatClient.prompt() .user(userMessage) .call() .content(); } }创建 ChatController对外提供 HTTP 接口// 文件路径src/main/java/com/example/ai/controller/ChatController.java package com.example.ai.controller; import com.example.ai.service.ChatService; import org.springframework.web.bind.annotation.GetMapping; import org.springframework.web.bind.annotation.RequestMapping; import org.springframework.web.bind.annotation.RequestParam; import org.springframework.web.bind.annotation.RestController; import java.util.Map; RestController RequestMapping(/api/chat) public class ChatController { private final ChatService chatService; public ChatController(ChatService chatService) { this.chatService chatService; } GetMapping(/simple) public MapString, String chat(RequestParam(message) String message) { String reply chatService.chat(message); return Map.of(reply, reply); } }4.5 运行与验证启动应用后在浏览器或命令行中访问curl http://localhost:8080/api/chat/simple?message用一句话介绍Spring AI预期返回类似结果{ reply: Spring AI 是 Spring 生态中用于构建 AI 应用开发的框架提供了对主流大模型、向量数据库和 Agent 能力的统一抽象。 }如果你本地没有可用的模型服务也可以先接一个真实的模型 API 体验完整流程。只要修改base-url和api-key即可。4.6 从“简单对话”到“知识库问答”上面的示例只是最基础的模型调用。在实际业务中我们通常需要让模型回答“企业内部问题”。这时候可以把 RAG 流程加进来。一个简化版的 RAG 实现思路如下把知识库文档放到resources/knowledge目录。应用启动时读取文档按长度切分。把切分后的文本块保存到内存列表或向量数据库。用户提问时先用简单的关键词匹配或向量检索挑选相关文本块。把相关文本块拼接到 Prompt 中再调用模型。下面是一个“读取本地文件 简单检索 拼接上下文”的示例// 文件路径src/main/java/com/example/ai/service/RagChatService.java package com.example.ai.service; import jakarta.annotation.PostConstruct; import org.springframework.ai.chat.client.ChatClient; import org.springframework.beans.factory.annotation.Value; import org.springframework.core.io.Resource; import org.springframework.stereotype.Service; import java.io.IOException; import java.nio.charset.StandardCharsets; import java.util.ArrayList; import java.util.List; Service public class RagChatService { private final ChatClient chatClient; private final ListString knowledgeChunks new ArrayList(); Value(classpath:knowledge/company.txt) private Resource knowledgeResource; public RagChatService(ChatClient.Builder builder) { this.chatClient builder .defaultSystem(你是一个企业知识库助手。请优先根据提供的背景资料回答如果资料中没有相关内容请明确说明不知道。) .build(); } PostConstruct public void loadKnowledge() throws IOException { String content new String(knowledgeResource.getInputStream().readAllBytes(), StandardCharsets.UTF_8); // 简单按段落切分 String[] sections content.split(\\n\\n); for (String section : sections) { if (!section.isBlank()) { knowledgeChunks.add(section.trim()); } } } private String search(String query) { // 简化版检索包含关键词即返回实际项目中应使用向量检索 for (String chunk : knowledgeChunks) { if (chunk.contains(query)) { return chunk; } } return knowledgeChunks.isEmpty() ? : knowledgeChunks.get(0); } public String chat(String userMessage) { String context search(userMessage); return chatClient.prompt() .user(userMessage) .system(背景资料如下\n context) .call() .content(); } }这个示例演示了 RAG 的最小实现思路。生产环境中建议使用向量数据库如 Milvus、pgvector、Redis 向量检索替代内存检索以支持百万级文档的检索。5. 实战二用 Python 手写一个轻量 Agent 工作流5.1 Apply Agent 的核心思想Agent 的原理并不神秘核心就是一个“循环”模型收到用户请求。模型决定调用某个工具。程序执行工具返回结果。模型根据结果继续生成。重复上述过程直到模型认为任务完成。为了演示这个流程我用 Python 标准库写一个极简 Agent不依赖 LangChain 等框架。这样能更清楚地展示每一步发生了什么。5.2 代码实现# 文件路径agent_demo/agent.py import json import requests class SimpleAgent: 一个极简的Agent实现。 通过 OpenAI 兼容接口调用模型支持工具调用。 def __init__(self, base_url: str, api_key: str, model: str qwen2.5): self.base_url base_url.rstrip(/) self.api_key api_key self.model model # 定义工具列表 self.tools [ { type: function, function: { name: get_weather, description: 查询指定城市的天气, parameters: { type: object, properties: { city: {type: string, description: 城市名称} }, required: [city] } } }, { type: function, function: { name: calculate, description: 计算两个数字之间的四则运算表达式, parameters: { type: object, properties: { expression: {type: string, description: 数学表达式例如 12} }, required: [expression] } } } ] def chat_once(self, messages: list): 调用一次模型接口 payload { model: self.model, messages: messages, tools: self.tools, tool_choice: auto } url f{self.base_url}/chat/completions headers {Authorization: fBearer {self.api_key}} resp requests.post(url, headersheaders, jsonpayload, timeout60) resp.raise_for_status() data resp.json() return data[choices][0][message] staticmethod def execute_tool(function_name: str, arguments: str): 执行本地工具函数 args json.loads(arguments) if function_name get_weather: city args.get(city, 未知城市) # 真实项目中这里要接入天气API return json.dumps({city: city, weather: 晴, temperature: 25}, ensure_asciiFalse) elif function_name calculate: expression args.get(expression, ) try: # 注意生产环境不要用 eval这里仅作示例 result eval(expression) return json.dumps({expression: expression, result: result}) except Exception as e: return json.dumps({error: str(e)}, ensure_asciiFalse) return json.dumps({error: 未找到工具}, ensure_asciiFalse) def run(self, user_input: str, max_steps: int 5) - list: messages [{role: user, content: user_input}] step_count 0 while step_count max_steps: step_count 1 print(f\n[Step {step_count}] 调用模型...) message self.chat_once(messages) # 判断是否返回工具调用 if message.get(tool_calls): messages.append({ role: assistant, content: message.get(content) or , tool_calls: message[tool_calls] }) for tool_call in message[tool_calls]: function_name tool_call[function][name] arguments tool_call[function][arguments] print(f[Step {step_count}] 调用工具: {function_name}({arguments})) tool_result self.execute_tool(function_name, arguments) messages.append({ role: tool, tool_call_id: tool_call[id], content: tool_result }) else: # 没有工具调用直接返回最终结果 print(f[Step {step_count}] 生成最终回复) messages.append(message) break return messages if __name__ __main__: import os agent SimpleAgent( base_urlos.getenv(AI_BASE_URL, http://localhost:8000/v1), api_keyos.getenv(AI_API_KEY, sk-demo), modelos.getenv(AI_MODEL, qwen2.5) ) result_messages agent.run(今天北京天气怎么样另外请计算 12 * 35 的结果。) print(\n 完整对话记录 ) for msg in result_messages: print(f{msg[role]}: {msg.get(content, )})5.3 运行结果说明如果模型服务工具调用能力正常输出会类似[Step 1] 调用模型... [Step 1] 调用工具: get_weather({city: 北京}) [Step 2] 调用模型... [Step 2] 调用工具: calculate({expression: 12*35}) [Step 3] 调用模型... [Step 3] 生成最终回复 完整对话记录 user: 今天北京天气怎么样另外请计算 12 * 35 的结果。 assistant: tool: {city: 北京, weather: 晴, temperature: 25} tool: {expression: 12*35, result: 420} assistant: 北京今天天气晴朗气温25摄氏度。另外12乘以35的结果是420。5.4 这个示例说明了什么你可能会觉得这个 Agent 很简单但它已经包含了 Agent 的三个关键环节意图识别模型判断用户问题需要调用哪些工具。参数抽取模型把用户自然语言转换为工具调用的 JSON 参数。结果融合模型把工具返回结果整合成自然语言回答。生产级 Agent 会比这个复杂得多比如需要处理多轮对话状态、工具执行超时、错误重试、权限控制、并发限制等。但核心的循环逻辑和这个示例是一样的。6. AI 模型部署与工程化要点6.1 什么时候需要私有化部署并不是所有项目都需要私有化部署模型。如果是个人项目或低敏感场景直接调用云上 API 是最经济的选择。但出现以下情况时就要认真考虑私有化业务数据包含用户隐私、财务、医疗等敏感信息法律或合规要求数据不出域。调用外部 API 的网络延迟不稳定影响用户体验。长期调用量很大API 按 token 计费的成本超过自建 GPU 成本。需要离线运行或者对模型有深度定制需求。6.2 私有化部署的基本流程这里以 vLLM 部署一个开源模型为例演示基本流程。第一步准备 GPU 服务器。建议显存不低于 16GB具体取决于模型大小并安装 NVIDIA 驱动和 CUDA 环境。第二步安装 vLLMpip install vllm第三步启动推理服务python -m vllm.entrypoints.openai.api_server \ --model Qwen/Qwen2.5-7B-Instruct \ --served-model-name qwen2.5 \ --port 8000 \ --gpu-memory-utilization 0.9 \ --max-model-len 8192启动成功后vLLM 会提供一个 OpenAI 兼容的接口curl http://localhost:8000/v1/chat/completions \ -H Content-Type: application/json \ -d { model: qwen2.5, messages: [{role: user, content: 你好}] }6.3 部署方案选型建议场景推荐方案原因快速原型验证Ollama安装简单支持 CPU/GPU适合本地开发生产高并发vLLM吞吐量高支持连续批处理低显存环境llama.cpp GGUF 量化模型内存占用低甚至可跑 CPU深度优化 统一编排Triton TensorRT-LLM性能最强但配置复杂需要注意不同推理框架对模型格式的支持不同比如GGUF格式主要给 llama.cpp 系列使用而 vLLM 通常直接加载 Hugging Face 格式。6.4 部署后的运维注意事项模型服务上线后运维工作才刚刚开始监控指标记录请求延迟、吞吐量、GPU 利用率、显存占用、KV Cache 命中率。多版本管理模型更新后要支持灰度切换避免一次性全量替换。自动扩缩容结合 K8s HPA 按 GPU 指标扩缩容注意避免频繁抖动。安全推理服务不能直接暴露公网要放在内网通过 API 网关统一鉴权。7. 常见问题与排查思路7.1 问题排查表问题现象常见原因解决思路调用 API 返回 401API Key 错误或未配置检查环境变量确认鉴权方式请求超时模型推理时间过长或网络不通增加超时时间检查 base-url 连通性返回中文乱码编码问题或模型不支持中文检查 HTTP 响应编码确认模型是否支持中文回答内容不准确Prompt 设计不合理或缺少上下文优化 System Prompt补充 RAG 背景资料Agent 无限循环工具结果未正确处理或模型未收敛设置最大步数限制增加终止条件显存不足模型太大或并发过高换小模型、开启量化、降低 max-model-len并发一高就报错推理服务吞吐量不足升级硬件、使用 vLLM、增加负载均衡部署镜像过大模型文件包含在镜像中使用模型存储服务容器内只加载推理引擎7.2 典型错误模型返回空内容有时候模型调用返回 200但content为空只有tool_calls字段。这在 Agent 场景中非常常见。原因通常是模型判断需要调用工具因此没有生成文本。解决方案是检查返回结构中是否包含tool_calls。如果有先执行工具再把结果回传给模型。不要把空content当成失败它是正常流程的一部分。7.3 典型错误RAG 检索结果不相关RAG 效果不好的原因通常有三个切分方式不合理块太长导致噪声多块太短导致语义不完整。Embedding 模型不够好中文字段需要选择对中文友好的向量模型。检索策略太简单只做 Top-K 相似度检索缺少重排序Rerank。改进方向使用语义切分按标题、段落切分而不是固定长度切分。使用混合检索向量检索 关键词检索再融合排序。加入 Rerank 模型对粗排结果做精排。7.4 典型错误生产环境密钥泄露很多初学者会把 API Key 写在代码里并提交到 Git 仓库。这是一种非常危险的行为一旦仓库公开密钥就会被他人盗用产生费用甚至安全事件。正确做法使用环境变量或配置中心管理密钥。在.gitignore中忽略配置文件。使用密钥管理服务Vault、KMS管理高权限密钥。定期轮换密钥。8. 最佳实践与工程建议8.1 Prompt 管理从硬编码到模板化不要把 Prompt 直接写在 Java 或 Python 代码中。推荐的做法是使用 Prompt 模板文件如 Markdown、YAML存储。通过模板引擎渲染变量。为每个业务场景建立独立的 Prompt 版本。Prompt 变更要经过评审因为一个标点符号都可能影响输出质量。8.2 上下文控制给模型“够用”的信息大模型的上下文窗口有限且输入长度直接影响成本和延迟。不要把所有历史消息都发给模型。建议只保留最近 N 轮对话。输入长度超过阈值时对历史消息做摘要压缩。RAG 检索结果限制在 3~5 个片段而不是全部塞给模型。对长文本先做结构提取再发送给模型。8.3 错误处理与降级策略大模型 API 不是 100% 可用的。生产环境必须设计降级策略调用失败时重试 2~3 次退避时间递增。重试仍失败时返回预设的兜底文案而不是直接抛异常。流式输出时如果中断要保留已生成内容并提示用户重试。对模型输出做格式校验确保 JSON 可解析。8.4 成本控制Token 就是钱在按 Token 计费的模型服务中成本控制直接影响项目可持续性使用max_tokens限制输出长度。使用temperature0减少无效变化。对常见问题做缓存避免重复调用。使用价格更低的模型处理简单任务复杂任务才调用大模型。对用户的超长输入做前端截断或摘要。8.5 安全边界不让模型替你做决定大模型的输出不能直接作为业务决策依据。建议高风险场景如医疗、金融、法律必须有人工复核环节。模型不能直接执行删除、转账、发布等高风险操作需要二次确认。对模型输出做敏感词过滤和合规检查。建立完整的调用日志方便追溯。8.6 灰度发布模型升级不是一键切换模型版本升级后输出行为可能发生不可控变化。建议新模型先在小流量环境跑一段时间。用历史问题集做回归测试。对比新旧模型输出评估差异。逐步放量发现问题及时回滚。9. 总结与学习路线本文从 AI 应用开发的实际需求出发讲了五个层面的内容为什么“AI 应用落地”比“模型对比”更值得关注。大模型应用中的核心概念Prompt、RAG、Agent、模型部署。Spring AI 搭建问答服务的完整代码。Python 手写轻量 Agent 工作流的实现原理。模型私有化部署选型和运维注意事项。接下来如果你希望继续深入可以参考这条学习路线第一阶段Prompt 工程基础学会写高质量 Prompt理解角色设定、上下文、约束条件。这是所有 AI 应用开发的基础。第二阶段RAG 技术栈学习文档加载、文本切分、Embedding、向量数据库操作。尝试做一个本地知识库问答系统。第三阶段Agent 开发理解函数调用Function Calling机制学习 LangChain / Spring AI 的 Agent 组件尝试构建多工具编排流程。第四阶段模型部署与优化学习 vLLM、Ollama、量化技术掌握推理服务监控和调优。第五阶段企业级工程实践研究多租户隔离、权限控制、审计日志、大规模并发架构、成本治理。AI 应用开发这个方向变化确实快但底层逻辑并没有那么玄。扎实掌握工程基本功理解模型交互原理不断动手实践比追逐每个新名词重要得多。如果你在实践过程中遇到问题建议优先阅读官方文档再看开源项目的示例代码最后回到自己的场景里调试。遇到报错不要慌把问题拆分成“请求是否发出去”“参数是否正确”“模型是否返回预期结构”“业务逻辑是否处理了边界情况”几个环节逐一排查。如果本文对你有帮助可以收藏备用。后续我也会继续更新更多 AI 应用开发的实战笔记包括 RAG 的完整实现、Agent 框架解析、模型部署手册等欢迎持续关注。 AI应用开发实战：从Spring AI到Agent与模型部署
最近很多读者在讨论“China doesnt need to beat US AI”这类话题社交媒体上也有不少相关视频和评论。作为开发者我们其实不太适合在文章里评价谁领先、谁落后因为这类讨论往往掺杂了大量非技术因素。更值得关注的是另一件事无论大模型来自哪里我们能不能把它真正用起来做成能跑的业务系统。这篇文章不聊排名也不聊口号只聊 AI 应用开发这件事本身。我会从国内开发者最常见的工程场景出发梳理当前 AI 应用开发的核心概念、环境准备、代码实战、模型部署思路和最佳实践。你会看到一套完整的、可复制的 AI 应用开发流程而不是零散的 API 调用示例。适合阅读本文的读者包括刚接触大模型开发想系统了解 AI 应用技术栈的后端工程师。准备把大模型能力接入公司项目的技术负责人。想学习 Agent、RAG、模型部署等工程实践的开发者。对“AI 应用开发学习路线”有需求但不知道从哪里入手的学生。读完本文你将掌握以下能力理解大模型应用开发中的核心概念Prompt、RAG、Agent、模型部署。用 Spring AI 快速接入大模型构建一个简单的问答服务。用 Python 手写一个轻量 Agent 工作流理解工具调用的实现原理。了解模型私有化部署的选型思路和注意事项。掌握 AI 应用在生产环境中的常见问题排查方法。1. 从“谁更强”到“怎么用”AI 应用开发的真正重心1.1 为什么“应用落地”比“模型对比”更重要过去两年大模型的能力边界在不断扩展。从最初的文本生成到多模态理解、代码生成、复杂推理模型能力已经不再是制约业务落地的核心瓶颈。真正卡住企业的往往是“怎么把模型能力嵌入到现有业务流程中”。举一个很直观的例子一家公司想做一个合同审核助手。如果只是把合同文本扔给大模型得到的结果大概率不够准确因为大模型不了解这家公司的业务规则、历史风险案例、合同模板格式。这时候开发者需要做的工作包括把公司内部的知识库向量化构建检索增强生成RAG流程。设计合适的 Prompt把审核标准、风险提示语注入提示词。开发一个工具调用层让模型可以查询数据库、调用内部 API。把整个流程封装成一个异步任务嵌入到合同管理系统中。这些工作本质上和模型本身谁强谁弱没有直接关系考验的是工程能力。这也正是当前 AI 应用开发的核心模型是引擎但真正跑起来的是车。1.2 AI 应用开发的技术地图为了方便理解我把当前 AI 应用开发的技术栈分成五层层级核心内容常用技术模型层大语言模型、多模态模型国内开源模型、商业 API、海外模型 API框架层开发框架、SDK、中间件Spring AI、LangChain、LlamaIndex应用层RAG、Agent、Prompt 工程向量数据库、知识库、工具调用平台层模型部署、推理服务vLLM、Ollama、Docker、Kubernetes业务层业务系统集成Spring Boot、消息队列、任务调度国内开发者在选择技术栈时通常会考虑API 调用还是私有化部署数据敏感度决定部署模式。模型能力是否满足业务场景不是所有场景都需要最强模型。开发框架的成熟度Spring 生态开发者更倾向 Spring AIPython 团队更常用 LangChain。成本控制长上下文、高并发都会带来显著的算力成本。1.3 从输入材料看热词趋势AI 应用开发正在成为主流从近期技术社区的高频搜索词可以看出AI 相关话题正在从“模型能力展示”转向“工程实践”。比如“ai 应用开发”“ai 应用开发学习路线”“ai agent”“ai agent 开发”“ai 模型部署”“spring ai”“ai coding”“cursor ai 编程”“pycharm ai 插件”这些关键词说明开发者最关心的已经不是“模型能做什么”而是“我怎么把模型接进自己的项目里”。本文后面的实战部分就会围绕这些关键词展开。2. 核心概念把黑盒变成白盒2.1 大语言模型LLM应用开发的本质大语言模型本质上是一个“根据输入文本预测下一个词”的统计模型。但基于这个模型我们可以构造出极其丰富的应用形态。理解这一点的关键是要明白模型本身只是一个“概率生成器”真正决定输出质量的是输入内容的设计。所以AI 应用开发的核心工作是“控制输入”和“处理输出”。这里的输入不只是一句用户问题而是包括系统指令System Prompt告诉模型扮演什么角色、遵守什么规则。上下文数据Context来自知识库、数据库、用户会话历史。工具定义Tools告诉模型可以调用哪些外部能力。用户输入User Input最终的用户问题。这个视角非常重要因为后续所有开发工作都围绕这四个部分展开。2.2 Prompt 工程模型输出的第一个开关Prompt 是开发者最容易上手也最容易忽视的部分。很多初学者认为“写一句提示词就能调用模型”但实际商业场景中Prompt 的设计直接决定模型输出的可用性。举一个实际例子# 低质量 Prompt 请帮我写一个请假申请。 # 高质量 Prompt 你是一位企业行政助理。请根据以下信息编写一份正式的请假申请单 - 申请人张三 - 部门技术部 - 请假时间2025年12月1日至2025年12月3日 - 请假事由参加行业技术峰会 - 补充要求语气正式包含交接工作说明长度不超过150字。同样是生成请假申请后者在格式、内容、风格上都更可控。在企业应用中Prompt 往往是反复打磨后固化成模板再配合变量渲染使用的。2.3 RAG让模型知道“你不知道的事”大模型的训练数据有截止时间也不包含企业内部私有数据。如果直接问“我们公司去年的订单金额是多少”模型只会编造答案。RAG 就是为了解决这个问题而出现的模式。RAG 的全称是 Retrieval-Augmented Generation即检索增强生成。工作流程如下把企业文档PDF、Word、Markdown、数据库记录等切分成文本块。用 Embedding 模型把文本块转换成向量存入向量数据库。用户提问时把问题也转换成向量从向量库中检索最相似的文本块。把检索到的文本块作为上下文连同用户问题一起发给大模型。大模型基于检索到的内容生成回答。RAG 的优点非常明显不需要重新训练模型成本低。可以随时更新知识库实时性高。可以追溯答案来源便于审计。降低模型幻觉。2.4 Agent让模型学会“动手做事”如果说 RAG 解决的是“知识不足”的问题Agent 解决的就是“能力不足”的问题。Agent 允许模型在生成过程中调用外部工具比如查询数据库、调用 API、执行代码、发送邮件。一个典型的 Agent 流程是用户提出请求。模型判断需要调用哪个工具。程序执行工具得到结果。把工具结果返回给模型。模型结合工具结果生成最终回答。这种“模型 工具 循环”的架构构成了 Agent 应用的基础。目前主流的 Agent 开发框架包括 LangChain、LangGraph 以及 Spring AI 中的相关组件。2.5 模型部署从“调用 API”到“拥有自己的推理服务”很多企业因为数据安全要求不能把业务数据发送到外部 API只能选择私有化部署模型。模型部署就是把大模型权重文件加载到 GPU 服务器上启动一个推理服务对外提供 OpenAI 兼容的接口。常用方案包括vLLM高性能推理引擎支持 PagedAttention吞吐量高。Ollama本地极简部署工具适合开发环境。llama.cpp支持 CPU 推理量化友好。TensorRT-LLMNVIDIA GPU 上性能最优但配置复杂。选择部署方案时需要考虑 GPU 显存、并发量、量化方式、框架兼容性等因素。3. 环境准备与版本选型3.1 开发环境清单为了完成本文后面的实战案例建议准备以下环境工具版本建议用途JDK17 或 21运行 Spring Boot 项目Maven3.8依赖管理Python3.10编写 Agent 工作流示例Docker20.10启动向量数据库、模型服务IDEIntelliJ IDEA / VS Code开发调试Git2.30版本管理版本需要根据你的项目实际情况调整本文示例以常见环境为例重点演示配置思路。JDK 17 是 Spring Boot 3.x 的基线版本如果你的项目还在 JDK 8建议先做版本升级再接入 AI 能力。3.2 大模型 API 获取方式本文示例将使用兼容 OpenAI 接口的大模型 API。你可以根据自己的情况选择国内主流大模型厂商提供的 API 服务。企业内部已部署的模型推理服务。开源模型本地部署后提供的接口。无论选择哪种方式核心要点是确认接口地址和鉴权方式。大部分模型服务都会提供base-url和api-key两个参数。在下面的示例中我会使用环境变量来管理这些敏感信息避免把密钥写死在代码里。3.3 技术选型说明本文实战部分将使用两个技术体系Spring AI适合 Java / Spring Boot 技术栈的开发者。可以直接复用现有微服务架构。Python Requests适合希望了解 Agent 底层原理的开发者。不依赖重型框架代码清晰。两者在实际项目中并不是互斥关系很多公司会用 Python 做模型服务层用 Java 做业务系统层通过 HTTP 接口通信。4. 实战一用 Spring AI 构建大模型问答服务4.1 项目结构首先创建一个 Spring Boot 项目目录结构如下ai-demo/ ├── pom.xml ├── src/main/java/com/example/ai/ │ ├── AiDemoApplication.java │ ├── controller/ │ │ └── ChatController.java │ └── service/ │ └── ChatService.java └── src/main/resources/ └── application.yml4.2 添加 Maven 依赖Spring AI 提供了多个 Starter 模块。本文以最基础的 OpenAI 兼容接口为例添加依赖!-- 文件路径pom.xml -- parent groupIdorg.springframework.boot/groupId artifactIdspring-boot-starter-parent/artifactId version3.3.5/version relativePath/ /parent dependencies dependency groupIdorg.springframework.boot/groupId artifactIdspring-boot-starter-web/artifactId /dependency dependency groupIdorg.springframework.ai/groupId artifactIdspring-ai-starter-model-openai/artifactId version1.0.0/version /dependency /dependencies需要注意的是Spring AI 的版本迭代速度较快API 在 0.8.x 到 1.0.x 之间有过调整。如果你使用的是其他版本请以官方文档为准。上面的版本号仅为示例实际使用时建议去 Maven Central 查询最新稳定版本。4.3 配置文件在application.yml中配置模型接口信息# 文件路径src/main/resources/application.yml server: port: 8080 spring: application: name: ai-demo ai: openai: base-url: ${AI_BASE_URL:http://localhost:8000/v1} api-key: ${AI_API_KEY:sk-demo} chat: options: model: ${AI_MODEL:qwen2.5} temperature: 0.7这里做了几个关键设计使用环境变量注入base-url、api-key和model避免硬编码。base-url默认指向http://localhost:8000/v1方便本地接入 vLLM 或 Ollama 等服务。temperature控制随机性客服场景建议调低到 0.2~0.3。4.4 编写核心代码创建主启动类// 文件路径src/main/java/com/example/ai/AiDemoApplication.java package com.example.ai; import org.springframework.boot.SpringApplication; import org.springframework.boot.autoconfigure.SpringBootApplication; SpringBootApplication public class AiDemoApplication { public static void main(String[] args) { SpringApplication.run(AiDemoApplication.class, args); } }创建 ChatService封装对话逻辑// 文件路径src/main/java/com/example/ai/service/ChatService.java package com.example.ai.service; import org.springframework.ai.chat.client.ChatClient; import org.springframework.stereotype.Service; Service public class ChatService { private final ChatClient chatClient; public ChatService(ChatClient.Builder builder) { this.chatClient builder .defaultSystem(你是一位专业的AI助手请用中文回答问题。回答要准确、简洁、有条理。) .build(); } public String chat(String userMessage) { return chatClient.prompt() .user(userMessage) .call() .content(); } }创建 ChatController对外提供 HTTP 接口// 文件路径src/main/java/com/example/ai/controller/ChatController.java package com.example.ai.controller; import com.example.ai.service.ChatService; import org.springframework.web.bind.annotation.GetMapping; import org.springframework.web.bind.annotation.RequestMapping; import org.springframework.web.bind.annotation.RequestParam; import org.springframework.web.bind.annotation.RestController; import java.util.Map; RestController RequestMapping(/api/chat) public class ChatController { private final ChatService chatService; public ChatController(ChatService chatService) { this.chatService chatService; } GetMapping(/simple) public MapString, String chat(RequestParam(message) String message) { String reply chatService.chat(message); return Map.of(reply, reply); } }4.5 运行与验证启动应用后在浏览器或命令行中访问curl http://localhost:8080/api/chat/simple?message用一句话介绍Spring AI预期返回类似结果{ reply: Spring AI 是 Spring 生态中用于构建 AI 应用开发的框架提供了对主流大模型、向量数据库和 Agent 能力的统一抽象。 }如果你本地没有可用的模型服务也可以先接一个真实的模型 API 体验完整流程。只要修改base-url和api-key即可。4.6 从“简单对话”到“知识库问答”上面的示例只是最基础的模型调用。在实际业务中我们通常需要让模型回答“企业内部问题”。这时候可以把 RAG 流程加进来。一个简化版的 RAG 实现思路如下把知识库文档放到resources/knowledge目录。应用启动时读取文档按长度切分。把切分后的文本块保存到内存列表或向量数据库。用户提问时先用简单的关键词匹配或向量检索挑选相关文本块。把相关文本块拼接到 Prompt 中再调用模型。下面是一个“读取本地文件 简单检索 拼接上下文”的示例// 文件路径src/main/java/com/example/ai/service/RagChatService.java package com.example.ai.service; import jakarta.annotation.PostConstruct; import org.springframework.ai.chat.client.ChatClient; import org.springframework.beans.factory.annotation.Value; import org.springframework.core.io.Resource; import org.springframework.stereotype.Service; import java.io.IOException; import java.nio.charset.StandardCharsets; import java.util.ArrayList; import java.util.List; Service public class RagChatService { private final ChatClient chatClient; private final ListString knowledgeChunks new ArrayList(); Value(classpath:knowledge/company.txt) private Resource knowledgeResource; public RagChatService(ChatClient.Builder builder) { this.chatClient builder .defaultSystem(你是一个企业知识库助手。请优先根据提供的背景资料回答如果资料中没有相关内容请明确说明不知道。) .build(); } PostConstruct public void loadKnowledge() throws IOException { String content new String(knowledgeResource.getInputStream().readAllBytes(), StandardCharsets.UTF_8); // 简单按段落切分 String[] sections content.split(\\n\\n); for (String section : sections) { if (!section.isBlank()) { knowledgeChunks.add(section.trim()); } } } private String search(String query) { // 简化版检索包含关键词即返回实际项目中应使用向量检索 for (String chunk : knowledgeChunks) { if (chunk.contains(query)) { return chunk; } } return knowledgeChunks.isEmpty() ? : knowledgeChunks.get(0); } public String chat(String userMessage) { String context search(userMessage); return chatClient.prompt() .user(userMessage) .system(背景资料如下\n context) .call() .content(); } }这个示例演示了 RAG 的最小实现思路。生产环境中建议使用向量数据库如 Milvus、pgvector、Redis 向量检索替代内存检索以支持百万级文档的检索。5. 实战二用 Python 手写一个轻量 Agent 工作流5.1 Apply Agent 的核心思想Agent 的原理并不神秘核心就是一个“循环”模型收到用户请求。模型决定调用某个工具。程序执行工具返回结果。模型根据结果继续生成。重复上述过程直到模型认为任务完成。为了演示这个流程我用 Python 标准库写一个极简 Agent不依赖 LangChain 等框架。这样能更清楚地展示每一步发生了什么。5.2 代码实现# 文件路径agent_demo/agent.py import json import requests class SimpleAgent: 一个极简的Agent实现。 通过 OpenAI 兼容接口调用模型支持工具调用。 def __init__(self, base_url: str, api_key: str, model: str qwen2.5): self.base_url base_url.rstrip(/) self.api_key api_key self.model model # 定义工具列表 self.tools [ { type: function, function: { name: get_weather, description: 查询指定城市的天气, parameters: { type: object, properties: { city: {type: string, description: 城市名称} }, required: [city] } } }, { type: function, function: { name: calculate, description: 计算两个数字之间的四则运算表达式, parameters: { type: object, properties: { expression: {type: string, description: 数学表达式例如 12} }, required: [expression] } } } ] def chat_once(self, messages: list): 调用一次模型接口 payload { model: self.model, messages: messages, tools: self.tools, tool_choice: auto } url f{self.base_url}/chat/completions headers {Authorization: fBearer {self.api_key}} resp requests.post(url, headersheaders, jsonpayload, timeout60) resp.raise_for_status() data resp.json() return data[choices][0][message] staticmethod def execute_tool(function_name: str, arguments: str): 执行本地工具函数 args json.loads(arguments) if function_name get_weather: city args.get(city, 未知城市) # 真实项目中这里要接入天气API return json.dumps({city: city, weather: 晴, temperature: 25}, ensure_asciiFalse) elif function_name calculate: expression args.get(expression, ) try: # 注意生产环境不要用 eval这里仅作示例 result eval(expression) return json.dumps({expression: expression, result: result}) except Exception as e: return json.dumps({error: str(e)}, ensure_asciiFalse) return json.dumps({error: 未找到工具}, ensure_asciiFalse) def run(self, user_input: str, max_steps: int 5) - list: messages [{role: user, content: user_input}] step_count 0 while step_count max_steps: step_count 1 print(f\n[Step {step_count}] 调用模型...) message self.chat_once(messages) # 判断是否返回工具调用 if message.get(tool_calls): messages.append({ role: assistant, content: message.get(content) or , tool_calls: message[tool_calls] }) for tool_call in message[tool_calls]: function_name tool_call[function][name] arguments tool_call[function][arguments] print(f[Step {step_count}] 调用工具: {function_name}({arguments})) tool_result self.execute_tool(function_name, arguments) messages.append({ role: tool, tool_call_id: tool_call[id], content: tool_result }) else: # 没有工具调用直接返回最终结果 print(f[Step {step_count}] 生成最终回复) messages.append(message) break return messages if __name__ __main__: import os agent SimpleAgent( base_urlos.getenv(AI_BASE_URL, http://localhost:8000/v1), api_keyos.getenv(AI_API_KEY, sk-demo), modelos.getenv(AI_MODEL, qwen2.5) ) result_messages agent.run(今天北京天气怎么样另外请计算 12 * 35 的结果。) print(\n 完整对话记录 ) for msg in result_messages: print(f{msg[role]}: {msg.get(content, )})5.3 运行结果说明如果模型服务工具调用能力正常输出会类似[Step 1] 调用模型... [Step 1] 调用工具: get_weather({city: 北京}) [Step 2] 调用模型... [Step 2] 调用工具: calculate({expression: 12*35}) [Step 3] 调用模型... [Step 3] 生成最终回复 完整对话记录 user: 今天北京天气怎么样另外请计算 12 * 35 的结果。 assistant: tool: {city: 北京, weather: 晴, temperature: 25} tool: {expression: 12*35, result: 420} assistant: 北京今天天气晴朗气温25摄氏度。另外12乘以35的结果是420。5.4 这个示例说明了什么你可能会觉得这个 Agent 很简单但它已经包含了 Agent 的三个关键环节意图识别模型判断用户问题需要调用哪些工具。参数抽取模型把用户自然语言转换为工具调用的 JSON 参数。结果融合模型把工具返回结果整合成自然语言回答。生产级 Agent 会比这个复杂得多比如需要处理多轮对话状态、工具执行超时、错误重试、权限控制、并发限制等。但核心的循环逻辑和这个示例是一样的。6. AI 模型部署与工程化要点6.1 什么时候需要私有化部署并不是所有项目都需要私有化部署模型。如果是个人项目或低敏感场景直接调用云上 API 是最经济的选择。但出现以下情况时就要认真考虑私有化业务数据包含用户隐私、财务、医疗等敏感信息法律或合规要求数据不出域。调用外部 API 的网络延迟不稳定影响用户体验。长期调用量很大API 按 token 计费的成本超过自建 GPU 成本。需要离线运行或者对模型有深度定制需求。6.2 私有化部署的基本流程这里以 vLLM 部署一个开源模型为例演示基本流程。第一步准备 GPU 服务器。建议显存不低于 16GB具体取决于模型大小并安装 NVIDIA 驱动和 CUDA 环境。第二步安装 vLLMpip install vllm第三步启动推理服务python -m vllm.entrypoints.openai.api_server \ --model Qwen/Qwen2.5-7B-Instruct \ --served-model-name qwen2.5 \ --port 8000 \ --gpu-memory-utilization 0.9 \ --max-model-len 8192启动成功后vLLM 会提供一个 OpenAI 兼容的接口curl http://localhost:8000/v1/chat/completions \ -H Content-Type: application/json \ -d { model: qwen2.5, messages: [{role: user, content: 你好}] }6.3 部署方案选型建议场景推荐方案原因快速原型验证Ollama安装简单支持 CPU/GPU适合本地开发生产高并发vLLM吞吐量高支持连续批处理低显存环境llama.cpp GGUF 量化模型内存占用低甚至可跑 CPU深度优化 统一编排Triton TensorRT-LLM性能最强但配置复杂需要注意不同推理框架对模型格式的支持不同比如GGUF格式主要给 llama.cpp 系列使用而 vLLM 通常直接加载 Hugging Face 格式。6.4 部署后的运维注意事项模型服务上线后运维工作才刚刚开始监控指标记录请求延迟、吞吐量、GPU 利用率、显存占用、KV Cache 命中率。多版本管理模型更新后要支持灰度切换避免一次性全量替换。自动扩缩容结合 K8s HPA 按 GPU 指标扩缩容注意避免频繁抖动。安全推理服务不能直接暴露公网要放在内网通过 API 网关统一鉴权。7. 常见问题与排查思路7.1 问题排查表问题现象常见原因解决思路调用 API 返回 401API Key 错误或未配置检查环境变量确认鉴权方式请求超时模型推理时间过长或网络不通增加超时时间检查 base-url 连通性返回中文乱码编码问题或模型不支持中文检查 HTTP 响应编码确认模型是否支持中文回答内容不准确Prompt 设计不合理或缺少上下文优化 System Prompt补充 RAG 背景资料Agent 无限循环工具结果未正确处理或模型未收敛设置最大步数限制增加终止条件显存不足模型太大或并发过高换小模型、开启量化、降低 max-model-len并发一高就报错推理服务吞吐量不足升级硬件、使用 vLLM、增加负载均衡部署镜像过大模型文件包含在镜像中使用模型存储服务容器内只加载推理引擎7.2 典型错误模型返回空内容有时候模型调用返回 200但content为空只有tool_calls字段。这在 Agent 场景中非常常见。原因通常是模型判断需要调用工具因此没有生成文本。解决方案是检查返回结构中是否包含tool_calls。如果有先执行工具再把结果回传给模型。不要把空content当成失败它是正常流程的一部分。7.3 典型错误RAG 检索结果不相关RAG 效果不好的原因通常有三个切分方式不合理块太长导致噪声多块太短导致语义不完整。Embedding 模型不够好中文字段需要选择对中文友好的向量模型。检索策略太简单只做 Top-K 相似度检索缺少重排序Rerank。改进方向使用语义切分按标题、段落切分而不是固定长度切分。使用混合检索向量检索 关键词检索再融合排序。加入 Rerank 模型对粗排结果做精排。7.4 典型错误生产环境密钥泄露很多初学者会把 API Key 写在代码里并提交到 Git 仓库。这是一种非常危险的行为一旦仓库公开密钥就会被他人盗用产生费用甚至安全事件。正确做法使用环境变量或配置中心管理密钥。在.gitignore中忽略配置文件。使用密钥管理服务Vault、KMS管理高权限密钥。定期轮换密钥。8. 最佳实践与工程建议8.1 Prompt 管理从硬编码到模板化不要把 Prompt 直接写在 Java 或 Python 代码中。推荐的做法是使用 Prompt 模板文件如 Markdown、YAML存储。通过模板引擎渲染变量。为每个业务场景建立独立的 Prompt 版本。Prompt 变更要经过评审因为一个标点符号都可能影响输出质量。8.2 上下文控制给模型“够用”的信息大模型的上下文窗口有限且输入长度直接影响成本和延迟。不要把所有历史消息都发给模型。建议只保留最近 N 轮对话。输入长度超过阈值时对历史消息做摘要压缩。RAG 检索结果限制在 3~5 个片段而不是全部塞给模型。对长文本先做结构提取再发送给模型。8.3 错误处理与降级策略大模型 API 不是 100% 可用的。生产环境必须设计降级策略调用失败时重试 2~3 次退避时间递增。重试仍失败时返回预设的兜底文案而不是直接抛异常。流式输出时如果中断要保留已生成内容并提示用户重试。对模型输出做格式校验确保 JSON 可解析。8.4 成本控制Token 就是钱在按 Token 计费的模型服务中成本控制直接影响项目可持续性使用max_tokens限制输出长度。使用temperature0减少无效变化。对常见问题做缓存避免重复调用。使用价格更低的模型处理简单任务复杂任务才调用大模型。对用户的超长输入做前端截断或摘要。8.5 安全边界不让模型替你做决定大模型的输出不能直接作为业务决策依据。建议高风险场景如医疗、金融、法律必须有人工复核环节。模型不能直接执行删除、转账、发布等高风险操作需要二次确认。对模型输出做敏感词过滤和合规检查。建立完整的调用日志方便追溯。8.6 灰度发布模型升级不是一键切换模型版本升级后输出行为可能发生不可控变化。建议新模型先在小流量环境跑一段时间。用历史问题集做回归测试。对比新旧模型输出评估差异。逐步放量发现问题及时回滚。9. 总结与学习路线本文从 AI 应用开发的实际需求出发讲了五个层面的内容为什么“AI 应用落地”比“模型对比”更值得关注。大模型应用中的核心概念Prompt、RAG、Agent、模型部署。Spring AI 搭建问答服务的完整代码。Python 手写轻量 Agent 工作流的实现原理。模型私有化部署选型和运维注意事项。接下来如果你希望继续深入可以参考这条学习路线第一阶段Prompt 工程基础学会写高质量 Prompt理解角色设定、上下文、约束条件。这是所有 AI 应用开发的基础。第二阶段RAG 技术栈学习文档加载、文本切分、Embedding、向量数据库操作。尝试做一个本地知识库问答系统。第三阶段Agent 开发理解函数调用Function Calling机制学习 LangChain / Spring AI 的 Agent 组件尝试构建多工具编排流程。第四阶段模型部署与优化学习 vLLM、Ollama、量化技术掌握推理服务监控和调优。第五阶段企业级工程实践研究多租户隔离、权限控制、审计日志、大规模并发架构、成本治理。AI 应用开发这个方向变化确实快但底层逻辑并没有那么玄。扎实掌握工程基本功理解模型交互原理不断动手实践比追逐每个新名词重要得多。如果你在实践过程中遇到问题建议优先阅读官方文档再看开源项目的示例代码最后回到自己的场景里调试。遇到报错不要慌把问题拆分成“请求是否发出去”“参数是否正确”“模型是否返回预期结构”“业务逻辑是否处理了边界情况”几个环节逐一排查。如果本文对你有帮助可以收藏备用。后续我也会继续更新更多 AI 应用开发的实战笔记包括 RAG 的完整实现、Agent 框架解析、模型部署手册等欢迎持续关注。