尧图网站建设 
文章目录1. 课前导读1.1 本节课学习目标1.2 知识重难点1.3 学习前置条件1.4 学完可掌握能力1.5 行业应用场景2. 核心理论精讲2.1 模型部署的两种形态2.2 SavedModel详解2.3 签名Signature2.4 推理时注意事项2.5 简单的API服务框架3. 环境搭建与工具配置4. 代码实战教学4.1 训练并导出模型以MNIST CNN为例4.2 离线推理批量预测4.3 使用Flask构建在线API服务4.4 测试API客户端4.5 推理性能优化批处理和预加载5. 案例实操演练5.1 训练并导出CIFAR-10模型简单CNN5.2 离线批量预测使用tf.data优化5.3 构建RESTful API支持批量JSON输入6. 常见坑点与排错总结6.1 模型加载与签名6.2 推理与训练模式差异6.3 服务化部署坑点6.4 批处理性能7. 知识点总结 课后作业7.1 核心知识点梳理7.2 基础作业7.3 进阶实操作业7.4 思考拓展题《TensorFlow2.x: 深度学习入门到高阶实战教程》系列课程导航1. 课前导读1.1 本节课学习目标理解模型部署的基本概念离线推理批量预测vs 在线推理实时API。掌握SavedModel的导出方法tf.saved_model.save和model.save理解其目录结构。学会使用tf.saved_model.load加载SavedModel并进行批量推理。掌握使用Flask构建简单的RESTful API服务封装模型推理逻辑。理解推理与训练阶段的差异如trainingFalse、Dropout关闭。了解推理性能的初步优化批量大小、预处理流水线。1.2 知识重难点类别内容重点SavedModel导出与加载tf.saved_model.load与tf.keras.models.load_model的区别Flask服务搭建与请求处理难点批量推理的性能考量服务化中的并发与超时处理模型预处理的代码复用易混淆点model.save保存的SavedModel与tf.saved_model.save的差异推理时的trainingFalse设置位置签名Signature的概念1.3 学习前置条件已完成第20课模型保存了解SavedModel基础。能够训练简单的CNN或MLP模型。熟悉Python基础及Web框架Flask基本概念。1.4 学完可掌握能力独立将Keras模型导出为SavedModel供生产环境使用。编写脚本对大规模数据进行离线批量预测。搭建简单的模型HTTP服务供其他应用调用。理解推理时需要注意的细节避免因训练/推理模式差异导致的错误。1.5 行业应用场景离线批处理每日对用户数据批量生成推荐结果。在线服务手机APP调用后端模型API进行实时识别。边缘部署模型导出后转换为TensorFlow Lite或TensorRT格式。A/B测试同时部署多个模型版本对比效果。2. 核心理论精讲2.1 模型部署的两种形态离线推理对一批数据集中运行模型输出结果存储到文件或数据库。常见场景每日生成用户画像、批量数据分析。优点可以充分利用硬件资源进行批量处理缺点实时性差。在线推理通过API提供实时预测服务用户请求到达时立即返回结果。常见场景手机拍照识别、在线推荐。优点响应快缺点需要高并发、低延迟支持。本课主要介绍离线推理和简单在线服务的基础为更高级的部署如TensorFlow Serving、TFLite、TF.js打下基础。2.2 SavedModel详解SavedModel是TensorFlow推荐的模型存储格式包含saved_model.pb或pb文件图结构定义MetaGraph。variables/模型权重文件。assets/外部文件如词汇表。SavedModel独立于源代码可以在不同语言C、Java、Go中加载。导出方法Keras模型model.save(path)默认导出SavedModelTF2默认。通用接口tf.saved_model.save(model, path)。加载方法loaded tf.saved_model.load(path)返回一个可调用对象通过loaded.signatures[serving_default]获取默认签名。若为Keras模型也可用tf.keras.models.load_model(path)加载返回Keras模型对象。2.3 签名Signature签名定义了模型的输入输出映射。默认签名serving_default由model.save自动生成。也可自定义签名控制输入输出的名称和形状。2.4 推理时注意事项trainingFalse所有需要区别训练/推理模式的层如Dropout、BatchNormalization必须在推理时设为trainingFalse否则行为会异常Dropout仍随机失活BN使用小批量统计。在model.predict中自动处理但若手动调用模型需显式设置。预处理一致性推理时的预处理必须与训练时完全相同归一化参数、图像尺寸等。最好将预处理封装在模型中或作为API的一部分。批处理即使单条请求通常也以批次形式输入batch_size1以利用向量化运算。2.5 简单的API服务框架使用Flask轻量级Web框架构建API加载模型全局加载一次避免每次请求重新加载。定义路由/predict接收POST请求解析JSON或图像文件进行预处理调用模型预测返回JSON结果。考虑使用gunicorn等WSGI服务器部署生产环境。3. 环境搭建与工具配置沿用第39课环境额外安装flask。conda activate tf213 pipinstallflask pillow创建项目目录deploy/ ├── model/ # 存放导出的模型 ├── server.py # Flask服务 ├── offline_inference.py # 离线推理脚本 └── test_request.py # 测试客户端导入模块importtensorflowastfimportnumpyasnpimportosfromPILimportImageimportjsonfromflaskimportFlask,request,jsonify4. 代码实战教学4.1 训练并导出模型以MNIST CNN为例importtensorflowastffromtensorflowimportkerasfromtensorflow.kerasimportlayers# 加载MNIST(x_train,y_train),(x_test,y_test)keras.datasets.mnist.load_data()x_trainx_train.reshape(-1,28,28,1).astype(np.float32)/255.0x_testx_test.reshape(-1,28,28,1).astype(np.float32)/255.0# 构建模型modelkeras.Sequential([layers.Conv2D(32,3,activationrelu,input_shape(28,28,1)),layers.MaxPooling2D(),layers.Conv2D(64,3,activationrelu),layers.MaxPooling2D(),layers.Flatten(),layers.Dense(128,activationrelu),layers.Dense(10,activationsoftmax)])model.compile(optimizeradam,losssparse_categorical_crossentropy,metrics[accuracy])model.fit(x_train,y_train,epochs3,batch_size128,validation_split0.1,verbose1)# 导出SavedModelmodel.save(deploy/model/mnist_cnn)# 保存为SavedModelprint(Model saved to deploy/model/mnist_cnn)4.2 离线推理批量预测# offline_inference.pyimporttensorflowastfimportnumpyasnpimporttime# 加载模型loaded_modeltf.saved_model.load(deploy/model/mnist_cnn)inferloaded_model.signatures[serving_default]# 或使用Keras方式loaded_keras tf.keras.models.load_model(deploy/model/mnist_cnn)# 准备测试数据假设从文件加载(x_test,y_test)tf.keras.datasets.mnist.load_data()[1]x_testx_test.reshape(-1,28,28,1).astype(np.float32)/255.0# 批量推理batch_size256num_sampleslen(x_test)predictions[]starttime.time()foriinrange(0,num_samples,batch_size):batchx_test[i:ibatch_size]# 调用模型注意输入名称为keras_tensor或input_1可通过infer.structured_outputs查看# 使用签名调用resultinfer(tf.constant(batch))# result 是一个字典键为输出名通常是dense_1predresult[list(result.keys())[0]].numpy()predictions.append(pred)predictionsnp.concatenate(predictions,axis0)elapsedtime.time()-startprint(fPredicted{num_samples}samples in{elapsed:.2f}s,{num_samples/elapsed:.1f}samples/s)4.3 使用Flask构建在线API服务# server.pyimporttensorflowastfimportnumpyasnpfromflaskimportFlask,request,jsonifyimportbase64fromPILimportImageimportio appFlask(__name__)# 加载模型全局MODEL_PATHdeploy/model/mnist_cnn# 使用Keras方式加载便于预处理modeltf.keras.models.load_model(MODEL_PATH)defpreprocess_image(image_bytes):将上传的图像转换为模型输入格式imgImage.open(io.BytesIO(image_bytes)).convert(L)# 灰度imgimg.resize((28,28))img_arraynp.array(img,dtypenp.float32)/255.0img_arrayimg_array.reshape(1,28,28,1)returnimg_arrayapp.route(/predict,methods[POST])defpredict():接收图像文件或base64编码返回预测数字iffileinrequest.files:filerequest.files[file]img_bytesfile.read()elifimageinrequest.json:img_bytesbase64.b64decode(request.json[image])else:returnjsonify({error:No image provided}),400try:input_tensorpreprocess_image(img_bytes)predsmodel.predict(input_tensor)digitnp.argmax(preds[0])confidencefloat(np.max(preds[0]))returnjsonify({digit:int(digit),confidence:confidence})exceptExceptionase:returnjsonify({error:str(e)}),500app.route(/health,methods[GET])defhealth():returnjsonify({status:ok})if__name____main__:app.run(host0.0.0.0,port5000,debugFalse)4.4 测试API客户端# test_request.pyimportrequestsfromPILimportImageimportnumpyasnpimportio# 创建一个测试图像模拟手写数字defcreate_dummy_image(digit5):imgImage.new(L,(28,28),color0)# 简单绘制数字实际应使用真实图像returnimg imgcreate_dummy_image()bufio.BytesIO()img.save(buf,formatPNG)buf.seek(0)files{file:(digit.png,buf,image/png)}responserequests.post(http://localhost:5000/predict,filesfiles)print(response.json())# 也可用base64importbase64 img_base64base64.b64encode(buf.getvalue()).decode(utf-8)response2requests.post(http://localhost:5000/predict,json{image:img_base64})print(response2.json())4.5 推理性能优化批处理和预加载对于高并发场景可预先将模型加载到GPU并使用多线程处理请求。Flask默认单线程生产环境建议使用gunicorngunicorn-w4-b0.0.0.0:5000 server:app更专业的模型服务部署请使用TensorFlow Serving。5. 案例实操演练案例为CIFAR-10模型构建离线批处理与在线API5.1 训练并导出CIFAR-10模型简单CNN(x_train,y_train),(x_test,y_test)tf.keras.datasets.cifar10.load_data()x_trainx_train.astype(np.float32)/255.0x_testx_test.astype(np.float32)/255.0y_traintf.keras.utils.to_categorical(y_train,10)y_testtf.keras.utils.to_categorical(y_test,10)modeltf.keras.Sequential([tf.keras.layers.Conv2D(32,3,activationrelu,input_shape(32,32,3)),tf.keras.layers.MaxPooling2D(),tf.keras.layers.Conv2D(64,3,activationrelu),tf.keras.layers.MaxPooling2D(),tf.keras.layers.Flatten(),tf.keras.layers.Dense(64,activationrelu),tf.keras.layers.Dense(10,activationsoftmax)])model.compile(optimizeradam,losscategorical_crossentropy,metrics[accuracy])model.fit(x_train,y_train,epochs5,batch_size128,validation_split0.1,verbose1)# 导出model.save(deploy/model/cifar10_cnn)5.2 离线批量预测使用tf.data优化# 构建datasettest_dstf.data.Dataset.from_tensor_slices(x_test).batch(256).prefetch(tf.data.AUTOTUNE)loadedtf.saved_model.load(deploy/model/cifar10_cnn)inferloaded.signatures[serving_default]predictions[]forbatchintest_ds:resultinfer(tf.constant(batch))predresult[list(result.keys())[0]].numpy()predictions.append(pred)predictionsnp.concatenate(predictions,axis0)print(Predictions shape:,predictions.shape)5.3 构建RESTful API支持批量JSON输入app.route(/predict_batch,methods[POST])defpredict_batch():datarequest.get_json()imagesdata.get(images)# list of list of pixel valuesifnotimages:returnjsonify({error:No images}),400# 转换为numpy数组 (batch, 32,32,3)images_npnp.array(images,dtypenp.float32)/255.0predsmodel.predict(images_np)results[{class:int(np.argmax(p)),confidence:float(np.max(p))}forpinpreds]returnjsonify(results)6. 常见坑点与排错总结6.1 模型加载与签名坑1使用tf.saved_model.load加载后直接调用loaded_model(input)报错因为返回的是一个ConcreteFunction需要通过签名调用或直接用括号调用如果只有一个输入输出。推荐使用loaded_model.signatures[serving_default]。解决infer loaded.signatures[serving_default]; result infer(tf.constant(input))。坑2签名输入输出名称未知导致KeyError。解决打印list(infer.structured_input_signature)和infer.structured_outputs查看。6.2 推理与训练模式差异坑3模型包含Dropout层推理时未关闭导致随机性。原因model.predict自动设置trainingFalse但若手动调用model(x, trainingTrue)会出错。解决确保推理时传递trainingFalse或使用predict方法。坑4BatchNormalization层在推理时使用训练时的全局统计量但若导出的SavedModel未正确设置可能仍使用小批量统计。解决确保导出模型前模型已处于推理模式即调用model.predict一次以确定行为。6.3 服务化部署坑点坑5Flask默认单进程同步高并发时模型被重复加载内存爆炸。解决使用gunicorn多进程模型全局加载一次即可进程级隔离每个进程一份模型。坑6请求体过大或图像解码失败导致服务崩溃。解决添加异常捕获返回HTTP 400错误限制请求大小。坑7预处理与训练时不匹配如归一化参数不同。解决将预处理封装为函数并确保与训练代码完全一致。6.4 批处理性能坑8离线推理中逐个样本循环速度极慢。解决使用批量预测利用向量化。坑9批量过大导致GPU内存不足。解决动态调整批次大小或使用CPU推理。7. 知识点总结 课后作业7.1 核心知识点梳理SavedModel标准部署格式包含图和变量。离线推理批量加载数据使用模型预测保存结果。在线APIFlask构建轻量服务模型常驻内存接收请求返回JSON。推理注意事项trainingFalse预处理一致性批量处理。性能初步优化批处理、预取、WSGI服务器。7.2 基础作业训练一个简单的MNIST分类器导出为SavedModel然后编写脚本加载模型并对测试集前1000张图像进行批量预测输出准确率。修改Flask服务增加/predict_base64端点接收JSON格式的base64编码图像返回预测结果。比较单条预测和批量预测batch_size32的吞吐量差异每秒处理图像数。7.3 进阶实操作业任务为图像分类模型构建完整的部署流水线选择一个预训练模型如ResNet50在ImageNet类别上微调自己的数据集如花朵识别。导出模型为SavedModel。编写离线推理脚本对测试集进行预测并计算准确率。构建Flask API支持上传图像文件或URL返回Top-3类别及置信度。使用gunicorn部署并用wrk或ab工具进行压力测试记录QPS。7.4 思考拓展题在在线推理服务中模型加载通常在服务启动时进行而不是每次请求加载。为什么如果模型非常大10GB你有什么策略减少内存占用实际生产环境中经常需要同时部署多个版本的模型如v1、v2进行A/B测试。如何设计API使得客户端可以指定模型版本除了Flask还有哪些Python Web框架更适合高并发机器学习服务如FastAPI它们相比Flask有哪些优势下一课预告计算机视觉实战一目标检测基础原理与简易模型搭建——我们将进入计算机视觉的核心领域学习目标检测的基本思想滑动窗口、锚框、非极大值抑制并使用TensorFlow搭建一个简单的目标检测模型。《TensorFlow2.x: 深度学习入门到高阶实战教程》系列课程导航去订阅第一部分基础入门1-10 课第二部分神经网络核心11-25 课第三部分进阶网络与框架高阶26-40 课第四部分企业实战与项目落地41-50 课 感谢您耐心阅读到这里 如果本文对您有所启发欢迎 点赞 收藏 分享给更多需要的伙伴。️ 期待在评论区看到您的想法, 共同进步。 关注我持续获取更多干货内容 我们下篇文章见 第40课：TensorFlow｜模型推理部署前置知识【离线推理、接口调用基础】
文章目录1. 课前导读1.1 本节课学习目标1.2 知识重难点1.3 学习前置条件1.4 学完可掌握能力1.5 行业应用场景2. 核心理论精讲2.1 模型部署的两种形态2.2 SavedModel详解2.3 签名Signature2.4 推理时注意事项2.5 简单的API服务框架3. 环境搭建与工具配置4. 代码实战教学4.1 训练并导出模型以MNIST CNN为例4.2 离线推理批量预测4.3 使用Flask构建在线API服务4.4 测试API客户端4.5 推理性能优化批处理和预加载5. 案例实操演练5.1 训练并导出CIFAR-10模型简单CNN5.2 离线批量预测使用tf.data优化5.3 构建RESTful API支持批量JSON输入6. 常见坑点与排错总结6.1 模型加载与签名6.2 推理与训练模式差异6.3 服务化部署坑点6.4 批处理性能7. 知识点总结 课后作业7.1 核心知识点梳理7.2 基础作业7.3 进阶实操作业7.4 思考拓展题《TensorFlow2.x: 深度学习入门到高阶实战教程》系列课程导航1. 课前导读1.1 本节课学习目标理解模型部署的基本概念离线推理批量预测vs 在线推理实时API。掌握SavedModel的导出方法tf.saved_model.save和model.save理解其目录结构。学会使用tf.saved_model.load加载SavedModel并进行批量推理。掌握使用Flask构建简单的RESTful API服务封装模型推理逻辑。理解推理与训练阶段的差异如trainingFalse、Dropout关闭。了解推理性能的初步优化批量大小、预处理流水线。1.2 知识重难点类别内容重点SavedModel导出与加载tf.saved_model.load与tf.keras.models.load_model的区别Flask服务搭建与请求处理难点批量推理的性能考量服务化中的并发与超时处理模型预处理的代码复用易混淆点model.save保存的SavedModel与tf.saved_model.save的差异推理时的trainingFalse设置位置签名Signature的概念1.3 学习前置条件已完成第20课模型保存了解SavedModel基础。能够训练简单的CNN或MLP模型。熟悉Python基础及Web框架Flask基本概念。1.4 学完可掌握能力独立将Keras模型导出为SavedModel供生产环境使用。编写脚本对大规模数据进行离线批量预测。搭建简单的模型HTTP服务供其他应用调用。理解推理时需要注意的细节避免因训练/推理模式差异导致的错误。1.5 行业应用场景离线批处理每日对用户数据批量生成推荐结果。在线服务手机APP调用后端模型API进行实时识别。边缘部署模型导出后转换为TensorFlow Lite或TensorRT格式。A/B测试同时部署多个模型版本对比效果。2. 核心理论精讲2.1 模型部署的两种形态离线推理对一批数据集中运行模型输出结果存储到文件或数据库。常见场景每日生成用户画像、批量数据分析。优点可以充分利用硬件资源进行批量处理缺点实时性差。在线推理通过API提供实时预测服务用户请求到达时立即返回结果。常见场景手机拍照识别、在线推荐。优点响应快缺点需要高并发、低延迟支持。本课主要介绍离线推理和简单在线服务的基础为更高级的部署如TensorFlow Serving、TFLite、TF.js打下基础。2.2 SavedModel详解SavedModel是TensorFlow推荐的模型存储格式包含saved_model.pb或pb文件图结构定义MetaGraph。variables/模型权重文件。assets/外部文件如词汇表。SavedModel独立于源代码可以在不同语言C、Java、Go中加载。导出方法Keras模型model.save(path)默认导出SavedModelTF2默认。通用接口tf.saved_model.save(model, path)。加载方法loaded tf.saved_model.load(path)返回一个可调用对象通过loaded.signatures[serving_default]获取默认签名。若为Keras模型也可用tf.keras.models.load_model(path)加载返回Keras模型对象。2.3 签名Signature签名定义了模型的输入输出映射。默认签名serving_default由model.save自动生成。也可自定义签名控制输入输出的名称和形状。2.4 推理时注意事项trainingFalse所有需要区别训练/推理模式的层如Dropout、BatchNormalization必须在推理时设为trainingFalse否则行为会异常Dropout仍随机失活BN使用小批量统计。在model.predict中自动处理但若手动调用模型需显式设置。预处理一致性推理时的预处理必须与训练时完全相同归一化参数、图像尺寸等。最好将预处理封装在模型中或作为API的一部分。批处理即使单条请求通常也以批次形式输入batch_size1以利用向量化运算。2.5 简单的API服务框架使用Flask轻量级Web框架构建API加载模型全局加载一次避免每次请求重新加载。定义路由/predict接收POST请求解析JSON或图像文件进行预处理调用模型预测返回JSON结果。考虑使用gunicorn等WSGI服务器部署生产环境。3. 环境搭建与工具配置沿用第39课环境额外安装flask。conda activate tf213 pipinstallflask pillow创建项目目录deploy/ ├── model/ # 存放导出的模型 ├── server.py # Flask服务 ├── offline_inference.py # 离线推理脚本 └── test_request.py # 测试客户端导入模块importtensorflowastfimportnumpyasnpimportosfromPILimportImageimportjsonfromflaskimportFlask,request,jsonify4. 代码实战教学4.1 训练并导出模型以MNIST CNN为例importtensorflowastffromtensorflowimportkerasfromtensorflow.kerasimportlayers# 加载MNIST(x_train,y_train),(x_test,y_test)keras.datasets.mnist.load_data()x_trainx_train.reshape(-1,28,28,1).astype(np.float32)/255.0x_testx_test.reshape(-1,28,28,1).astype(np.float32)/255.0# 构建模型modelkeras.Sequential([layers.Conv2D(32,3,activationrelu,input_shape(28,28,1)),layers.MaxPooling2D(),layers.Conv2D(64,3,activationrelu),layers.MaxPooling2D(),layers.Flatten(),layers.Dense(128,activationrelu),layers.Dense(10,activationsoftmax)])model.compile(optimizeradam,losssparse_categorical_crossentropy,metrics[accuracy])model.fit(x_train,y_train,epochs3,batch_size128,validation_split0.1,verbose1)# 导出SavedModelmodel.save(deploy/model/mnist_cnn)# 保存为SavedModelprint(Model saved to deploy/model/mnist_cnn)4.2 离线推理批量预测# offline_inference.pyimporttensorflowastfimportnumpyasnpimporttime# 加载模型loaded_modeltf.saved_model.load(deploy/model/mnist_cnn)inferloaded_model.signatures[serving_default]# 或使用Keras方式loaded_keras tf.keras.models.load_model(deploy/model/mnist_cnn)# 准备测试数据假设从文件加载(x_test,y_test)tf.keras.datasets.mnist.load_data()[1]x_testx_test.reshape(-1,28,28,1).astype(np.float32)/255.0# 批量推理batch_size256num_sampleslen(x_test)predictions[]starttime.time()foriinrange(0,num_samples,batch_size):batchx_test[i:ibatch_size]# 调用模型注意输入名称为keras_tensor或input_1可通过infer.structured_outputs查看# 使用签名调用resultinfer(tf.constant(batch))# result 是一个字典键为输出名通常是dense_1predresult[list(result.keys())[0]].numpy()predictions.append(pred)predictionsnp.concatenate(predictions,axis0)elapsedtime.time()-startprint(fPredicted{num_samples}samples in{elapsed:.2f}s,{num_samples/elapsed:.1f}samples/s)4.3 使用Flask构建在线API服务# server.pyimporttensorflowastfimportnumpyasnpfromflaskimportFlask,request,jsonifyimportbase64fromPILimportImageimportio appFlask(__name__)# 加载模型全局MODEL_PATHdeploy/model/mnist_cnn# 使用Keras方式加载便于预处理modeltf.keras.models.load_model(MODEL_PATH)defpreprocess_image(image_bytes):将上传的图像转换为模型输入格式imgImage.open(io.BytesIO(image_bytes)).convert(L)# 灰度imgimg.resize((28,28))img_arraynp.array(img,dtypenp.float32)/255.0img_arrayimg_array.reshape(1,28,28,1)returnimg_arrayapp.route(/predict,methods[POST])defpredict():接收图像文件或base64编码返回预测数字iffileinrequest.files:filerequest.files[file]img_bytesfile.read()elifimageinrequest.json:img_bytesbase64.b64decode(request.json[image])else:returnjsonify({error:No image provided}),400try:input_tensorpreprocess_image(img_bytes)predsmodel.predict(input_tensor)digitnp.argmax(preds[0])confidencefloat(np.max(preds[0]))returnjsonify({digit:int(digit),confidence:confidence})exceptExceptionase:returnjsonify({error:str(e)}),500app.route(/health,methods[GET])defhealth():returnjsonify({status:ok})if__name____main__:app.run(host0.0.0.0,port5000,debugFalse)4.4 测试API客户端# test_request.pyimportrequestsfromPILimportImageimportnumpyasnpimportio# 创建一个测试图像模拟手写数字defcreate_dummy_image(digit5):imgImage.new(L,(28,28),color0)# 简单绘制数字实际应使用真实图像returnimg imgcreate_dummy_image()bufio.BytesIO()img.save(buf,formatPNG)buf.seek(0)files{file:(digit.png,buf,image/png)}responserequests.post(http://localhost:5000/predict,filesfiles)print(response.json())# 也可用base64importbase64 img_base64base64.b64encode(buf.getvalue()).decode(utf-8)response2requests.post(http://localhost:5000/predict,json{image:img_base64})print(response2.json())4.5 推理性能优化批处理和预加载对于高并发场景可预先将模型加载到GPU并使用多线程处理请求。Flask默认单线程生产环境建议使用gunicorngunicorn-w4-b0.0.0.0:5000 server:app更专业的模型服务部署请使用TensorFlow Serving。5. 案例实操演练案例为CIFAR-10模型构建离线批处理与在线API5.1 训练并导出CIFAR-10模型简单CNN(x_train,y_train),(x_test,y_test)tf.keras.datasets.cifar10.load_data()x_trainx_train.astype(np.float32)/255.0x_testx_test.astype(np.float32)/255.0y_traintf.keras.utils.to_categorical(y_train,10)y_testtf.keras.utils.to_categorical(y_test,10)modeltf.keras.Sequential([tf.keras.layers.Conv2D(32,3,activationrelu,input_shape(32,32,3)),tf.keras.layers.MaxPooling2D(),tf.keras.layers.Conv2D(64,3,activationrelu),tf.keras.layers.MaxPooling2D(),tf.keras.layers.Flatten(),tf.keras.layers.Dense(64,activationrelu),tf.keras.layers.Dense(10,activationsoftmax)])model.compile(optimizeradam,losscategorical_crossentropy,metrics[accuracy])model.fit(x_train,y_train,epochs5,batch_size128,validation_split0.1,verbose1)# 导出model.save(deploy/model/cifar10_cnn)5.2 离线批量预测使用tf.data优化# 构建datasettest_dstf.data.Dataset.from_tensor_slices(x_test).batch(256).prefetch(tf.data.AUTOTUNE)loadedtf.saved_model.load(deploy/model/cifar10_cnn)inferloaded.signatures[serving_default]predictions[]forbatchintest_ds:resultinfer(tf.constant(batch))predresult[list(result.keys())[0]].numpy()predictions.append(pred)predictionsnp.concatenate(predictions,axis0)print(Predictions shape:,predictions.shape)5.3 构建RESTful API支持批量JSON输入app.route(/predict_batch,methods[POST])defpredict_batch():datarequest.get_json()imagesdata.get(images)# list of list of pixel valuesifnotimages:returnjsonify({error:No images}),400# 转换为numpy数组 (batch, 32,32,3)images_npnp.array(images,dtypenp.float32)/255.0predsmodel.predict(images_np)results[{class:int(np.argmax(p)),confidence:float(np.max(p))}forpinpreds]returnjsonify(results)6. 常见坑点与排错总结6.1 模型加载与签名坑1使用tf.saved_model.load加载后直接调用loaded_model(input)报错因为返回的是一个ConcreteFunction需要通过签名调用或直接用括号调用如果只有一个输入输出。推荐使用loaded_model.signatures[serving_default]。解决infer loaded.signatures[serving_default]; result infer(tf.constant(input))。坑2签名输入输出名称未知导致KeyError。解决打印list(infer.structured_input_signature)和infer.structured_outputs查看。6.2 推理与训练模式差异坑3模型包含Dropout层推理时未关闭导致随机性。原因model.predict自动设置trainingFalse但若手动调用model(x, trainingTrue)会出错。解决确保推理时传递trainingFalse或使用predict方法。坑4BatchNormalization层在推理时使用训练时的全局统计量但若导出的SavedModel未正确设置可能仍使用小批量统计。解决确保导出模型前模型已处于推理模式即调用model.predict一次以确定行为。6.3 服务化部署坑点坑5Flask默认单进程同步高并发时模型被重复加载内存爆炸。解决使用gunicorn多进程模型全局加载一次即可进程级隔离每个进程一份模型。坑6请求体过大或图像解码失败导致服务崩溃。解决添加异常捕获返回HTTP 400错误限制请求大小。坑7预处理与训练时不匹配如归一化参数不同。解决将预处理封装为函数并确保与训练代码完全一致。6.4 批处理性能坑8离线推理中逐个样本循环速度极慢。解决使用批量预测利用向量化。坑9批量过大导致GPU内存不足。解决动态调整批次大小或使用CPU推理。7. 知识点总结 课后作业7.1 核心知识点梳理SavedModel标准部署格式包含图和变量。离线推理批量加载数据使用模型预测保存结果。在线APIFlask构建轻量服务模型常驻内存接收请求返回JSON。推理注意事项trainingFalse预处理一致性批量处理。性能初步优化批处理、预取、WSGI服务器。7.2 基础作业训练一个简单的MNIST分类器导出为SavedModel然后编写脚本加载模型并对测试集前1000张图像进行批量预测输出准确率。修改Flask服务增加/predict_base64端点接收JSON格式的base64编码图像返回预测结果。比较单条预测和批量预测batch_size32的吞吐量差异每秒处理图像数。7.3 进阶实操作业任务为图像分类模型构建完整的部署流水线选择一个预训练模型如ResNet50在ImageNet类别上微调自己的数据集如花朵识别。导出模型为SavedModel。编写离线推理脚本对测试集进行预测并计算准确率。构建Flask API支持上传图像文件或URL返回Top-3类别及置信度。使用gunicorn部署并用wrk或ab工具进行压力测试记录QPS。7.4 思考拓展题在在线推理服务中模型加载通常在服务启动时进行而不是每次请求加载。为什么如果模型非常大10GB你有什么策略减少内存占用实际生产环境中经常需要同时部署多个版本的模型如v1、v2进行A/B测试。如何设计API使得客户端可以指定模型版本除了Flask还有哪些Python Web框架更适合高并发机器学习服务如FastAPI它们相比Flask有哪些优势下一课预告计算机视觉实战一目标检测基础原理与简易模型搭建——我们将进入计算机视觉的核心领域学习目标检测的基本思想滑动窗口、锚框、非极大值抑制并使用TensorFlow搭建一个简单的目标检测模型。《TensorFlow2.x: 深度学习入门到高阶实战教程》系列课程导航去订阅第一部分基础入门1-10 课第二部分神经网络核心11-25 课第三部分进阶网络与框架高阶26-40 课第四部分企业实战与项目落地41-50 课 感谢您耐心阅读到这里 如果本文对您有所启发欢迎 点赞 收藏 分享给更多需要的伙伴。️ 期待在评论区看到您的想法, 共同进步。 关注我持续获取更多干货内容 我们下篇文章见