1. 项目概述为什么要在Jetson上折腾TensorRT和YOLOv8如果你手头有一块NVIDIA Jetson开发板无论是Nano、NX、AGX Orin还是最新的Orin Nano你大概率已经体验过它强大的边缘AI算力。但你可能也发现了直接跑PyTorch或ONNX格式的YOLOv8模型帧率总是不尽如人意离官方宣传的“实时”还有点距离。这感觉就像你买了一台跑车却一直用经济模式在市区里开完全没发挥出它的潜力。问题的核心在于推理引擎。我们常用的PyTorch框架虽然方便但在部署时尤其是对延迟和吞吐量有严苛要求的边缘场景它并不是最优解。它包含了太多用于训练和动态调整的“包袱”在推理时会造成不必要的开销。而TensorRT就是NVIDIA为自家GPU包括Jetson的集成GPU量身定制的“性能榨汁机”。它通过层融合、精度校准INT8/FP16、内核自动调优等一系列深度优化能将模型推理速度提升数倍甚至数十倍。YOLOv8作为当前目标检测领域的“当红炸子鸡”以其优秀的精度-速度平衡和友好的开发者体验著称。将YOLOv8部署到Jetson上意味着你能在摄像头、无人机、机器人或各种IoT设备上实现高效、准确且低功耗的实时视觉感知。这个组合可以说是边缘AI视觉项目的“黄金搭档”。所以这个项目的目标非常明确将训练好的YOLOv8模型通过TensorRT进行极致优化并部署到Jetson设备上实现最高的推理性能。这个过程涉及模型格式转换、引擎构建、前后处理优化等一系列步骤每一步都有不少“坑”。接下来我就结合自己多次部署的经验把这套流程掰开揉碎了讲清楚。2. 核心工具链与工作流全解析在动手之前我们必须理清整个工具链和数据处理流向。一个典型的部署流程不是简单的“点一下转换按钮”而是一个有明确输入输出的管道。2.1 工具链选型与版本匹配避开兼容性“深坑”Jetson部署最让人头疼的就是版本兼容性问题。TensorRT、CUDA、cuDNN、PyTorch、ONNX、Ultralytics YOLO版本之间环环相扣一个版本不对就可能卡在某个环节报一些看不懂的错误。我的核心建议是严格遵循NVIDIA官方提供的JetPack SDK版本。JetPack是一个捆绑了操作系统、CUDA、cuDNN、TensorRT、多媒体API等所有必要组件的SDK。对于你的Jetson设备首先确定你刷写的JetPack版本例如 JetPack 5.1.2, 6.0然后所有上层工具的版本都应在这个基础上去选择。以下是一个基于 JetPack 5.1.2 (L4T 35.3.1) 的经典兼容性组合实测稳定底层驱动: JetPack 5.1.2 自带。CUDA: 11.4 (JetPack 内置)cuDNN: 8.6.x (JetPack 内置)TensorRT: 8.5.x (JetPack 内置) -这是我们今天的主角。Python: 3.8 或 3.9 (推荐使用 JetPack 自带的或通过apt安装)PyTorch:必须安装为Jetson预编译的版本。千万不要用pip install torch去NVIDIA官网下载对应JetPack版本的.whl文件。例如对于JetPack 5.1.2 (Python 3.8)命令类似pip3 install torch-2.1.0a041361538.nv23.06-cp38-cp38-linux_aarch64.whlTorchVision: 同样安装与PyTorch匹配的预编译版本。Ultralytics YOLOv8: 使用pip install ultralytics安装最新版即可它相对独立。ONNX:pip install onnxONNX Runtime(可选用于验证):pip install onnxruntime-gpupycuda(可选用于高级TensorRT编程):pip install pycuda注意安装PyTorch是最大的一个坑。网上很多教程让你从源码编译那会耗费数小时且极易出错。直接使用NVIDIA提供的预编译轮子是最快最稳的方式。去 NVIDIA开发者论坛 搜索 “PyTorch for Jetson” 总能找到最新的下载链接和安装指令。2.2 部署工作流全景图整个部署流程可以概括为四个核心阶段如下图所示我们用文字描述这个流程模型准备阶段在拥有GPU的 training 机器可以是你的PC也可以是云端上使用 Ultralytics 框架训练或直接下载预训练的 YOLOv8 模型.pt文件。格式转换阶段将 PyTorch 的.pt模型导出为ONNX格式。ONNX 是一个开放的模型交换格式是连接训练框架和推理引擎的桥梁。然后在 Jetson 上使用 TensorRT 的trtexec工具或 Python API将 ONNX 模型转换为高度优化的TensorRT 引擎文件.engine或.plan。推理引擎构建阶段这是性能优化的核心。在此阶段TensorRT 会针对 Jetson 的特定硬件NVIDIA GPU 架构进行一系列优化包括层融合将多个连续的操作如Conv、BN、ReLU融合成一个单一的内核减少内存访问和内核启动开销。精度校准将 FP32 模型转换为 FP16 甚至 INT8 精度大幅提升计算速度和降低内存占用同时对精度影响极小INT8需要校准数据集。内核自动调优为每一层操作选择计算最快的内核实现。部署与集成阶段在 Jetson 的应用程序中加载构建好的.engine文件编写配套的图像预处理缩放、归一化、BGR2RGB等和后处理解码边界框、非极大值抑制 NMS代码完成整个目标检测流水线。为什么是 ONNX 中转而不是直接 PT 到 TensorRT虽然 TensorRT 早期支持直接解析 PyTorch 模型但通过 ONNX 中转是目前最稳定、最通用的方式。ONNX 作为一个中间表示消除了框架间的差异性。Ultralytics 对 ONNX 导出的支持也非常完善可以很好地处理 YOLOv8 模型中的动态尺寸Dynamic Shape问题这对于需要处理不同分辨率输入的部署场景至关重要。3. 从 PyTorch 到 TensorRT 引擎步步为营的实操指南理论说再多不如动手做一遍。我们假设你已经在训练机上得到了一个满意的yolov8n.pt模型以 nano 模型为例。3.1 第一步导出标准的 ONNX 模型在你的训练机x86有GPU上操作。使用 Ultralytics 提供的命令行工具导出非常简单yolo export modelyolov8n.pt formatonnx opset12 simplifyTrue关键参数解析formatonnx: 指定导出格式。opset12: ONNX 算子集版本。版本12对许多现代算子支持良好兼容性高。如果后续转换出错可以尝试opset13或11。simplifyTrue:极其重要这个选项会调用onnx-simplifier对计算图进行优化合并冗余算子使计算图更简洁能避免很多后续 TensorRT 转换时遇到的“不支持的算子”错误。执行成功后你会得到yolov8n.onnx文件。你可以用 Netron (https://netron.app) 打开它可视化模型结构。你会看到输入是一个[1, 3, 640, 640]的张量输出可能是一个[1, 84, 8400]的张量对于 v8 检测模型其中 84 4(框坐标) 80(COCO类别数)。实操心得在导出 ONNX 前最好先用yolo modeval在测试集上验证一下.pt模型的精度确保训练无误。导出的 ONNX 模型也可以用 ONNX Runtime 在 CPU/GPU 上跑一下验证其输出与原始.pt模型是否一致允许有微小的数值误差。这一步的验证能帮你快速定位问题是出在模型本身还是后续的转换环节。3.2 第二步将 ONNX 模型转换为 TensorRT 引擎现在将yolov8n.onnx文件拷贝到你的 Jetson 设备上。转换有两种主流方法方法一使用命令行工具trtexec推荐给初学者trtexec是 TensorRT 安装包自带的神器非常适合快速测试和基准测试。# 基础转换使用 FP32 精度 trtexec --onnxyolov8n.onnx --saveEngineyolov8n_fp32.engine --workspace1024 # 转换为 FP16 精度Jetson GPU 对 FP16 有原生支持速度更快内存减半精度损失可忽略 trtexec --onnxyolov8n.onnx --saveEngineyolov8n_fp16.engine --fp16 --workspace1024 # 转换为 INT8 精度需要提供校准数据集例如一些代表性的图片速度最快 trtexec --onnxyolov8n.onnx --saveEngineyolov8n_int8.engine --int8 --calib校准数据集路径 --workspace2048参数详解--workspace: 设置 GPU 显存工作空间大小单位 MB。复杂的模型或使用 INT8 校准可能需要更大的 workspace。如果转换失败并提示显存不足就增大这个值。对于 YOLOv8n1024 通常足够对于更大的模型如 YOLOv8x可能需要 2048 或更多。--fp16/--int8: 指定优化精度。对于 Jetson强烈推荐至少使用 FP16它能带来显著的性能提升而精度在视觉任务中几乎无损。--calib: INT8 校准模式必须。你需要准备一个.txt文件里面每行是用于校准的图片路径。通常准备 500-1000 张有代表性的图片即可。方法二使用 Python API更灵活适合集成到生产代码如果你想在 Python 脚本中动态构建引擎或者需要更精细的控制如处理动态输入尺寸就需要使用 TensorRT 的 Python API。下面是一个精简版的示例import tensorrt as trt TRT_LOGGER trt.Logger(trt.Logger.WARNING) EXPLICIT_BATCH 1 (int)(trt.NetworkDefinitionCreationFlag.EXPLICIT_BATCH) def build_engine(onnx_file_path, engine_file_path, fp16_modeFalse): builder trt.Builder(TRT_LOGGER) network builder.create_network(EXPLICIT_BATCH) parser trt.OnnxParser(network, TRT_LOGGER) with open(onnx_file_path, rb) as model: if not parser.parse(model.read()): for error in range(parser.num_errors): print(parser.get_error(error)) return None config builder.create_builder_config() config.max_workspace_size 1 30 # 1GB if fp16_mode and builder.platform_has_fast_fp16: config.set_flag(trt.BuilderFlag.FP16) # 设置动态尺寸 profile如果你的模型输入尺寸是动态的 # profile builder.create_optimization_profile() # profile.set_shape(input_name, min(1,3,320,320), opt(1,3,640,640), max(1,3,1280,1280)) # config.add_optimization_profile(profile) engine builder.build_engine(network, config) with open(engine_file_path, wb) as f: f.write(engine.serialize()) return engine # 使用函数 build_engine(yolov8n.onnx, yolov8n_fp16.engine, fp16_modeTrue)注意事项使用 Python API 时错误信息可能不如trtexec直观。务必注意日志输出。另外关于动态尺寸Dynamic Shape的处理是一个高级话题如果你的应用需要处理不同分辨率的输入就必须配置optimization profile如上例中注释部分所示。这能保证 TensorRT 为可能遇到的输入尺寸范围都生成优化后的内核。4. 在 Jetson 上加载引擎并进行推理得到.engine文件后下一步就是编写推理脚本。这里的关键在于TensorRT 引擎只负责从输入张量到输出张量的计算图像的预处理前处理和检测结果的解析后处理需要你自己完成并且必须与模型训练时的处理方式严格一致。4.1 前处理与训练保持一致YOLOv8 的默认前处理是将图像缩放到 640x640保持长宽比进行填充LetterBox然后进行归一化像素值 / 255。我们必须复现这个过程。import cv2 import numpy as np def preprocess(image, input_size(640, 640)): 前处理LetterBox 归一化 通道转换 (HWC - CHW) 添加批次维度 # 1. LetterBox 缩放 h, w image.shape[:2] scale min(input_size[0] / h, input_size[1] / w) new_h, new_w int(h * scale), int(w * scale) resized_img cv2.resize(image, (new_w, new_h), interpolationcv2.INTER_LINEAR) # 创建画布并填充 canvas np.full((input_size[0], input_size[1], 3), 114, dtypenp.uint8) top (input_size[0] - new_h) // 2 left (input_size[1] - new_w) // 2 canvas[top:topnew_h, left:leftnew_w, :] resized_img # 2. BGR to RGB (如果模型训练时用的是RGB) canvas canvas[:, :, ::-1] # BGR - RGB # 3. 归一化 (除以255) blob canvas.astype(np.float32) / 255.0 # 4. HWC to CHW blob blob.transpose(2, 0, 1) # 5. 添加批次维度 NCHW blob np.expand_dims(blob, axis0) # 6. 返回处理后的blob以及缩放和填充的偏移量用于后处理将框映射回原图 return blob, scale, (left, top)4.2 加载引擎并执行推理import tensorrt as trt import pycuda.driver as cuda import pycuda.autoinit # 初始化CUDA上下文 class TRTInference: def __init__(self, engine_path): self.logger trt.Logger(trt.Logger.WARNING) with open(engine_path, rb) as f, trt.Runtime(self.logger) as runtime: self.engine runtime.deserialize_cuda_engine(f.read()) self.context self.engine.create_execution_context() # 分配输入输出内存 (假设只有一个输入和一个输出) self.inputs, self.outputs, self.bindings, self.stream [], [], [], cuda.Stream() for binding in self.engine: size trt.volume(self.engine.get_binding_shape(binding)) dtype trt.nptype(self.engine.get_binding_dtype(binding)) # 分配主机和设备内存 host_mem cuda.pagelocked_empty(size, dtype) device_mem cuda.mem_alloc(host_mem.nbytes) self.bindings.append(int(device_mem)) if self.engine.binding_is_input(binding): self.inputs.append({host: host_mem, device: device_mem}) else: self.outputs.append({host: host_mem, device: device_mem}) def infer(self, input_blob): # 将输入数据拷贝到设备 np.copyto(self.inputs[0][host], input_blob.ravel()) cuda.memcpy_htod_async(self.inputs[0][device], self.inputs[0][host], self.stream) # 执行推理 self.context.execute_async_v2(bindingsself.bindings, stream_handleself.stream.handle) # 将输出数据拷贝回主机 cuda.memcpy_dtoh_async(self.outputs[0][host], self.outputs[0][device], self.stream) self.stream.synchronize() # 等待流完成 # 返回输出数据需要根据模型输出形状reshape output_shape self.engine.get_binding_shape(1) # 假设输出是第1个binding # 例如 output_shape 可能是 (1, 84, 8400) return self.outputs[0][host].reshape(output_shape) # 初始化推理器 trt_infer TRTInference(yolov8n_fp16.engine) # 前处理得到 blob blob, scale, pad preprocess(cv2.imread(test.jpg)) # 执行推理 output trt_infer.infer(blob) # output shape: (1, 84, 8400)4.3 后处理解码 TensorRT 输出YOLOv8 的 TensorRT 输出通常是一个[1, 84, 8400]的张量。其中8400是锚点数量基于不同特征图84是每个锚点的预测值[cx, cy, w, h](4个) 80个类别的置信度。后处理需要将cx, cy, w, h转换为x1, y1, x2, y2格式。应用scale和pad偏移量将框的坐标从网络输入尺寸640x640映射回原始图像尺寸。进行非极大值抑制NMS来过滤重叠的框。def postprocess(output, orig_img_shape, scale, pad, conf_thres0.25, iou_thres0.45): 后处理解码输出NMS映射回原图 orig_img_shape: (H, W) predictions np.squeeze(output).T # 转置为 (8400, 84) scores np.max(predictions[:, 4:], axis1) # 取80个类别中最大的置信度 predictions predictions[scores conf_thres, :] # 根据置信度阈值过滤 scores scores[scores conf_thres] if len(scores) 0: return np.array([]), np.array([]), np.array([]) # 获取类别ID class_ids np.argmax(predictions[:, 4:], axis1) # 提取框 (cx, cy, w, h) boxes predictions[:, :4] # 将 cx, cy, w, h 转换为 x1, y1, x2, y2 boxes[:, 0] (boxes[:, 0] - boxes[:, 2] / 2) # x1 boxes[:, 1] (boxes[:, 1] - boxes[:, 3] / 2) # y1 boxes[:, 2] (boxes[:, 0] boxes[:, 2]) # x2 boxes[:, 3] (boxes[:, 1] boxes[:, 3]) # y2 # 将框从网络输入尺寸 (640) 映射回 LetterBox 后的尺寸 boxes[:, [0, 2]] (boxes[:, [0, 2]] - pad[0]) / scale # x boxes[:, [1, 3]] (boxes[:, [1, 3]] - pad[1]) / scale # y # 裁剪框到原始图像边界 boxes[:, [0, 2]] boxes[:, [0, 2]].clip(0, orig_img_shape[1]) # x 方向 boxes[:, [1, 3]] boxes[:, [1, 3]].clip(0, orig_img_shape[0]) # y 方向 # NMS (可以使用 OpenCV 的 cv2.dnn.NMSBoxes) indices cv2.dnn.NMSBoxes(boxes.tolist(), scores.tolist(), conf_thres, iou_thres) if len(indices) 0: indices indices.flatten() return boxes[indices], scores[indices], class_ids[indices] else: return np.array([]), np.array([]), np.array([]) # 使用后处理 orig_img cv2.imread(test.jpg) boxes, scores, class_ids postprocess(output, orig_img.shape[:2], scale, pad)至此一个完整的从模型导出到 Jetson 上 TensorRT 推理的流程就走通了。你可以将检测框画在原始图像上验证结果是否正确。5. 性能调优与实战问题排查把流程跑通只是第一步要让它在 Jetson 上飞起来还需要进行性能调优和问题排查。5.1 性能基准测试与对比在 Jetson 上使用trtexec不仅可以转换模型还是强大的基准测试工具。# 对构建好的引擎进行性能测试运行100次迭代取平均时间 trtexec --loadEngineyolov8n_fp16.engine --iterations100 --avgRuns10重点关注输出中的Throughput: 每秒处理的样本数QPS。对于视频流FPS ≈ Throughput。Latency: 延迟包括min、max、mean、median。mean是平均延迟。GPU Compute Time: GPU 纯计算时间。对比不同精度的性能在我的 Jetson AGX Orin (32GB) 上测试 YOLOv8n 模型输入尺寸 640x640Batch Size1结果大致如下FP32: 延迟 ~3.5ms吞吐量 ~285 FPSFP16: 延迟 ~2.1ms吞吐量 ~476 FPS(性能提升约67%)INT8: 延迟 ~1.5ms吞吐量 ~667 FPS(性能提升约134%)可以看到启用 FP16 带来的性能提升是巨大的而 INT8 则更进一步。对于 Jetson 设备FP16 是必选项几乎无精度损失。INT8 需要校准在部分场景下可能会有微小精度下降但换取的速度提升对于很多实时应用来说是值得的。5.2 常见问题与排查技巧实录问题1转换 ONNX 到 TensorRT 时报错 “Unsupported ONNX data type: BFLOAT16 (7)”原因你的 PyTorch 模型可能包含 BFloat16 数据类型而旧版本的 TensorRT 不支持。解决在导出 ONNX 时强制指定数据类型为 FP32。使用yolo export时可以尝试在训练时就不要用 BFloat16或者尝试更新 TensorRT 到更新版本如果 JetPack 支持。问题2推理结果完全不对框乱飞原因前处理或后处理与模型训练不匹配。这是最常见的问题。排查确认前处理确保 LetterBox、颜色通道顺序BGR/RGB、归一化/255.0 或 /255.0 - mean / std与 Ultralytics 训练时完全一致。最简单的验证方法是在 Python 中用原始 PyTorch 模型和你的前处理函数处理同一张图比较输入张量的数值是否完全相同允许极小误差。确认后处理确保你正确理解了输出张量的维度含义。用 Netron 打开 ONNX 模型查看输出节点的名字和形状。使用 ONNX Runtime 在 CPU 上运行 ONNX 模型将其输出与你的 TensorRT 引擎输出进行对比看是否一致。检查动态尺寸如果你构建引擎时允许动态尺寸但在推理时传入的尺寸不在你设置的min/opt/max范围内可能会出错。问题3推理速度远低于预期原因没有启用 FP16 或 INT8 优化。GPU 频率被限制在低功耗模式。前处理和后处理在 CPU 上进行成为瓶颈。内存带宽瓶颈频繁在 CPU 和 GPU 间拷贝小数据。解决确保使用--fp16构建引擎。使用 Jetson 的sudo jetson_clocks命令将 GPU、CPU 频率锁定在最高性能模式注意功耗和散热。优化前后处理这是容易被忽略的瓶颈。尝试使用 OpenCV 的cv2.cuda模块进行 GPU 加速的图像预处理如缩放、颜色转换。使用 CUDA 流Stream来重叠数据传输和计算。对于视频流使用管道并行让前处理、推理、后处理在不同的线程/流中同时进行。使用 TensorRT 的IExecutionContext.execute_v2或execute_async_v2进行异步推理并配合 CUDA 流来隐藏 Host-Device 内存拷贝的延迟。问题4运行一段时间后报错 “CUDA out of memory”原因内存泄漏通常是创建了 TensorRT 引擎或上下文但没有释放。解决确保你的推理类在析构时或使用with语句正确释放资源。对于 Python API确保builder,network,parser,config,engine,context这些对象在使用完后被正确销毁Python 的垃圾回收有时不靠谱显式del或设置为None有助于触发回收。在循环中推理时避免在每次循环中重复创建临时缓冲区。5.3 高级技巧使用 TensorRT 的 Python API 进行动态批处理Dynamic Batching对于需要同时处理多路视频流的应用静态 Batch Size 不灵活。TensorRT 支持动态批处理。# 在 build_engine 函数中设置优化配置文件时指定动态批次维度 profile builder.create_optimization_profile() # 假设输入名叫 images其形状为 (batch_size, 3, 640, 640) # 设置最小、最优、最大批次大小 profile.set_shape(images, min(1, 3, 640, 640), opt(4, 3, 640, 640), max(8, 3, 640, 640)) config.add_optimization_profile(profile)在推理时你可以根据实际需求设置不同的 batch size# 设置本次推理的输入形状 context.set_binding_shape(0, (current_batch_size, 3, 640, 640)) # ... 然后准备对应 batch 的数据执行推理最后一点个人体会Jetson TensorRT 的部署其性能天花板不仅取决于模型和引擎更取决于整个软件流水线的设计。当推理本身被优化到 2-3 毫秒后图像解码、前后处理、结果渲染/传输就可能成为新的瓶颈。一个真正高效的边缘AI系统需要从摄像头采集如使用GStreamer硬解码、到内存管理零拷贝、再到计算任务调度多线程/多流进行全栈考量。TensorRT 解决了最核心的模型计算问题而围绕它构建一个高效、健壮的数据流水线才是将 Jetson 性能压榨到极致的真正挑战也是边缘AI工程师价值的体现。