c++ TensorRT TRT::Tensor 用法学习笔记

      TRT::Tensor roi_align_inputs(TRT::DataType::Float);
      roi_align_inputs.resize(infer_batch_size * MAX_IMAGE_BBOX * 6);
      roi_align_inputs.to_cpu(false);
      output_array_device.to_cpu(true);
  
 

to_cpu(true)，转cpu，同时拷贝一份。

测试执行时间：

     	const int ntest =1;
     	auto begin_timer = iLogger::timestamp_now_float();
     	for (int i = 0; i < ntest; ++i)
      		boxes_array = engine->commits(images);
     	// wait all result
      	boxes_array.back().get();
     	float inference_average_time = (iLogger::timestamp_now_float() - begin_timer) / ntest / images.size();
     	auto type_name = FasterRCNN::type_name(type);
     	auto mode_name = TRT::mode_string(mode);
     	INFO("%s[%s] average: %.2f ms / image, FPS: %.2f", engine_file.c_str(), type_name, inference_average_time, 1000 / inference_average_time);
  
 

后面持续更新。

文章来源: blog.csdn.net，作者：AI视觉网奇，版权归原作者所有，如需转载，请联系作者。

原文链接：blog.csdn.net/jacke121/article/details/126239010