Skip to content

Latest commit

 

History

History

trt_custom_op

Folders and files

NameName
Last commit message
Last commit date

parent directory

..
 
 
 
 
 
 
 
 
 
 
 
 
 
 

实现自己的tensorrt算子插件

环境

  • CUDA: 11.6
  • TENSORRT: TensorRT-8.6.1.6

构建

mkdir build
cd build
cmake ..
make -j8
make install

测试

自定义matmul算子

cd test
# 生成trt engine并对比trt算子结果与torch算子结果
python3 torch_matmul_to_trt.py
# 生成trt engine并对比trt算子结果与tf算子结果
python3 tf_matmul_to_trt.py