nndeploy是一款最新上线的支持多平台、简单易用、高性能的机器学习部署框架，一套实现可在多端(云、边、端)完成模型的高性能部署。

作为一个多平台模型部署工具，我们的框架最大的宗旨就是简单贴心(^‹^)，目前nndeploy已完成TensorRT、OpenVINO、ONNXRuntime、MNN、TNN、NCNN六个业界知名的推理框架的继承，后续会继续接入tf-lite、paddle-lite、coreML、TVM、AITemplate，在我们的框架下可使用一套代码轻松切换不同的推理后端进行推理，且不用担心部署框架对推理框架的抽象而带来的性能损失。

如果您需要部署自己的模型，目前nndeploy可帮助您在一个文件（大概只要200行代码）之内完成多端部署，提供了一些的前后处理和推理模板可供选择帮助您简化流程；如果只需使用已有主流模型进行自己的推理，目前nndeploy已完成YOLO系列等多个开源模型的部署，可供直接使用，目前我们还在积极部署其它开源模型（如果您或团队有需要部署的开源模型或者其他部署相关的问题，欢迎随时来和我们探讨(^-^)）

nndeploy具有如下优势特性：

支持的平台和推理框架如下表所示

注: yes：完成在该平台的验证，no：目前正在验证中

• 通过切换推理配置，一套代码可在多端部署，算法的使用接口简单易用
• 新增算法简单，将AI算法部署抽象为有向无环图Pipeline，前处理为一个任务Task，推理也为一个任务Task，后处理也为一个任务Task，也可以将多个Pipeline组合成一个新的Pipeline
• 通用的推理模板和前后处理模板

• 可配置推理框架所有参数，不会因为对推理框架的抽象而带来性能损失
• 可直接操作理框架内部分配的输入输出，实现前后处理的零拷贝，目前正在不断完善不同格式的Tensor的零拷贝
• 线程池正在开发完善中，可实现多任务流水线并行
• 一组高性能的算子正在开发中，完成后将加速你模型前后处理速度

• 在根目录创建build目录，将cmake/config.cmake复制到该目录

  mkdir build
  cp cmake/config.cmake build
  cd build
  

• 编辑build/config.cmake来定制编译选项
  • 将set(ENABLE_NNDEPLOY_OPENCV OFF)改为set(ENABLE_NNDEPLOY_OPENCV PATH/linux/OpenCV)，nndeploy会启用并链接OpenCV，如果你想启用并链接的其他第三方库，也是做同样的处理
  • 将set(ENABLE_NNDEPLOY_DEVICE_CPU OFF)改为set(ENABLE_NNDEPLOY_DEVICE_CPU ON)，nndeploy会启用CPU设备。如果你想启用其他设备（ARM、X86、CUDA …），也是做同样的处理
  • 将set(ENABLE_NNDEPLOY_INFERENCE_ONNXRUNTIME OFF)改为set(ENABLE_NNDEPLOY_INFERENCE_ONNXRUNTIME "PATH/linux/onnxruntime-linux-x64-1.15.1")，nndeploy会启用并链接推理后端ONNXRuntime。如果你想启用并链接其他推理后端（OpenVINO、TensorRT、TNN …），也是做同样的处理
  • 启用并链接第三方库有两种选择
    • 开关ON - 当你安装了该库，并且可以通过find_package找到该库，可以采用该方式，例如CUDA、CUDNN、OpenCV、TenosrRT
    • 路径PATH - 头文件以及库的根路径，其形式必须为
      • 头文件：PATH/include
      • 库：PATH/lib
      • windows dll: PATH/bin
• 开始make nndeploy库

  cmake ..
  make -j4
  

• 安装，将nndeploy相关库可执行文件、第三方库安装至build/install/lib

  make install
  

已验证模型、第三方库、测试数据放在HuggingFace上，如果您有需要可以去下载，下载链接。但强烈建议您自己去管理自己的模型仓库、第三方库、测试数据。

• 第三方库编译文档以及官方下载链接

• 补充说明
  • 我使用第三方库的上述版本，通常使用其他版本的也没有问题
  • TensorRT
    • Windows链接
    • 安装前请确保 显卡驱动、cuda、cudnn均已安装且版本一致

• Linux下需安装opencv
  • sudo apt install libopencv-dev
  • 参考链接
• 下载模型，解压

  wget https://huggingface.co/alwaysssss/nndeploy/resolve/main/model_zoo/detect/yolo/yolov5s.onnx

• 下载第三方库，ubuntu22.04，windows， android。 解压

  # ubuntu22.04_x64
  wget https://huggingface.co/alwaysssss/nndeploy/resolve/main/third_party/ubuntu22.04_x64.tar
  # windows
  wget https://huggingface.co/alwaysssss/nndeploy/blob/main/third_party/windows_x64.7z
  # android
  wget https://huggingface.co/alwaysssss/nndeploy/resolve/main/third_party/android.tar

• 下载测试数据

  wget https://huggingface.co/alwaysssss/nndeploy/resolve/main/test_data/detect/sample.jpg

• 在根目录创建build目录，将cmake/config_demo.cmake复制到该目录，修改名称为config.cmake

  mkdir build
  cp cmake/config.cmake build
  mv config_yolov5s.cmake config.cmake
  cd build
  

• 编辑build/config.cmake来定制编译选项
• 将所有第三方库的路径改为您的路径，例如set(ENABLE_NNDEPLOY_INFERENCE_ONNXRUNTIME "PATH/third_party/ubuntu22.04_x64/onnxruntime-linux-x64-1.15.1")改为set(ENABLE_NNDEPLOY_INFERENCE_ONNXRUNTIME "PATH/third_party/ubuntu22.04_x64/onnxruntime-linux-x64-1.15.1")。PATH为您下载第三方库后的解压路径
• 开始make nndeploy库

  cmake ..
  make -j4
  

• 安装，将nndeploy相关库可执行文件、第三方库安装至build/install/lib

  make install
  

cd PATH/nndeploy/build/install/lib
export LD_LIBRARY_PATH=PATH/nndeploy/build/install/lib:$LD_LIBRARY_PATH
// onnxruntime 推理
./demo_nndeploy_detect --name NNDEPLOY_YOLOV5 --inference_type kInferenceTypeOnnxRuntime --device_type kDeviceTypeCodeX86:0 --model_type kModelTypeOnnx --is_path --model_value PATH/model_zoo/detect/yolo/yolov5s.onnx --input_type kInputTypeImage  --input_path PATH/test_data/detect/sample.jpg --output_path PATH/temp/sample_output.jpg

// openvino 推理
./demo_nndeploy_detect --name NNDEPLOY_YOLOV5 --inference_type kInferenceTypeOpenVino --device_type kDeviceTypeCodeX86:0 --model_type kModelTypeOnnx --is_path --model_value PATH/model_zoo/detect/yolo/yolov5s.onnx --input_type kInputTypeImage  --input_path PATH/test_data/detect/sample.jpg --output_path PATH/temp/sample_output.jpg

// tensorrt 推理
./demo_nndeploy_detect --name NNDEPLOY_YOLOV5 --inference_type kInferenceTypeTensorRt --device_type kDeviceTypeCodeCuda:0 --model_type kModelTypeOnnx --is_path --model_value PATH/model_zoo/detect/yolo/yolov5s.onnx --input_type kInputTypeImage  --input_path PATH/test_data/detect/sample.jpg --output_path PATH/temp/sample_output.jpg

// tensorrt 推理
./demo_nndeploy_detect --name NNDEPLOY_YOLOV5 --inference_type kInferenceTypeMnn --device_type kDeviceTypeCodeX86:0 --model_type kModelTypeMnn --is_path --model_value PATH/model_zoo/detect/yolo/yolov5s.onnx.mnn --input_type kInputTypeImage  --input_path PATH/test_data/detect/sample.jpg --output_path PATH/temp/sample_output.jpg

注：请将上述PATH更换为自己对应的目录

cd PATH/nndeploy/build/install/bin
export LD_LIBRARY_PATH=PATH/nndeploy/build/install/bin:$LD_LIBRARY_PATH
// onnxruntime 推理
./demo_nndeploy_detect --name NNDEPLOY_YOLOV5 --inference_type kInferenceTypeOnnxRuntime --device_type kDeviceTypeCodeX86:0 --model_type kModelTypeOnnx --is_path --model_value PATH/model_zoo/detect/yolo/yolov5s.onnx --input_type kInputTypeImage  --input_path PATH/test_data/detect/sample.jpg --output_path PATH/temp/sample_output.jpg

// openvino 推理
./demo_nndeploy_detect --name NNDEPLOY_YOLOV5 --inference_type kInferenceTypeOpenVino --device_type kDeviceTypeCodeX86:0 --model_type kModelTypeOnnx --is_path --model_value PATH/model_zoo/detect/yolo/yolov5s.onnx --input_type kInputTypeImage  --input_path PATH/test_data/detect/sample.jpg --output_path PATH/temp/sample_output.jpg

// tensorrt 推理
./demo_nndeploy_detect --name NNDEPLOY_YOLOV5 --inference_type kInferenceTypeTensorRt --device_type kDeviceTypeCodeCuda:0 --model_type kModelTypeOnnx --is_path --model_value PATH/model_zoo/detect/yolo/yolov5s.onnx --input_type kInputTypeImage  --input_path PATH/test_data/detect/sample.jpg --output_path PATH/temp/sample_output.jpg

// MNN 推理
./demo_nndeploy_detect --name NNDEPLOY_YOLOV5 --inference_type kInferenceTypeMnn --device_type kDeviceTypeCodeX86:0 --model_type kModelTypeMnn --is_path --model_value PATH/model_zoo/detect/yolo/yolov5s.onnx.mnn --input_type kInputTypeImage  --input_path PATH/test_data/detect/sample.jpg --output_path PATH/temp/sample_output.jpg

注：请将上述PATH更换为自己对应的目录

• TNN
• FastDeploy
• opencv
• CGraph
• tvm
• mmdeploy

• 欢迎大家参与，一起打造最简单易用、高性能的机器学习部署框架
• 微信：titian5566，备注：nndeploy