Releases: Deep-Spark/DeepSparkInference
Releases · Deep-Spark/DeepSparkInference
DeepSparkInference 25.12 Release
DeepSparkInference 25.12
模型与算法
- 新增了 15 个推理小模型示例，其中支持 IGIE 推理引擎的 9 个，支持 ixRT 推理引擎的 6 个。
- 新增了 8 个大语言模型推理示例，其中 7 个使用 vLLM，1 个使用 Diffusers。
| ixRT | ||
|---|---|---|
| DeepSort | FastReID | Transformer |
| YOLOF | YOLOv12 | YOLOv13 |
| IGIE | ||
| EfficientNet-B7 | FreeAnchor | RegNet_X_800MF |
| RegNet_X_8GF | PISA | YOLOv8-N |
| YOLOv9 | YOLOv10 | YOLOv11 |
| LLM | ||
| NVLM-D (vLLM) | PaliGemma (vLLM) | Phi-3 Vision (vLLM) |
| Pixtral (vLLM) | Qwen3Moe (vLLM) | Stable Diffusion 3 (Diffusers) |
| Step3-VL (vLLM) | XLM-RoBERTa (vLLM) | |
修复更新
- 新增了对模型推理的 batchsize 参数配置的支持，并在 CI 中添加相应测试 (#ID8SDF, #IDBGCP)
- 新增了 vLLM 推理模型的 benchmark 脚本支持 (#ID8TTL)
- 优化了 21 个推理小模型的 README 指导文档说明 (#IDBBZV)
- 更新了 Conformer IGIE 和 BERT Large SQuAD ixRT 模型失效的链接 (#ID8KFK, #ID9RDW)
- 修复了 CosyVoice2-0.5B 模型推理报错的问题 (#ID5Y84)
- 修复了 Fuyu-8B 模型推理报错的问题 (#ID5Y8O)
- 修复了 YOLOv8 ixRT 模型推理日志中的警告打印问题 (#IDC1OI)
- 修复了 Conformer 模型解读异常问题 (#ID9RDQ)
- 修复了 EfficientNet-B1 和 YOLOv4 模型 int8 推理精度异常的问题 (#ID912Z)
- 修复了 ResNetV1d-50 和 RetinaFace ixRT 模型推理报错的问题 (#ID931D, #ID94XO)
- 修复了 YOLO 系列模型在在 PyTorch 2.7 环境导出 ONNX 时的兼容报错问题 (#ID95LK)
- 修复了 8 个推理小模型在 CI 上运行报错的问题 (#ID9DH4)
- 修复了 YOLOv4 ixRT 模型量化 ONNX 报错的问题 (#IDA3BX)
- 修复了 YOLOv10 ixRT 模型 dynamic shape 的问题（#IDAOW0）
版本关联
DeepSparkInference 25.12 对应天数软件栈 4.3.0 版本。
感谢以下社区贡献者
YoungPeng，anders，fhfang，郭寒冰，qiang.zhang，majorli6，honglyua。
DeepSparkInference 25.09 Release Notes
25.09 Release Notes
模型与算法
- 新增了19个推理小模型示例，其中支持IGIE推理引擎的12个，支持ixRT推理引擎的7个。
- 新增了11个大语言模型推理示例，涉及FastDeploy、LMDeploy和vLLM等框架。
| ixRT | ||
|---|---|---|
| ATSS | CLIP | CSPResNeXt50 |
| EfficientNet-B4 | EfficientNet-B5 | PAA |
| RetinaNet | ||
| IGIE | ||
| EfficientNet-B6 | MNASNet1_3 | Regnet_x_32gf |
| Regnet_x_400mf | Regnet_y_3_2gf | Regnet_y_32gf |
| RegNet_y_400mf | SSD | VGG13 |
| VGG13_BN | YOLOF | YOLOv13 |
| 大模型 | ||
| CosyVoice2-0.5B | E5-V (vLLM) | ERNIE-4.5-21B-A3B (FastDeploy) |
| ERNIE-4.5-300B-A47B (FastDeploy) | GLM-4V (vLLM) | InternLM3 (LMDeploy) |
| MiniCPM-o-2_6 (vLLM) | Qwen-VL (vLLM) | Qwen2-VL (vLLM) |
| Qwen2.5-VL (vLLM) | Whisper (vLLM) | |
修复更新
- 修复了BERT Large SQuAD模型链接404问题 (#ICSF66)
- 修复了4.3.0容器环境下部分模型的依赖缺失问题
- 修复了MViTv2-base模型推理异常的问题
- 更新了CLIP模型的最新代码
- 更新了ByteMLPerf工具箱中optimizer的代码出处 (#ICKHTC)
- 更新了4.3.0适用大/小模型推理的Docker使用说明 (#ICLDBK)
版本关联
DeepSparkInference 25.09对应天数软件栈4.3.0版本。
感谢以下社区贡献者
YoungPeng，fhfang，郭寒冰，qiang.zhang，majorli6，honglyua。
DeepSparkInference 25.06 Release
25.06 Release Notes
模型与算法
- 新增了24个推理小模型示例，其中支持IGIE推理引擎的15个，支持IxRT推理引擎的9个。
- 新增了6个基于vLLM的大语言模型推理示例，其中3个为多模态模型。
| IGIE | |||
|---|---|---|---|
| ConvNext_Tiny | CSPResNeXt50 | EfficientNet_B5 | |
| GFL | MNASNet1_0 | Regnet_x_3_2gf | |
| Regnet_y_16gf | SqueezeNet1_1 | Twins_PCPVT | |
| UNet | VAN_B0 | VGG19 | |
| ViT | VGG19_BN | YOLOv12 | |
| IxRT | |||
| ResNeXt101_32x8d | ResNeXt101_64x4d | ShuffleNetV2_x0_5 | |
| ShuffleNetV2_x1_0 | ShuffleNetV2_x1_5 | ShuffleNetV2_x2_0 | |
| YOLOv9 | YOLOv10 | YOLOv11 | |
| 大模型 | |||
| Aria (vLLM) | H2OVLChatModel (vLLM) | Idefics3-8B-Llama3 (vLLM) | |
| Llama-3.2 (vLLM) | MiniCPM-V2 (vLLM) | Pixtral-12B-2409 (vLLM) | |
修复更新
- 修复了模型代码中的绝对路径的问题。
- 修复了EfficientNetV2模型依赖timm版本的问题。
- 修复了GoogleNet和InceptionV3模型（IGIE）的编译报错问题。
- 更新了stable-diffusion-v1-5模型在huggingface上的链接。
- 更新了MiniCPM-V2推理模型代码示例。
- 优化了IxRT和IGIE中视觉分类模型的公共代码避免重复。
- 增加了DeepSparkInference全部模型的json配置文件。
- 增加了模型库首页的英文版README文档。
版本关联
DeepSparkInference 25.06对应天数软件栈4.2.0版本。
感谢以下社区贡献者
YoungPeng，majorli6，honglyua，qiang.zhang。
DeepSparkInference 25.03 Release
25.03 Release Notes
模型与算法
- 新增了25个推理小模型示例，其中支持IGIE推理引擎的15个，支持IxRT推理引擎的10个。
- 新增了11个大模型推理示例，其中6个为DeepSeek-R1蒸馏模型。
| IGIE | |||
|---|---|---|---|
| CSPResNet50 | ConvNeXt_S | EfficientNet_b4 | |
| HRNetPose | MNASNet0_75 | Mixer_B | |
| Regnet_x_16gf | ResNeXt101_32x8d | SABL | |
| ShuffleNetv2_x2_0 | SqueezeNet1_0 | SVT_base | |
| VGG11 | Wide_ResNet101 | YOLOv11 | |
| IxRT | |||
| ConvNeXt-Base | DeiT-tiny | DenseNet201 | |
| EfficientNet-B3 | EfficientNetv2_rw_t | EfficientNetv2_s | |
| FoveaBox | FSAF | HRNet | |
| RetinaFace | |||
| 大模型 | |||
| DeepSeek-R1-Distill-Llama-8B | DeepSeek-R1-Distill-Llama-70B | DeepSeek-R1-Distill-Qwen-1.5B | |
| DeepSeek-R1-Distill-Qwen-7B | DeepSeek-R1-Distill-Qwen-14B | DeepSeek-R1-Distill-Qwen-32B | |
| Chameleon-7B | Fuyu-8B | InternVL2-4B | |
| LLaVA | LLaVA-Next-Video-7B | ||
问题修复
- 新增了IxRT的NLP推理模型的自动化测试运行脚本。
- 优化了IGIE推理模型自动化测试的运行脚本。
- 修复了onnxruntime 1.17.1导致的quantize fail问题。
- 修复了BERT模型在INT8精度下的问题。
- 修复了YOLOv6 IGIE模型运行推理脚本报错的问题。
- 修复了mmpretraino 0.24.0与mmcv 2.1.0版本不兼容问题。
- 修复了ChatGLM3-6B-32k模型中的中文乱码问题。
- 修复了vLLM模型中SamplingParams的初始化问题。
- 更新了所有模型README文档格式，补充了模型所支持的IXUCA SDK版本。
版本关联
DeepSparkInference 25.03对应天数软件栈4.2.0版本。
感谢以下社区贡献者
YoungPeng，majorli6，xinchi.tian，xiaomei.wang，honglyua，qiang.zhang。
DeepSparkInference 24.12 Release
24.12 Release Notes
模型与算法
● 新增了24个推理小模型示例，其中支持IGIE推理引擎的15个，支持IxRT推理引擎的9个。
● 新增了9个大语言模型的推理示例，其中支持vLLM的8个，支持ixFormer的1个。
| IGIE | |||
|---|---|---|---|
| ConvNeXt-Base | DenseNet201 | EfficientNet-B3 | |
| EfficientNetV2-S | MNASNet0_5 | MViTv2_base | |
| Regnet_y_1_6gf | ResNetV1_D50 | ResNeXt101_64x4d | |
| ShuffleNetV2_x1_5 | Kie_layoutXLM | Rec_SVTR | |
| YOLOv9 | YOLOv10 | PAA | |
| IxRT | |||
| CenterNet | OpenPose | RTMPose | |
| CSPDarkNet53 | DensNet161 | DensNet169 | |
| EfficientNetB2 | ResNeXt50_32x4d | ConvNeXt-Small | |
| 大模型推理 | |||
| CLIP (IxFormer) | ChatGLM3-6B-32K (vLLM） | Llama2-7B (vLLM) | |
| MiniCPM-V-2 (vLLM） | Qwen-7B (vLLM) | Qwen1.5-32B-Chat (vLLM） | |
| Qwen2-72B-Instruct (vLLM） | Qwen2-7B-Instruct (vLLM） | StableLM2-1.6B (vLLM） | |
问题修复
● 新增了IGIE推理模型自动化测试的运行脚本。
● 修复了YOLOv8 IxRT模型运行推理脚本报错的问题。
● 更新了YOLOv9和YOLOv10的IGIE模型的配置文件。
● 完善了IxRT模型BERT，Mask RCNN，MobileNetV2和YOLOX的end2end推理时间打印。
版本关联
DeepSparkInference 24.12对应天数软件栈4.1.2版本。
感谢以下社区贡献者
YoungPeng，majorli6，xinchi.tian，xiaomei.wang，honglyua，qiang.zhang。
DeepSparkInference 24.09 Release
24.09 Release Notes
模型与算法
- 新增了29个推理小模型示例，其中支持IGIE推理引擎的15个，支持IxRT推理引擎的14个。
| IGIE | |||||
|---|---|---|---|---|---|
| ATSS | ConvNeXt-Small | CSPDarkNet50 | DeiT-tiny | ||
| DenseNet169 | EfficientNet-B2 | EfficientNetV2-M | FCOS | ||
| FSAF | RepVGG | RetinaFace | RTMDet | ||
| RTMPose | SEResNet50 | ShuffleNet_V2_X1_0 | |||
| IxRT | |||||
| ALBERT | Conformer | DeBERTa | FaceNet | ||
| RoBERTa | RoFormer | Swin Transformer Large | Transformer ASR | ||
| VideoBERT | Wide_ResNet50 | Wide&Deep | YOLOv4 | ||
| YOLOv6 | YOLOv8 | ||||
- 新增了5个大语言模型的推理示例。
- Llama3-70B (TensorRT-LLM)
- Qwen1.5-7B (Text Generation Inference)
- Qwen1.5-7B (vLLM)
- Qwen1.5-14B (vLLM)
- Qwen1.5-72B (vLLM)
问题修复
- 修复了BERT Base SQUAD模型在NV环境上int8精度异常的问题。
- 修复了Mask RCNN模型在NV 24.04环境上运行编译报错的问题。
- 修复了CLIP IGIE模型对transformers版本有依赖的问题。
- 完善了IxRT部分模型的end2end推理时间打印。
版本关联
DeepSparkInference 24.09对应天数软件栈4.1.2版本。
感谢以下社区贡献者
YoungPeng，majorli，xinchi.tian，xiaomei.wang，wenfeng.zhang，haoyanlong，qiang.zhang。
DeepSparkInference 24.06 Release
24.06 Release Notes
模型与算法
- 新增了31个推理小模型示例，其中支持IGIE推理引擎的16个，支持IxRT推理引擎的15个。
| IGIE | |||||
|---|---|---|---|---|---|
| CenterNet | DenseNet161 | EfficientNet_b1 | EfficientNet_rw_t | ||
| FoveaBox | HRNet | MobileNetv3_Large | MobileNetv3_Small | ||
| Regnet_x_1_6gf | RepNet | Res2Net50 | ResNeSt50 | ||
| ResNet101 | ResNet152 | ShuffleNetv2_x0_5 | Wide_ResNet50 | ||
| IxRT | |||||
| BERT Base SQuAD | DenseNet | DETR | EfficientNet_V2_t | ||
| FCOS | HRNet | Inception_ResNet_V2 | InceptionV3 | ||
| ResNet_V1_D50 | SoloV1 | SqueezeNet_v1.1 | YOLOv3 | ||
| YOLOv5m | YOLOv5s | YOLOv7 | |||
- 新增了4个大语言模型的推理示例。
- Baichuan2-7B (vLLM)
- ChatGLM-3-6B (vLLM)
- Llama2-7B (TensorRT-LLM)
- Qwen-7B (Text Generation Inference)
问题修复
- 修复了YOLOX IxRT 插件编译会报错的问题。
- 完善了libGL依赖在Ubuntu上安装的帮助说明。
版本关联
DeepSparkInference 24.06对应天数软件栈4.0.0版本。
感谢以下社区贡献者
YoungPeng，majorli，xinchi.tian，tianxi-yi，may，xiaomei.wang，cheneychen2023，qiang.zhang。
DeepSparkInference 24.03 Release
24.03 Release Notes
模型与算法
- 新增了48个推理模型示例，其中支持IGIE推理引擎的28个，支持IxRT推理引擎的20个。
| IGIE | |||||
|---|---|---|---|---|---|
| AlexNet | BERT Base NER | BERT Base SQuAD | BERT Large SQuAD | ||
| CLIP | Conformer | Conformer-B | DeepSort | ||
| DenseNet121 | EfficientNet-B0 | FastReID | GoogLeNet | ||
| HRNet-W18 | InceptionV3 | MobileNetV2 | ResNet18 | ||
| ResNet50 | ResNeXt50_32x4d | RetinaNet | Swin Transformer | ||
| VGG16 | YOLOv3 | YOLOv4 | YOLOv5 | ||
| YOLOv6 | YOLOv7 | YOLOv8 | YOLOX | ||
| IxRT | |||||
| AlexNet | BERT Base SQuAD | BERTLarge SQuAD | CSPResNet50 | ||
| EfficientNet-B0 | EfficientNet-B1 | GoogLeNet | Mask R-CNN | ||
| MobileNetV2 | MobileNetV3 | RepVGG | Res2Net50 | ||
| ResNet101 | ResNet18 | ResNet34 | ResNet50 | ||
| ShufflenetV1 | SqueezeNet 1.0 | VGG16 | YOLOX | ||
版本关联
DeepSparkInference 24.03对应天数软件栈4.0.0版本。