Firefly开源社区

标题: RK3588 RedeceMax OP在CPU上运行，耗时过大 [打印本页]

作者: elodie 时间: 2022-8-24 14:03
标题: RK3588 RedeceMax OP在CPU上运行，耗时过大
在简单的自定网络结构中，需要实现(B, C, H, W) 降维成 (B, C, W)
使用ReduceMax OP + Reshape OP来实现此功能，发现ReduceMax OP是在CPU上运行的，耗时很大（约140ms）。

在rk3588开发板上实测结果如下：

D RKNN: [11:25:59.947] ID OpType          DataType Target InputShape                                  OutputShape          DDR Cycles    NPU Cycles    Total Cycles Time(us)    MacUsage(%) RW(KB)       FullName
D RKNN: [11:25:59.947] 0 InputOperator INT8    CPU \                                           (1,10,32,10000)       0             0             0             4             \             5000.00       InputOperator:voxels_input
D RKNN: [11:25:59.947] 1 ConvRelu       INT8    NPU (1,10,32,10000),(64,10,1,1),(64)          (1,64,32,10000)       811751       200000       811751       3871          6.89          25001.50    Conv:Conv_0
D RKNN: [11:25:59.947] 2 ReduceMax       INT8    CPU (1,64,32,10000)                            (1,64,1,10000)       0             0             0             139036       \             20625.00    ReduceMax:ReduceMax_2
D RKNN: [11:25:59.947] 3 Reshape       INT8    CPU (1,64,1,10000),(4)                         (1,64,10000,1)       0             0             0             1048          \             1250.03       Reshape:Squeeze_3_2reshape
D RKNN: [11:25:59.947] 4 OutputOperator INT8    CPU (1,64,10000,1)                            \                   0             0             0             40          \             625.00       OutputOperator:pillar_features
D RKNN: [11:25:59.947] Total Operator Elapsed Time(us): 143999

------------------------------------------------------------------------------------------------------------------------------------------------------------------
另外，采用Maxpool替换ReduceMax OP，同样发现在CPU上运行，耗时很大（约130ms）。在rk3588开发板上实测结果如下：

D RKNN: [13:11:54.589] ID OpType          DataType Target InputShape                                  OutputShape          DDR Cycles    NPU Cycles    Total Cycles Time(us)    MacUsage(%) RW(KB)       FullName
D RKNN: [13:11:54.589] 0 InputOperator INT8    CPU \                                           (1,10,32,10000)       0             0             0             4             \             5000.00       InputOperator:voxels_input
D RKNN: [13:11:54.589] 1 ConvRelu       INT8    NPU (1,10,32,10000),(64,10,1,1),(64)          (1,64,32,10000)       811751       200000       811751       3873          6.89          25001.50    Conv:Conv_0
D RKNN: [13:11:54.589] 2 MaxPool       INT8    CPU (1,64,32,10000)                            (1,64,1,10000)       0             0             0             130099       \             20625.00    MaxPool:MaxPool_2
D RKNN: [13:11:54.589] 3 Reshape       INT8    CPU (1,64,1,10000),(4)                         (1,64,10000,1)       0             0             0             779          \             1250.03       Reshape:Squeeze_3_2reshape
D RKNN: [13:11:54.589] 4 OutputOperator INT8    CPU (1,64,10000,1)                            \                   0             0             0             28          \             625.00       OutputOperator:pillar_features
D RKNN: [13:11:54.589] Total Operator Elapsed Time(us): 134783

------------------------------------------------------------------------------------------------------------------------------------------------------------------

请问能否优化，使得reducemax op在NPU上运行，提高速度。另外，为何使用maxpool op是在CPU上运行而非NPU？

tchip_askquestions

log.zip

3.91 KB, 下载次数: 0, 下载积分: 灯泡 -1 , 经验 -1

作者: Liuth 时间: 2022-8-24 14:29
你好像用错工具了，3588 应该使用二代的工具，rknn-toolkit2-v1.3.0，你用的是一代

作者: elodie 时间: 2022-8-25 14:23

Liuth 发表于 2022-8-24 14:29
你好像用错工具了，3588 应该使用二代的工具，rknn-toolkit2-v1.3.0，你用的是一代

抱歉，填错了相关信息。使用的工具是rknn-toolkit2 RK_NPU_SDK_1.3.0

下载链接：https://eyun.baidu.com/enterpris ... =202205053973938618
fetch code: rknn

欢迎光临 Firefly开源社区 (https://dev.t-firefly.com/)