Firefly开源社区

标题: ROC-RK3566安卓RKNN模型例程无法使用，且会导致重启 [打印本页]
作者: zwmasdf    时间: 2021-8-20 15:40
标题: ROC-RK3566安卓RKNN模型例程无法使用，且会导致重启
本帖最后由 zwmasdf 于 2021-8-20 15:45 编辑

如题，安卓RKNN模型无法按照例程跑，主要有以下几个问题
一、rknnrt/examples/rknn_mobilenet_demo下的例程无法编译,按照ReadMe.md的步骤无法完成CMake的编译
       主要修改了：ANDROID_NDK_PATH=......../Android/Sdk,这里不管指向Sdk还是指向Sdk/ndk、21.4.7075529都无法导致编译成功，
       然后尝试修改了19行的cmake为C:/Users/R190095/AppData/Local/Android/Sdk/cmake/3.10.2.4988404/bin/cmake还是无法编译成功，
       提示无法找到....../Android/Sdk/platforms/android-24,然后去Sdk/platforms下找，发现没有android-24的文件夹,至此，放弃该编译方式。
       使用第二种NDK+Cmake编译
二、使用Android Studio新建Native C++工程
       修改app/build.gradle,修改如下:
  1. defaultConfig {
  2.     ......
  3.     externalNativeBuild {
  4.         cmake {
  5.             cppFlags ''
  6.             abiFilters 'armeabi-v7a', "arm64-v8a"
  7.         }
  8.     }

  10.     ndk {
  11.         abiFilters 'armeabi-v7a', "arm64-v8a"
  12.     }
  13. }
复制代码
   然后将rknn相关lib和头文件加到工程中，如图所示
   
    然后修改CMakeList.txt,代码如下:
  1. cmake_minimum_required(VERSION 3.10.2)

  3. project("mytest")

  5. add_library(
  6.         mytest
  7.         SHARED
  8.         native-lib.cpp)

  10. include_directories(${CMAKE_SOURCE_DIR}/include)

  12. add_library(rknn_api_android #这里不管有没有android后缀都一样
  13.         SHARED
  14.         IMPORTED)

  16. set_target_properties(rknn_api_android #这里不管有没有android后缀都一样
  17.         PROPERTIES IMPORTED_LOCATION
  18.         ${CMAKE_SOURCE_DIR}/lib/${ANDROID_ABI}/librknn_api_android.so) #这里不管有没有android后缀都一样

  20. add_library(rknnrt
  21.         SHARED
  22.         IMPORTED)

  24. set_target_properties(rknnrt
  25.         PROPERTIES IMPORTED_LOCATION
  26.         ${CMAKE_SOURCE_DIR}/lib/${ANDROID_ABI}/librknnrt.so)

  28. find_library(
  29.         log-lib
  30.         log)

  32. target_link_libraries(
  33.         mytest

  35.         rknn_api_android  #这里不管有没有android后缀都一样
  36.         rknnrt

  38.         ${log-lib})
复制代码
   接着修改native-lib.cpp代码，内容如下:
   
  1. #include <jni.h>
  2. #include <string>
  3. #include <android/log.h>
  4. #include <pthread.h>

  6. #include "rknn_api.h"

  8. #define TAG "NATIVE_LIB"

  10. #define LOGD(...) __android_log_print(ANDROID_LOG_DEBUG, TAG, __VA_ARGS__)

  12. static unsigned char *load_model(const char *filename, int *model_size)
  13. {
  14.     FILE *fp = fopen(filename, "rb");
  15.     if(fp == nullptr) {
  16.         LOGD("fopen %s fail!\n", filename);
  17.         return nullptr;
  18.     }
  19.     fseek(fp, 0, SEEK_END);
  20.     int model_len = ftell(fp);
  21.     unsigned char *model = (unsigned char*)malloc(model_len);
  22.     fseek(fp, 0, SEEK_SET);
  23.     if(model_len != fread(model, 1, model_len, fp)) {
  24.         LOGD("fread %s fail!\n", filename);
  25.         free(model);
  26.         return nullptr;
  27.     }
  28.     *model_size = model_len;
  29.     fclose(fp);
  30.     return model;
  31. }

  33. void* test(void *arg) {
  34.     int model_len = 0;
  35.     unsigned char *model = nullptr;
  36.     rknn_context ctx;
  37.     int ret;

  39.     model = load_model("/vendor/model/mobilenet_v1.rknn", &model_len);
  40.     if(!model) {
  41.         LOGD("load model failed\n");
  42.         return nullptr;
  43.     }
  44.     LOGD("load model ok");
  45.     ret = rknn_init(&ctx, model, model_len, 0, nullptr);
  46.     if(ret < 0) {
  47.         LOGD("rknn_init fail! ret=%d\n", ret);
  48.         return nullptr;
  49.     }
  50.     LOGD("rknn_init ok");
  51.     return nullptr;
  52. }

  54. extern "C" JNIEXPORT jstring JNICALL
  55.         Java_com_example_mytest_MainActivity_stringFromJNI(
  56.     JNIEnv* env,
  57.     jobject /* this */) {
  58.     std::string hello = "Hello from C++";
  59.     LOGD("hello");
  60.     int err;
  61.     pthread_t ntid;
  62.     err = pthread_create(&ntid, nullptr, test, nullptr);
  63.     if (err != 0) {
  64.         LOGD("can't create thread: %s\n", strerror(err));
  65.     }

  67.     return env->NewStringUTF(hello.c_str());
  68. }
复制代码

    然后使用adb root && adb remount激活root(前提是安卓启用开发者并启用root)
    接着把rknn_mobilenet_demo下的model文件夹通过adb push model /vendor/拷贝到开发板内
    接着adb push Android/rknn_server/${BOARD_ARCH}/rknn_server到/vendor/bin目录,这里试了切换不同架构的rknn_server也不行
    然后adb push Android/librknn_api/${BOARD_ARCH}/librknnrt.so到/vendor/lib64（64位系统特有）和/vendor/lib目录,换架构也不行
    然后adb shell进入控制台, 并通过su切换成root, 接下来执行:
           chmod 777 /vendor/bin/rknn_server
           setenforce 0
           /vendor/bin/rknn_server &
    然后编译安卓程序，运行后控制台依次打印hello和load model ok，然后卡住了，app上也没显示Hello from C++
    然后过了几秒钟开发板重启了，尝试切换架构，push不同的文件到开发板，都不行
    后来去/vendor/lib和/vendor/lib64下看librknnrt.so文件属性，发现都是只读的，而且无法删除


以上是尝试调用rknn的过程，但是一直以失败而告终，请求支持

作者: zyk    时间: 2021-8-20 16:29
不建议使用太新的NDK版本，参考脚本的版本android-ndk-r16b
作者: zwmasdf    时间: 2021-8-20 16:37
zyk 发表于 2021-8-20 16:29
不建议使用太新的NDK版本，参考脚本的版本android-ndk-r16b

那问题二重启又是咋回事
作者: zyk    时间: 2021-8-20 17:13
固件是什么版本，跑官方demo是否会重启
作者: zwmasdf    时间: 2021-8-20 17:32
Firefly版本为:
rk3566_roc_pc/Android11.0/V1.0.2106160927/8849e45f60b4
版本号:
rk3566_roc_pc-userdebug 11 RQ1D.210105.003.eng.lzf.20210616.092756 release-keys
跑官方demo直接失败了,demo从:https://www.t-firefly.com/doc/download/103.html#other_478下载下来的
但是跑官方demo也会重启，步骤如下:
adb root
adb remount
adb push ./rknn_ssd_demo /vendor
adb push ./model /vendor
adb shell
su
setenforce 0
/vendor/bin/rknn_server &
cd /vendor
chmod 777 rknn_ssd_demo
./rknn_ssd_demo ./model/ssd_inception_v2.rknn  ./model/road.bmp
作者: zyk    时间: 2021-8-21 08:57
更新到最新的固件试试
作者: zwmasdf    时间: 2021-8-23 08:19
zyk 发表于 2021-8-21 08:57
更新到最新的固件试试

ROC-3566的安卓固件百度云提取码有误
作者: zyk    时间: 2021-8-23 09:15
提取码可以正常操作，请检查输入是否有误
作者: zwmasdf    时间: 2021-8-23 13:34
zyk 发表于 2021-8-23 09:15
提取码可以正常操作，请检查输入是否有误

3566和3568固件通用吗
作者: zwmasdf    时间: 2021-8-23 16:32
zyk 发表于 2021-8-23 09:15
提取码可以正常操作，请检查输入是否有误

现在不会重启了，但是rknn_init()返回-7，不知道是什么原因，换rknn模型也不行
作者: zyk    时间: 2021-8-23 16:54
按wiki教程走一下看一下是否有遗漏的步骤https://wiki.t-firefly.com/ROC-RK3566-PC/usage_npu.html
作者: zwmasdf    时间: 2021-8-24 08:23
zyk 发表于 2021-8-23 16:54
按wiki教程走一下看一下是否有遗漏的步骤https://wiki.t-firefly.com/ROC-RK3566-PC/usage_npu.html

找到问题了，但是文档有自相矛盾的地方,rknnrt/doc/Rockchip_RK356X_User_Guide_RKNN_API_V1.1.0_CN.pdf中3.3.1章节安卓平台要求应用链接librknn_api_android.so,但是实际就是rknn_init返回错误，改成librknn_api.so就不会rknn_init错误了，请问两者有何区别，为什么文档描述的是错误的。
作者: zyk    时间: 2021-8-24 08:56
如文档描述，是否有生成相应的库

  1. /system/lib/librknn_api_android.so
  2. /system/lib/librknnhal_bridge.rockchip.so
  3. /system/lib64/librknn_api_android.so
  4. /system/lib64/librknnhal_bridge.rockchip.so
  5. /vendor/lib64/rockchip.hardware.neuralnetworks@1.0.so
  6. /vendor/lib64/rockchip.hardware.neuralnetworks@1.0-adapter-helper.so
  7. /vendor/lib64/librknnrt.so
  8. /vendor/lib64/hw/rockchip.hardware.neuralnetworks@1.0-impl.so
复制代码


作者: zwmasdf    时间: 2021-8-24 09:48
zyk 发表于 2021-8-24 08:56
如文档描述，是否有生成相应的库

我是直接用下载的资料里的库的，但是按照文档链接librknn_api_android.so是不行的，一定要链接librknn_api.so才行，这是什么原因呢，两者有何区别
作者: zyk    时间: 2021-8-24 10:07
本帖最后由 zyk 于 2021-8-24 10:08 编辑

  2. <div>
  3. <div>#链接librknnrt.so</div></div><div><div>rknn_ssd_demo_Android
  4.     ├── lib
  5.     │&nbsp;&nbsp; ├── librknn_api.so -> librknnrt.so
  6.     │&nbsp;&nbsp; └── librknnrt.so
  7.     ├── model
  8.     │&nbsp;&nbsp; ├── box_priors.txt
  9.     │&nbsp;&nbsp; ├── coco_labels_list.txt
  10.     │&nbsp;&nbsp; ├── road.bmp
  11.     │&nbsp;&nbsp; └── ssd_inception_v2.rknn
  12.     └── rknn_ssd_demo
  13. </div></div>
复制代码




欢迎光临 Firefly开源社区 (https://dev.t-firefly.com/) Powered by Discuz! X3.1