Firefly开源社区

RK3399 PRO快速开发 - 车牌识别

566

积分

1

威望

0

贡献

社区版主

Rank: 7Rank: 7Rank: 7

积分
566
发表于 2019-12-6 11:12:26     
简介
Rock-X SDK 是基于 RK3399Pro/RK1808 平台的一套 AI 组件库。开发者通过 Rock-X SDK提供的 API 接口能够快速构建 AI 应用。

Rock-X下载地址:https://pan.baidu.com/s/1brKNqxBYDmElm-A56DLu4Q 提取码:ji14  

Rock-X SDK 主要功能
类别
功能
目标检测人头检测、人车物检测
人脸人脸关键点、人脸属性分析、人脸识别
车牌车牌检测、车牌识别
人体关键点人体骨骼关键点、手指关键点


be7f3dde4459651ad1a9cf1982742276.jpg


本篇是使用Rock-X SDK进行车牌识别快速开发的过程,使用自定义或其它的模型的请使用rknn-toolkit和rknn-api进行开发(链接: http://wiki.t-firefly.com/zh_CN/3399pro_npu/)。

性能指标
车牌识别性能
数据集
性能指标
CCPD83.31%(8331/10000)

注:  
1. CCPD(Chinese City Parking Dataset)是国内车牌数据集,从中随机抽取 10000 张进行测试。  
2. 支持识别国内蓝色、绿色和黄色车牌。  
3. 可识别的车牌字符如下表所示。  
字符类别
可识别字符
省份中文字符京 沪 津 渝 冀 晋 蒙 辽 吉 黑 苏 浙 皖
闽 赣 鲁 豫 鄂 湘 粤 桂 琼 川 贵 云 藏 陕 甘 青 宁 新
数字和字母0 1 2 3 4 5 6 7 8 9 A B C D E F G
H J K L M N P Q R S T U V W X Y Z
车牌用途中文字符港 学 使 警 澳 挂 军 北 南 广 沈 兰 成 济 海 民 航 空


调用过程
flowchart.png


硬件准备
AIO-3399ProC + 摄像头


AIO-3399ProC 摄像头.jpg


相关代码
以下为Android的相关代码,完整代码在/RockX_SDK_V1.1.0_20191115/demo/rk3399pro_android_demo/rockx-android-demo-carplate_recognition.zip。

此demo功能是从摄像头获取图像数据,检测图像中的车牌,然后进行车牌对齐和识别,最后显示识别的结果。  

详细的函数定义和相关数据结构请参考:/RockX_SDK_V1.1.0_20191115/doc/rockx_api_doc/html/index.html

1. 初始化
  1. public void create() {
  2.     mModelPath = installRockxData(mContext);
  3.     mRockXPlateDetectionModule = native_create_rockx_module(mModelPath, ROCKX_MODULE_CARPLATE_DETECTION);
  4.     mRockXCarplateOnetModule = native_create_rockx_module(mModelPath, ROCKX_MODULE_CARPLATE_ALIGN);
  5.     mRockXCarplateRecogModule = native_create_rockx_module(mModelPath, ROCKX_MODULE_CARPLATE_RECOG);
  6. }
复制代码
程序会调用如上实现的RockX.create()方法创建车牌检测、车牌矫正对齐和车牌识别模块。其中RockX.native_create_rockx_module()实现为Java_com_rockchip_gpadc_demo_rockx_RockX_native_1create_1rockx_1module(),其调用Rock-X的API rockx_create()生成对应模块的实例。

2. 检测车牌
程序在java层调用RockX.detectCarplate()进行检测车牌,RockX.detectCarplate()实际是RockX.native_plate_detect()的封装,实际是RockX.native_plate_detect()部分实现如下:
  1. extern "C"
  2. JNIEXPORT jint JNICALL Java_com_rockchip_gpadc_demo_rockx_RockX_native_1plate_1detect
  3.         (JNIEnv *env, jobject obj, jlong handle, jbyteArray inData, jint inWidth, jint inHeight, jint inPixelFmt,
  4.          jobject detectObjectList) {

  5.     .. // 省略部分代码
  6.     rockx_ret_t ret = rockx_carplate_detect((rockx_handle_t)handle, &input_image, &object_array, nullptr);
  7.     if (ret != ROCKX_RET_SUCCESS) {
  8.         LOGE("rockx_face_detect error %d\n", ret);
  9.         return -1;
  10.     }

  11.     object_array_c2j(env, &object_array, detectObjectList, inWidth, inHeight);

  12.     env->ReleaseByteArrayElements(inData, in_data, JNI_ABORT);

  13.     return 0;
  14. }
复制代码
程序调用的是Rock-X的API rockx_carplate_detect()进行检测车牌,省略的部分是数据结构的初始化和填充,返回的结果为object_array,通过object_array_c2j()赋值给detectObjectList传回java层。

3. 车牌对齐和识别
车牌对齐和识别分别调用的是Rock-X的rockx_carplate_align()和rockx_carplate_recognize()进行的。  在java层,程序调用RockX.recogCarplate()将检测到的车牌进行对齐和识别。  RockX.recogCarplate()的部分实现:
  1. public Map<String,Float> recogCarplate(byte[] inData, int width, int height, int inPixelFmt,
  2.                                            int left, int right, int top, int bottom ,
  3.                                            byte[] recog_result  , float trans_alignconfidence, float a_t, float a_num, float r_t, float r_num) {

  4.         ... // 省略部分代码

  5.         starttime = System.currentTimeMillis();
  6.         alignconfidence = native_get_aligned_plate(mRockXCarplateOnetModule, inData,width, height, inPixelFmt,
  7.                 x1, x2, y1, y2, alignconfidence , alignimg);
  8.         endtime = System.currentTimeMillis();
  9.         a_t+=(endtime-starttime)/1000F;
  10.         a_num++;

  11.         System.gc();

  12.         Map<String,Float> result=new HashMap<>();
  13.         if (alignconfidence < 0) {
  14.             alignimg = null;
  15.             System.gc();
  16.             result.put("alignconfidence",alignconfidence);
  17.             return result;
  18.         }

  19.         if(alignconfidence>0.5) {       //filter the case of single character
  20.             starttime = System.currentTimeMillis();
  21.             float ret = native_get_recog_result(mRockXCarplateRecogModule, alignimg, inPixelFmt, recog_result);
  22.             endtime = System.currentTimeMillis();
  23.             r_t+=(endtime-starttime)/1000F;
  24.             r_num++;
  25.             Log.d(TAG, "current_ average recog time = " + r_t/r_num);

  26.             if (ret < 0) {
  27.                 alignimg = null;
  28.                 System.gc();
  29.                 result.put("alignconfidence",alignconfidence);
  30.                 return result;
  31.             }
  32.         }

  33.         ... // 省略部分代码
  34.     }
复制代码
可以看到车牌对齐调用的是RockX.native_get_aligned_plate(),车牌识别调用的是RockX.native_get_recog_result()这两个都是native函数,其实现其它的native函数实现形式差不多,都是通过调用Rock-X的API实现相关功能的。

代码测试
测试1.png





回复

使用道具 举报

*滑块验证:
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

友情链接 : 爱板网 电子发烧友论坛 云汉电子社区 粤ICP备14022046号-2
快速回复 返回顶部 返回列表