MEDIACODEC在JNI层下的H264,H265视频硬解码实现（ACODEC ）

jingjin221

    有疑惑请一起商讨QQ（512975979）        之前提供的代码是基于已有的SDK来开发的，只能适用于这一个机型的运行。比如说，我是基于FIREFLY给的RK3288 ANDROID4.4 PAD的SDK开发的，编译出来的库和APK，只能用于这一个机型！    所以说，要开发一个基于MEDIACODEC，而且是在NATIVE层下的通用视频解码播放器，就必须脱离具体的FRAMEWORK，独立出来。
    之前参考了FFMPEG FOR ANDROID，XBMC等一些SDK，他们采用的公用的头文件，和一些通用的基本库，基本是在OMXCODEC下做的解码，渲染的话，FFMPEG是用的软件渲染YUV，而XBMC是用的GL来直接渲染的，这两者差距甚大，而且对我们二次开发难度不小，况且一般我们需要的不是整个模型，只是对其中的一块有兴趣，那么就要进行裁剪，这工作量是很大的，况且通过通用的库编译出来的apk，不一定适用于通用ANDROID机型。毕竟安卓是开源的，太多的厂商对他进行二次开发，导致标准不一等等！
    综上所述，我又下载了VLC FOR ANDROID 发现，VLC基本可以支持所有ANDROID设备，为什么呢？我看了VLC的源码，发现了猫腻。VLC的数据输入，解复用，都采用的是FFMPEG来做的，在解码和渲染这一块，针对安卓有特殊处理！VLC针对解码和渲染，这里指硬解码和直接渲染，VLC是直接调用JAVA下的MEDIACODEC，来实现的！也就是说在JNI下直接调用JAVA的接口，这本身和在JAVA下调用MEDIACODEC没有任何区别了！至于为什么要这样做，有点疑惑！为什么不直接在JAVA下用MEDIACODEC呢？JAVA下的MEDIACODEC网上例子很多，基本上MEDIACODEC是绝大多数ANDROID版本支持的硬解码库！自认为是VLC想把解码这一套机制全部封装在通用解码框架里，这样就可以无缝为APP提供通用解码接口了吧！
    废话不多说，我们就来试一试，如何在NATIVE下调用JAVA的MEDIACODEC吧！经过测试，这套机制基本通吃所有机型吧！而且清晰方便，兼容性强！    JNI的基本操作我就不讲了！自己学习吧
    解码的数据结构！

1. enum Types
   
2. {
   
3.     METHOD, STATIC_METHOD, FIELD
   
4. };
   
5. 
   
6. struct audio_track_sys_t {
   
7.         jclass audio_track_class;//
   
8.         jmethodID audio_track_init, audio_set_volume, audio_get_min_buffer_size, audio_write, audio_play, audio_stop, audio_release;//
   
9.         jobject audio_track;//
   
10. };
    
11. 
    
12. struct decoder_sys_t
    
13. {
    
14.     jclass media_codec_list_class, media_codec_class, media_format_class;
    
15.     jclass buffer_info_class, byte_buffer_class;
    
16.         /*
    
17.         jclass audio_track_class;//
    
18.         jmethodID audio_track_init, audio_set_volume, audio_get_min_buffer_size, audio_write, audio_play, audio_stop, audio_release;//
    
19.         */
    
20.     jmethodID tostring;
    
21.     jmethodID get_codec_count, get_codec_info_at, is_encoder, get_capabilities_for_type;
    
22.     jfieldID profile_levels_field, profile_field, level_field;
    
23.     jmethodID get_supported_types, get_name;
    
24.     jmethodID create_by_codec_name, configure, start, stop, flush, release;
    
25.     jmethodID get_output_format, get_input_buffers, get_output_buffers;
    
26.     jmethodID dequeue_input_buffer, dequeue_output_buffer, queue_input_buffer;
    
27.     jmethodID release_output_buffer;
    
28.     jmethodID create_video_format, create_audio_format, set_integer, set_bytebuffer, get_integer;
    
29.     jmethodID buffer_info_ctor;
    
30.     jmethodID allocate_direct, limit;
    
31.     jfieldID size_field, offset_field, pts_field;
    
32. 
    
33.     uint32_t nal_size;
    
34.         /*
    
35.         jobject audio_track;//
    
36.         */
    
37.     jobject codec;
    
38.     jobject buffer_info;
    
39.     jobject input_buffers, output_buffers;
    
40.     int pixel_format;
    
41.     int stride, slice_height;
    
42.     int crop_top, crop_left;
    
43.     char *name;
    
44. 
    
45.     bool allocated;
    
46.     bool started;
    
47.     bool decoded;
    
48.     bool error_state;
    
49.     bool error_event_sent;
    
50. 
    
51.     /* Direct rendering members. */
    
52.     bool direct_rendering;
    
53.     int i_output_buffers; /**< number of MediaCodec output buffers */
    
54. };
    
55. 
    
56. 
    
57. #define OFF(x) offsetof(struct decoder_sys_t, x)
    
58. struct classname
    
59. {
    
60.     const char *name;
    
61.     int offset;
    
62. };
    
63. 
    
64. struct member
    
65. {
    
66.     const char *name;
    
67.     const char *sig;
    
68.     const char *class;
    
69.     int offset;
    
70.     int type;
    
71. };

复制代码

   解码器初始化

1. {
   
2.         char *source_path = (char *) (*env)->GetStringUTFChars(env, path, 0);
   
3.         const char *mime = "video/avc";
   
4.         int width = 1920;
   
5.         int height = 1080;
   
6.         bool b_direct_renderer = true;
   
7.         if ((p_sys = calloc(1, sizeof(*p_sys))) == NULL)
   
8.         return -1;
   
9. 
   
10. ///////////////////////////////////Find Class and Get Method/Field
    
11.                
    
12.         for (int i = 0; classes[i].name; i++) {
    
13.                 *(jclass*)((uint8_t*)p_sys + classes[i].offset) = (*env)->FindClass(env, classes[i].name);
    
14. 
    
15.                 if ((*env)->ExceptionOccurred(env)) {
    
16.                     printf("Unable to find class %s", classes[i].name);
    
17.                     (*env)->ExceptionClear(env);
    
18.                     goto error;
    
19.                 }
    
20.         }
    
21.         
    
22.     jclass last_class;
    
23.     for (int i = 0; members[i].name; i++) {
    
24.         if (i == 0 || strcmp(members[i].class, members[i - 1].class))
    
25.             last_class = (*env)->FindClass(env, members[i].class);
    
26. 
    
27.         if ((*env)->ExceptionOccurred(env)) {
    
28.             printf("Unable to find class %s", members[i].class);
    
29.             (*env)->ExceptionClear(env);
    
30.             goto error;
    
31.         }
    
32. 
    
33.         switch (members[i].type) {
    
34.         case METHOD:
    
35.             *(jmethodID*)((uint8_t*)p_sys + members[i].offset) =
    
36.                 (*env)->GetMethodID(env, last_class, members[i].name, members[i].sig);
    
37.             break;
    
38.         case STATIC_METHOD:
    
39.             *(jmethodID*)((uint8_t*)p_sys + members[i].offset) =
    
40.                 (*env)->GetStaticMethodID(env, last_class, members[i].name, members[i].sig);
    
41.             break;
    
42.         case FIELD:
    
43.             *(jfieldID*)((uint8_t*)p_sys + members[i].offset) =
    
44.                 (*env)->GetFieldID(env, last_class, members[i].name, members[i].sig);
    
45.             break;
    
46.         }
    
47.         if ((*env)->ExceptionOccurred(env)) {
    
48.             printf("Unable to find the member %s in %s",
    
49.                      members[i].name, members[i].class);
    
50.             (*env)->ExceptionClear(env);
    
51.             goto error;
    
52.         }
    
53.     }
    
54.         
    
55.         printf("////////////// MEDIACODEC LIST\n");
    
56.         int num_codecs = (*env)->CallStaticIntMethod(env, p_sys->media_codec_list_class,
    
57.                                                  p_sys->get_codec_count);
    
58.     jobject codec_name = NULL;
    
59.     for (int i = 0; i < num_codecs; i++) {
    
60.                 jobject info = NULL;
    
61.         jobject name = NULL;
    
62.                 jobject types = NULL;
    
63.                 jsize name_len = 0;
    
64.         const char *name_ptr = NULL;
    
65.                 int profile_levels_len = 0, num_types = 0;
    
66.         bool found = false;
    
67.         
    
68.         info = (*env)->CallStaticObjectMethod(env, p_sys->media_codec_list_class,
    
69.                                               p_sys->get_codec_info_at, i);
    
70.         if ((*env)->CallBooleanMethod(env, info, p_sys->is_encoder))
    
71.             goto loopclean;
    
72.                
    
73.         types = (*env)->CallObjectMethod(env, info, p_sys->get_supported_types);
    
74.         num_types = (*env)->GetArrayLength(env, types);
    
75.                 name = (*env)->CallObjectMethod(env, info, p_sys->get_name);
    
76.                 name_len = (*env)->GetStringUTFLength(env, name);
    
77.         name_ptr = (*env)->GetStringUTFChars(env, name, NULL);
    
78.         found = false;
    
79.                
    
80.                 printf("MEDIACODEC::LIST#%s\n", name_ptr);
    
81.                 if (!strncmp(name_ptr, "OMX.google.", __MIN(11, name_len)))
    
82.             goto loopclean;
    
83.                
    
84.                 for (int j = 0; j < num_types && !found; j++) {
    
85.             jobject type = (*env)->GetObjectArrayElement(env, types, j);
    
86.             if (!jstrcmp(env, type, mime)) {
    
87.                 found = true;
    
88.             }
    
89.             (*env)->DeleteLocalRef(env, type);
    
90.         }
    
91.                         
    
92.                 if (found) {
    
93.             printf("using %.*s", name_len, name_ptr);
    
94.             p_sys->name = malloc(name_len + 1);
    
95.             memcpy(p_sys->name, name_ptr, name_len);
    
96.             p_sys->name[name_len] = '\0';
    
97.             codec_name = name;
    
98.         }
    
99. loopclean:
    
100.         if (name)
     
101.             (*env)->ReleaseStringUTFChars(env, name, name_ptr);
     
102.         if (types)
     
103.             (*env)->DeleteLocalRef(env, types);
     
104.         if (info)
     
105.             (*env)->DeleteLocalRef(env, info);
     
106.         if (found)
     
107.             break;
     
108.         }
     
109. 
     
110.         printf("////////////// MEDIACODEC\n");
     
111. 
     
112.         if (!codec_name) {
     
113.         printf("No suitable codec matching %s was found", mime);
     
114.         goto error;
     
115.     }
     
116. 
     
117.         printf("////////////// MEDIACODEC Create\n");
     
118.         p_sys->codec = (*env)->CallStaticObjectMethod(env, p_sys->media_codec_class,
     
119.                                                   p_sys->create_by_codec_name, codec_name);
     
120.     if ((*env)->ExceptionOccurred(env)) {
     
121.         printf("Exception occurred in MediaCodec.createByCodecName.");
     
122.         (*env)->ExceptionClear(env);
     
123.         goto error;
     
124.     }
     
125. 
     
126.         p_sys->allocated = true;
     
127.     p_sys->codec = (*env)->NewGlobalRef(env, p_sys->codec);
     
128.         
     
129.     jobject format = (*env)->CallStaticObjectMethod(env, p_sys->media_format_class,
     
130.                          p_sys->create_video_format, (*env)->NewStringUTF(env, mime),
     
131.                          width, height);
     
132. 
     
133.         printf("////////////// MEDIACODEC Configure\n");
     
134.         p_sys->direct_rendering = b_direct_renderer;
     
135.     if (p_sys->direct_rendering) {
     
136.         jobject surf = surface;
     
137.         if (surf) {
     
138.                         (*env)->CallVoidMethod(env, p_sys->codec, p_sys->configure, format, surf, NULL, 0);
     
139.                         if ((*env)->ExceptionOccurred(env)) {
     
140.                     printf("Exception occurred in MediaCodec.configure");
     
141.                     (*env)->ExceptionClear(env);
     
142.                     goto error;
     
143.                 }
     
144.         } else {
     
145.                     printf("Failed to get the Android Surface, disabling direct rendering.");
     
146.             p_sys->direct_rendering = false;
     
147.         }
     
148.         }
     
149. 
     
150.         if (!p_sys->direct_rendering) {
     
151.         (*env)->CallVoidMethod(env, p_sys->codec, p_sys->configure, format, NULL, NULL, 0);
     
152.         if ((*env)->ExceptionOccurred(env)) {
     
153.             printf("Exception occurred in MediaCodec.configure");
     
154.             (*env)->ExceptionClear(env);
     
155.             goto error;
     
156.         }
     
157.     }
     
158.         
     
159.         printf("////////////// MEDIACODEC Start\n");
     
160.         (*env)->CallVoidMethod(env, p_sys->codec, p_sys->start);
     
161.     if ((*env)->ExceptionOccurred(env)) {
     
162.         printf("Exception occurred in MediaCodec.start");
     
163.         (*env)->ExceptionClear(env);
     
164.         goto error;
     
165.     }
     
166.     p_sys->started = true;
     
167. 
     
168.     p_sys->input_buffers = (*env)->CallObjectMethod(env, p_sys->codec, p_sys->get_input_buffers);
     
169.     p_sys->output_buffers = (*env)->CallObjectMethod(env, p_sys->codec, p_sys->get_output_buffers);
     
170.     p_sys->buffer_info = (*env)->NewObject(env, p_sys->buffer_info_class, p_sys->buffer_info_ctor);
     
171.     p_sys->input_buffers = (*env)->NewGlobalRef(env, p_sys->input_buffers);
     
172.     p_sys->output_buffers = (*env)->NewGlobalRef(env, p_sys->output_buffers);
     
173.     p_sys->buffer_info = (*env)->NewGlobalRef(env, p_sys->buffer_info);
     
174.     p_sys->i_output_buffers = (*env)->GetArrayLength(env, p_sys->output_buffers);
     
175. 
     
176.         VideoDecoderStart(p_sys);
     
177.         //receiver_start(source_path, 2);
     
178.         return 0;
     
179. error:
     
180. 
     
181.         if(p_sys != NULL)
     
182.         {
     
183.                 free(p_sys);
     
184.                 p_sys = NULL;
     
185.         }
     
186.         return -1;
     
187. }

复制代码

解码和渲染

1. {
   
2.         JNIEnv *env;
   
3.         struct decoder_sys_t *p_sys = (struct decoder_sys_t *)arg;
   
4.         struct frame_queue *p_frame_queue = &programe_media.video.frame_queue;
   
5.         int sampleSize;
   
6.         int64_t pts;
   
7.         int fifo_cnts = 0;
   
8.         buffer_t *buffer = NULL;
   
9.         
   
10.           //Attach主线程
    
11.         if((*g_jvm)->AttachCurrentThread(g_jvm, &env, NULL) != JNI_OK)
    
12.         {
    
13.                    printf("%s: AttachCurrentThread() failed", __FUNCTION__);
    
14.                 return NULL;
    
15.         }
    
16.         sem_wait(&video_decode_sem);
    
17.         //while(fifo_count(p_frame_queue->fifo) < 240)
    
18.                 //usleep(1000);
    
19.         while(true)
    
20.         {
    
21.                 int input_index = (*env)->CallIntMethod(env, p_sys->codec, p_sys->dequeue_input_buffer, (jlong) 0);
    
22.         if ((*env)->ExceptionOccurred(env)) {
    
23.             printf("Exception occurred in MediaCodec.dequeueInputBuffer");
    
24.             (*env)->ExceptionClear(env);
    
25.             p_sys->error_state = true;
    
26.             break;
    
27.         }
    
28.                 if(input_index >= 0) {
    
29.                         jobject buf = (*env)->GetObjectArrayElement(env, p_sys->input_buffers, input_index);
    
30.                 jsize size = (*env)->GetDirectBufferCapacity(env, buf);
    
31.                 uint8_t *bufptr = (*env)->GetDirectBufferAddress(env, buf);
    
32. 
    
33.                         //printf("size is %d\n", size);
    
34. retry:
    
35.                         sampleSize = av_read_one_frame((uint8_t *)bufptr, &pts);
    
36.                         if(sampleSize <= 0)
    
37.                         {
    
38.                                 //printf("VIDEO@sampleSize is %d\n", sampleSize);
    
39.                                 goto retry;
    
40.                         }
    
41.                         size = sampleSize;
    
42.                         
    
43.                         (*env)->CallVoidMethod(env, p_sys->codec, p_sys->queue_input_buffer, input_index, 0, size, pts, 0);
    
44.                 (*env)->DeleteLocalRef(env, buf);
    
45.                 if ((*env)->ExceptionOccurred(env)) {
    
46.                     printf("Exception in MediaCodec.queueInputBuffer");
    
47.                     (*env)->ExceptionClear(env);
    
48.                     p_sys->error_state = true;
    
49.                     break;
    
50.                 }
    
51.                 }
    
52. 
    
53.                 jlong timeout = 0;
    
54.                 int output_index = (*env)->CallIntMethod(env, p_sys->codec, p_sys->dequeue_output_buffer,
    
55.                                           p_sys->buffer_info, timeout);
    
56.         if ((*env)->ExceptionOccurred(env)) {
    
57.             printf("Exception in MediaCodec.dequeueOutputBuffer (GetOutput)");
    
58.             (*env)->ExceptionClear(env);
    
59.             p_sys->error_state = true;
    
60.             return NULL;
    
61.         }
    
62. 
    
63.                 if(output_index >= 0) {
    
64.                         //printf("Buffers returned before output format is set, dropping frame");
    
65.                         (*env)->CallVoidMethod(env, p_sys->codec, p_sys->release_output_buffer, output_index, p_sys->direct_rendering);
    
66.                         if ((*env)->ExceptionOccurred(env)) {
    
67.                             printf("Exception in MediaCodec.releaseOutputBuffer");
    
68.                             (*env)->ExceptionClear(env);
    
69.                             p_sys->error_state = true;
    
70.                             return NULL;
    
71.                         }
    
72.                 }
    
73. 
    
74.         }
    
75. 
    
76. error:   
    
77.         //Detach主线程
    
78.         if((*g_jvm)->DetachCurrentThread(g_jvm) != JNI_OK)
    
79.         {
    
80.         printf("%s: DetachCurrentThread() failed", __FUNCTION__);
    
81.     }
    
82.    
    
83.     pthread_exit(0);
    
84. }

复制代码

这就是核心代码，基本就是模拟在JAVA下的解码流程！
另外，注明下！音频解码！音频解码如果也用着套机制，可能对大多数机型不是很友好，具体指MP3格式！，有些机型支持，GOOGLE.MP3.DECODER，有些不支持，不一定可用，所以这里奉劝大家还是自己移植MP3解码库吧，我用的LIBMAD，还不错！

jingjin221

没事，自己顶一下

0000li

lubuntu下的视频硬解码 跟你的一样吗？

脑残丞相

很是佩服。学习一下

daihuan509

大神，你太生猛了。

jingjin221

很多同学大多是在JAVA层做的，这样会导致很多奇奇怪怪的问题，建议还是在JNI层下做吧，这样可以一步一步分析是哪里出错了！

sankycui

顶一个

yly123ycyn

最好多写些注释，大神

jingjin221

没事，自己顶！！！

jingjin221