Firefly开源社区

123
发表新贴

[原创 ]如何在Android平台实现H.264视频数据压制与传送

122

积分

1

威望

0

贡献

社区版主

Rank: 7Rank: 7Rank: 7

积分
122
发表于 2014-10-28 16:17:59     
本帖最后由 error结构体 于 2014-10-28 16:51 编辑

本帖子主要展示如何在Android平台实现对摄像头数据采集,再通过JNI调用ffmpeg库压制成H.264格式的视频数据,再通过简单UDP协议外发到WIN平台的简易例程,没有实现RTSP和考虑的效率,。实现步骤如下:

1、Android 摄像部分代码实现摄像数据采集。上传代码部分没有实现设定采集YUV数据的宽高。
  1.         @Override
  2.         public void onPreviewFrame(byte[] arg0, Camera arg1) {
  3.                 // TODO Auto-generated method stub
  4.                 if(arg0 != null)
  5.                 {
  6.                                int len = arg0.length;
  7.         Log.i("xinw","len:"+String.valueOf(len));
  8.         encodeprocess(arg0);
  9.                         
  10.                 }
  11.         }
  12.         
  13.         public boolean getIsPreviewCallback()
  14.         {
  15.                 return ispreviewcallback;
  16.         }
  17.         public void setIsPreviewCallback(boolean flag)
  18.         {
  19.                 ispreviewcallback = flag;
  20.         }
复制代码
android端界面效果如下:
Screenshot_2014-10-28-07-06-52.png

2、定义JNI接口,实现对FFMPEG库的调用。JAVA部分:
  1.     static{
  2.         System.loadLibrary("postproc-53");
  3.         System.loadLibrary("avutil-54");
  4.         System.loadLibrary("avcodec-56");
  5.         System.loadLibrary("swresample-1");
  6.         System.loadLibrary("avformat-56");
  7.         System.loadLibrary("swscale-3");
  8.         System.loadLibrary("avfilter-5");
  9.         System.loadLibrary("avdevice-56");
  10.         System.loadLibrary("x264");
  11.         System.loadLibrary("ffmpeg_codec");
  12.    }
  13.    public native int encodeinit(String inputStr);
  14.    public native int encodeprocess(byte[] yuv420spArr);
复制代码

PS:另外如何编译FFMPEG库和X264看我上一篇发的帖子:http://developer.t-firefly.com/thread-201-1-1.html

JNI的C语言的实现:
  1. //static void video_encode_example(int i)
  2. JNIEXPORT jint JNICALL Java_com_tchip_remotepushvideo_CameraPreview_encodeprocess(JNIEnv *env, jobject obj,jbyteArray yuvspArr)
  3. {
  4.     jbyte *tmpHandle = (*env)->GetByteArrayElements(env,yuvspArr,NULL);
  5.         av_init_packet(&pkt);
  6.         pkt.data = NULL;    // packet data will be allocated by the encoder
  7.         pkt.size = 0;


  8.                 LOGD("ffmpeg cxx");
  9.         /* prepare a dummy image */
  10.         /* Y */
  11.         for (y = 0; y < c->height; y++) {
  12.             for (x = 0; x < c->width; x++) {
  13.                 frame->data[0][y * frame->linesize[0] + x] = tmpHandle[x + y*1024];
  14.             }
  15.         }

  16.         /* Cb and Cr */

  17.         for (y = 0; y < c->height/2; y++) {
  18.             for (x = 0; x < c->width/2; x++) {
  19.                 frame->data[1][y * frame->linesize[1] + x] = tmpHandle[1024*768 + 512*y + 2*x  + 1];
  20.                 frame->data[2][y * frame->linesize[2] + x] = tmpHandle[1024*768 + 512*y + 2*x];
  21.                
  22.                 }
  23.             }
  24. //以上代码作用是将YUV420SP转为YUV420P caixx
  25.         frame->pts = i++;

  26.         /* encode the image */
  27.         ret = avcodec_encode_video2(c, &pkt, frame, &got_output);
  28.         if (ret < 0) {
  29.             //fprintf(stderr, "Error encoding frame\n");
  30.             //exit(1);
  31.         }

  32.         if (got_output) {
  33.             //printf("Write frame %3d (size=%5d)\n", i, pkt.size);
  34.                         //printf("count:%d\n",g_h264q.size());
  35.             //fwrite(pkt.data, 1, pkt.size, f);
  36.             sendto(g_socket,pkt.data, pkt.size, 0, (struct sockaddr *)&g_addr, sizeof(g_addr));
  37.             av_free_packet(&pkt);
  38.         }

  39. }  
复制代码

3、PC端实现对接收H.264数据的解码。效果如下:
QQ图片20141028151114.png

其中代码部分主要是基于对ffmpeg中sample, decoding_encoding.c的改造。

PS:代码中的IP地址和数据数组宽高为了调试方便,都是绝对值,若要正常使用,请更改相关参数。

tcPlayersingle.rar (11.21 MB, 下载次数: 269)
回复

使用道具 举报

122

积分

1

威望

0

贡献

社区版主

Rank: 7Rank: 7Rank: 7

积分
122
发表于 2014-10-28 16:22:20     
截取摄像头数据的YUV数组使用者要注意他们的大小,我用的一直罗技的免驱的摄像头,预览时显示是544*288的,但实际上YUV数组大小是1024*768的。
回复

使用道具 举报

279

积分

10

威望

9

贡献

社区版主

Rank: 7Rank: 7Rank: 7

积分
279
QQ
发表于 2014-10-28 17:56:27     
可做视频监控,好文呀。{:2_31:}
不知道流畅度如何。
回复

使用道具 举报

122

积分

1

威望

0

贡献

社区版主

Rank: 7Rank: 7Rank: 7

积分
122
发表于 2014-10-29 11:39:54     
有延时,没有去深究其中的原因。期待有网友的改善意见。
回复

使用道具 举报

936

积分

20

威望

19

贡献

社区版主

Rank: 7Rank: 7Rank: 7

积分
936
发表于 2014-10-29 14:18:58     
建议:用硬件编码,参考MediaCodec类。
回复

使用道具 举报

122

积分

1

威望

0

贡献

社区版主

Rank: 7Rank: 7Rank: 7

积分
122
发表于 2014-10-29 16:03:40     
用硬编就不用搞这么一大堆,是方便好多,效率也会好些。:lol
回复

使用道具 举报

122

积分

1

威望

0

贡献

社区版主

Rank: 7Rank: 7Rank: 7

积分
122
发表于 2014-10-29 16:15:00     
找到个硬解相关的帖子,http://blog.csdn.net/liuhongxiangm/article/details/17584303
MARK一下。:P
回复

使用道具 举报

3

积分

0

威望

0

贡献

吃瓜的群众

积分
3
发表于 2014-12-1 17:06:06     
请问楼主怎么使用Android客户端啊
回复

使用道具 举报

122

积分

1

威望

0

贡献

社区版主

Rank: 7Rank: 7Rank: 7

积分
122
发表于 2014-12-1 17:35:38     
就是这个包, remotepushvideo.tar.gz ,要自己编译的。。。
回复

使用道具 举报

6

积分

0

威望

0

贡献

游客

积分
6
发表于 2015-12-22 12:07:04     
楼主,我编译你的文件,跑步起来,报下列错误:
D:\Documents\xingyun\remotepushvideo\app\build\intermediates\ndk\debug\obj/local/arm64-v8a/objs/ffmpeg_codec/D_\Documents\xingyun\remotepushvideo\app\src\main\jni\ffmpeg_codec.o: In function `Java_com_tchip_codecvideo_CameraPreview_encodeinit':
D:\Documents\xingyun\remotepushvideo\app\build\intermediates\ndk\debug\obj/local/arm64-v8a/objs/ffmpeg_codec/D_\Documents\xingyun\remotepushvideo\app\src\main\jni\ffmpeg_codec.o: In function `Java_com_tchip_codecvideo_CameraPreview_encodeprocess':
D:\Documents\xingyun\remotepushvideo\app\src\main\jni\ffmpeg_codec.c
Error:(213) undefined reference to `av_register_all'
Error:(230) undefined reference to `avcodec_find_encoder'
Error:(236) undefined reference to `avcodec_alloc_context3'
Error:(262) undefined reference to `av_opt_set'
Error:(265) undefined reference to `avcodec_open2'
Error:(271) undefined reference to `av_frame_alloc'
Error:(282) undefined reference to `av_image_alloc'
Error:(294) undefined reference to `av_init_packet'
Error:(299) undefined reference to `__android_log_print'
Error:(325) undefined reference to `avcodec_encode_video2'
Error:(336) undefined reference to `av_free_packet'
Error:error: ld returned 1 exit status
make.exe: *** [D:\Documents\xingyun\remotepushvideo\app\build\intermediates\ndk\debug\obj/local/arm64-v8a/libffmpeg_codec.so] Error 1
Error:Execution failed for task ':app:compileDebugNdk'.
> com.android.ide.common.process.ProcessException: org.gradle.process.internal.ExecException: Process 'command 'D:\Android\android-ndk-r10e\ndk-build.cmd'' finished with non-zero exit value 2

请问什么原因?
回复

使用道具 举报

返回列表
123
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

友情链接 : 爱板网 电子发烧友论坛 云汉电子社区 粤ICP备14022046号-2
快速回复 返回顶部 返回列表