ffmedia编码模块无法实时写文件及rtsp推流黑屏

nboxcn

ffmedia是一个设计精良，使用简洁、优雅的很棒的框架，使用 enc模块遇到两个问题：
1. rtsp推流时，使用vlc拉流黑屏无法显示图像，使用ffplay播放可以显示图像，但报错：[hevc @ 0x7f10093740] Could not find ref with POC 1997
2. 保存视频文件不能实时写文件，只有退出时才把数据写入文件。如果不从enc取，改用vi直接取流，则可以实时写文件数据
综上现象，是否为编码模块没有正确处理分帧导致的问题，请指导如何解决，谢谢！

dengkx

你是使用demo测试的吗？如果使用demo可以将使用命令及log粘贴出来，方便寻找问题。
最新版测试应该都没有以上问题。

nboxcn

大神 用的是demo 命令如下：

1. ./demo /srv/src/yolo/video/JapanPPE.mp4 -e h265 -p 554 -s -m out.mp4

复制代码

日志图片上传不了，我把文字复制过来

1. # ./demo /srv/src/yolo/video/JapanPPE.mp4 -e h265 -p 554 -s -m out.mp4
   
2. Firefly FFMedia: v2.2.3
   
3. INFO: ff_media: start_instance:
   
4. 
   
5. ==========================================
   
6. INFO: ff_media: start_instance: enable file reader
   
7. INFO: 16ModuleFileReader: init: Get Video Resolution( 640 x 360 )
   
8. INFO: rtsp_server: rtsp_new_demo: rtsp server demo starting on port 554
   
9. INFO: ff_media: start_instance:
   
10. Start push stream: rtsp://LocalIpAddr:554/live/0
    
11. 
    
12. INFO: ff_media: start_instance:
    
13. Input Source:   /srv/src/yolo/video/JapanPPE.mp4
    
14. Input format:   640x360 H264
    
15. Output format:  640x360 NV12
    
16. Encode type:    H265
    
17. Decoder:        enable
    
18. Rga:            disable
    
19. Encoder:        enable
    
20. RtspClient:     disable
    
21. File writer:    out.mp4
    
22. File:           disable
    
23. Rtsp push:      554
    
24. ==================Pipe===================
    
25. ModuleFileReader (H264 640x360)
    
26.    |--->ModuleMppDec (NV12 640x360)
    
27.            |--->ModuleMppEnc (H265 640x360)
    
28.                    |--->ModuleFileWriter (Unknow V4L2 Format 0x0)
    
29.                    |--->ModuleRtspServer (Unknow V4L2 Format 0x0)
    
30. 
    
31. INFO: 10MppDecoder: getTimeoutSample: 0x5574d588e0 frame info changed 1 error 0 discard 0
    
32. INFO: rtsp_server: rtsp_new_client_connection: new rtsp client 192.168.10.101:58301 comming
    
33. INFO: rtsp_server: rtsp_new_rtp_connection: new rtp over udp for video ssrc:22345678 local_port:49152-49153 peer_addr:192.168.10.101 peer_port:54938-54939
    
34. INFO: 16ModuleFileReader: work: Produce EOS
    
35. ERROR: 16ModuleFileWriter: work: wait for productor ModuleMppEnc timeout
    
36. 
    
37. 
    

复制代码

nboxcn

rknpu2的demo里面所有mpp encode写文件区分第一帧写头信息，不知道有没有参考价值

1.   
   
2. // Encode to file
   
3.   // Write header on first frame
   
4.   if (frame_index == 1) {
   
5.     enc_data_size = ctx->encoder->GetHeader(enc_data, enc_buf_size);
   
6.     fwrite(enc_data, 1, enc_data_size, ctx->out_fp);
   
7.   }
   
8.   memset(enc_data, 0, enc_buf_size);
   
9.   enc_data_size = ctx->encoder->Encode(mpp_frame, enc_data, enc_buf_size);
   
10.   fwrite(enc_data, 1, enc_data_size, ctx->out_fp);
    

复制代码

dengkx

nboxcn 发表于 2024-2-27 16:58
rknpu2的demo里面所有mpp encode写文件区分第一帧写头信息，不知道有没有参考价值

不是这个问题。裸流如果没有参数集，ffmpeg一样解不出来。你可以在板子安装vlc看他能不能拉流，如果能拉，可能是防火墙限制，如果是防火墙限制，可以使用tcp协议连接，rtsp推流支持rcp和udp协议。
保存文件不是实时问题：你可以另开终端查看文件大小，看是不是在增加。也可以边看（-x 或 -d 0）边封装文件, 在中途Ctrl C 掉程序，在使用demo或ffplay播放该文件是不是到你杀掉程序那一帧

nboxcn

自己写了个demo测试：
1. 如果直接从srouce->rtsp/writer则可以vlc播放以及实时写文件，能实时看到文件大小的变化；
2. 如果从source->dec->enc->rtsp/writer则不能vlc播放以及写的文件大小为0没有变化，终止程序时文件就有数据，写入文件的视频播放，也是差不多是截止到程序终止时刻；
只要加了enc层，尝试过rtsp/rtmp都不能正常播放，写文件也不能实时写。这个问题跟操作系统以及mpp驱动的版本有关系吗？使用的是ubuntu的操作系统，跑rknpu2里面的demo解码、编码及推流都能正常，但ffmedia的encode模块就是黑屏

dengkx

nboxcn 发表于 2024-2-28 08:17
自己写了个demo测试：
1. 如果直接从srouce->rtsp/writer则可以vlc播放以及实时写文件，能实时看到文件大 ...

文件写入模块不依赖任何东西，有数据就会被及时即时写入，从你的描述看似乎是解码或编码模块没有产生数据。如果可以，你复现出这种现象，然后等几秒中，按q键退出demo，会将每个模块处理的帧数打印出来，便可看到是哪个模块不生产数据。
文件读入模块如果变成EOS状态，也就是打印Produce EOS，说明已经读到末尾，你可以添加-l 参数来循环读取，让文件读取模块一直生产数据。

nboxcn

按q后的日志如下：

1. 
   
2. ./demo /srv/src/yolo/video/JapanPPE.mp4 -e h265 -p 554 -s -m out.mp4
   
3. 
   
4. Firefly FFMedia: v2.2.3
   
5. INFO: ff_media: start_instance:
   
6. 
   
7. ==========================================
   
8. INFO: ff_media: start_instance: enable file reader
   
9. INFO: 16ModuleFileReader: init: Get Video Resolution( 640 x 360 )
   
10. INFO: rtsp_server: rtsp_new_demo: rtsp server demo starting on port 554
    
11. INFO: ff_media: start_instance:
    
12. Start push stream: rtsp://LocalIpAddr:554/live/0
    
13. 
    
14. INFO: ff_media: start_instance:
    
15. Input Source:   /srv/src/yolo/video/JapanPPE.mp4
    
16. Input format:   640x360 H264
    
17. Output format:  640x360 NV12
    
18. Encode type:    H265
    
19. Decoder:        enable
    
20. Rga:            disable
    
21. Encoder:        enable
    
22. RtspClient:     disable
    
23. File writer:    out.mp4
    
24. File:           disable
    
25. Rtsp push:      554
    
26. ==================Pipe===================
    
27. ModuleFileReader (H264 640x360)
    
28.    |--->ModuleMppDec (NV12 640x360)
    
29.            |--->ModuleMppEnc (H265 640x360)
    
30.                    |--->ModuleFileWriter (Unknow V4L2 Format 0x0)
    
31.                    |--->ModuleRtspServer (Unknow V4L2 Format 0x0)
    
32. 
    
33. INFO: 10MppDecoder: getTimeoutSample: 0x55b4b8c8e0 frame info changed 1 error 0 discard 0
    
34. ==================Summary================
    
35. ModuleFileReader (In Full: 0, Out Empty: 23)
    
36.    |--->ModuleMppDec (In Full: 264, Out Empty: 1)
    
37.            |--->ModuleMppEnc (In Full: 10, Out Empty: 244)
    
38.                    |--->ModuleFileWriter (In Full: 0, Out Empty: 0)
    
39.                    |--->ModuleRtspServer (In Full: 229, Out Empty: 0)
    

复制代码

wx__AxJ5zO

dengkx 发表于 2024-2-28 09:10
文件写入模块不依赖任何东西，有数据就会被及时即时写入，从你的描述看似乎是解码或编码模块没有产生数据 ...

我使用h264格式视频只进行推流，vlc拉取也是黑屏，可能是rtsp服务器这部分有点问题

dengkx

wx__AxJ5zO 发表于 2024-3-5 14:59
我使用h264格式视频只进行推流，vlc拉取也是黑屏，可能是rtsp服务器这部分有点问题

拉最新v2.2.4代码，可以使用本地文件编码h264或h265推rtsp流测试：
./demo xxx.mp4 -e h264 -l -s -p 554
pc拉流使用ffplay或vlc等其他工具拉流, 如果拉流失败可能防火墙限制，可更改tcp协议尝试拉流：
ffplay rtsp://xxx -rtsp_transport tcp