ffmedia编码模块无法实时写文件及rtsp推流黑屏

wx__AxJ5zO

dengkx 发表于 2024-3-5 15:20
拉最新v2.2.4代码，可以使用本地文件编码h264或h265推rtsp流测试：
./demo xxx.mp4 -e h264 -l -s -p 5 ...

1. root@firefly:/home/firefly/demo/ff# python3 demo.py -i /home/firefly/demo/ff/1.mp4 -e 0 -l -p 554
   
2. Firefly FFMedia: v2.2.4
   
3. input source is a regular file.
   
4. INFO: 16ModuleFileReader: init: Get Video Resolution( 1280 x 720 )
   
5. mpp[18612]: mpp_rt: NOT found ion allocator
   
6. mpp[18612]: mpp_rt: found drm allocator
   
7. mpp[18612]: mpp_info: mpp version: 49f29006 author: Jeffy Chen    2021-08-04 [drm]: Add mmap flag detection
   
8. mpp[18612]: mpp_info: mpp version: 49f29006 author: Jeffy Chen    2021-08-04 [drm]: Add mmap flag detection
   
9. mpp[18612]: mpp_enc: MPP_ENC_SET_RC_CFG bps 2048000 [1920000 : 2176000] fps [30:30] gop 60
   
10. mpp[18612]: mpp_enc: send header for set cfg change rc_mode/fps/gop
    
11. mpp[18612]: mpp_enc: mode cbr bps [1920000:2048000:2176000] fps fix [30/1] -> fix [30/1] gop i [60] v [0]
    
12. INFO: rtsp_server: rtsp_new_demo: rtsp server demo starting on port 554
    
13. ==================Pipe===================
    
14. ModuleFileReader (H264 1280x720)
    
15.    |--->ModuleMppDec (NV12 1280x720)
    
16.            |--->ModuleMppEnc (H264 1280x720)
    
17.                    |--->ModuleRtspServer (Unknow V4L2 Format 0x0)
    
18. 
    
19. wait...INFO: 10MppDecoder: getTimeoutSample: 0x98439a0 frame info changed 1 error 0 discard 0
    
20. INFO: rtsp_server: rtsp_new_client_connection: new rtsp client 192.168.1.5:51540 comming
    
21. INFO: rtsp_server: rtsp_new_rtp_connection: new rtp over udp for video ssrc:22345678 local_port:49152-49153 peer_addr:192.168.1.5 peer_port:51820-5182
    

复制代码

ffplay rtsp://192.168.1.35:554/live/0 -rtsp_transport tcp 无画面，输出信息如下

1. Input #0, rtsp, from 'rtsp://192.168.1.35:554/live/0':   0B f=0/0
   
2.   Metadata:
   
3.     title           : rtsp_demo
   
4.   Duration: N/A, start: 0.000000, bitrate: N/A
   
5.   Stream #0:0: Video: h264 (High), yuv420p(progressive), 1280x720, 30 fps, 30 tbr, 90k tbn
   
6.     nan M-V:    nan fd=   0 aq=    0KB vq=    0KB sq=    0B f=0/0

复制代码

使用MP4及H264推流后，vlc拉流仍然黑屏，
报错有 Unknow V4L2 Format 0x0

nboxcn

2.2.4版本与2.2.3差不多，只要是用encode编码后推流vlc就没有图像黑屏，使用ffplay播放花屏，无论是从推理后的的rga进行encode还是直接从decode出来的进行encode，ffplay播都花屏且vlc黑屏

1. 
   
2. #./demo /srv/src/yolo/video/JapanPPE.mp4 -e h264 -l -s -p 554
   
3. Firefly FFMedia: v2.2.4
   
4. INFO: ff_media: start_instance:
   
5. 
   
6. ==========================================
   
7. INFO: ff_media: start_instance: enable file reader
   
8. INFO: 16ModuleFileReader: init: Get Video Resolution( 640 x 360 )
   
9. INFO: rtsp_server: rtsp_new_demo: rtsp server demo starting on port 554
   
10. INFO: ff_media: start_instance:
    
11. Start push stream: rtsp://LocalIpAddr:554/live/0
    
12. 
    
13. INFO: ff_media: start_instance:
    
14. Input Source:   /srv/src/yolo/video/JapanPPE.mp4
    
15. Input format:   640x360 H264
    
16. Output format:  640x360 NV12
    
17. Encode type:    H264
    
18. Decoder:        enable
    
19. Rga:            disable
    
20. Encoder:        enable
    
21. RtspClient:     disable
    
22. File writer:    disable
    
23. File:           disable
    
24. Rtsp push:      554
    
25. ==================Pipe===================
    
26. ModuleFileReader (H264 640x360)
    
27.    |--->ModuleMppDec (NV12 640x360)
    
28.            |--->ModuleMppEnc (H264 640x360)
    
29.                    |--->ModuleRtspServer (Unknow V4L2 Format 0x0)
    
30. 
    
31. INFO: 10MppDecoder: getTimeoutSample: 0x557df2eea0 frame info changed 1 error 0 discard 0
    
32. INFO: rtsp_server: rtsp_new_client_connection: new rtsp client 192.168.10.151:44172 comming
    
33. INFO: rtsp_server: rtsp_new_rtp_connection: new rtp over udp for video ssrc:22345678 local_port:49152-49153 peer_addr:192.168.10.151 peer_port:20450-20451
    

复制代码

nboxcn

请问enc编码模块的问题还有解吗？无论是推流还是保存文件，只要使用了enc的模块都异常，如何能单独测编码模块是否能正常进行编码输出？谢谢

dengkx

nboxcn 发表于 2024-3-12 17:25
请问enc编码模块的问题还有解吗？无论是推流还是保存文件，只要使用了enc的模块都异常，如何能单独测编码模 ...

编码模块设置回调，在回调函数里打印数据看看

nboxcn

谢谢，不太会看那些数据，用VLC看播放有分流数据、有内容码率，但是没有音频、视频的解码数据、帧数据，跟设备的MPP、RGA版本有没有关系，会不会是那些版本太低的原因？

dengkx

wx__AxJ5zO 发表于 2024-3-5 15:56
ffplay rtsp://192.168.1.35:554/live/0 -rtsp_transport tcp 无画面，输出信息如下

已复现，这个问题应该是不同平台编码器差异导致的，下个版本会修复该问题。

wx__AxJ5zO

dengkx 发表于 2024-3-15 10:38
已复现，这个问题应该是不同平台编码器差异导致的，下个版本会修复该问题。

好的

nboxcn

太棒了，期待！这个问题的修复应该同时解决编码后的推流及写文件的问题吧

dengkx

wx__AxJ5zO 发表于 2024-3-15 11:29
好的

简单的处理就是把编码模块默认gop参数更改为其他就可以了。
--- a/demo/demo.cpp
+++ b/demo/demo.cpp
@@ -545,7 +545,7 @@ SOURCE_CREATED:
#endif

     if (inst_conf->enc_enabled) {
-        shared_ptr<ModuleMppEnc> enc = make_shared<ModuleMppEnc>(inst_conf->encode_type);
+        shared_ptr<ModuleMppEnc> enc = make_shared<ModuleMppEnc>(inst_conf->encode_type, 30, 30);
         enc->setProductor(inst->last_module);
         enc->setBufferCount(8);
         enc->setDuration(0);  // Use the input source timestamp

nboxcn

刚测试了一下，还真行，太神奇了，很棒，文件也可以实时写了！
大神，请教一下，如果是重RGA用的是 output_para.v4l2Fmt = V4L2_PIX_FMT_BGR24; 编码，给到enc模型编码后rtsp推流，出来的图像好奇怪，有3个重影的花屏，似乎图像格式不正确，应该如何转换？谢谢