ffmedia无法正常调用

wuyq

dengkx 发表于 2024-2-29 18:49
-d 0 -f out.h265 正常说明拉流解码正常。
编码模块只能处理NV12的数据-b 转换成BGR格式就不要用-e编码 ...

抱歉~~~昨天回复内容写错了，“-d 0 -f out.h265 是正常的，无不正常现象；”应该为“-e 0 -f out.h265 是正常的，无不正常现象；”；
以下命令是昨天测试的，结果是-d全屏黑屏，-m文件播放正常。
------20240229 14:39 启动下述命令，【现象】全屏黑屏，输出文件正常可以打开，也有时间进度条。按q退出。

1. root@firefly:/home/ap/cetccity/wuyiqi/ffmediaTest# python3 demo.py -i 'rtsp://admin:js123456@192.168.8.213:554/cam/realmonitor?channel=1&subtype=0' --rtsp_transport '1' -d '0' -e '0' -m 'out.mp4'
   
2. Firefly FFMedia: v2.2.3
   
3. input source is a rtsp url
   
4. INFO: ff_media: connectToServer: connected to server 192.168.8.213:554
   
5. WARN: ff_media: sendOptionsCmd: cannot handle OPTIONS response: RTSP/1.0 401 Unauthorized
   
6. ERROR: ff_media: CheckUdpPort: [CheckUdpPort] bind() error (port number: 10000): INFO: ff_media: initiate: Rtp port(10000) already used the other rtp port
   
7. ERROR: ff_media: CheckUdpPort: [CheckUdpPort] bind() error (port number: 10002): INFO: ff_media: initiate: Rtp port(10002) already used the other rtp port
   
8. INFO: 16ModuleRtspClient: init: rtsp para w h: 1920 1080, ws hs: 1920 1080, format: H265
   
9. INFO: 15DrmDisplayPlane: setupDisplayDevice: 0 0
   
10. INFO: 15DrmDisplayPlane: setupDisplayDevice: conn_id = 150 enc_id = 149 crtc_id = 71
    
11. INFO: 15DrmDisplayPlane: setup: plane_id = 101
    
12. ==================Pipe===================
    
13. ModuleRtspClient (H265 1920x1080)
    
14.    |--->ModuleMppDec (NV12 1920x1080)
    
15.            |--->ModuleDrmDisplay (NV12 1920x1080)
    
16.            |--->ModuleMppEnc (H264 1920x1080)
    
17.                    |--->ModuleFileWriter (Unknow V4L2 Format 0x0)
    
18. 
    
19. wait...rga_api version 1.3.0_[0] (RGA is compiling with meson base: $PRODUCT_BASE)
    
20. INFO: 16ModuleDrmDisplay: setupWindow: input NV12 0 0 1920 1080 2304 1088
    
21. INFO: 16ModuleDrmDisplay: setupWindow: output NV12 0 0 1920 1080 1920 1080
    
22. INFO: 10MppDecoder: getTimeoutSample: 0x19225120 frame info changed 1 error 0 discard 0
    
23. INFO: 10MppEncoder: putWithBuffers: Input frame para is changed, redo init
    
24. q
    
25. ==================Summary================
    
26. ModuleRtspClient (In Full: 0, Out Empty: 224)
    
27.    |--->ModuleMppDec (In Full: 0, Out Empty: 415)
    
28.            |--->ModuleDrmDisplay (In Full: 0, Out Empty: 0)
    
29.            |--->ModuleMppEnc (In Full: 0, Out Empty: 221)
    
30.                    |--->ModuleFileWriter (In Full: 0, Out Empty: 0)
    
31. 
    
32. INFO: 10RTSPClient: teardownMediaSession: teardown session success

复制代码

dengkx

wuyq 发表于 2024-3-1 09:08
抱歉~~~昨天回复内容写错了，“-d 0 -f out.h265 是正常的，无不正常现象；”应该为“-e 0 -f out.h265 ...

你可以按照我提供的操作来吗？
-d 0 -f out.h265
看到显示黑屏后等几秒退出，你就可以用你win软件播放该文件看rtsp拉流的数据正不正常。
不用关注进度条，-f是直接将源模块（rtsp）输出的数据写入文件，他是裸流，没有时间戳不会有进度条；-m封装mp4、mkv、flv、ts等封装格式文件才有时间戳才会有进度条

wuyq

dengkx 发表于 2024-3-1 09:43
你可以按照我提供的操作来吗？
-d 0 -f out.h265
看到显示黑屏后等几秒退出，你就可以用你win软件播放 ...

按照您说的，操作如下~
-----20240301 09:50 【现象】-d 0 盒子上全屏黑屏，-f out.h256 win环境播放正常。

1. root@firefly:/home/ap/cetccity/wuyiqi/ffmediaTest# python3 demo.py -i 'rtsp://admin:js123456@192.168.8.213:554/cam/realmonitor?channel=1&subtype=0' -d '0' -f 'out.h265'
   
2. Firefly FFMedia: v2.2.3
   
3. input source is a rtsp url
   
4. INFO: ff_media: connectToServer: connected to server 192.168.8.213:554
   
5. WARN: ff_media: sendOptionsCmd: cannot handle OPTIONS response: RTSP/1.0 401 Unauthorized
   
6. INFO: ff_media: RTPSource: RTPSock current buffer size is(425984)
   
7. INFO: ff_media: RTPSource: RTPSock current buffer size is(425984)
   
8. INFO: 16ModuleRtspClient: init: rtsp para w h: 1920 1080, ws hs: 1920 1080, format: H265
   
9. INFO: 15DrmDisplayPlane: setupDisplayDevice: 0 0
   
10. INFO: 15DrmDisplayPlane: setupDisplayDevice: conn_id = 150 enc_id = 149 crtc_id = 71
    
11. INFO: 15DrmDisplayPlane: setup: plane_id = 101
    
12. ==================Pipe===================
    
13. ModuleRtspClient (H265 1920x1080)
    
14.    |--->ModuleMppDec (NV12 1920x1080)
    
15.            |--->ModuleDrmDisplay (NV12 1920x1080)
    
16. 
    
17. wait...rga_api version 1.3.0_[0] (RGA is compiling with meson base: $PRODUCT_BASE)
    
18. INFO: 16ModuleDrmDisplay: setupWindow: input NV12 0 0 1920 1080 2304 1088
    
19. INFO: 16ModuleDrmDisplay: setupWindow: output NV12 0 0 1920 1080 1920 1080
    
20. INFO: 10MppDecoder: getTimeoutSample: 0x2e49f6a0 frame info changed 1 error 0 discard 0
    
21. q
    
22. ==================Summary================
    
23. ModuleRtspClient (In Full: 0, Out Empty: 109)
    
24.    |--->ModuleMppDec (In Full: 0, Out Empty: 103)
    
25.            |--->ModuleDrmDisplay (In Full: 0, Out Empty: 0)
    
26. 
    
27. INFO: 10RTSPClient: teardownMediaSession: teardown session success

复制代码

这边的需求是希望通过demo.py中的cv2_extcall_bac方法，
获取第54行的img = data.reshape((vb.getImagePara().vstride, vb.getImagePara().hstride, 3))，
然后对img进行图像算法处理。
然后目前尝试过-c 1无效，然后排错就出现了-d 0、-x 1显示不行问题~~~

wuyq

wuyq 发表于 2024-3-1 09:58
按照您说的，操作如下~
-----20240301 09:50 【现象】-d 0 盒子上全屏黑屏，-f out.h256 win环境播放正 ...

该【现象】-d 0 盒子上全屏黑屏，-f out.h256 win环境播放正常。
是否可以认为是ffmedia屏幕输出有问题，生成的out.h256是正常的？
打印cv2_extcall_bac方法中str(MediaBuffer.getActiveData())是[0,0,0,....,0]。

dengkx

wuyq 发表于 2024-3-3 09:45
该【现象】-d 0 盒子上全屏黑屏，-f out.h256 win环境播放正常。
是否可以认为是ffmedia屏幕输出有问题 ...

这问题看着像是rga的问题。再试试这两个命令, -i输入本地视频文件也行：
./demo.py -i rtsp://xxxx - e 0 -m out1.mp4
./demo.py -i xxxx -o 1280x720 -e 0 -m out2.mp4

执行十几秒再按回车键退出，在win播放这两个文件看哪个有异常。

wuyq

dengkx 发表于 2024-3-4 10:34
这问题看着像是rga的问题。再试试这两个命令, -i输入本地视频文件也行：
./demo.py -i rtsp://xxxx - e  ...

按照要求测试结果：
~~结论~~
① rtsp mp4文件播放正常。
② 找了2段mp4本地文件，执行后 新的mp4文件均绿屏。

~~详细命令行~~
------20240304 11:20 out1.mp4【打开正常】

1. root@firefly:/home/ap/cetccity/wuyiqi/ffmediaTest# python3 demo.py -i 'rtsp://admin:js123456@192.168.8.213:554/cam/realmonitor?channel=1&subtype=0' -e '0' -m 'out1.mp4'
   
2. Firefly FFMedia: v2.2.3
   
3. input source is a rtsp url
   
4. INFO: ff_media: connectToServer: connected to server 192.168.8.213:554
   
5. WARN: ff_media: sendOptionsCmd: cannot handle OPTIONS response: RTSP/1.0 401 Unauthorized
   
6. INFO: ff_media: RTPSource: RTPSock current buffer size is(425984)
   
7. INFO: ff_media: RTPSource: RTPSock current buffer size is(425984)
   
8. INFO: 16ModuleRtspClient: init: rtsp para w h: 1920 1080, ws hs: 1920 1080, format: H265
   
9. ==================Pipe===================
   
10. ModuleRtspClient (H265 1920x1080)
    
11.    |--->ModuleMppDec (NV12 1920x1080)
    
12.            |--->ModuleMppEnc (H264 1920x1080)
    
13.                    |--->ModuleFileWriter (Unknow V4L2 Format 0x0)
    
14. 
    
15. wait...INFO: 10MppDecoder: getTimeoutSample: 0x5ea22a0 frame info changed 1 error 0 discard 0
    
16. INFO: 10MppEncoder: putWithBuffers: Input frame para is changed, redo init
    
17. q
    
18. ==================Summary================
    
19. ModuleRtspClient (In Full: 0, Out Empty: 479)
    
20.    |--->ModuleMppDec (In Full: 0, Out Empty: 458)
    
21.            |--->ModuleMppEnc (In Full: 0, Out Empty: 461)
    
22.                    |--->ModuleFileWriter (In Full: 0, Out Empty: 0)
    
23. 
    
24. INFO: 10RTSPClient: teardownMediaSession: teardown session success

复制代码

------20240304 11:22 out2.mp4【打开不正常】

1. root@firefly:/home/ap/cetccity/wuyiqi/ffmediaTest# python3 demo.py -i 'yanhuo.mp4' -o '1280x720' -e '0' -m 'out2.mp4'
   
2. Firefly FFMedia: v2.2.3
   
3. input source is a regular file.
   
4. INFO: 16ModuleFileReader: init: Get Video Resolution( 2560 x 1436 )
   
5. rga_api version 1.3.0_[0] (RGA is compiling with meson base: $PRODUCT_BASE)
   
6. ==================Pipe===================
   
7. ModuleFileReader (H264 2560x1436)
   
8.    |--->ModuleMppDec (NV12 2560x1436)
   
9.            |--->ModuleRga (NV12 1280x720)
   
10.                    |--->ModuleMppEnc (H264 1280x720)
    
11.                            |--->ModuleFileWriter (Unknow V4L2 Format 0x0)
    
12. 
    
13. wait...INFO: 10MppDecoder: getTimeoutSample: 0x8ba7d20 frame info changed 1 error 0 discard 0
    
14. INFO: 16ModuleFileReader: work: Produce EOS
    
15. ERROR: 16ModuleFileWriter: work: wait for productor ModuleMppEnc timeout
    
16. q
    
17. ==================Summary================
    
18. ModuleFileReader (In Full: 0, Out Empty: 49)
    
19.    |--->ModuleMppDec (In Full: 1720, Out Empty: 8)
    
20.            |--->ModuleRga (In Full: 200, Out Empty: 508)
    
21.                    |--->ModuleMppEnc (In Full: 14, Out Empty: 863)
    
22.                            |--->ModuleFileWriter (In Full: 0, Out Empty: 0)

复制代码

------20240304 11:26 out3.mp4【打开不正常】

1. root@firefly:/home/ap/cetccity/wuyiqi/ffmediaTest# python3 demo.py -i 'mj.mp4' -o '1280x720' -e '0' -m 'out3.mp4'
   
2. Firefly FFMedia: v2.2.3
   
3. input source is a regular file.
   
4. INFO: 16ModuleFileReader: init: Get Video Resolution( 540 x 960 )
   
5. rga_api version 1.3.0_[0] (RGA is compiling with meson base: $PRODUCT_BASE)
   
6. ==================Pipe===================
   
7. ModuleFileReader (H264 540x960)
   
8.    |--->ModuleMppDec (NV12 540x960)
   
9.            |--->ModuleRga (NV12 1280x720)
   
10.                    |--->ModuleMppEnc (H264 1280x720)
    
11.                            |--->ModuleFileWriter (Unknow V4L2 Format 0x0)
    
12. 
    
13. wait...INFO: 10MppDecoder: getTimeoutSample: 0x4f998e0 frame info changed 1 error 0 discard 0
    
14. INFO: 16ModuleFileReader: work: Produce EOS
    
15. ERROR: 16ModuleFileWriter: work: wait for productor ModuleMppEnc timeout
    
16. q
    
17. ==================Summary================
    
18. ModuleFileReader (In Full: 0, Out Empty: 434)
    
19.    |--->ModuleMppDec (In Full: 355, Out Empty: 7)
    
20.            |--->ModuleRga (In Full: 212, Out Empty: 7)
    
21.                    |--->ModuleMppEnc (In Full: 339, Out Empty: 347)
    
22.                            |--->ModuleFileWriter (In Full: 0, Out Empty: 0)

复制代码

dengkx

wuyq 发表于 2024-3-4 11:33
按照要求测试结果：
~~结论~~
① rtsp mp4文件播放正常。

第二条命令也可以测下rtsp，不过大概知道问题了，是rga模块无法正常运行，可以更新最新的发布的固件测试下

wuyq

dengkx 发表于 2024-3-4 11:41
第二条命令也可以测下rtsp，不过大概知道问题了，是rga模块无法正常运行，可以更新最新的发布的固件测试 ...

目前我们的盒子版本是rk3568pc-se。可以使用以下固件地址吗？【https://www.t-firefly.com/doc/download/180.html -> 固件 -> Ubuntu ->Ubuntu20.04 -> Public -> ROC-RK3568-PC-SE_Ubuntu20.04-r3108_v1.3.2g_240111.7z】
回复测试情况~
------20240304 13:35 out4.mp4【打开不正常】

1. root@firefly:/home/ap/cetccity/wuyiqi/ffmediaTest# python3 demo.py -i 'rtsp://admin:js123456@192.168.8.213:554/cam/realmonitor?channel=1&subtype=0' -o '1280x720' -e '0' -m 'out4.mp4'
   
2. Firefly FFMedia: v2.2.3
   
3. input source is a rtsp url
   
4. INFO: ff_media: connectToServer: connected to server 192.168.8.213:554
   
5. WARN: ff_media: sendOptionsCmd: cannot handle OPTIONS response: RTSP/1.0 401 Unauthorized
   
6. INFO: ff_media: RTPSource: RTPSock current buffer size is(425984)
   
7. INFO: ff_media: RTPSource: RTPSock current buffer size is(425984)
   
8. INFO: 16ModuleRtspClient: init: rtsp para w h: 1920 1080, ws hs: 1920 1080, format: H265
   
9. rga_api version 1.3.0_[0] (RGA is compiling with meson base: $PRODUCT_BASE)
   
10. ==================Pipe===================
    
11. ModuleRtspClient (H265 1920x1080)
    
12.    |--->ModuleMppDec (NV12 1920x1080)
    
13.            |--->ModuleRga (NV12 1280x720)
    
14.                    |--->ModuleMppEnc (H264 1280x720)
    
15.                            |--->ModuleFileWriter (Unknow V4L2 Format 0x0)
    
16. 
    
17. wait...INFO: 10MppDecoder: getTimeoutSample: 0x2b00f360 frame info changed 1 error 0 discard 0
    
18. q
    
19. ==================Summary================
    
20. ModuleRtspClient (In Full: 0, Out Empty: 309)
    
21.    |--->ModuleMppDec (In Full: 0, Out Empty: 296)
    
22.            |--->ModuleRga (In Full: 0, Out Empty: 295)
    
23.                    |--->ModuleMppEnc (In Full: 0, Out Empty: 296)
    
24.                            |--->ModuleFileWriter (In Full: 0, Out Empty: 0)
    
25. 
    
26. INFO: 10RTSPClient: teardownMediaSession: teardown session success

复制代码

dengkx

wuyq 发表于 2024-3-4 13:41
固件地址可以提供下吗？目前我们的盒子版本是rk3568pc-se。
回复测试情况~
------20240304 13:35 out4. ...

https://www.t-firefly.com/doc/download/180.html
可以在这个页面选择你要下载的固件下载

wuyq

dengkx 发表于 2024-3-4 13:53
https://www.t-firefly.com/doc/download/180.html
可以在这个页面选择你要下载的固件下载

最新的发布的固件测试下，我找到的是一下固件版本
固件版本ROC-RK3568-PC-SE_Ubuntu20.04-r3108_v1.3.2g_240111.7z
此固件自带python38
参照ffmedia_release/demo/readme.md安装apt组件
运行以下命令出现的情况~
总结
-e 0 -f out.h256 文件在win环境播放正常
-e 0 -o 1280*720 -x 1 绿屏

------20240304 15:00 【现象】绿屏无法展示

1. root@firefly:/home/ap/cetccity/wuyiqi/ffmediaTest# python3 demo.py -i 'rtsp://admin:js123456@192.168.8.213:554/cam/realmonitor?channel=1&subtype=0' -e '0' -o '1280*720' -x '1'
   
2. Firefly FFMedia: v2.2.3
   
3. input source is a rtsp url                                                                                                                                                                  
   
4. INFO: ff_media: connectToServer: connected to server 192.168.8.213:554                                                                                                                       
   
5. WARN: ff_media: sendOptionsCmd: cannot handle OPTIONS response: RTSP/1.0 401 Unauthorized                                                                                                   
   
6. ERROR: ff_media: CheckUdpPort: [CheckUdpPort] bind() error (port number: 10000): INFO: ff_media: initiate: Rtp port(10000) already used the other rtp port                                   
   
7. ERROR: ff_media: CheckUdpPort: [CheckUdpPort] bind() error (port number: 10002): INFO: ff_media: initiate: Rtp port(10002) already used the other rtp port                                   
   
8. INFO: ff_media: RTPSource: RTPSock current buffer size is(425984)                                                                                                                           
   
9. INFO: ff_media: RTPSource: RTPSock current buffer size is(425984)                                                                                                                           
   
10. INFO: 16ModuleRtspClient: init: rtsp para w h: 1920 1080, ws hs: 1920 1080, format: H265                                                                                                     
    
11. rga_api version 1.3.0_[0] (RGA is compiling with meson base: $PRODUCT_BASE)                                                                                                                  
    
12. ==================Pipe===================                                                                                      

复制代码