Firefly开源社区

标题: 回调函数，无法正常解析rtm流传入的图像的数据 [打印本页]
作者: chenwusong    时间: 2024-9-13 15:52
标题: 回调函数，无法正常解析rtm流传入的图像的数据
我在本机的1935部署了rtmp视频流，使demo.p已经可以正常读取到视频流，并且播放出去。然后我开始启动回调函数对数据进行处理，不过目前demo.py里的回调函数，无法解析出图像数据，这个回调函数，可以正常从/dev/video0里读取的图像，但是无法解析rtmp流的图像。


  1. #!/usr/bin/env python
  2. #coding:utf-8
  3. """
  4.   Author:   陈 --<>
  5.   Purpose:
  6.   Created: 202409
  7. """

  9. import argparse
  10. import re
  11. import sys
  12. import os
  13. import stat
  14. import time
  15. import cv2
  16. import copy
  17. import json

  19. import numpy as np

  21. import ff_pymedia as m


  24. def showText(img, text):
  25.     return cv2.putText(img, f'fps:{text}', (10, 30), cv2.FONT_HERSHEY_SIMPLEX, 1, (0, 255, 0), 1, cv2.LINE_AA)

  27. def align(x, a):
  28.     return (x + a - 1) & ~(a - 1)


  31. def call_back1(obj, MediaBuffer):
  32.     print('czj',time.time())
  33.     vb = m.VideoBuffer.from_base(MediaBuffer)
  34.     data = vb.getActiveData()
  35.     try:
  36.         img = data.reshape((vb.getImagePara().vstride, vb.getImagePara().hstride, 3))
  37.         print(img.shape)
  38.     except:
  39.         pass
  40.     #np.save(f'cache/{time.time()}.npy',data)
  41.     print(type(data),data.shape,vb.getImagePara().vstride,vb.getImagePara().hstride,data[:20])
  42.     a = MediaBuffer.getActiveData()
  43.     print(a.shape)
  44.     #obj.write(a)

  46.     return MediaBuffer



  50. def get_parameters():
  51.     parser = argparse.ArgumentParser()
  52.     parser.add_argument("-i", "--input_source", dest='input_source', type=str, help="input source")
  53.     parser.add_argument("-f", "--save_file", dest='save_file', type=str, help="Enable save source output data to file, set filename, default disabled")
  54.     parser.add_argument("-o", "--output", dest='output', type=str, help="Output image size, default same as input")
  55.     parser.add_argument("-b", "--outputfmt", dest='outputfmt', type=str, default="NV12", help="Output image format, default NV12")
  56.     parser.add_argument("-e", "--encodetype", dest='encodetype', type=int, default=-1, help="Encode encode, set encode type, default disabled")
  57.     parser.add_argument("-m", "--enmux", dest='enmux', type=str, help="Enable save encode data to file. Enable package as mp4, mkv, flv, ts, ps or raw stream files, muxer type depends on the filename suffix. default disabled")
  58.     parser.add_argument("-p", "--port", dest='port', type=int, default=0, help="Enable push stream, default rtsp stream, set push port, depend on encode enabled, default disabled\n")
  59.     parser.add_argument("--push_type", dest='push_type', type=int, default=0, help="Set push stream type, default rtsp. e.g. --push_type 1\n")
  60.     parser.add_argument("--rtmp_url", dest='rtmp_url', type=str, help="Set the rtmp client push address. e.g. --rtmp_url rtmp://xxx\n")
  61.     parser.add_argument("--rtsp_transport", dest='rtsp_transport', type=int, default=0, help="Set the rtsp transport type, default 0(udp)")
  62.     parser.add_argument("-s", "--sync", dest="sync", type=int, default=-1, help="Enable synchronization module, default disabled. e.g. -s 1")
  63.     parser.add_argument("--audio", dest='audio', type=bool, default=False, help="Enable audio, default disabled.")
  64.     parser.add_argument("--aplay", dest='aplay', type=str, help="Enable play audio, default disabled. e.g. --aplay plughw:3,0")
  65.     parser.add_argument("--arecord", dest='arecord', type=str, help="Enable record audio, default disabled. e.g. --arecord plughw:3,0")
  66.     parser.add_argument("-r", "--rotate", dest='rotate',type=int, default=0, help="Image rotation degree, default 0" )
  67.     parser.add_argument("-d", "--drmdisplay", dest='drmdisplay', type=int, default=-1, help="Drm display, set display plane, set 0 to auto find plane")
  68.     parser.add_argument("--connector", dest='connector', type=int, default=0, help="Set drm display connector, default 0 to auto find connector")
  69.     parser.add_argument("-z","--zpos", dest='zpos', type=int, default=0xff, help="Drm display plane zpos, default auto select")
  70.     parser.add_argument("-c", "--cvdisplay", dest='cvdisplay', type=int, default=0, help="OpenCv display, set window number, default 0")
  71.     parser.add_argument("-x", "--x11display", dest='x11display', type=int, default=0, help="X11 window displays, render the video using gles. default disabled")
  72.     parser.add_argument("-l", "--loop", dest='loop', action='store_true', help="Loop reads the media file.")
  73.     parser.add_argument("--gb28181_user_id", dest='gb28181_user_id', type=str, help="Enable gb28181 client, default disabled. set user id.")
  74.     parser.add_argument("--gb28181_server_id", dest='gb28181_server_id', type=str, help="Set the server id of gb28181 client.")
  75.     parser.add_argument("--gb28181_server_ip", dest='gb28181_server_ip', type=str, help="Set the server ip of gb28181 client\.")
  76.     parser.add_argument("--gb28181_server_port", dest='gb28181_server_port', type=int, default=5060, help="Set the server port of gb28181 client.")
  77.     return parser.parse_args()

  79. def main():

  81.     args = get_parameters()
  82.     last_audio_module = None
  83.     input_audio_source = None

  85.     if args.input_source is None:
  86.         return 1
  87.     elif args.input_source.startswith("rtsp://"):
  88.         print("input source is a rtsp url")
  89.         input_source = m.ModuleRtspClient(args.input_source, m.RTSP_STREAM_TYPE(args.rtsp_transport), True, args.audio)
  90.     elif args.input_source.startswith("rtmp://"):
  91.         print("input source is a rtmp url")
  92.         input_source = m.ModuleRtmpClient(args.input_source)
  93.     else:
  94.         is_stat = os.stat(args.input_source)
  95.         if stat.S_ISCHR(is_stat.st_mode):
  96.             print("input source is a camera device.")
  97.             input_source = m.ModuleCam(args.input_source)
  98.         elif stat.S_ISREG(is_stat.st_mode):
  99.             print("input source is a regular file.")
  100.             input_source = m.ModuleFileReader(args.input_source, args.loop);
  101.         else:
  102.             print("{} is not support.".format(args.input_source))
  103.             return 1

  105.     ret = input_source.init()
  106.     last_module = input_source
  107.     if ret < 0:
  108.         print("input_source init failed")
  109.         return 1

  111.     if args.sync == -1:
  112.         sync = None
  113.     else:
  114.         sync = m.Synchronize(m.SynchronizeType(args.sync))

  116.     if args.arecord is not None:
  117.         s_info = m.SampleInfo()
  118.         s_info.channels = 2
  119.         s_info.fmt = m.SAMPLE_FMT_S16
  120.         s_info.nb_samples = 1024
  121.         s_info.sample_rate = 48000
  122.         capture = m.ModuleAlsaCapture(args.arecord, s_info)
  123.         ret = capture.init()
  124.         if ret < 0:
  125.             print("Failed to init arecord")
  126.             return ret
  127.         input_audio_source = capture
  128.         last_audio_module = capture

  130.         aac_enc = m.ModuleAacEnc()
  131.         aac_enc.setProductor(last_audio_module)
  132.         ret = aac_enc.init()
  133.         if ret < 0:
  134.             print("Failed to init aac_enc")
  135.             return ret
  136.         last_audio_module = aac_enc


  139.     if args.aplay is not None:
  140.         aac_dec = m.ModuleAacDec()
  141.         if last_audio_module != None:
  142.             aac_dec.setProductor(last_audio_module)
  143.         else:
  144.             aac_dec.setProductor(last_module)
  145.         ret = aac_dec.init()
  146.         if ret < 0:
  147.             print("aac_dec init failed")
  148.             return 1

  150.         aplay = m.ModuleAlsaPlayBack(args.aplay)
  151.         aplay.setProductor(aac_dec)
  152.         aplay.setSynchronize(sync)
  153.         ret = aplay.init()
  154.         if ret < 0:
  155.             print("aplay init failed")
  156.             return 1

  158.     input_para = last_module.getOutputImagePara()
  159.     #input_para = last_module.getOutputImagePara()
  160.     #last_module.setOutputDataCallback({}, call_back1)

  162.     if input_para.v4l2Fmt == m.v4l2GetFmtByName("H264") or \
  163.         input_para.v4l2Fmt == m.v4l2GetFmtByName("MJPEG")or \
  164.         input_para.v4l2Fmt == m.v4l2GetFmtByName("H265"):
  165.         dec = m.ModuleMppDec()
  166.         dec.setProductor(last_module)
  167.         ret = dec.init()
  168.         if ret < 0:
  169.             print("dec init failed")
  170.             return 1
  171.         last_module = dec

  173.     input_para = last_module.getOutputImagePara()

  175.     #last_module.setOutputDataCallback({}, call_back1)

  177.     output_para=m.ImagePara(input_para.width, input_para.height, input_para.hstride, input_para.vstride, m.v4l2GetFmtByName(args.outputfmt))
  178.     if args.output is not None:
  179.         match = re.match(r"(\d+)x(\d+)", args.output)
  180.         if match:
  181.             width, height = map(int, match.groups())
  182.             output_para.width = width
  183.             output_para.height = height

  185.     if args.rotate !=0 or input_para.height != output_para.height or \
  186.         input_para.height != output_para.height or \
  187.         input_para.width != output_para.width or \
  188.         input_para.v4l2Fmt != output_para.v4l2Fmt:
  189.         rotate = m.RgaRotate(args.rotate)

  191.         if rotate == m.RgaRotate.RGA_ROTATE_90 or rotate == m.RgaRotate.RGA_ROTATE_270:
  192.             t = output_para.width
  193.             output_para.width = output_para.height
  194.             output_para.height = t

  196.         # hstride and vstride are aligned to 16 bytes
  197.         output_para.hstride = align(output_para.width, 16)
  198.         output_para.vstride = align(output_para.height, 16)

  200.         rga = m.ModuleRga(output_para, rotate)
  201.         rga.setProductor(last_module)
  202.         rga.setBufferCount(2)
  203.         ret = rga.init()
  204.         if ret < 0:
  205.             print("rga init failed")
  206.             return 1
  207.         last_module = rga

  209.     cv_display = None

  211.     #input_source.setOutputDataCallback({}, call_back1)

  213.     last_module.setOutputDataCallback({}, call_back1)

  215.     if args.drmdisplay != -1:
  216.         input_para = last_module.getOutputImagePara()
  217.         #last_module.setOutputDataCallback({}, call_back1)

  219.         drm_display = m.ModuleDrmDisplay()
  220.         drm_display.setPlanePara(m.v4l2GetFmtByName("NV12"), args.drmdisplay,
  221.                                  m.PLANE_TYPE.PLANE_TYPE_OVERLAY_OR_PRIMARY, args.zpos, 1, args.connector)
  222.         drm_display.setProductor(last_module)
  223.         drm_display.setSynchronize(sync)
  224.         ret = drm_display.init()
  225.         if ret < 0:
  226.             print("drm display init failed")
  227.             return 1
  228.         else:
  229.             t_h = drm_display.getDisplayPlaneH()
  230.             t_w = drm_display.getDisplayPlaneW()
  231.             w = min(t_w, input_para.width)
  232.             h = min(t_h, input_para.height)
  233.             x = (t_w - w) // 2
  234.             y = (t_h - h) // 2
  235.             drm_display.setWindowSize(x, y, w, h)
  236.     else:
  237.         if args.x11display != 0:
  238.             x11_display = m.ModuleRendererVideo(args.input_source)
  239.             x11_display.setProductor(last_module)
  240.             x11_display.setSynchronize(sync)
  241.             ret = x11_display.init()
  242.             if ret < 0:
  243.                 print("ModuleRendererVideo init failed")
  244.                 return 1

  246.         if args.cvdisplay > 0:
  247.             if not cv2_enable:
  248.                 print("Run 'pip3 install opencv-python' to install opencv")
  249.                 return 1
  250.             if output_para.v4l2Fmt != m.v4l2GetFmtByName("BGR24"):
  251.                 print("Output image format is not 'BGR24', Use the '-b BGR24' option to specify image format.")
  252.                 return 1
  253.             cv_display = Cv2Display("Cv2Display", None, sync, args.cvdisplay)
  254.             cv_display.module = last_module.addExternalConsumer("Cv2Display", cv_display, cv2_extcall_back)

  256.     if args.encodetype != -1:
  257.         enc = m.ModuleMppEnc(m.EncodeType(args.encodetype))
  258.         enc.setProductor(last_module)
  259.         enc.setBufferCount(8)
  260.         enc.setDuration(0) #Use the input source timestamp
  261.         ret = enc.init()
  262.         if ret < 0:
  263.             print("ModuleMppEnc init failed")
  264.             return 1
  265.         last_module = enc

  267.         if args.port != 0:
  268.             push_s = None
  269.             if args.push_type == 0:
  270.                 push_s = m.ModuleRtspServer("/live/0", args.port)
  271.             else:
  272.                 push_s = m.ModuleRtmpServer("/live/0", args.port)
  273.             push_s.setProductor(last_module)
  274.             push_s.setBufferCount(0)
  275.             if args.sync != -1:
  276.                 push_s.setSynchronize(m.Synchronize(m.SynchronizeType(args.sync)))

  278.             ret = push_s.init()
  279.             if ret < 0:
  280.                 print("push server init failed")
  281.                 return 1

  283.             if args.audio == True and args.push_type == 0:
  284.                 push_s_a = m.ModuleRtspServerExtend(push_s, "/live/0", args.port)
  285.                 if last_audio_module != None:
  286.                     push_s_a.setProductor(last_audio_module)
  287.                 else:
  288.                     push_s_a.setProductor(input_source)
  289.                 push_s_a.setAudioParameter(m.MEDIA_CODEC_AUDIO_AAC);
  290.                 ret = push_s_a.init()
  291.                 if ret < 0:
  292.                     print("Failed to init audio push server")
  293.                     return 1

  295.         if args.rtmp_url is not None:
  296.             push_c = m.ModuleRtmpClient(args.rtmp_url, m.ImagePara(), 0)
  297.             push_c.setProductor(last_module)
  298.             if args.sync != -1:
  299.                 push_c.setSynchronize(m.Synchronize(m.SynchronizeType(args.sync)))
  300.             ret = push_c.init()
  301.             if ret < 0:
  302.                 print("Fail to init rtmp client push")
  303.                 return 1

  305.         if args.gb28181_user_id is not None:
  306.             gb28181_c = m.ModuleGB28181Client(args.gb28181_user_id, "ffmedia")
  307.             gb28181_c.setProductor(last_module)
  308.             if args.sync != -1:
  309.                 gb28181_c.setSynchronize(m.Synchronize(m.SynchronizeType(args.sync)))

  311.             gb28181_c.setServerConfig(args.gb28181_server_id, args.gb28181_server_ip, \
  312.                                       args.gb28181_server_ip, args.gb28181_server_port, 3600)
  313.             ret = gb28181_c.init()
  314.             if ret < 0:
  315.                 print("Failed to init gb28181 client")
  316.                 return 1

  318.     if args.enmux is not None:
  319.         enm = m.ModuleFileWriter(args.enmux)
  320.         enm.setProductor(last_module)
  321.         ret = enm.init()
  322.         if ret < 0:
  323.             print("ModuleFileWriter init failed")
  324.             return 1

  326.         if args.audio:
  327.             enm_audio = m.ModuleFileWriterExtend(enm, args.enmux)
  328.             if last_audio_module != None:
  329.                 enm_audio.setProductor(last_audio_module)
  330.             else:
  331.                 enm_audio.setProductor(input_source)
  332.             enm_audio.setAudioParameter(0, 0, 0, m.MEDIA_CODEC_AUDIO_AAC);
  333.             ret = enm_audio.init()
  334.             if ret < 0:
  335.                 print("Failed to init audio writer")
  336.                 return 1

  338.     if args.save_file is not None:
  339.         file = open(args.save_file, "wb")
  340.         input_source.setOutputDataCallback(file, call_back)


  343.     input_source.start()
  344.     input_source.dumpPipe()
  345.     if input_audio_source != None:
  346.         input_audio_source.start()
  347.         input_audio_source.dumpPipe()
  348.     text = input("wait...")
  349.     if input_audio_source != None:
  350.         input_audio_source.dumpPipeSummary()
  351.         input_audio_source.stop()
  352.     input_source.dumpPipeSummary()
  353.     input_source.stop()

  355.     if args.save_file is not None:
  356.         file.close()


  359. if __name__ == "__main__":
  360.     main()
复制代码

程序启动命令是：
sudo /home/firefly/miniconda3/envs/pyev/bin/python3 ./czj_new_v5.py  -i rtmp://127.0.0.1:1935/live/stream_key -o 1920x1080 -d 0


然后回调函数里call_back1，无法正常解析出图像。
下面是打印日志。




可以请大佬帮忙看看怎么正常解析rtmp里的图像，处理后再发送走吗？




作者: dengkx    时间: 2024-9-13 17:18
解码模块解出来的是nv12格式数据，不是BGR24格式的，你可以添加个RGA模块将nv12格式转成BGR24，然后设置回调在RGA模块上处理数据。和demo.py 的-b BGR24操作一样
作者: chenwusong    时间: 2024-9-14 09:32
dengkx 发表于 2024-9-13 17:18
解码模块解出来的是nv12格式数据，不是BGR24格式的，你可以添加个RGA模块将nv12格式转成BGR24，然后设置回 ...

成功了成功了，大佬真厉害，加了这个转换后的数据果然可以正常解析了，多谢大佬指点。
多问一下，现在可以直接从/dev/video0，读取nv24的数据吗？ 就是改成   python demo.py -i  /dev/video0 -d 0 这样运行的，之前也问过，那会说还没兼容从/dev/video0读取nv24的输入，请问现在有什么办法解决吗？
作者: dengkx    时间: 2024-9-14 11:39
chenwusong 发表于 2024-9-14 09:32
成功了成功了，大佬真厉害，加了这个转换后的数据果然可以正常解析了，多谢大佬指点。
多问一下，现在可 ...

读取应该没有问题，只是硬件不支持操作NV24格式的数据，所以他转不了BGR24给你使用



欢迎光临 Firefly开源社区 (https://dev.t-firefly.com/) Powered by Discuz! X3.1