FFMPEG: напрямую декодировать пакеты после кодирования

используя FFMPEG API, я пытаюсь закодировать видео x264 в файл MP4 с задержкой кадра 0, а также в реальном времени показать текущий закодированный кадр на экране (с артефактами кодирования). Кодировка в файл работает, но пока у меня не получается декодировать кадры сразу после их записи в файл. Я пытаюсь передать пакетные данные, которые возвращаются из avcodec_encode_video(), прямо в avcodec_decode_video2(), но функция возвращает -1, а вывод cmd показывает:

[h264 @ 00000000025F0710] non-existing PPS 0 referenced
[h264 @ 00000000025F0710] decode_slice_header error
[h264 @ 00000000025F0710] no frame

вот код, который я использую для кодирования:

AVPacket FFMpegEncoder2::write_video_frame(AVFrame* pic, int &numBytes)
{
    int out_size, ret;

    AVPacket pkt;


    /* encode the image */
    out_size = avcodec_encode_video(m_cctx, m_outbuf,
                                        m_outbufSize, pic);
    /* If size is zero, it means the image was buffered. */
    assert(out_size>0) //0 frame delay

    av_init_packet(&pkt);

    if (m_cctx->coded_frame->pts != AV_NOPTS_VALUE)
          pkt.pts = av_rescale_q(m_cctx->coded_frame->pts,m_cctx->time_base, m_video_st->time_base);
    if (m_cctx->coded_frame->key_frame)
          pkt.flags |= AV_PKT_FLAG_KEY;
    pkt.stream_index = m_video_st->index;
    pkt.data         = m_outbuf;
    pkt.size         = out_size;

    /* Write the compressed frame to the media file. */
    ret = av_interleaved_write_frame(m_fctx, &pkt);

    if (ret != 0) {
        fprintf(stderr, "Error while writing video frame\n");
        exit(1);
    }
    numBytes = out_size;
    return pkt;
}

а затем я беру этот возвращенный пакет и загружаю его в декодер:

const AVFrame* FFMpegDecoder2::decode(AVPacket* packet){
    AVPacket pkt;
    av_init_packet(&pkt);
    pkt.size = packet->size;
    pkt.data = packet->data;

    int len=0;
    int got_picture=0;


    while (pkt.size > 0) {
            len = avcodec_decode_video2(m_cctx, m_frame, &got_picture, &pkt);
            if (len < 0) {
                fprintf(stderr, "Error while decoding frame %d\n", m_f);
                exit(1);
            }
            if (got_picture) {
                assert(pkt.size==len);
                m_f++;
            }
            pkt.size -= len;
            pkt.data += len;
        }
    assert(got_picture);
    return m_frame;
}

но, как указано, avcodec_decode_video2() возвращает -1

Что я делаю неправильно? Нужно ли мне сначала как-то передать некоторые данные заголовка в декодер?

//редактировать:

если я поставлю

m_formatCtx->oformat->flags &= ~AVFMT_GLOBALHEADER;
m_codecctx->flags &= ~CODEC_FLAG_GLOBAL_HEADER;

тогда я могу декодировать возвращенный пакет без ошибок, но записанный файл mp4 будет черным.

// редактировать: вот как я настраиваю декодер:

FFMpegDecoder2::FFMpegDecoder2(CodecID id)
    : m_codec(NULL)
    , m_cctx(NULL)
{


    /* Initialize libavcodec, and register all codecs and formats. */
    avcodec_register_all();

    m_codec = avcodec_find_decoder(id);
    if (!m_codec) {
        fprintf(stderr, "codec not found\n");
        exit(1);
    }

    m_cctx = avcodec_alloc_context3(m_codec);
    m_cctx->codec = m_codec;
    m_cctx->pix_fmt = PIX_FMT_YUV420P;

    avcodec_open2(m_cctx, m_codec, NULL);

    //alloc frame
    m_frame = avcodec_alloc_frame();
}

вот что показывает окно памяти для первого пакета (все не копировал. размер первого пакета 7859):

0x0000000002E66670  00 00 01 06 05 ff ff 55 dc 45 e9 bd e6 d9 48 b7 96 2c d8 20 d9 23 ee ef 78 32 36 34 20 2d 20 63 6f 72 65 20 31 32 30 20 72 32 31 34 36 20 62  .....ÿÿUÜEé.æÙH·–,Ø Ù#îïx264 - core 120 r2146 b
0x0000000002E6669F  63 64 34 31 64 62 20 2d 20 48 2e 32 36 34 2f 4d 50 45 47 2d 34 20 41 56 43 20 63 6f 64 65 63 20 2d 20 43 6f 70 79 6c 65 66 74 20 32 30 30 33  cd41db - H.264/MPEG-4 AVC codec - Copyleft 2003
0x0000000002E666CE  2d 32 30 31 31 20 2d 20 68 74 74 70 3a 2f 2f 77 77 77 2e 76 69 64 65 6f 6c 61 6e 2e 6f 72 67 2f 78 32 36 34 2e 68 74 6d 6c 20 2d 20 6f 70 74  -2011 - http://www.videolan.org/x264.html - opt
0x0000000002E666FD  69 6f 6e 73 3a 20 63 61 62 61 63 3d 30 20 72 65 66 3d 33 20 64 65 62 6c 6f 63 6b 3d 31 3a 30 3a 30 20 61 6e 61 6c 79 73 65 3d 30 78 33 3a 30  ions: cabac=0 ref=3 deblock=1:0:0 analyse=0x3:0
0x0000000002E6672C  78 31 31 33 20 6d 65 3d 68 65 78 20 73 75 62 6d 65 3d 34 20 70 73 79 3d 31 20 70 73 79 5f 72 64 3d 31 2e 30 30 3a 30 2e 30 30 20 6d 69 78 65  x113 me=hex subme=4 psy=1 psy_rd=1.00:0.00 mixe
0x0000000002E6675B  64 5f 72 65 66 3d 31 20 6d 65 5f 72 61 6e 67 65 3d 31 36 20 63 68 72 6f 6d 61 5f 6d 65 3d 31 20 74 72 65 6c 6c 69 73 3d 30 20 38 78 38 64 63  d_ref=1 me_range=16 chroma_me=1 trellis=0 8x8dc
0x0000000002E6678A  74 3d 31 20 63 71 6d 3d 30 20 64 65 61 64 7a 6f 6e 65 3d 32 31 2c 31 31 20 66 61 73 74 5f 70 73 6b 69 70 3d 31 20 63 68 72 6f 6d 61 5f 71 70  t=1 cqm=0 deadzone=21,11 fast_pskip=1 chroma_qp
0x0000000002E667B9  5f 6f 66 66 73 65 74 3d 30 20 74 68 72 65 61 64 73 3d 31 20 73 6c 69 63 65 64 5f 74 68 72 65 61 64 73 3d 30 20 6e 72 3d 30 20 64 65 63 69 6d  _offset=0 threads=1 sliced_threads=0 nr=0 decim
0x0000000002E667E8  61 74 65 3d 31 20 69 6e 74 65 72 6c 61 63 65 64 3d 30 20 62 6c 75 72 61 79 5f 63 6f 6d 70 61 74 3d 30 20 63 6f 6e 73 74 72 61 69 6e 65 64 5f  ate=1 interlaced=0 bluray_compat=0 constrained_
0x0000000002E66817  69 6e 74 72 61 3d 30 20 62 66 72 61 6d 65 73 3d 30 20 77 65 69 67 68 74 70 3d 32 20 6b 65 79 69 6e 74 3d 32 35 20 6b 65 79 69 6e 74 5f 6d 69  intra=0 bframes=0 weightp=2 keyint=25 keyint_mi
0x0000000002E66846  6e 3d 32 20 73 63 65 6e 65 63 75 74 3d 34 30 20 69 6e 74 72 61 5f 72 65 66 72 65 73 68 3d 30 20 72 63 3d 61 62 72 20 6d 62 74 72 65 65 3d 30  n=2 scenecut=40 intra_refresh=0 rc=abr mbtree=0
0x0000000002E66875  20 62 69 74 72 61 74 65 3d 34 30 30 20 72 61 74 65 74 6f 6c 3d 31 2e 30 20 71 63 6f 6d 70 3d 30 2e 36 30 20 71 70 6d 69 6e 3d 30 20 71 70 6d   bitrate=400 ratetol=1.0 qcomp=0.60 qpmin=0 qpm
0x0000000002E668A4  61 78 3d 36 39 20 71 70 73 74 65 70 3d 34 20 69 70 5f 72 61 74 69 6f 3d 31 2e 34 30 20 61 71 3d 31 3a 31 2e 30 30 00 80 00 00 00 01 65 88 84  ax=69 qpstep=4 ip_ratio=1.40 aq=1:1.00.€....eˆ.
0x0000000002E668D3  11 ef ff f8 22 0f 8a 00 02 09 7e 38 00 08 45 c7 00 01 1d c9 39 3d 87 ff e0 ac 13 03 6d 05 f1 00 10 00 10 12 88 04 00 04 02 60 70 4e 2d cc 38  .ïÿø".Š...~8..EÇ...É9=.ÿà¬..m.ñ.....ˆ....`pN-Ì8
0x0000000002E66902  27 16 e6 07 21 1a e6 1c 84 6b 9f f0 f0 27 15 f2 7b 87 ff c1 58 2a 8a 00 04 b8 80 00 58 00 04 02 62 01 03 c1 c1 04 63 07 04 11 88 90 b1 89 0b  '.æ.!.æ..kŸðð'.ò{.ÿÁX*Š..¸€.X...b..ÁÁ.c...ˆ.±..
0x0000000002E66931  1f 2c 11 02 b1 40 00 87 8f a4 f7 0f ff 82 b0 55 06 93 41 c4 10 51 00 00 40 14 00 04 00 a3 b7 35 b7 30 38 26 1e e6 1c 13 0f 73 f2 c1 10 2b 14  .,..±@...¤÷.ÿ.°U.“AÄ.Q..@....£·5·08&.æ...sòÁ.+.
0x0000000002E66960  1f 1f 1c 32 7f 94 11 82 a1 40 01 f1 00 00 40 14 01 22 00 01 e0 1e 22 0a e3 83 1c 19 3d f8 7f e0 b0 16 03 01 22 0f 88 00 02 00 00 16 20 01 17  ...2.”..¡@.ñ..@.."..à.".ãƒ..=ø.à°...".ˆ..... ..
0x0000000002E6698F  03 84 c2 5c 87 09 84 b9 06 4a e4 a4 ae 08 82 d8 e0 00 20 0f 1d 93 df c3 fe 0b 01 54 50 07 88 a8 80 00 64 09 88 58 88 58 83 84 1d 88 38 41 d8  ..Â\.....J䤮..Øà. ..“ßÃþ..TP.ˆ¨€.d.ˆXˆXƒ..ˆ8AØ
0x0000000002E669BE  f2 c1 10 2b 14 00 08 f8 e0 00 62 38 64 ff 08 70 13 0a c1 d2 e9 b5 5d ba 10 80 09 a2 01 2e 07 04 c2 dc 87 04 c2 dc 81 c8 66 b9 0e 43 35 cb 0f  òÁ.+...øà.b8dÿ.p..ÁÒéµ]º.€.¢....ÂÜ..ÂÜ.Èf..C5Ë.
0x0000000002E669ED  ff c1 10 27 2c 00 7e 8e 00 05 64 e4 f6 1f ff 82 28 a0 00 21 99 e3 80 00 99 ac 70 00 11 39 93 93 d8 7f fe 0a c1 40 34 9a 0b e3 40 00 84 40 01  ÿÁ.',.~Ž..däö.ÿ.( .!™ã€.™¬p..9““Ø.þ.Á@4š.ã@..@.
0x0000000002E66A1C  00 01 02 88 fd cd 7d cc 0e 08 a4 dc c3 82 29 37 3f e0 88 14 8b f1 c3 1c 03 27 f0 c3 60 a0 50 62 86 da 36 1f 10 00 0a 80 00 80 14 40 00 20 00  ...ˆýÍ}Ì..¤ÜÃ.)7?àˆ..ñÃ..'ðÃ` Pb.Ú6....€.€.@. .

и это выходные данные кодировщика (до кодирования кадра 0):

[libx264 @ 00000000005ADAA0] using cpu capabilities: MMX2 SSE2Fast SSSE3 FastShu
ffle SSE4.2
[libx264 @ 00000000005ADAA0] profile High, level 3.0
[libx264 @ 00000000005ADAA0] 264 - core 120 r2146 bcd41db - H.264/MPEG-4 AVC cod
ec - Copyleft 2003-2011 - http://www.videolan.org/x264.html - options: cabac=0 r
ef=3 deblock=1:0:0 analyse=0x3:0x113 me=hex subme=4 psy=1 psy_rd=1.00:0.00 mixed
_ref=1 me_range=16 chroma_me=1 trellis=0 8x8dct=1 cqm=0 deadzone=21,11 fast_pski
p=1 chroma_qp_offset=0 threads=1 sliced_threads=0 nr=0 decimate=1 interlaced=0 b
luray_compat=0 constrained_intra=0 bframes=0 weightp=2 keyint=25 keyint_min=2 sc
enecut=40 intra_refresh=0 rc=abr mbtree=0 bitrate=100 ratetol=1.0 qcomp=0.60 qpm
in=0 qpmax=69 qpstep=4 ip_ratio=1.40 aq=1:1.00
Output #0, mp4, to 'out2.mp4':
    Stream #0:0: Video: h264, yuv420p, 640x480, q=-1--1, 100 kb/s, 90k tbn, 25 t
bc
[mp4 @ 0000000000467570] Encoder did not produce proper pts, making some up.

person matthias_buehlmann    schedule 17.04.2012    source источник
comment
Я думаю, вам следует сначала попробовать декодировать с отдельным контекстом.   -  person BlueWanderer    schedule 17.04.2012
comment
Я делаю это. это два разных класса (FFMpegEncoder2 и FFMpegDecoder2), и каждый из них имеет собственный кодерконтекст.   -  person matthias_buehlmann    schedule 17.04.2012
comment
Это странно... Как вы инициализировали свой контекст? Казалось, я просто вызвал avcodec_alloc_context3, avcodec_open2, avcodec_alloc_frame, avcodec_decode_video2, и это сработало.   -  person BlueWanderer    schedule 17.04.2012
comment
Я отредактировал вопрос и добавил код настройки декодера (я не добавлял код кодировщика, так как это работает)   -  person matthias_buehlmann    schedule 17.04.2012
comment
Я просто передаю пакет сразу после alloc_context3, open2 и alloc_frame (вообще никаких других утверждений), и у меня есть декодированный кадр. Что-то еще может быть не так. Вы проверяли двоичный код закодированного кадра? Единственная разница здесь в том, что я использовал libx264 непосредственно для кодирования.   -  person BlueWanderer    schedule 18.04.2012
comment
я не знал - я новичок в кодировании и действительно не знаю, что мне искать :) что такое PPS? Я получаю ошибку уже на самом первом кадре (я установил кодировку с 0-задержкой)   -  person matthias_buehlmann    schedule 18.04.2012
comment
stackoverflow.com/ вопросы/11261551/ могут быть связаны   -  person rogerdpack    schedule 06.12.2012


Ответы (1)


Это мои данные пакета:

00 00 00 01 67 64 00 1F AC 56 24 02 80 DA 10 00 
00 03 00 10 00 00 03 03 C0 F1 83 18 98 00 00 00 
01 68 E8 8E 0B CB 22 C0 00 00 00 01 65 88 82 00 

Первые несколько байтов для первого пакета h264 должны выглядеть примерно так.

00 00 00 01 ?7 ... 00 00 00 01 ?8 ... 00 00 00 01 ?5

?7 -> sps
?8 -> pps
?5 -> idr picture

Может быть что-то еще, например ?6, что означает sei и т. д. Но с SPS, PPS и изображением idr декодер должен быть в состоянии правильно инициализировать себя.

В другом случае пакет может содержать более одного изображения (00 00 00 01 ?5 или 00 00 00 01 ?1). Насколько мне известно, декодер не может правильно обрабатывать пакеты h264 с более чем одной картинкой.

person BlueWanderer    schedule 18.04.2012
comment
мой пакет, кажется, содержит какой-то заголовок в начале. я добавил начало моего первого пакета к вопросу. и поскольку я установил кодировщик на нулевую задержку, пакет должен содержать ровно один кадр - person matthias_buehlmann; 18.04.2012
comment
что такое pps, sps и idr? я не мог найти в Google никаких объяснений по этому поводу - person matthias_buehlmann; 18.04.2012
comment
Вы можете найти это здесь: itu.int/rec /T-REC-H.264-200305-S/en. В вашем пакете отсутствуют SPS и PPS, и x264 обычно размещает их перед SEI (первый фрагмент в вашем двоичном файле). Может быть, вы можете проверить вывод кодировщика, если там остались какие-либо данные? - person BlueWanderer; 18.04.2012
comment
SPS, PPS и SEI считаются заголовком при кодировании (если вы не укажете повторный заголовок, который будет снова генерировать SPS и PPS для первого кадра), но анализируются как часть данных кадра при декодировании (SEI практически игнорируется, хотя ). Может быть, поэтому СПС и ППС отсутствуют, но все же не может объяснить тот факт, что СЭИ есть... - person BlueWanderer; 18.04.2012
comment
так вы говорите, что мой кодировщик выдает недопустимый пакет? но я могу воспроизвести получившийся MP4 с помощью quicktime. Я добавил вывод кодировщика к вопросу - person matthias_buehlmann; 18.04.2012
comment
Как это выглядит в выходном файле? Я почти верю, что SPS и PPS должны быть в начале файла перед данными, которые вы публикуете. Как я уже сказал, обычно SPS и PPS выводятся как заголовок, а не часть фрейма, но декодеру они нужны как часть фрейма (не совсем... Я помню, что вы можете подавать SPS и PPS отдельно, и ffmpeg выдаст вам некоторое предупреждение, например кадр не найден или около того.Но если скормить IDR после этого, то он будет декодироваться нормально.Однако декодировать без SPS и PPS перед IDR нельзя, по крайней мере, нормально.) - person BlueWanderer; 18.04.2012
comment
прежде чем начать кодировать свое видео, я вызываю avformat_write_header(m_fctx, NULL) (тогда как m_fctx — это мой formatContext для записи файла mp4) — это уже записывает какой-то пакет? но тогда кодировщик без formatContext не будет создавать действительный поток, кажется... - person matthias_buehlmann; 18.04.2012
comment
давайте продолжим это обсуждение в чате - person BlueWanderer; 18.04.2012