нужно создать webm видео из RGB кадров

У меня есть приложение, которое генерирует кучу jpg, которые мне нужно превратить в веб-видео. Я пытаюсь получить данные rgb из jpeg в образец vpxenc. Я вижу основные формы из исходных jpg в выходном видео, но все окрашено в зеленый цвет (даже пиксели, которые должны быть черными, наполовину зеленые), и в каждой второй строке сканирования есть какой-то мусор.

Я пытаюсь передать ему данные VPX_IMG_FMT_YV12, которые, как я предполагаю, имеют следующую структуру:

для каждого кадра 8-битные данные Y 8-битные средние значения каждого блока 2x2 V 8-битные средние значения каждого блока 2x2 U

Вот исходное изображение и скриншот видео, которое выходит:

Изображения

Вполне возможно, что я неправильно выполняю преобразование RGB->YV12, но даже если я закодирую только 8-битные данные Y и установлю для блоков U и V значение 0, видео будет выглядеть примерно так же. Я в основном запускаю свои данные RGB через это уравнение:

// (R, G, and B are 0-255)
float y = 0.299f*R + 0.587f*G + 0.114f*B;
float v = (R-y)*0.713f;
float u = (B-v)*0.565f;

.. а затем, чтобы создать отфильтрованные значения 2x2 для U и V, которые я записываю в vpxenc, я просто выполняю (a + b + c + d) / 4, где a,b,c,d — значения U или V каждый блок размером 2x2 пикселя.

Поэтому мне интересно:

  1. Есть ли более простой способ (в коде) взять данные RGB и передать их в vpx_codec_encode, чтобы получить хорошее веб-видео?

  2. Мое преобразование RGB-> YV12 где-то неправильно?

Любая помощь будет принята с благодарностью.


rgb webm libvpx video-encoding yuv
person Mike    schedule 22.01.2011    source источник
comment
Можете ли вы сказать мне, что вы обновили код? Я стою перед точно такой же проблемой здесь ;-) спасибо   -  person    schedule 25.01.2011

Ответы (2)


arrow_upward
5
arrow_downward

Свободнопадающий: Конечно. Вот код. Обратите внимание, что он преобразует RGB-> YUV на место, а также помещает вывод YV12 в pFullYPlane/pDownsampledUPlane/pDownsampledVPlane. Этот код создавал красиво выглядящие видеоролики WebM, когда я модифицировал их образец vpxenc для использования этих данных.

void RGB_To_YV12( unsigned char *pRGBData, int nFrameWidth, int nFrameHeight, void *pFullYPlane, void *pDownsampledUPlane, void *pDownsampledVPlane )
{
    int nRGBBytes = nFrameWidth * nFrameHeight * 3;

    // Convert RGB -> YV12. We do this in-place to avoid allocating any more memory.
    unsigned char *pYPlaneOut = (unsigned char*)pFullYPlane;
    int nYPlaneOut = 0;

    for ( int i=0; i < nRGBBytes; i += 3 )
    {
        unsigned char B = pRGBData[i+0];
        unsigned char G = pRGBData[i+1];
        unsigned char R = pRGBData[i+2];

        float y = (float)( R*66 + G*129 + B*25 + 128 ) / 256 + 16;
        float u = (float)( R*-38 + G*-74 + B*112 + 128 ) / 256 + 128;
        float v = (float)( R*112 + G*-94 + B*-18 + 128 ) / 256 + 128;

        // NOTE: We're converting pRGBData to YUV in-place here as well as writing out YUV to pFullYPlane/pDownsampledUPlane/pDownsampledVPlane.
        pRGBData[i+0] = (unsigned char)y;
        pRGBData[i+1] = (unsigned char)u;
        pRGBData[i+2] = (unsigned char)v;

        // Write out the Y plane directly here rather than in another loop.
        pYPlaneOut[nYPlaneOut++] = pRGBData[i+0];
    }

    // Downsample to U and V.
    int halfHeight = nFrameHeight >> 1;
    int halfWidth = nFrameWidth >> 1;

    unsigned char *pVPlaneOut = (unsigned char*)pDownsampledVPlane;
    unsigned char *pUPlaneOut = (unsigned char*)pDownsampledUPlane;

    for ( int yPixel=0; yPixel < halfHeight; yPixel++ )
    {
        int iBaseSrc = ( (yPixel*2) * nFrameWidth * 3 );

        for ( int xPixel=0; xPixel < halfWidth; xPixel++ )
        {
            pVPlaneOut[yPixel * halfWidth + xPixel] = pRGBData[iBaseSrc + 2];
            pUPlaneOut[yPixel * halfWidth + xPixel] = pRGBData[iBaseSrc + 1];

            iBaseSrc += 6;
        }
    }
}
person Mike    schedule 29.03.2011
comment
Я бы также посоветовал прочитать это en.wikipedia.org/wiki/ если вы не представляете, какой длины должны быть входные буферы. - person Evren Bingøl; 03.10.2013

arrow_upward
0
arrow_downward

Не бери в голову. Схема, которую я использовал, была правильной, но у меня была ошибка в коде понижающей дискретизации U/V.

person Mike    schedule 24.01.2011
comment
Можете ли вы опубликовать свой код преобразования RGB в YUV, я хотел бы взглянуть! - person ; 22.03.2011