Как заставить AForge VideoCaptureDevice работать с Unity

Во-первых, я не уверен, что AForge будет работать в Unity. Причина в том, что он использует .NET 4 или более, а Unity использует .NET 3.5.

Помимо этого, в вашем коде есть несколько проблем.

1.WebCamTexture используется Unity для начала захвата кадров с камеры.

2.VideoCaptureDevice используется AForge для начала захвата кадров с камеры.

4 проблемы:

1. Вы должны использовать один, а не оба. Вы не можете комбинировать их оба, и я считаю, что к камере можно получить доступ из одного места за раз.

Когда вы сделали webCam.Play();, а затем videoSource.Start();, вы пытаетесь использовать одну камеру из нескольких API. VideoCaptureDevice следует использовать, если вы хотите использовать API AForge.

2. Вы вызываете videoSource = new VideoCaptureDevice(webCam.deviceName); и запускаете камеру с videoSource.Start(); каждый кадр в функции Update. Это нужно сделать один раз, переместив его в функцию Start. Вам также необходимо один раз зарегистрироваться на событие NewFrame.

3. originalFeedTexture не инициализируется, но используется в функциях video_NewFrame и Update.

4. Вы можете получить имена веб-камер с помощью WebCamDevice. класс. Пример кода в конце показывает, как это сделать. Не используйте для этого WebCamTexture.

5. Крайне вероятно, что videoSource.NewFrame вызывается/вызывается из другого Thread. Итак, когда вызывается ваша функция video_NewFrame, строка кода originalFeedTexture.LoadImage(bitmapRecord); вызовет исключение, которое выглядит следующим образом:

.... можно вызывать только из основного потока

Возможно, вам придется найти способ вызвать эту строку кода в основном потоке Unity или функции обновления, поскольку вы не можете использовать Unity API (Texture2D/originalFeedTexture) в другом Thread.

Начните с приведенного ниже кода, возможно, вы сможете заставить его работать. Не уверен насчет всей этой штуки с AForge+Unity из-за разницы в версии .NET. Проблема #5 не устранена в этом решении. Вы можете использовать Помощник по работе с потоками Unity плагин (бесплатный) для этого.

public class LoadVideo : MonoBehaviour 
{
    public VideoCaptureDevice videoSource;
    public GameObject originalFeed;
    Texture2D originalFeedTexture;

    void Start()
    {
        init();
    }

    void init()
    {
        originalFeedTexture = new Texture2D(128, 128);

        //Get WebCam names
        WebCamDevice[] devices = WebCamTexture.devices;
        if (devices.Length <= 0)
        {
            Debug.LogError("No Web Cam Found....Exiting");
            return; //Exit
        }
        videoSource = new VideoCaptureDevice(devices[0].name);
        videoSource.NewFrame += new NewFrameEventHandler(video_NewFrame);
        videoSource.Start();
    }

    void stop()
    {
        videoSource.SignalToStop();
    }

    void Update () 
    {
        originalFeed.GetComponent<Renderer>().material.mainTexture = originalFeedTexture;
    }

    public delegate void EventPrototype(System.EventArgs args);

    void video_NewFrame(object sender, NewFrameEventArgs eventArgs)
    {
        Debug.Log("you here mate");
        Bitmap video = (Bitmap)eventArgs.Frame.Clone();
        MemoryStream memoryStream = new MemoryStream();
        video.Save(memoryStream, ImageFormat.Jpeg);
        byte[] bitmapRecord = memoryStream.ToArray();

        originalFeedTexture.LoadImage(bitmapRecord);
    }

    //Make sure to stop when run time ends
    void OnDisable()
    {
        stop();
    }
}

Я пытаюсь разбить камеру на кадры, на которых затем могу использовать методы AForges.

Если это все, что вы хотите сделать, вы можете использовать Unity WebCamTexture, а затем преобразовать его в Texture2D:

WebCamTexture webCam = new WebCamTexture (160, 120);
webCam.play();
Texture2D originalFeedTexture = new Texture2D(webCam.width, webCam.height);
originalFeedTexture.SetPixels(webCam.GetPixels());
originalFeedTexture.Apply();
///Use it  then destroy it
Object.Destroy(originalFeedTexture);

Кадр теперь хранится в переменной originalFeedTexture. Если вам нужны кадры Texture2D в виде байтов, возможно, для отправки по сети:

JPG байт:

byte[] bytes = originalFeedTexture.EncodeToJPG();

PNG байт:

byte[] bytes = originalFeedTexture.EncodeToPNG();