Стартиране на ранен етап, фокусирано върху Generative AI, използващо LLMs, използва GPU облачен сървър, състоящ се от 8x NVIDIA 32GB V100s с 48C Intel Xeon Platinum 8268 CPU @ 2,90GHz, 768 GB RAM и 1TB памет. Графичните процесори бяха хоствани в център за данни извън САЩ.

Те се обърнаха към VALDI за помощ за намаляване на разходите си за облачни изчисления.

Като се имат предвид техните специфични бюджетни ограничения, техническите изисквания на тяхното приложение и относителната ефективност на чипа V100, който използваха, екипът за архитектура на решението на VALDI предложи следната конфигурация:

  • 4x A6000 48GB / 256 GB RAM / 40 Xeon Gold 6148 vCPUs

A6000 може да бъде до 2 пъти по-бърз от V100 и се предлага с 50% повече VRAM, което позволява обучение на по-големи модели.

В допълнение към подобренията в изчислителната мощност, решението на VALDI включва:

  • Изключително реномиран и защитен център за данни в континенталната част на Съединените щати
  • Ръководство за въвеждане с технически акаунт мениджър на VALDI
  • Намаляване на общите стандартни за индустрията разходи с почти 50%
  • Гъвкави опции за абонамент за месечно, тримесечно и годишно използване
  • Възможност за мащабиране при поискване

Присъединете се към VALDI тук: https://www.valdi.ai/ за достъп до над 30 000 GPU и намалете разходите си с над 50%, като използвате прост месечен абонамент за всичко, което можете да изчислите модел.

Документи: https://docs.valdi.ai/