Ако се опитвате да участвате в състезание на Kaggle или да изградите модели за машинно обучение за вашия страстен проект, вероятно ще попаднете на colab и/или Google Cloud Platform (GCP), наред с други. GCP предлага безплатен встъпителен кредит, звучи ли примамливо? Кое е по-добро за вашия страстен проект?
TLDR: Colab е по-добър от GCP с безплатен кредит.
Ето и цялата история. Наскоро участвах в състезание на Kaggle, което има много голям набор от данни (30+GB!). Моят екип реши да пробва и двете и ето какво открихме:
При безплатния кредит на Google Cloud вие сте доста ограничени в типовете инстанции, които можете да използвате (засега не можете да изберете тези с TPU). С наличните типове екземпляри може да отнеме много време за обучение и често да се сблъскате с грешка в паметта. Всъщност загубих цял екземпляр (грешка 524) и трябваше да създам нов екземпляр, за да започна от нулата. В обобщение, с безплатен кредит обучението може да отнеме много време, но резултатът не може да бъде възстановен.
От друга страна, можете да изберете TPU в Colab и аз обучих същия модел с по-голям размер без проблем. Разбира се, има няколко OOM грешки. Но е възстановимо.
Определено бих отишъл с Colab.
