Юноме Пвт Лтд.
Настройка Junome Cloud с Floydhub
15 июля 2018 г.
Облачные вычисления
Облачные вычисления означают, что вместо того, чтобы сидеть за своим столом, а ваша собственная сеть или компания предоставила сети и хранилища, это процесс, когда другая компания предлагает услугу, при которой вы можете беспрепятственно получить к ним доступ через Интернет в любое время. Вам не о чем беспокоиться. где находится программное и аппаратное обеспечение и его обслуживание.
Многие компании предлагают эти услуги, самые известные из них — Amazon, Google. В процессе поиска сервисов GPU мы в конце концов нашли Floydub, и он предоставляет довольно хороший сервис. Этот блог основан на нашем опыте работы с Floydhub и на том, почему мы предпочитаем его другим конкуренты.
от Администратора
Нашей компании Junome (поскольку я прохожу здесь стажировку) требовались мощные графические процессоры для обучения наших моделей с использованием глубокого обучения. Когда мы искали облачные сервисы, на которых размещаются платформы глубокого обучения, лучшим вариантом, который мы нашли, был Floydhub. У них был простой и понятный веб-сайт с простыми инструкциями по настройке облачной сети. Они уже предустановили все необходимые зависимости, такие как Tensorflow, Cuda, cudNN, pytorch и многие другие.
Если вам интересно, что это за программное обеспечение и библиотеки, они необходимы для обучения моделей глубокого обучения с помощью графического процессора, а не центрального процессора. Зачем использовать GPU вместо CPU?
Прежде всего, вы должны понимать, что процессоры оптимизированы по задержке, а графические процессоры оптимизированы по пропускной способности. Вы можете визуализировать это как ЦП, являющийся Феррари, и ГП, являющийся большим грузовиком. Задача обоих состоит в том, чтобы забрать пакеты из случайного места A и доставить эти пакеты в другое случайное место B. ЦП (Ferrari) может быстро получить часть памяти (пакеты) в вашей оперативной памяти, в то время как GPU (большой грузовик) работает медленнее. при этом (гораздо более высокая задержка). Тем не менее, ЦП (Ferrari) должен много раз перемещаться туда и обратно, чтобы выполнить свою работу (местоположение A $\rightarrow$ забрать 2 пакета $\rightarrow$ местоположение B… повторить), в то время как GPU может получить гораздо больше памяти за один раз ( местоположение A $\rightarrow$ забрать 100 пакетов $\rightarrow$ местоположение B … повторить). Таким образом, другими словами, ЦП хорошо справляется с быстрой выборкой небольших объемов памяти (5 * 3 * 7), в то время как GPU хорошо справляется с выборка больших объемов памяти (умножение матриц: (A*B)*C).
Графический процессор может иметь тысячи ядер, в то время как ядра ЦП имеют ограничения, для машинного обучения требуется больше памяти и параллелизм для обучения моделей, но последовательные/сложные коды выполняются быстрее на ЦП.
Amazon предлагает услугу и выставление счетов за часы, тогда как Google предлагает их за минуты, но Floydhub — это единственная служба, которая считает каждую секунду, которую мы используем. Далее следуют типы предлагаемых услуг, Amazon и Google — технологические гиганты, они предлагают множество услуг по сравнению с Floydhub, и они просты в использовании, но не так просты для начинающих. Здесь Floydhub получает еще один балл, поскольку у Floydhub не так много сервисов, они очень хороши и просты для начинающих.
Команда поддержки была очень полезной, они ответили на все мои вопросы и предоставили всю необходимую информацию. Когда вы добавите свою кредитную карту в свою учетную запись Floydhub, на вашу учетную запись будут зачислены два часа использования графического процессора вместе с двадцатью часами использования процессора. Графический процессор, который вы получаете, — это Tesla K80, определенно мощный графический процессор. Запуск моего экземпляра был очень простым, и я вообще не ожидал.
Сначала я столкнулся с некоторыми проблемами при запуске своего облачного экземпляра, я бы хотел, чтобы Floydhub рассказал своим клиентам, как работает их «ssh» и как Floydhub использует Jupyter Notebook в качестве своего онлайн-терминала. Jupyter Notebook — это веб-приложение, позволяющее создавать и публиковать документы, содержащие живой код, уравнения, визуализации и пояснительный текст. Использование включает в себя: очистку и преобразование данных, численное моделирование, статистическое моделирование, машинное обучение и многое другое.
Как только я понял, как настроить проект, рабочее пространство и что такое работа, все стало проще, но потребовалось некоторое время, чтобы понять. Я бы хотел, чтобы Floydhub упростил для начинающих. Как и все другие облачные сервисы, они также позволяют нам отслеживать использование ЦП и ГП. Сначала вы создаете проект и импортируете все необходимые файлы, затем с помощью вашего локального компьютера вы создаете рабочее пространство, а затем вы создайте экземпляр и запустите проект.
(не волнуйтесь, если вы не поняли, что вы только что прочитали, скоро будет прикреплено видео для ознакомления)
Это письмо о настройке, которое я получил от Floydhub:
Пусть FloydHub станет вашей удобной средой Jupyter с поддержкой графического процессора!
1. Установить и войти в инструмент командной строки floyd-cli
$ pip install -U floyd-cli
Вход в систему $ floyd
2. Создайте проект на веб-панели управления FloydHub под названием my-notebook
3. Клонируйте этот проект и инициализируйте его новым именем
$ git clone https://github.com/floydhub/my-notebook.git
$ cd my-notebook
$ floyd init my-notebook ‹проект, который вы создали на панели управления floydhub›
$ floyd run — режим jupyter — gpu
Вот оно! Теперь вы используете ноутбук Jupyter с графическим процессором в облаке.
В целом мой опыт работы с Floydhub был действительно отличным, и это один из лучших сервисов, которые вы можете получить по цене. Я надеюсь, что со временем Floydhub улучшит и расширит свои услуги и достигнет новых высот. Это одна из лучших платформ облачных сервисов для начинающих, и я бы посоветовал ее любому новичку.
Junome — это небольшой сервисный стартап с идеей предоставления людям лучших услуг на дому. Удачи :)
© Джуном
Ченнаи 600015
