Публикации по теме 'distributed-systems'
Всегда закрывай
Внимание, мы переехали! Если вы хотите и дальше следить за последними техническими новостями Square, посетите наш новый дом https://developer.squareup.com/blog
Это история утечки ресурсов в одном из сервисов Square’s Go и процесс выявления первопричины. Столкнувшись с острыми и загадочными системными показателями, мы использовали различные стандартные и самодельные инструменты, чтобы выявить тонкую ошибку в одной из наших основных внутренних структур.
Ранее в этом году один из наших..
Изучение обучения распределенным параллельным данным (DDP) на потребительских графических процессорах
В настоящее время наша команда разрабатывает служебные приложения для Salad Container Engine (SCE) , полностью управляемой платформы оркестрации контейнеров, предназначенной для использования гетерогенного оборудования, которое составляет нашу уникально децентрализованную сеть.
Один из самых интересных вариантов использования, которые мы изучаем, — это распределенный параллелизм данных (DDP) , парадигма глубокого обучения, в которой сетевые графические процессоры обучают модели,..
Как читать сложные инженерные статьи — Разработка раз в две недели — Специальный эпизод 4
В этом специальном выпуске Biweekly Engineer давайте обсудим, как читать сложные инженерные статьи.
Добро пожаловать в 4-й выпуск Двухнедельной инженерии ! Надеюсь, вы проводите отличные выходные с семьей и друзьями! 🤗
Этот выпуск информационного бюллетеня будет другим. Мы подробно обсудим эффективные методы чтения инженерных блогов. А еще у нас есть сообщение в блоге от The Pragmatic Engineer .
Вамос!
Как эффективно читать сложные инженерные статьи
Этот информационный..
Ace the System Design Interview — Система планирования работы
Дизайн крупномасштабных планировщиков заданий, основанный на моем собственном опыте и обсуждениях с другими инженерами.
1. Введение
Когда в будущем запланирован запуск лимитного ордера на продажу или некоторого кода, вам понадобится программное обеспечение, такое как Apache Airflow, которое запускает задачи при соблюдении определенных условий. Из-за своей широкой популярности в отрасли планировщик заданий был одной из главных тем на собеседованиях по проектированию систем. В этой статье..
Обзор архитектур распределенных систем
Это второй пост из серии о системном дизайне. Эта статья первоначально опубликована на https://www.learncsdesign.com .
Если 50 % кода выполняется последовательно, а остальная часть выполняется параллельно, добавление более 8 ядер ЦП практически не даст никакого эффекта.
— Закон Амдала
Большинство крупномасштабных систем начинаются с малого и растут по мере успеха. Типичная очень простая программная архитектура состоит из клиентского уровня, уровня служб приложений и уровня..
Краткое руководство по Apache SystemML
Краткое руководство по Apache SystemML
«SystemML обеспечивает декларативное крупномасштабное машинное обучение (ML), которое нацелено на гибкую спецификацию алгоритмов машинного обучения и автоматическое создание гибридных планов выполнения, начиная от одноузловых вычислений в памяти до распределенных вычислений на Apache Hadoop. и Apache Spark ».
Введение в SystemML
Обычный процесс разработки алгоритма машинного обучения таков: есть специалист по данным, который разрабатывает..
Децентрализованные против распределенных
Узнай разницу
Термины «децентрализованный» и «распределенный» звучат очень похоже, и люди иногда используют их как синонимы. Это может зависеть от контекста, но я вижу «децентрализацию» в основном в отношении принятия решений, контроля и ответственных лиц. Я имею в виду «распределенный» с местоположением: где что-то хранится / вычисляется / делается, как снизить задержку, создать службы, которые могут справиться со стихийными бедствиями.
В децентрализованной системе нет единого..
