Свързани публикации 'data-engineering'


5 начина да увеличите производителността си като инженер по данни
Върнете си времето, за да пишете повече решения за код и данни! Винаги ли чувствате, че не използвате времето си продуктивно? Не си сам! Много инженери по данни се борят да увеличат максимално своята продукция и да постигнат съвършенството, на което знаят, че са способни. Но не се страхувайте, защото тази публикация в блога е тук, за да ви помогне. Открийте как да подобрите кариерата си на инженер по данни, за да надминете колегите си, като овладеете тези пет основни техники за..
3 случая на използване на оператора Case When в SQL
Обяснено с примери Просто казано, операторът CASE WHEN оценява дадени условия и връща резултати въз основа на тази оценка. Можем да го използваме за извличане на нови колони от съществуващите. Но има и други случаи, в които CASE WHEN е полезен за решаване на сложни задачи. Какво ще научим в тази статия: Използвайте CASE WHEN , за да извлечете нови колони Използвайте CASE WHEN в GROUP BY Използвайте CASE WHEN при изчисляване на агрегации въз основа на производни..
Обобщете уеб страниците в десет реда код с Unstructured + LangChain
Случвало ли ви се е да прочетете множество документи, само за да сте в течение по дадена тема? Възможността за бързо обобщаване на документи е една от задачите, които можете да направите с много малко усилия благодарение на нашата библиотека. В тази публикация ще ви покажем колко лесно е да обобщите съдържанието на уеб страници с помощта на unstructured , langchain и OpenAI. Целият код по-долу може да бъде намерен в следния Бележник на Colab . Получаване на информация Преди..
Transactional Data Lakes — Сравнение на Apache Iceberg, Apache Hudi и Delta Lake
Въведение Едно от най-важните решения при изграждането на езеро от данни е изборът на формата, в който ще се съхраняват данните, тъй като може значително да повлияе на производителността, използваемостта и съвместимостта на системата. Чрез внимателно обмисляне на формата за съхранение на данни можем да подобрим функционалността и...
Концепции за инженери на данни: Бавно променящо се измерение (SCD)
Вероятно вече го използвате, но не знаете! В тази серия въвеждам няколко важни концепции, с които новите инженери на данни трябва да са запознати. Другите теми, които говорих досега: ✅ Моделиране на данни ✅ CDC ✅ Идемпотентност ✅ ETL x ELT x EL ✅ Kappa x Lamda Data Architectures
„Как да започнете с Postman API Test Automation: Ръководство за начинаещи“
Postman API Test Automation за начинаещи API тестване и автоматизация с Postman API се превърнаха в решаваща част от разработката на софтуер, което прави тестването на API основно умение за разработчици и тестери. В този курс Валентин Деспо ще ви научи как да използвате Postman за писане и автоматизиране на API тестове. От основите на API тестването до тънкостите на автоматизирането на тези тестове, този курс обхваща всичко. Общ преглед на курса Променливи Скриптове Отстраняване на..
Разбивка на заплатите на най-добрите работни места в областта на науката за данни
Разбивка на заплатите на най-добрите работни места в областта на науката за данни Машинно обучение срещу NLP срещу Data Engineer срещу Data Scientist и какво означава да бъдеш във всяка роля Съдържание Въведение Инженер по машинно обучение Инженер по обработка на естествен език Инженер по данни Учен по данни Резюме Препратки Въведение Когато разглеждаме заплатите на специалистите по данни и ролите в науката за данните, става очевидно, че има различни, по-специфични..