oow engineer что это
Oow engineer что это
Смотреть что такое «OOW» в других словарях:
oow — mehrfach Ausdruck: für überrascht sein; Ausdruck bei einem Missgeschick; auch Ausdruck der Bewunderung oder für großartig. Die Steigerung ist ein mehrfaches: oow oow oow usw … Hunsrückisch-Hochdeutsch
OOW — Oracle OpenWorld (Community » Media) **** Officer Of the Watch (Governmental » Military) * Out Of Warranty (Business » General) * Officer Of the Watch (Governmental » Transportation) * Ohio Ordnance Works (Governmental » Military) * Ohio Ordnance … Abbreviations dictionary
OOW — out of wedlock … Medical dictionary
oow — On our way … Glossary of chat acronyms & text shorthand
OOW — abbr. Officer Of the Watch … Dictionary of abbreviations
OOW — • officer of the watch … Maritime acronyms and abbreviations
OOW — • out of wedlock … Dictionary of medical acronyms & abbreviations
FH-OOW — Fachhochschule Oldenburg/Ostfriesland/Wilhelmshaven Gründung 2000 (Zusammenschluss) Trägerschaft staatlich Ort … Deutsch Wikipedia
FH OOW — Fachhochschule Oldenburg/Ostfriesland/Wilhelmshaven Gründung 2000 (Zusammenschluss) Trägerschaft staatlich Ort … Deutsch Wikipedia
FHOOW — Fachhochschule Oldenburg/Ostfriesland/Wilhelmshaven Gründung 2000 (Zusammenschluss) Trägerschaft staatlich Ort … Deutsch Wikipedia
FH O/O/W — Fachhochschule Oldenburg/Ostfriesland/Wilhelmshaven Gründung 2000 (Zusammenschluss) Trägerschaft staatlich Ort … Deutsch Wikipedia
🤺 Кто такой QA-инженер и как начать свой путь в тестировании?
E beda
Кто такой QA-инженер?
Представим ситуацию. Владельцу интернет-магазина нужна программа для отправки чеков на email. Он обращается в стартап, который готов написать такую программу. Через неделю гордые разработчики проводят демонстрацию: покупаем товар, вводим email, получаем чек. Заказчик счастлив, все расходятся, довольные друг другом. Спустя неделю в компанию звонит разъяренный бизнесмен: софт не работает, верните деньги. Что пошло не так?
Чем полезен QA-инженер?
Ищет баги
Багами мы называем ошибки в программе. Скажем, мы пытаемся ввести никнейм в поле, но ничего ввести не получается: ни буквы, ни цифры. Умение находить такие ошибки в неожиданных местах – самое ценное качество тестировщика.
Пишет код на Python, Java или JavaScript
Анализирует требования
Перед тем как приступить к разработке ПО, в специальном документе – требованиях – фиксируются все договоренности о том, как программа должна реагировать на каждое действие пользователя, насколько она должна быть быстрой и безопасной.
Участвует в обсуждении задач
У компаний со здоровым жизненным циклом разработки принято сначала обсуждать задачу, а уже потом приступать к ее реализации. На такие встречи приходит вся команда, каждый член высказывает видение задачи. Тестировщик указывает на потенциальные проблемные места:
Таким образом, еще на этапе обсуждения разработчик понимает, какое поведение продукта нужно запрограммировать.
Пишет тестовую документацию
Самая неприятная, но необходимая часть работы. Нужно фиксировать, как мы будем проверять программу и что для этого нужно сделать. Какие результаты мы хотим получить, какие настройки применить, какие скрипты выполнить в базе данных. На документацию опираются разработчики, аналитики или даже команда заказчика. Такие документы незаменимы, когда через полгода команду просят изменить старую функцию, о принципах работы которой все уже позабыли.
Внедряет новые технологии
Мы всегда находимся в поиске технологий, которые делают работу быстрее, эффективнее, качественнее. Например, запуская автотесты на своем компьютере, я получу результат работы через 4 часа, а благодаря использованию сервера для удаленного тестирования, те же результаты будут готовы через 20 минут.
Общается с заказчиком
Как правило, тестировщик знает все особенности программы и может ответить на любые вопросы, связанные с ее поведением. Не взять такого человека на встречу с клиентом было бы большой ошибкой – тестировщик может дать дельный совет.
Приведу пример проблемы коллег из финтеха. Клиенты из-за рубежа не делали вкладов, зато охотно брали кредиты. Проанализировав ситуацию, тестировщики обнаружили, что названия инструментов для вкладов были представлены лишь на английском языке, а описания кредитных инструментов переведены на местный язык. Исправление мелочи, которую не замечали разработчики, привела к резкому росту числа вкладов.
Составляет метрики
Метрики – это что-то вроде сигнальных маячков для IT-команды. Если количество багов растет, это повод проверить квалификацию разработчика и посмотреть на сам модуль. Может быть, его нужно полностью переписать.
Какими навыками должен обладать тестировщик
Судя по порталу HeadHunter, практически в каждой вакансии требуется:
Желательно, чтобы у кандидата были на руках сертификаты о прохождении специализированных курсов или сдаче международных экзаменов (ISTQB).
На первый взгляд, этот список выглядит пугающе. На деле все эти знания можно приобрести за год упорной учебы.
Набор скилов для начинающего специалиста будет существенно отличаться от требований, предъявляемых к ведущему тестировщику, как и зарплатная вилка. Junior-специалисту могут предложить заработную плату в 50-80 тыс. руб., Middle претендует на 120-150 тыс., зарплата Senior начинается от 180 тыс.
С чего начать путь QA-инженера
На YouTube есть множество каналов, посвященных тестированию. Большая часть из них – для специалистов с опытом работы от 1 года. Для начинающих подойдут:
Чтобы сделать первые шаги по направлению к базам данных, достаточно установить на телефон приложение « SQL Fundamentals » от Sololearn. Интерфейс симпатичный, примеры понятные. Уровень знаний после прохождения этого приложения достаточен для начинающего специалиста.
Ресурсы интернета, в отличие от времени, безграничны. Если хочется получить максимум полезной информации в сжатые сроки, стоит выбрать курсы. На курсах есть домашние задания и преподаватели, которые контролируют выполнение этих заданий. Преподаватели на IT-курсах – действующие специалисты, а значит, они будут давать только те знания, которые востребованы на рынке. Но самое ценное, что дают курсы – это возможность пройти практику на реальном проекте. Для потенциального работодателя это большой плюс в резюме, так как никакая теория не сравнится с железными нервами человека, который протестировал задачу за час до релиза.
Если вы хотите вступить в ряды бойцов за качество, рекомендуем обратить внимание на Факультет тестирования ПО от GeekBrains. Преподаватели факультета расскажут, как работать с требованиями, помогут освоить техники тест-дизайна и научат писать автотесты на Java, тестировать мобильные и веб-приложения. В результате вы приобретете компетенции, необходимые для работы в крупной IT-компании.
Что такое Data Engineering и как начать работу в этой сфере
Чем конкретно занимается инженер данных, что он должен уметь, чтобы хорошо зарабатывать, и что важно знать в начале карьеры — рассказывает декан факультета Сергей Ширкин.
Кто такой Data Engineer
Инженер данных – незаменимый сотрудник для любой команды, занимающейся Data Science. От дата-инженера зависит, насколько удобно будет построен процесс работы с данными в проекте. Этот специалист отвечает за сбор, хранение и обработку данных, выстраивает их кратчайший путь к дата-сайентистам – чтобы коллеги не отвлекались от своих основных задач. Поэтому команды, где есть дата-инженеры, работают быстрее и эффективнее тех, где при подготовке данных не хватает разделения труда.
Какую проблему рынка решает новый факультет
Бизнесу очень нужны специалисты по обработке данных, а вузы либо не готовят их вообще, либо обучают сильно устаревшим технологиям. Когда в компании остро не хватает дата-инженеров, на эти позиции зачастую берут самоучек. Но даже при таком сценарии многие вакансии долго остаются незакрытыми и вопросы дата-инжиниринга приходится решать дата-сайентистам или смежным IT-специалистам. Таким образом, на рынке труда есть явный запрос, который стоит удовлетворить.
Отличия от других факультетов направления Data Science
Дата-инженеры проходят подготовку за один год, потому что им не нужно углубляться в математику и тонкости построения моделей машинного обучения. Для сравнения, студенты факультетов искусственного интеллекта и аналитики Big Data учатся полтора года.
Инженеры данных заняты несколько другими вещами, нежели классические дата-сайентисты — IT-инфраструктурой, базами данных (SQL и NoSQL), оптимизацией процессов ETL (Extract, Transform, Load – «извлечение, преобразование, загрузка»), автоматизацией сбора данных из интернета и построением систем обработки данных в реальном времени.
Сходство между факультетами Data Engineering и аналитики Big Data в том, что и те и другие проводят большую часть обучения со стеком Hadoop/Spark. Именно эти технологии активно применяются в больших компаниях, и специалистов по работе с ними по-прежнему не хватает.
Что будет уметь выпускник факультета Data Engineering и каким будет его портфолио
Будущим инженерам предстоит выполнять курсовые проекты по итогам каждой четверти. Темы проектов будут связаны с актуальными рабочими процессами современных компаний.
В первой четверти студент познакомится с IT-инфраструктурой и параллельно научится собирать данные. Для закрепления знаний он создаст парсер (обработчик) интернет-сайтов – систему пополнения баз данных актуальной информацией из различных источников.
Во второй четверти учащиеся построят собственные хранилища для аналитической системы. Курсовая работа будет посвящена построению полного конвейера данных (pipeline) для Business intelligence (BI) — созданию системы перевода сырой информации в удобную для человеческого восприятия форму.
Третья четверть будет полностью посвящена работе с «большими данными». Сначала студенты освоят инструменты экосистемы Hadoop, а затем изучат Spark и познакомятся с обработкой потоков данных методами Big Data.
В заключительной четверти будущие выпускники изучат обработку данных в реальном времени и углубятся в инфраструктуру для работы с данными, доводя свои знания до продвинутого уровня.
Где работать
Нас часто спрашивают, на какой уровень знаний и зарплат можно рассчитывать после выпуска из GeekUniversity — Junior или Middle. Если студент активно работает, навыки и знания, которые он в итоге приобретёт, вполне могут соответствовать уровню подготовки Middle-специалиста. Но нужно понимать, что без опыта работы по профилю или хотя бы в смежных направлениях IT в первое время реальнее устроиться на позиции Junior. Но хорошая стартовая подготовка ускорит продвижение по карьерной лестнице, так что путь к Middle-вакансиям после окончания нашего факультета в любом случае станет проще и короче.
Многие наши студенты, кстати, находят работу ещё до окончания учёбы. Я знаю случаи, когда учащиеся по направлению Data Science трудоустраивались на младшие позиции уже после первой четверти в GeekUniversity и дальше успешно совмещали учёбу с работой. То есть даже прохождение начальных курсов в принципе позволяет начать зарабатывать.
Что нужно знать для поступления
Чтобы легче усваивать программу факультета, желательно к моменту поступления уже иметь начальные знания Python и SQL. Правда, наиболее мотивированные студенты умудряются получить эти знания уже по ходу обучения — начинают «с нуля», очень интенсивно занимаются и в итоге органично вливаются в учебный процесс.
Как организована учёба
В процессе обучения студент постоянно погружен в среду, способствующую его профессиональному росту. Взаимодействие с преподавателями, наставниками и однокурсниками строится по тем же принципам, что и на других факультетах направления Data Science. У каждой группы есть свой чат, где студенты общаются, обмениваются вопросами и решениями. Там же присутствуют и преподаватели, и наставники, к которым студенты всегда могут обратиться за консультацией. Наставники отвечают на вопросы, связанные с материалами лекций и выполнением домашних заданий.
На факультете преподают действующие специалисты в области работы с данными – у них можно получить не только обратную связь по выполненным учебным проектам, но и дельный совет по трудоустройству, прохождению собеседований и дальнейшему развитию карьеры. Так у будущего специалиста формируется более полное представление об отрасли и появляются первые знакомства в профессиональной среде.
Хотите приобщиться к работе над самыми передовыми IT-проектами, связанными с искусственным интеллектом, машинным обучением и анализом больших данных? Записывайтесь на факультет Data Engineering, чтобы стать специалистом, востребованным в любом серьёзном Data Science проекте!
Освоить востребованную профессию в Data Science можно всего за полтора года на курсах GeekBrains. После учёбы вы сможете работать по специальностям Data Scientist, Data Analyst, Machine Learning, Engineer Computer Vision-специалист или NLP-специалист.
Освоить востребованную профессию в Аналитике больших данных можно всего за полтора года на курсах GeekBrains.
Последние годы мы часто слышим про искусственный интеллект, машинное обучение и Big Data. «Это ж-ж-ж неспроста!». С развитием новых направлений в IT появляются новые профессии и специальности. В ответ на запрос рынка GeekUniversity открывает новый факультет Data Engineering, где студентов научат создавать системы предварительной обработки данных для проектов в области Data Science!
Чем конкретно занимается инженер данных, что он должен уметь, чтобы хорошо зарабатывать, и что важно знать в начале карьеры — рассказывает декан факультета Сергей Ширкин.
Кто такой Data Engineer
Инженер данных – незаменимый сотрудник для любой команды, занимающейся Data Science. От дата-инженера зависит, насколько удобно будет построен процесс работы с данными в проекте. Этот специалист отвечает за сбор, хранение и обработку данных, выстраивает их кратчайший путь к дата-сайентистам – чтобы коллеги не отвлекались от своих основных задач. Поэтому команды, где есть дата-инженеры, работают быстрее и эффективнее тех, где при подготовке данных не хватает разделения труда.
Какую проблему рынка решает новый факультет
Бизнесу очень нужны специалисты по обработке данных, а вузы либо не готовят их вообще, либо обучают сильно устаревшим технологиям. Когда в компании остро не хватает дата-инженеров, на эти позиции зачастую берут самоучек. Но даже при таком сценарии многие вакансии долго остаются незакрытыми и вопросы дата-инжиниринга приходится решать дата-сайентистам или смежным IT-специалистам. Таким образом, на рынке труда есть явный запрос, который стоит удовлетворить.
Отличия от других факультетов направления Data Science
Дата-инженеры проходят подготовку за один год, потому что им не нужно углубляться в математику и тонкости построения моделей машинного обучения. Для сравнения, студенты факультетов искусственного интеллекта и аналитики Big Data учатся полтора года.
Инженеры данных заняты несколько другими вещами, нежели классические дата-сайентисты — IT-инфраструктурой, базами данных (SQL и NoSQL), оптимизацией процессов ETL (Extract, Transform, Load – «извлечение, преобразование, загрузка»), автоматизацией сбора данных из интернета и построением систем обработки данных в реальном времени.
Сходство между факультетами Data Engineering и аналитики Big Data в том, что и те и другие проводят большую часть обучения со стеком Hadoop/Spark. Именно эти технологии активно применяются в больших компаниях, и специалистов по работе с ними по-прежнему не хватает.
Что будет уметь выпускник факультета Data Engineering и каким будет его портфолио
Будущим инженерам предстоит выполнять курсовые проекты по итогам каждой четверти. Темы проектов будут связаны с актуальными рабочими процессами современных компаний.
В первой четверти студент познакомится с IT-инфраструктурой и параллельно научится собирать данные. Для закрепления знаний он создаст парсер (обработчик) интернет-сайтов – систему пополнения баз данных актуальной информацией из различных источников.
Во второй четверти учащиеся построят собственные хранилища для аналитической системы. Курсовая работа будет посвящена построению полного конвейера данных (pipeline) для Business intelligence (BI) — созданию системы перевода сырой информации в удобную для человеческого восприятия форму.
Третья четверть будет полностью посвящена работе с «большими данными». Сначала студенты освоят инструменты экосистемы Hadoop, а затем изучат Spark и познакомятся с обработкой потоков данных методами Big Data.
В заключительной четверти будущие выпускники изучат обработку данных в реальном времени и углубятся в инфраструктуру для работы с данными, доводя свои знания до продвинутого уровня.
Где работать
Нас часто спрашивают, на какой уровень знаний и зарплат можно рассчитывать после выпуска из GeekUniversity — Junior или Middle. Если студент активно работает, навыки и знания, которые он в итоге приобретёт, вполне могут соответствовать уровню подготовки Middle-специалиста. Но нужно понимать, что без опыта работы по профилю или хотя бы в смежных направлениях IT в первое время реальнее устроиться на позиции Junior. Но хорошая стартовая подготовка ускорит продвижение по карьерной лестнице, так что путь к Middle-вакансиям после окончания нашего факультета в любом случае станет проще и короче.
Многие наши студенты, кстати, находят работу ещё до окончания учёбы. Я знаю случаи, когда учащиеся по направлению Data Science трудоустраивались на младшие позиции уже после первой четверти в GeekUniversity и дальше успешно совмещали учёбу с работой. То есть даже прохождение начальных курсов в принципе позволяет начать зарабатывать.
Что нужно знать для поступления
Чтобы легче усваивать программу факультета, желательно к моменту поступления уже иметь начальные знания Python и SQL. Правда, наиболее мотивированные студенты умудряются получить эти знания уже по ходу обучения — начинают «с нуля», очень интенсивно занимаются и в итоге органично вливаются в учебный процесс.
Как организована учёба
В процессе обучения студент постоянно погружен в среду, способствующую его профессиональному росту. Взаимодействие с преподавателями, наставниками и однокурсниками строится по тем же принципам, что и на других факультетах направления Data Science. У каждой группы есть свой чат, где студенты общаются, обмениваются вопросами и решениями. Там же присутствуют и преподаватели, и наставники, к которым студенты всегда могут обратиться за консультацией. Наставники отвечают на вопросы, связанные с материалами лекций и выполнением домашних заданий.
На факультете преподают действующие специалисты в области работы с данными – у них можно получить не только обратную связь по выполненным учебным проектам, но и дельный совет по трудоустройству, прохождению собеседований и дальнейшему развитию карьеры. Так у будущего специалиста формируется более полное представление об отрасли и появляются первые знакомства в профессиональной среде.
Хотите приобщиться к работе над самыми передовыми IT-проектами, связанными с искусственным интеллектом, машинным обучением и анализом больших данных? Записывайтесь на факультет Data Engineering, чтобы стать специалистом, востребованным в любом серьёзном Data Science проекте!
Освоить востребованную профессию в Data Science можно всего за полтора года на курсах GeekBrains. После учёбы вы сможете работать по специальностям Data Scientist, Data Analyst, Machine Learning, Engineer Computer Vision-специалист или NLP-специалист.
Освоить востребованную профессию в Аналитике больших данных можно всего за полтора года на курсах GeekBrains.
Кто такие дата-инженеры, и как ими становятся?
И снова здравствуйте! Заголовок статьи говорит сам о себе. В преддверии старта курса «Data Engineer» предлагаем разобраться в том, кто же такие дата-инженеры. В статье очень много полезных ссылок. Приятного прочтения.
Простое руководство о том, как поймать волну Data Engineering и не дать ей затянуть вас в пучину.
Складывается впечатление, что в наши дни каждый хочет стать дата-саентистом (Data Scientist). Но как насчет Data Engineering (инжиниринга данных)? По сути, это своего рода гибрид дата-аналитика и дата-саентиста; дата-инженер обычно отвечает за управление рабочими процессами, конвейерами обработки и ETL-процессами. Ввиду важности этих функций, в настоящее время это очередной популярный профессиональный жаргонизм, который активно набирает обороты.
Высокая зарплата и огромный спрос — это лишь малая часть того, что делает эту работу чрезвычайно привлекательной! Если вы хотите пополнить ряды героев, никогда не поздно начать учиться. В этом посте я собрал всю необходимую информацию, чтобы помочь вам сделать первые шаги.
Итак, начнем!
Что такое Data Engineering?
Честно говоря, нет лучшего объяснения, чем это:
«Ученый может открыть новую звезду, но не может ее создать. Ему придется просить инженера сделать это за него.»
–Гордон Линдсей Глегг
Таким образом, роль дата-инженера достаточно весома.
Из названия следует, что инженерия данных связана с данными, а именно с их доставкой, хранением и обработкой. Соответственно, основная задача инженеров — обеспечить надежную инфраструктуру для данных. Если мы посмотрим на ИИ-иерархию потребностей, инженерия данных занимает первые 2–3 этапа: сбор, перемещение и хранение, подготовка данных.
Чем занимается инженер данных?
С появлением больших данных сфера ответственности резко изменилась. Если раньше эти эксперты писали большие SQL-запросы и перегоняли данные с помощью таких инструментов, как Informatica ETL, Pentaho ETL, Talend, то теперь требования к дата-инженерам повысились.
Большинство компаний с открытыми вакансиями на должность дата-инженера предъявляют следующие требования:
Список используемых в этом случае инструментов может отличаться, все зависит от объема этих данных, скорости их поступления и неоднородности. Большинство компаний вообще не сталкиваются с большими данными, поэтому в качестве централизованного хранилища, так называемого хранилища данных, можно использовать базу данных SQL (PostgreSQL, MySQL и т. д.) с небольшим набором скриптов, которые направляют данные в хранилище.
IT-гиганты, такие как Google, Amazon, Facebook или Dropbox, предъявляют более высокие требования: знание Python, Java или Scala.
Дата-инженеры Vs. дата-саентисты
Ладно, это было простое и забавное сравнение (ничего личного), но на самом деле все намного сложнее.
Во-первых, вы должны знать, что существует достаточно много неясности в разграничении ролей и навыков дата-саентиста и дата-инженера. То есть, вы легко можете быть озадачены тем, какие все-таки навыки необходимы для успешного дата-инженера. Конечно, есть определенные навыки, которые накладываются на обе роли. Но также есть целый ряд диаметрально противоположных навыков.
Наука о данных — это серьезное дело, но мы движется к миру с функциональной дата саенс, где практикующие способны делать свою собственную аналитику. Чтобы задействовать конвейеры данных и интегрированные структуры данных, вам нужны инженеры данных, а не ученые.
Является ли дата-инженер более востребованным, чем дата-саентист?
— Да, потому что прежде чем вы сможете приготовить морковный пирог, вам нужно сначала собрать, очистить и запастись морковью!
Дата-инженер разбирается в программировании лучше, чем любой дата-саентист, но когда дело доходит до статистики, все с точностью до наоборот.
Но вот преимущество дата-инженера: без него/нее ценность модели-прототипа, чаще всего состоящей из фрагмента кода ужасного качества в файле Python, полученной от дата-саентиста и каким-то образом дающей результат, стремится к нулю.
Без дата-инженера этот код никогда не станет проектом, и никакая бизнес-проблема не будет эффективно решена. Инженер данных пытается превратить это все в продукт.
Основные сведения, которые должен знать дата-инженер
Итак, если эта работа пробуждает в вас свет и вы полны энтузиазма — вы способны научиться этому, вы можете овладеть всеми необходимыми навыками и стать настоящей рок-звездой в области разработки данных. И, да, вы можете осуществить это даже без навыков программирования или других технических знаний. Это сложно, но возможно!
Каковы первые шаги?
Вы должны иметь общее представление о том, что есть что.
Прежде всего, Data Engineering относится к информатике. Конкретне — вы должны понимать эффективные алгоритмы и структуры данных. Во-вторых, поскольку дата-инженеры работают с данными, необходимо понимание принципов работы баз данных и структур, лежащих в их основе.
Например, обычные B-tree SQL базы данных основаны на структуре данных B-Tree, а также, в современных распределенных репозиториях, LSM-Tree и других модификациях хеш-таблиц.
* Эти шаги основаны на замечательной статье Адиля Хаштамова. Итак, если вы знаете русский язык, поддержите этого автора и прочитайте его пост.
1. Алгоритмы и структуры данных
Использование правильной структуры данных может значительно улучшить производительность алгоритма. В идеале, мы все должны изучать структуры данных и алгоритмы в наших школах, но это редко когда-либо освещается. Во всяком случае, ознакомится никогда не поздно.
Итак, вот мои любимые бесплатные курсы для изучения структур данных и алгоритмов:
Вся наша жизнь — это данные. И для того, чтобы извлечь эти данные из базы данных, вам нужно «говорить» с ними на одном языке.
SQL (Structured Query Language — язык структурированных запросов) является языком общения в области данных. Независимо от того, что кто-то говорит, SQL жил, жив и будет жить еще очень долго.
Если вы долгое время находились в разработке, вы, вероятно, заметили, что слухи о скорой смерти SQL появляются периодически. Язык был разработан в начале 70-х годов и до сих пор пользуется огромной популярностью среди аналитиков, разработчиков и просто энтузиастов.
Без знания SQL в инженерии данных делать нечего, так как вам неизбежно придется создавать запросы для извлечения данных. Все современные хранилища больших данных поддерживают SQL:
Для анализа большого слоя данных, хранящихся в распределенных системах, таких как HDFS, были изобретены механизмы SQL: Apache Hive, Impala и т. д. Видите, он не собирается никуда уходить.
Как выучить SQL? Просто делай это на практике.
Для этого я бы порекомендовал ознакомиться с отличным учебником, который, кстати, бесплатный, от Mode Analytics.
3. Программирование на Python и Java/Scala
Почему стоит изучать язык программирования Python, я уже писал в статье Python vs R. Выбор лучшего инструмента для AI, ML и Data Science. Что касается Java и Scala, большинство инструментов для хранения и обработки огромных объемов данных написаны на этих языках. Например:
Чтобы погрузиться в язык Scala, вы можете прочитать Программирование в Scala от автора языка. Также компания Twitter опубликовала хорошее вводное руководство — Scala School.
Что касается Python, я считаю Fluent Python лучшей книгой среднего уровня.
4. Инструменты для работы с большими данными
Вот список самых популярных инструментов в мире больших данных:
Знание хотя бы одной облачной платформы находится в списке базовых требований, предъявляемым к соискателям на должность дата-инженера. Работодатели отдают предпочтение Amazon Web Services, на втором месте — облачная платформа Google, и замыкает тройку лидеров Microsoft Azure.
Вы должны хорошо ориентироваться в Amazon EC2, AWS Lambda, Amazon S3, DynamoDB.
6. Распределенные системы
Работа с большими данными подразумевает наличие кластеров независимо работающих компьютеров, связь между которыми осуществляется по сети. Чем больше кластер, тем больше вероятность отказа его узлов-членов. Чтобы стать крутым экспертом в области данных, вам необходимо вникнуть в проблемы и существующие решения для распределенных систем. Эта область старая и сложная.
Эндрю Таненбаум считается пионером в этой области. Для тех, кто не боится теории, я рекомендую его книгу «Распределенные системы», для начинающих она может показаться сложной, но это действительно поможет вам отточить свои навыки.
Я считаю «Проектирование приложений с интенсивным использованием данных» под авторством Мартина Клеппманна лучшей вводной книгой. Кстати, у Мартина есть замечательный блог. Его работа поможет систематизировать знания о построении современной инфраструктуры для хранения и обработки больших данных.
Для тех, кто любит смотреть видео, на Youtube есть курс Распределенные компьютерные системы.
7. Конвейеры данных
Конвейеры данных — это то, без чего вы не можете жить в качестве дата-инженера.
Большую часть времени дата-инженер строит так называемую пайплайн дату, то есть создает процесс доставки данных из одного места в другое. Это могут быть пользовательские сценарии, которые идут к API внешнего сервиса или делают SQL-запрос, дополняют данные и помещают их в централизованное хранилище (хранилище данных) или хранилище неструктурированных данных (озера данных).
Подводя итог: основной чеклист дата-инженера
Подытожим — необходимо хорошее понимание следующего:
И, наконец, последнее, но очень важное, что я хочу сказать.
Путь становления Data Engineering не так прост, как может показаться. Он не прощает, фрустрирует, и вы должны быть готовы к этому. Некоторые моменты в этом путешествии могут подтолкнуть вас все бросить. Но это настоящий труд и учебный процесс.
Просто не приукрашивайте его с самого начала. Весь смысл путешествия в том, чтобы узнать как можно больше и быть готовым к новым вызовам.
Вот отличная картинка, с которой я столкнулся, которая хорошо иллюстрирует этот момент:
И да, не забудьте избегать выгорания и отдыхать. Это тоже очень важно. Удачи!
Как вам статья, друзья? Приглашаем на бесплатный вебинар, который состоится уже сегодня в 20.00. В рамках вебинара обсудим, как построить эффективную и масштабируемую систему обработки данных для небольшой компании или стартапа с минимальными затратами. В качестве практики познакомимся с инструментами обработки данных Google Cloud. До встречи!