Data Engineering Lifecycle und die Rolle des Data Engineers

• Data Engineering, HS23 EinführungPflichtliteratur
• Fundamentals of Data Engineering
• The Data Engineering Lifecycle
• The data science hierarchy of needs
• Data Engineering vs Data Science
• Feature Engineering
• Data Scientists (Data Engineers) spend 80% of their time on data cleaning.
• Data engineering is a set of operations aimed at creating interfaces and mechanisms for the flow and access of information.
• Data engineers set up and operate the organization’s data infrastructure, preparing it for further analysis by data analysts and scientists.
• The first type of data engineering is SQL-focused, with the work and primary storage of the data in relational databases.
• All data processing in this type of data engineering is done with SQL or a SQL-based language, sometimes with the help of an ETL tool.
• The second type of data engineering is Big Data-focused, with the work and primary storage of the data in Big Data technologies like Hadoop, Cassandra, and HBase.
• All data processing in this type of data engineering is done in Big Data frameworks like MapReduce, Spark, and Flink.
• Data engineering is the development, implementation, and maintenance of systems and processes that take in raw data and produce high-quality, consistent information that supports downstream use cases, such as analysis and machine learning.
• A data engineer manages the data engineering lifecycle, beginning with getting data from source systems and ending with serving data for use cases, such as analysis or machine learning.
• The evolution of data engineers has seen them transition from data warehousing to the web in the early days, to the birth of contemporary data engineering in the early 2000s, to big data engineering in the 2000s and 2010s, and to engineering for the data lifecycle in the 2020s.
• Data maturity is the development towards a higher data usage, capability, and integration across the entire organization.
• Modern data engineers are hybrids, combining the skills of a data engineer and a software engineer, as data acquisition and processing become more integral parts of software systems.
• The role of a data engineer has evolved from generalist to specialist, often having multiple roles such as data engineer, data analyst, and software engineer.
• Data engineering is the intersection of security, data management, DataOps, data architecture, orchestration, and software engineering.
• Datenreife ist die Entwicklung hin zu einer höheren Datennutzung, -fähigkeit und -integration im gesamten Unternehmen.
• While SQL is used in the second type of data engineering, the primary processing is done with programming languages like Java, Scala, and Python.
• In relation to previously existing roles, the data engineering field could be thought of as a superset of business intelligence and data warehousing that brings more elements from software engineering.
• This discipline also integrates specialization around the operation of so-called “big data” distributed systems, along with concepts around the extended Hadoop ecosystem, stream processing, and in computation at scale.
• Data engineering is all about the movement, manipulation, and management of data.
• Machine Learning (ML) umfasst Modelle für Vorhersagen oder Klassifikationen.
• Daten haben einen Wert, wenn sie für praktische Zwecke verwendet werden, insbesondere in großen Datensammlungen, die nicht auf sinnvolle Weise genutzt werden.
• Umwandlung der aufgenommenen Zeichenketten in numerische und Datumstypen, Datensätze in Standardformate gebracht und fehlerhafte Datensätze entfernt.
• Reverse ETL ist seit langem Realität in der Datenverarbeitung, wird aber oft als „Antipattern“ betrachtet und über das niemand gerne sprechen oder mit einem Namen würdigen möchte.
• Analytics umfasst Berichte, Dashboards und Ad-hoc-Analysen, die früher überwiegend Business Intelligence (BI) waren, heute aber auch Facetten wie operative Analytik und eingebettete Analytik umfassen.
• Spätere Transformationsstufen können das Datenschema umwandeln und eine Normalisierung vornehmen.
• Reverse ETL ermöglicht es, verarbeitete Daten von der Ausgabeseite des Data-Engineering-Lebenszyklus in die Quellsysteme zurückzuführen.
• Serving ist die offiziell letzte Phase des Data Engineering Lifecycles und dient dazu, aus Daten einen Nutzen zu ziehen.
• Dataprojekte müssen über den gesamten Lebenszyklus hinweg durchdacht sein, um zu ermitteln, was der letztendliche Geschäftszweck der so sorgfältig gesammelten, bereinigten und gespeicherten Daten ist.
• In der Realität ist der Fluss von verarbeiteten Daten in die Quellsysteme vorteilhaft und oft notwendig, Reverse-ETL ermöglicht uns, Analysen, Bewertungsmodelle usw. in Produktionssysteme oder SaaS-Plattformen zurückzuspielen.
• In nachgelagerten Schritten können wir umfangreiche Aggregationen für die Berichterstattung vornehmen oder Daten für ML-Prozesse mit Funktionen versehen.
• Eine wachsende Zahl von Data-Engineering-Tools ist in Python geschrieben oder verfügt über Python-APIs.
• Es ist notwendig, die Zeit bis zur Wertschöpfung, die Gesamtbetriebskosten und die Opportunitätskosten zu optimieren.
• Java- oder Scala-Kenntnisse sind von Vorteil, wenn Sie ein beliebtes Open-Source-Daten-Framework verwenden.
• Es ist notwendig, Architekturen aufzubauen, die Leistung und Kosten auf hohem Niveau optimieren, indem Sie vorgefertigte oder selbst erstellte Komponenten verwenden.