Notes
Notes - notes.io |
## What is data Engineering
Manter a infraestrutura e manter os dados básicos da entrada. O código não é o produto final de um engenheiro de dados. Existe a parte de design, arquitetura. Cuida até mesmo das pessoas que vão cuidadar dos dados. Cuida do pipeline do começo ao fim. Integrar conjunto de dados separados. Implement and deploy data applications in production. Test and operate the data infrastrture and data applications.
- Data manipulation, data modeling in relational and norelational, software dev, *automation*, big data tool, ETL pipelines, business intelligence.
No final das contas os dados vem do negócio.
Data without metadeta is no data.
Indeed - site de vagas com uma definição interessante de funções relacionadas a data.
Como ocorre a inserção de um data entineering em um time que já possui dev backend e devops? O data engineering começa cuidando do banco de dados.
O data scientist cuida se aquilo vai escalar e se comunicar com o data engineer, o data engineer vai operar e implementar o algoritmo.
Grace Hopper
Dados, features, types, operations.
Dado categorico: voce só pode comparar, voce nao pode ordenar, somar.
Dado ordinal: voce pode colocar em ordem, mas não existe uma medida de distancia entre as opções. Operações: mediana e modo apenas
Dado de intervalo: permite diferença entre as medidas. Porem, não faz sentido operações de razão entre dois valores. (ex datas calendario, localizacao geografica)
Dado de razao: existe de forma que faz sentido ser feito a razão. Contável.
Confusão entre dado de intervalo e dado de razao.
Java Go Rust Python para fazer o backend de data Engineering
Google é referencia em data engineering mais que qualquer outra empresa
Dados estruturados e não estruturados -> os dados não estruturados deram origem ao datalake. Os dados são armazenados em um banco de dados não relacional e processa os dados apenas no momento de extrair do seu datalake. Problemas foram reportados em relação a datalakes.
Metadata has three formats: business (or descriptive) metadata, structure (or relation) metadata, operational metadata. Dado sobre o que está sendo descrito nos dados.
|
|
Notes.io is a web-based application for taking notes. You can take your notes and share with others people. If you like taking long notes, notes.io is designed for you. To date, over 8,000,000,000 notes created and continuing...
With notes.io;
- * You can take a note from anywhere and any device with internet connection.
- * You can share the notes in social platforms (YouTube, Facebook, Twitter, instagram etc.).
- * You can quickly share your contents without website, blog and e-mail.
- * You don't need to create any Account to share a note. As you wish you can use quick, easy and best shortened notes with sms, websites, e-mail, or messaging services (WhatsApp, iMessage, Telegram, Signal).
- * Notes.io has fabulous infrastructure design for a short link and allows you to share the note as an easy and understandable link.
Fast: Notes.io is built for speed and performance. You can take a notes quickly and browse your archive.
Easy: Notes.io doesn’t require installation. Just write and share note!
Short: Notes.io’s url just 8 character. You’ll get shorten link of your note when you want to share. (Ex: notes.io/q )
Free: Notes.io works for 12 years and has been free since the day it was started.
You immediately create your first note and start sharing with the ones you wish. If you want to contact us, you can use the following communication channels;
Email: [email protected]
Twitter: http://twitter.com/notesio
Instagram: http://instagram.com/notes.io
Facebook: http://facebook.com/notesio
Regards;
Notes.io Team
