> ## Documentation Index
> Fetch the complete documentation index at: https://docs.dados.rio/llms.txt
> Use this file to discover all available pages before exploring further.
# Transformação dos Dados
> Descrição dos pipelines de transformação de dados no Data Lake.
## Visão Geral
Os pipelines de transformação de dados são responsáveis por transitar os dados para além da camada **bronze** (etapa *staging*):
Os nossos modelos de dados são públicos e estão disponíveis no seguinte repositório:
Repositório com os modelos de dados desenvolvidos pela IplanRio.
***
## Conhecimentos Necessários
Para desenvolver um pipeline de transformação de dados, é necessário os seguintes conhecimentos:
* Linguagem SQL para transformar os dados nos formatos das camadas seguintes.
* Versionamento de código em Git.
* Ferramenta dbt para realizar a materialização das tabelas dentro do BigQuery.
***
## Onde Aprender
### SQL
Como em qualquer [SGBD](https://pt.wikipedia.org/wiki/Sistema_de_gerenciamento_de_banco_de_dados), a sintaxe SQL utilizada no BigQuery possui suas particularidades e funções específicas. Para conhecer mais, recomendamos utilizar a [documentação oficial do GoogleSQL](#).
💡 O BigQuery também permite treino e escoragem de modelos de Machine
Learning a partir de instruções SQL! Essa é uma excelente alternativa ao uso
de Spark devido à alta capacidade computacional do BigQuery e à facilidade
da linguagem SQL. Para aprender sobre como implementar seus modelos a partir
do BigQuery, consultar a [documentação oficial do BigQuery ML](#).{" "}
### dbt
Para aprender a trabalhar com o dbt, indicamos consumir os treinamentos oficiais da empresa que desenvolve a solução:
* **[]()**
Curso introdutório ao dbt, com foco em modelagem de dados e boas práticas.
Para aqueles usuários que querem se aprofundar na ferramenta, indicamos fortemente outros dois módulos:
Curso sobre boas práticas de escrita de SQL, com foco em modularização e reutilização de código.
Curso sobre boas práticas de testes em pipelines, com foco em testes automatizados e explicandos os diferentes testes no DBT.