Pipeline Dados
Pipeline de Dados
Descrição: Pipeline de dados e análises para modelagem de curvas de custo de marginal de abatimento do carbono das diversas alternativas do setor energético brasileiro para fins de suportar avaliação de custo-efetividade de políticas de transição energética do país.
Painel
Repositório do projeto
Arquitetura do projeto
Resultados obtidos: levantamento de dados públicos de fontes nacionais e internacionais, arquitetura, análises e propostas de curva de custo marginal de abatimento de carbono das diversas alternativas para transição energética brasileira.
Habilidades necessárias/preferenciais: Python, SQL, Azure cloud, Power Bi/Business Inteligence.
Mentores: Aline, TCU
Tamanho do projeto: Médio/Grande
Dificuldade: Grande
Membros:
Caio Vitor |
Eduardo Gurgel |
Pedro Braga |
Ugor Costa |
Victório Lázaro |
Relato de experiência:
Relato de Experiência - Caio
Durante o desenvolvimento do projeto, tive a oportunidade de ampliar meus horizontes ao atuar como Community Manager, explorando uma área na qual nunca havia mergulhado anteriormente. Essa experiência permitiu-me entender perspectivas diferentes das minhas habituais e proporcionou contribuições significativas à comunidade externa.
Ao desempenhar o papel de Community Manager, enfrentei desafios intrigantes, especialmente no uso de ferramentas de extração de dados. Inicialmente, encontrei dificuldades para resolver esses problemas de maneira eficiente. No entanto, através de conversas e colaboração com outros membros da equipe, conseguimos não apenas superar esses obstáculos, mas também encontrar soluções ideais que beneficiaram todo o projeto.
Essa jornada não apenas me proporcionou um aprendizado valioso em uma nova área, mas também destacou a importância da colaboração e da troca de conhecimento dentro da comunidade.
Com o aprendizado do projeto, consegui uma vaga de estágio na Agência de Aviação Civil (ANAC), atuando como analista de dados e utilizando ferramentas semelhantes às que usamos durante o desenvolvimento do projeto.
Relato de Experiência - Eduardo
O projeto foi fundamental para o meu aprendizado, consegui desenvolver habilidades variadas, enfrentar desafios da rotina e colocar em prática todo conhecimento teórico que adquiri durante o curso de Engenharia de Software.
Aprendi a configurar serviços, gerenciar instancias virtuais e utilizar o azure para armazenar e processar dados. Também aprendi a projetar e otimizar bancos de dados, executar consultas e manter a integridade dos dados. Todo esse conhecimento adquirido foi muito importante para mim, pois antes de começar o projeto eu não tinha ideia do que se tratava um (ETL), então foi um desafio que acabei superando,e repassando meu conhecimento para os outros integrantes do grupo através de tutoriais.
Como Product Owner, meu progresso ao longo do projeto foi marcada por uma evolução contínua e desafiadora. Principalmente para entender o que o cliente desejava, esse foi um desafio que demandou um tempo considerável e um esforço significativo da equipe. No entanto, nós acabamos definindo o MVP e estabelecendo melhorias para o produto, o que foi fundamental para uma melhor divisão de tarefas e finalização do projeto.
No geral, o projeto desempenhou um papel fundamental em minha trajetória de desenvolvimento profissional, espero muito que seja uma ferramenta útil no contexto da transição energética brasileira, e sem dúvida será um destaque em meu portfólio. Além disso, muito dos conceitos que eu vi durante o projeto foram fundamentais para que eu conseguisse receber algumas propostas de trabalho e também ser aprovado no concurso da Dataprev.
Relato de Experiência - Pedro
O projeto foi essencial ao me proporcionar conhecimento prático de trabalho com clientes reais, comunicação entre equipe e com stackholders, habilidades técnicas, entedimento de metodologias ágeis e como vender produtos e trabalhos relacionados a área de software.
Além disso tudo, o projeto pode me mostrar os meus pontos fracos, os quais posso trabalhar em cima e evoluir a mim mesmo como profissional.
Tive a oportunidade de desenvolver minhas habilidades de programação com a extração de dados em python, com os frameworks beautifulsoup juntamente com requests, Selenium e scrapy. Aprender sobre o uso do PowerBI, Microsoft SQLServer foram boas oportunidades, mesmo sendo softwares de licença fechada. O uso constante do Git e Github puderam melhorar meus conhecimentos nestes softwares essenciais na carreira de Desenvolvimento de Software.
Relato de Experiência - Victorio
Esta jornada me proporcionou um novo olhar sobre o potencial dos dados das fontes de dados, governamentais ou não, disponíveis na internet e a importância de integrar esses dados em uma única plataforma.
Desenvolvi scripts personalizados para recuperar os dados necessários. Essa etapa exigiu uma compreensão sólida dos formatos de dados específicos e autenticação. Uma vez que os dados foram coletados, realizei limpeza e pré-processamento para garantir que estivessem prontos para as próximas fases.
O principal do projeto foi a implementação de um pipeline ETL (Extração, Transformação e Carga) usando Azure Data Factory, automatizando a extração regular de dados. Com os dados preparados e armazenados em um repositório, criamos visualizações significativas para tornar as informações acessíveis e úteis usando o Power BI.
Essa experiência solidificou meu conhecimento em ciência de dados, e estou ansioso para explorar novos projetos e desafios. A experiência também me garantiu mais conhecimento na hora de elicitar os problemas de um cliente real.
Relato de Experiência - Ugor
O projeto me proporcionou a oportunidade trabalhar em um ramo da Tecnologia da Informação que ainda não tinha tido contato: dados. Profissionalmente, meus estudos se voltaram para essa parte de forma a moldar a visão de carreira, a qual se concentrava apenas na área de desenvolvimento.
Se faz importante destacar como a experiência de lidar com um cliente real acrescenta em todo o processo. Frequentemente, nos encontramos com o foco no produto e dessa vez precisamos fazer estudos dirigidos para a área de transição energética para poder entender quais informações seriam relevantes na construção do dashboard.
Tive minha primeira experiência montando um banco de dados real, acompanhando as extrações, definição do dashboard além dos seus refinamentos. O processo se deu de forma colaborativa onde o time de desenvolvedores e o cliente construíram juntos as demandas possíveis de serem englobadas no produto final.
Dito isso, o projeto agregou pessoalmente e profissionalmente em diversas esferas diferentes. Com certeza saindo um profissional diferente do que entrou nessa jornada.