Data Engineer, Databricks
Employment Information
Report this job
Job expired or something wrong with this job?
Job Description
Data Engineer focused on implementing high-quality data architectures and analytical solutions. Collaborating with internal teams and clients at Derevo to manage big data efficiently.
Responsibilities:
- Serás pieza clave para crear e implementar arquitecturas modernas de datos con alta calidad, impulsando soluciones analíticas basadas en tecnologías de Big Data.
- Diseñarás, mantendrás y optimizarás sistemas de multiprocesamiento paralelo, aplicando las mejores prácticas de almacenamiento y gestión en data warehouses, data lakes y lakehouses.
- Recolectarás, procesarás, limpiarás y orquestarás grandes volúmenes de datos, entendiendo modelos estructurados y semi–estructurados.
- Definirás la estrategia óptima según objetivos de negocio y requerimientos técnicos, convirtiendo problemas complejos en soluciones alcanzables que ayuden a nuestros clientes a tomar decisiones basadas en datos.
- Te integrarás al proyecto, sus sprints y ejecutarás las actividades de desarrollo aplicando siempre las mejores prácticas de datos y las tecnologías que implementamos.
- Identificarás requerimientos y definirás el alcance, participando en sprint planning y sesiones de ingeniería con una visión de consultor que aporte valor extra.
- Clasificarás y estimarás actividades bajo metodologías ágiles (épicas, features, historias técnicas/usuario) y darás seguimiento diario para mantener el ritmo del sprint.
- Cumplirás las fechas de entrega comprometidas y gestionarás riesgos comunicando desviaciones a tiempo.
Requirements:
- Experiencia en: Lenguajes de Consulta y Programación: T-SQL / Spark SQL: DDL y DML, consultas intermedias y avanzadas (subconsultas, CTEs, joins múltiples con reglas de negocio), agrupación y agregación (GROUP BY, funciones de ventana, métricas de negocio), procedimientos almacenados para ETL/ELT, optimización de índices, estadísticas y planes de ejecución para procesos masivos
- Python (PySpark): Programación orientada a objetos (clases, módulos), gestión de estructuras y tipos de datos (variables, listas, tuplas, diccionarios), control de flujo mediante condicionales y bucles, ingestión de datos estructurados y semiestructurados, desarrollo de DataFrames y UDFs, ventanas temporales y particionado para optimización, buenas prácticas de código (PEP8, modularidad)
- Databricks: Apache Spark & DataFrame API: Diseño de pipelines que aprovechan la API de DataFrames para transformaciones masivas; uso de funciones declarativas y expresiones vectorizadas.
- Delta Lake: Administración de tablas Delta con ACID transactions, time travel para auditoría y partition pruning para lecturas eficientes dentro de la medallion architecture.
- Autoloader & Data Ingestion: Configuración de ingesta incremental en OneLake o ADLS Gen2 con Auto Loader, captura de cambios de esquema (schema evolution) y checkpointing para garantizar exactly-once delivery sin código adicional.
- Structured Streaming: Orquestación de flujos en tiempo real con triggers event-time y processing-time, watermarking y operaciones stateful para baja latencia y tolerancia a fallos.
- Delta Live Tables (DLT): Declaración de pipelines ETL/ELT en SQL o Python con calidad de datos integrada (Expectations), manejo automático de dependencias y monitoreo continuo.
- Performance Optimization: Técnicas de caching, broadcast joins, shuffle optimizations y uso de formatos columnar (Parquet/Delta) con Z-Ordering y OPTIMIZE para reducir tiempos de procesamiento.
- Lakehouse Federation: Consulta unificada sobre fuentes externas a través de Unity Catalog; Jobs & Workflows: Creación de pipelines multietapa con dependencias, retries automáticos, scheduling o llegada de datos; integración con Azure Data Factory si es necesario.
- Repos & CI/CD: Versionado de notebooks y scripts en GitHub/Azure DevOps, configuración de pipelines de validación (unitarias y de esquema) y despliegue automatizado en entornos dev-test-prod.
- Monitoreo y Observabilidad: Alertas mediante notificaciones de jobs de Workflows ante eventos como fallos y generación de alertas proactivas automatizadas
- Será un plus si tienes conocimientos generales en Azure Data Factory!!
Benefits:
- WELLNESS: Impulsaremos tu bienestar integral a través del equilibrio personal, profesional y económico, Nuestros beneficios de ley y adicionales te ayudarán a lograrlo.
- LET´S RELEASE YOUR POWER: Tendrás la oportunidad de especializarte de manera integral en diferentes áreas y tecnologías, logrando así un desarrollo interdisciplinario.
- WE CREATE NEW THINGS: Nos gusta pensar fuera de la caja. Tendrás el espacio, confianza y libertad para crear y la capacitación que se requiera para lograrlo.
- WE GROW TOGETHER: Participarás en proyectos tecnológicos punteros, multinacionales y con equipos extranjeros.
Similar Jobs
Data Engineer
Data Engineer architecting data flow for supply chain intelligence at Shipium. Designing ETL processes to optimize analytics, reporting, and drive AI products.
Data Engineer, Data Project Lead
Data Engineer leading data management and engineering projects supporting OHS program oversight. Ensuring compliance with federal policies while delivering high-quality data solutions.
Junior/Mid-level Data Engineer
Junior Data Engineer at Vitrio supporting data pipeline maintenance and data quality monitoring. Working with the Data Engineering team on Google Cloud Platform.
Senior Data Engineer
Senior Data Engineer focusing on data pipelines and collaboration with blockchain engineers to index blockchain data for the Solana ecosystem.
Senior Data Engineer
Data Engineer at Grupo SysMap focused on data modeling and pipeline development for multiple cloud environments. Analyzing business processes and ensuring data integrity with best practices.
Data Architect
Teamcenter Data Architect designing and configuring PLM data models at Accelint. Contributing to mission-ready PLM environments supporting Navy objectives with data consistency.
Lead Technology – Web Scraping, Data Platform
Technical leader in technology for a startup specializing in market intelligence and data monitoring. Leading technical decisions in web scraping, data infrastructure, and back-end development.
Data Engineer – Pipelines, APIs, AI Data Systems
Data Engineer designing and building scalable data pipelines for AI and analytics at Newfold Digital. Collaborating with analytics, BI, and AI teams for data accessibility and reuse.
Principal Data Engineer
Principal Data Engineer overseeing technical direction for AI data center engineering platform at NVIDIA-backed company. Responsible for architecture, design decisions, and mentoring the team in data infrastructure.
Senior Data Governance Analyst – Azure Purview, Data Engineering
Senior Data Governance Analyst leading Azure Purview implementations and shaping data governance strategy at Data Meaning. Working directly with clients and delivering enterprise data solutions.
Data Engineer – Contractor
Data Engineer designing and building reliable data pipelines for Fintech at myPOS. Creating scalable data architecture and ensuring data quality for business insights.
Data Engineer – Senior
Data Engineer responsible for designing and implementing data integration processes using Python and SQL. Focused on ETL automation, quality control, and data warehouse support.
Senior Data Engineer, Data Platform
Senior Data Engineer building core services for healthcare data platform. Empowering real-world patient and provider outcomes through automation and observability in a fully remote role.
AI Data Engineer
AI Data Engineer operating at the intersection of data engineering and applied AI. Building end-to-end solutions that power Power Digital’s internal AI platform with collaborative team efforts.
Data Engineer, Snowflake
Project-based Data Engineer with Snowflake for Evolved-Ideas helping organisations in Europe. Building, managing, and optimizing data pipelines while communicating with key data consumers.
Director, Interoperability Data Platform
Director leading strategy and execution for Humana’s interoperability data platform. Overseeing data ingestion and utilization across healthcare products and enterprise operations.
Data Engineer II
Data Engineer II managing data engineering functions including data modeling and ETL processes at TD. Requires 3+ years of relevant experience and a degree in a related field.
Fabric Data Engineer
Senior Fabric Data Engineer designing and optimizing enterprise data solutions using Microsoft Fabric. Collaborating with teams to modernize data platforms and providing analytics solutions.
Data Engineer – MS Fabric
Data Engineer creating and implementing modern data architectures for analytical solutions at Derevo. Working with technologies in Big Data and data management best practices.
Senior Data Engineer – Databricks SME
Data Engineer supporting US Government client with data ingestion, deduplication, and tagging for Databricks migration. Requires extensive experience with Azure and data management technologies.