Creación de un Pipeline de Datos y API con Caché Inteligente

Al desarrollar este proyecto integral, consolidé habilidades técnicas clave en arquitectura de backend y gestión de datos en la nube destacando el uso de Infraestructura como Código (IaC) mediante Terraform. En la migración de datos con Azure Data Factory, dominé procesos ETL para transformar y cargar grandes volúmenes de datos (10k+ registros) desde Storage Container a Azure SQL. Durante la creación de la API con FastAPI, implementé autenticación robusta usando Firebase JWT y diseñé endpoints RESTful con lógica de autorización basada en roles (usuarios vs. administradores), reforzando prácticas de seguridad y diseño modular.

La integración con Redis me permitió optimizar el rendimiento mediante un sistema de caché inteligente: diseñé llaves dinámicas para consultas filtradas (ej: /catalog?type=Movie). Utilicé Azure Application Insights para monitorear métricas críticas (tiempos de respuesta, solicitudes/segundo) y diagnosticar cuellos de botella, aplicando insights basados en pruebas de carga para optimizar la API.

Finalmente, containericé la solución con Docker y la desplegué en Azure App Service, dominando flujos CI/CD en entornos cloud. Este proyecto no solo fortaleció mi expertise en tecnologías como Python, Redis y Azure, sino que también cultivó mi capacidad para resolver problemas complejos—desde el balance entre latencia y consistencia en cachés hasta el diseño de arquitecturas resilientes y monitorizadas listas para producción.

Imagenes