Subscribe to the latest remote jobs:

LLM Ops Engineer

🇲🇽 Mexico

Management

Python

Docker

Kubernetes

AWS

GCP

Azure

Terraform

Machine Learning

Virtual Reality

Backend

Devops

LLM Ops Engineer

from 🇲🇽 Mexico

¡Hola! Somos Cashea 👋 y nuestra misión es devolverle a los venezolanos la oportunidad de acceder al crédito a través de un modelo de negocioBNPL (buy now, pay later).

Desde nuestro lanzamiento en 2022, nos hemos dedicado a promover lainclusión financiera. Hoy contamos con más de 9 millones de usuarios activos, tanto consumidores como comercios, y nos hemos convertido en una marca de confianza en Venezuela, ganándonos el corazón y la mente de las personas.

Resumen del rol

Buscamos un/aLLM Ops Engineer que construya y opere lacapa de plataforma de IA de la empresa: unagateway de LLMs y unagateway de MCP que se sitúan entre nuestras aplicaciones y los proveedores externos de modelos (OpenAI, Anthropic, Google, etc.) y las herramientas/servidores MCP.

No buscamos hostear ni entrenar modelos propios. El foco esintegrar proveedores externos y gobernarlos: enrutamiento, control de costos, límites de uso, seguridad, cumplimiento, trazabilidad y confiabilidad. Eres la persona que hace que el resto de los equipos consuman IA de forma segura, observable y rentable, a través de una interfaz unificada y gobernada.

Trabajarás en la intersección entre ingeniería de plataforma, seguridad y FinOps aplicado a IA.

Responsabilidades

LLM Gateway
  • Diseñar, construir y operar unagateway de LLMs que ofrezca una interfaz unificada sobre múltiples proveedores.

  • Implementar enrutamiento de modelos,fallbacks, reintentos, balanceo y selección dinámica de proveedor/modelo por caso de uso.

  • Gestionar credenciales y claves de proveedores de forma segura (rotación,secrets management).

  • Implementarcaching (incluidosemantic caching) para reducir costos y latencia.

MCP Gateway
  • Construir y operar unagateway de MCP para exponer, descubrir y gobernar el acceso a servidores y herramientas MCP.

  • Definir controles de acceso por herramienta/servidor (qué app o equipo puede invocar qué).

  • Auditar y registrar el uso de herramientas MCP, con trazabilidad de extremo a extremo.

Gobernanza, seguridad y cumplimiento
  • Implementarguardrails, filtrado de contenido y defensas contraprompt injection y fuga de datos.

  • Implementar redacción/enmascaramiento de datos sensibles (PII) enprompts, respuestas y logs.

  • Definir y aplicar políticas de acceso (RBAC), cuotas y límites de uso por equipo, app o usuario.

  • Mantener registros de auditoría y apoyar requisitos de cumplimiento y privacidad.

Costos y observabilidad (FinOps de IA)
  • Implementar atribución de costos por equipo/app/feature y presupuestos con alertas.

  • Construir observabilidad para IA:tracing, métricas de latencia, costo, uso y calidad.

  • Establecerdashboards y alertas sobre consumo, errores y degradación de proveedores.

Confiabilidad
  • Definir SLAs/SLOs para la plataforma de IA y planes de respuesta ante incidentes (incluida la caída de un proveedor).

  • Apoyar a los equipos de producto e ingeniería en la integración con lagateway.

Requisitos

  • Experiencia sólida enPython (o lenguaje similar de backend) construyendo servicios/APIs en producción.

  • Experiencia diseñando y operandoAPI gateways, proxies o capas de middleware a escala.

  • Experiencia concontenedores y orquestación: Docker y Kubernetes.

  • Experiencia con al menos unanube (AWS, GCP o Azure).

  • Experiencia integrandoAPIs de proveedores de LLMs (OpenAI, Anthropic u otros).

  • Sólidos fundamentos deseguridad: gestión de secretos, autenticación/autorización (RBAC, OAuth), manejo de datos sensibles (PII).

  • Mentalidad de plataforma: construir abstracciones que otros equipos consumen de forma confiable.

  • Comprensión de los retos propios de los LLMs: latencia, costos variables, no-determinismo y necesidad de observabilidad.

Nice to have

  • Experiencia congateways de LLM existentes:LiteLLM, Portkey, Kong AI Gateway, Cloudflare AI Gateway, OpenRouter o similares.

  • Conocimiento delModel Context Protocol (MCP) y experiencia integrando o gobernando servidores MCP.

  • Experiencia con herramientas de observabilidad para IA:Langfuse, Helicone, LangSmith, Arize Phoenix.

  • Experiencia conguardrails y seguridad de IA (p. ej. defensa contraprompt injection,content moderation, DLP).

  • Experiencia enFinOps o gestión/atribución de costos en la nube.

  • Experiencia previa en entornos regulados (fintech, salud, etc.) con requisitos de cumplimiento y privacidad.

  • Experiencia con infraestructura como código (Terraform) y CI/CD.

Por qué te encantará trabajar en Cashea

En Cashea tenemos una cultura de trabajo basada en la confianza y el propósito. Si quieres saber por qué somos el lugar ideal para ti, estos son nuestros valores fundamentales:

  • No trabajamos en piloto automático. Todo lo que hacemos y compartimos —dentro y fuera— es intencional. Nos apasiona crear ideas siendo plenamente conscientes del impacto que tienen en nuestros usuarios.

  • Tu creatividad y curiosidad son tus activos más importantes.

  • Tu voz importa.Escuchamos y abrimos espacio para las ideas y el feedback. Aquí todos pertenecen; lo que es importante para ti, lo es para nosotros.

  • Valoramos la transparencia.La claridad nos mantiene conectados y con los pies en la tierra.

  • Por último, pero no menos importante,nos enfocamos en el impacto real. Todo lo que hacemos está destinado a marcar la diferencia.

¿Te identificas?¡Postúlate ahora, nos encantaría conocerte!

by @maxrusakovic