Senior ML Engineer | Kimchi (Inference Stack Optimization) in Verona

Senior ML Engineer | Kimchi (Inference Stack Optimization) in Verona

Verona Full-Time 72000 - 88000 € / anno (stimato) Da remoto
C

In sintesi

  • Mansioni: Ottimizza stack di inferenza per migliorare throughput e latenza.
  • Azienda: Kimchi, parte di CAST AI, team globale innovativo.
  • Benefit: Salario competitivo, lavoro remoto, budget per formazione e eventi aziendali.
  • Altre informazioni: Ambiente dinamico con opportunità di crescita e progetti personali.
  • Perché questo lavoro: Lavora con tecnologie all'avanguardia e fai la differenza nel settore ML.
  • Qualifiche: 5+ anni di esperienza in sistemi ML e competenze avanzate in Python.

La retribuzione prevista è compresa tra 72000 - 88000 € per anno.

Why Kimchi?

Scorra verso il basso per una panoramica approfondita di questo lavoro e dei requisiti per i candidati. Invii la sua candidatura facendo clic sul pulsante "Candidati".

Great models are raw ingredients.

Kimchi is what happens when you ferment them with good engineering.

We started inside CAST AI helping companies run LLMs on their own Kubernetes clusters; today we run our own coding harness on any model you pick, and we run the models underneath it ourselves.

Kimchi Inference

One API line and a customer's existing client just works: Deep Seek, GLM, Kimi, Mini Max, Nemotron served serverless from our own GPU fleet (Open AI- and Anthropic-compatible, pay per token, spend visible per user, team, and key).

When control matters, the same models run on the customer's own cluster instead.

Behind that one line sits the machinery you'll own: SGLang and v LLM engines, B300 nodes, a shared cluster filesystem that holds every checkpoint exactly once, KV caches riding coding traffic with heavy prefix reuse, and the benchmark harness that gates every change we ship.

Made by Cast AI — a Miami-headquartered, globally distributed team across 34 countries that hit unicorn status in January 2026 with a $50B+ backed investment pushing its valuation past $1 billion.

About The Role

Throughput. Latency. Cold starts. Cost per token.

Move those four numbers in the right direction and two things happen: customers get faster, cheaper inference, and our margins improve.

That's the entire thesis of this role.

Every loader you tune, every scheduler decision you land, every kernel you stare at shows up in a customer's p99 and on our P&L.

Your mandate is the inference stack's optimization, whatever it takes, and the technical direction of how we optimize it is yours to argue with data.

The problem

The checkpoints run 0.3-1.5 TB, and the "right" serving configuration depends on traffic shape, sequence-length distribution, batch dynamics, GPU SKU, memory bandwidth, and quantization tolerance, all variables that shift week to week.

Most teams pick a configuration once, over-provision GPUs, and absorb the cost.

We don't: we took Kimi-K3 (1.5 TB) from over an hour cold-to-serving to under twelve minutes with a shared filesystem, O_DIRECT weight loaders, and node-local JIT caches, and we're nowhere near done.

Prefill/decode disaggregation and tiered KV caches are next.

Stack

  • Python; SGLang; v LLM; Tensor RT-LLM; Py Torch; fastsafetensors; CUDA-adjacent tooling; Kubernetes; virtiofs shared filesystems; Click House; Open Telemetry; Prometheus; Grafana; Git Lab CI.

Requirements

  • You've built real ML systems for 5+ years, and your portfolio shows depth in inference or training infrastructure, not just model training notebooks.
  • Your Python is production-grade: services, not scripts.
  • You've run v LLM, SGLang, or Tensor RT-LLM for real, and you have a working mental model of why an engine performs the way it does on a given GPU.
  • You've measured quantization regressions, not just compression ratios.
  • Multi-GPU and multi-node setups hold no fear: tensor and expert parallelism, collective communication, and their practical failure modes.
  • You know where the bytes live (page caches, O_DIRECT, network filesystems under terabyte-scale reads) and how fast they move.
  • You instrument before you optimize, and you can tell a real win from a benchmark artifact.
  • A wide mandate excites you more than it unsettles you.
  • Nice to haves
  • You've worked on LLM routing specifically: Router Bench-class evals, cost/quality/latency Pareto fronts.
  • Calibration, abstention, or conformal methods in production decision systems.
  • You've run online A/B loops with drift monitoring on a model that touches real money.

Responsibilities

  • Push throughput.

Continuous batching, chunked prefill, speculative decoding with draft models, CUDA-graph capture, and scheduler tuning across the engine fleet.

Find the ceiling on each GPU SKU, then raise it.

  • Cut latency.

Attack TTFT and inter-token latency separately; profile to find the actual bottleneck (compute, memory bandwidth, scheduling, storage, or network) and fix it, not the one you assumed.

  • Get more out of the KV cache.

Hierarchical and paged attention, prefix caching on heavy-reuse coding traffic, eviction policies, quantized KV.

A lot of the unrealized throughput lives here, and you'll own it.

  • Kill cold starts.

Weight loaders (O_DIRECT, fastsafetensors-class), JIT and compile caches, shared-filesystem read paths.

A 1.5 TB checkpoint has no business taking an hour to reach serving.

  • Quantize without regressing quality. INT8/INT4, FP8/FP4 across weights, activations, and KV, measured on real workloads, not just perplexity benchmarks.
  • Scale across nodes.

Distributed inference topologies, network-aware placement, prefill/decode disaggregation, checkpointing strategies that don't bottleneck on storage or interconnect.

  • Set the technical direction. Decide what we benchmark, what we adopt, and what we build ourselves. Bring the team along with strong writeups and reproducible experiments.

What’s in it for you?

  • Competitive salary (depending on the level of experience).
  • Enjoy a flexible, remote-first global environment.
  • Collaborate with a global team of cloud experts and innovators, passionate about pushing the boundaries of Kubernetes technology
  • Equity options.
  • Get quick feedback with a fast-paced workflow. Most feature projects are completed in 1 to 4 weeks.
  • Spend 10% of your work time on personal projects or self-improvement.
  • Learning budget for professional and personal development - including access to international conferences and courses that elevate your skills.
  • Annual hackathon to spark new ideas and strengthen team bonds.
  • Team-building budget and company events to connect with your colleagues.
  • Equipment budget to ensure you have everything you need.
  • Extra days off to help maintain a healthy work-life balance.
  • Hiring process
  • Screening call with Recruiter
  • Hiring Manager interview
  • Technical interview (system design)
  • Live coding
  • Culture Check interview with an executive

As part of our standard hiring process, we would like to inform you that a background check may be conducted at the final stage of recruitment through our third-party provider, Checkr.

Please note that Cast AI does not provide any form of visa sponsorship/work permit.

Senior ML Engineer | Kimchi (Inference Stack Optimization) in Verona datore di lavoro: Cast AI

Kimchi offre un ambiente di lavoro stimolante e innovativo, dove i dipendenti possono contribuire attivamente allo sviluppo di modelli all'avanguardia in un contesto globale e remoto. Con opportunità di crescita professionale, un budget per la formazione e la possibilità di dedicare il 10% del tempo lavorativo a progetti personali, i membri del team possono affinare le proprie competenze mentre collaborano con esperti del settore. Inoltre, l'azienda promuove un equilibrio tra vita lavorativa e personale, offrendo giorni di ferie extra e eventi di team building per rafforzare i legami tra colleghi.

C

Dettagli di contatto:

Team di recruiting di Cast AI

Consigli degli esperti StudySmarter🤫

Ecco come pensiamo che potresti ottenere Senior ML Engineer | Kimchi (Inference Stack Optimization) in Verona

✨Partecipa ai Meetup Locali

Immergiti nella community tech partecipando a meetup locali di ingegneria e sviluppo software. Questo non solo ti permetterà di imparare delle nuove tendenze, ma anche di incontrare potenziali datori di lavoro e colleghi. Non c'è nulla di meglio che un contatto personale per lasciare il segno!

✨Contribuisci a Progetti Open-Source

Un ottimo modo per farti notare è contribuire a progetti open-source. Questo non solo arricchisce il tuo portfolio, ma ti mette in contatto con professionisti del settore che possono facilmente raccomandarti per posizioni full-time. Inoltre, dimostrerai competenze pratiche che le aziende adorano!

✨Esplora le Piattaforme di Recruitment Tecnico

Ci sono piattaforme di recruitment specializzate per il settore tech dove le aziende cercano costantemente profili come il tuo. Assicurati di registrarti su siti specifici per ingegneri e sviluppatori per ricevere piuttosto offerte di lavoro pertinenti e opportunità interessanti. Fai in modo che il tuo profilo risalti!

✨Applica Direttamente a Cast AI

Non dimenticare di controllare il sito web di Cast AI per eventuali opportunità di lavoro nel settore ingegneristico. Applicare direttamente può aumentare le tue chance di essere notato, specialmente se segui i loro canali social per aggiornamenti su assunzioni e eventi informativi.

Pensiamo che ti servano queste competenze per eccellere come Senior ML Engineer | Kimchi (Inference Stack Optimization) in Verona

Python
SGLang
vLLM
TensorRT-LLM
CUDA
Kubernetes
Data Analysis

Alcuni consigli per la tua candidatura 🫡

Mostra i tuoi progetti!:Nel tuo CV, assicurati di includere una sezione dedicata ai progetti di sviluppo software a cui hai lavorato. Questi possono essere progetti universitari, lavori freelance o anche side projects. Se hai un GitHub, non dimenticare di linkarlo: i recruiter adorano vedere il codice e come affronti le sfide.

Competenze tecniche in evidenza:Fai un elenco chiaro delle tue competenze tecniche nel tuo CV, come linguaggi di programmazione, framework e strumenti che conosci. Assicurati che siano rilevanti per il ruolo di Senior ML Engineer | Kimchi (Inference Stack Optimization) in Cast AI. Questo aiuterà a dimostrare che sei il candidato ideale per il lavoro!

Scrivi una lettera di motivazione mirata:Quando scrivi la tua lettera di motivazione, evidenzia perché sei appassionato di ingegneria e sviluppo software. Parla dei tuoi obiettivi professionali e di come pensi di crescere in Cast AI. Ricorda, vogliamo vedere il tuo entusiasmo e il tuo desiderio di imparare!

Attenzione ai dettagli:Nell'ambito dell'ingegneria e dello sviluppo software, i dettagli contano. Fai attenzione alla formattazione del tuo CV e della lettera di motivazione. Un CV ben strutturato e privo di errori mostra che sei meticoloso e professionale, qualità fondamentali per un ruolo a tempo pieno come Senior ML Engineer | Kimchi (Inference Stack Optimization).

Come prepararti a un colloquio di lavoro presso Cast AI

✨Preparati con le tue abilità tecniche

Per un colloquio in ingegneria e sviluppo software, è fondamentale essere in grado di dimostrare le tue abilità tecniche. Preparati a rispondere a domande di programmazione e a risolvere problemi dal vivo. Puoi anche praticare con piattaforme come LeetCode o HackerRank per affrontare esempi di codice che potresti incontrare.

✨Mostra il tuo portfolio di progetti

Essendo un candidato full-time, è importante avere un portfolio ben curato che mostri il tuo lavoro. Porta con te esempi di progetti passati, sia personali che professionali. Spiega il tuo ruolo in ciascun progetto e i risultati ottenuti. Questo non solo dimostra le tue capacità, ma anche la tua passione per il settore.

✨Preparati a domande sul lavoro di squadra

Nel campo dell'ingegneria e sviluppo software, il lavoro di squadra è cruciale. Aspettati di ricevere domande su come hai collaborato in precedenti progetti o come affronti i conflitti con i membri del team. Pratica le tue risposte usando esempi concreti che mettano in luce le tue abilità relazionali.

✨Conosci il processo di sviluppo che usano

Ogni azienda ha il proprio modo di fare le cose. Prima del colloquio in Cast AI, informati sul loro processo di sviluppo software, come Agile o Scrum. Essere in grado di discutere come ti adatteresti a questi metodi o come hai già lavorato con essi può farti risaltare come candidato ideale.