Evaluation Scenario Writer - AI Agent Testing Specialist

Evaluation Scenario Writer - AI Agent Testing Specialist

Freelance 26634 - 32552 € / anno (stimato) Ibrido
Mindrift

In sintesi

  • Mansioni: Progetta scenari di valutazione realistici per agenti AI e crea casi di test innovativi.
  • Azienda: Mindrift, dove innovazione e opportunità si incontrano.
  • Benefit: Fino a $30/ora, lavoro flessibile e remoto, esperienza preziosa per il tuo portfolio.
  • Altre informazioni: Ambiente dinamico con opportunità di crescita professionale.
  • Perché questo lavoro: Contribuisci a progetti AI avanzati e influenzare il futuro della tecnologia.
  • Qualifiche: Laurea in informatica o campi correlati, esperienza in QA e test software.

La retribuzione prevista è compresa tra 26634 - 32552 € per anno.

At Mindrift, innovation meets opportunity. We believe in using the power of collective human intelligence to ethically shape the future of AI.

Massimizzi le sue possibilità di successo assicurandosi che il suo CV e le sue competenze corrispondano ai requisiti di questa posizione.
What We Do

The Mindrift platform connects specialists with AI projects from major tech innovators.

Our mission is to unlock the potential of Generative AI by tapping into real‑world expertise from across the globe.

About The Role

Design realistic and structured evaluation scenarios for LLM‑based agents.

Create test cases that simulate human‑performed tasks and define gold‑standard behavior to compare agent actions against.

Ensure each scenario is clearly defined, well‑scored, easy to execute, and reusable.

Require sharp analytical mindset, attention to detail, and interest in how AI agents make decisions.

  • Create structured test cases that simulate complex human workflows.
  • Define gold‑standard behavior and scoring logic to evaluate agent actions.
  • Analyze agent logs, failure modes, and decision paths.
  • Work with code repositories and test frameworks to validate scenarios.
  • Iterate on prompts, instructions, and test cases to improve clarity and difficulty.
  • Ensure scenarios are production‑ready, easy to run, and reusable.
  • How To Get Started

Apply to this post, qualify, and get the chance to contribute to projects aligned with your skills, on your own schedule.

From creating training prompts to refining model responses, you'll help shape the future of AI while ensuring technology benefits everyone.

Requirements

  • Bachelor's and/or Master's Degree in Computer Science, Software Engineering, Data Science / Data Analytics, Artificial Intelligence / Machine Learning, Computational Linguistics / NLP, Information Systems or related fields.
  • Background in QA, software testing, data analysis, or NLP annotation.
  • Good understanding of test design principles (e. g., reproducibility, coverage, edge cases).
  • Strong written communication skills in English.
  • Comfortable with structured formats like JSON/YAML for scenario description.
  • Can define expected agent behaviors (gold paths) and scoring logic.
  • Basic experience with Python and Java Script.
  • Curious and open to working with AI‑generated content, agent logs, and prompt‑based behavior.
  • Nice to Have
  • Experience in writing manual or automated test cases.
  • Familiarity with LLM capabilities and typical failure modes.
  • Understanding of scoring metrics (precision, recall, coverage, reward functions).

Benefits

  • Get paid for your expertise, with rates up to $30/hour depending on skills, experience, and project needs.
  • Flexible, remote, freelance project that fits around professional or academic commitments.
  • Participate in an advanced AI project and gain valuable experience to enhance your portfolio.
  • Influence how future AI models understand and communicate in your field of expertise.
  • Seniority level
  • Entry level
  • Employment type
  • Part‑time
  • Job function
  • Other
  • Industries
  • IT Services and IT Consulting

Evaluation Scenario Writer - AI Agent Testing Specialist datore di lavoro: Mindrift

L'azienda è un eccellente datore di lavoro grazie alla sua cultura innovativa e inclusiva, che valorizza le idee fresche e la creatività dei suoi collaboratori. Offriamo tariffe competitive fino a $34 all'ora e orari flessibili, permettendo ai dipendenti di bilanciare lavoro e vita privata mentre contribuiscono a progetti all'avanguardia nel campo dell'IA. Inoltre, i nostri collaboratori hanno l'opportunità di crescere professionalmente e di influenzare lo sviluppo futuro dell'intelligenza artificiale, rendendo ogni progetto significativo e gratificante.

Mindrift

Dettagli di contatto:

Team di recruiting di Mindrift

Consigli degli esperti StudySmarter🤫

Ecco come pensiamo che potresti ottenere Evaluation Scenario Writer - AI Agent Testing Specialist

✨Costruisci il tuo portfolio di progetti

Se vuoi lavorare come freelance nella scienza dei dati, un portfolio solido è fondamentale. Mostra i tuoi progetti, magari includendo analisi di dataset pubblici o lavori di predictive modeling. Assicurati di rendere accessibile il tuo codice su piattaforme come GitHub!

✨Unisciti a community di data science

Participa a forum e gruppi su piattaforme come Kaggle, dove puoi interagire con altri data scientist e scoprire opportunità di lavoro freelance. Le hackathon e i competition sono anche ottimi posti per mettersi in mostra e magari attrarre qualche cliente.

✨Fai networking per costruire relazioni

Non sottovalutare il potere di LinkedIn. Partecipa a eventi online o meetup locali di data science per conoscere potenziali clienti e collaboratori. Ricorda, ogni connessione è una potenziale opportunità di lavoro!

✨Applica direttamente attraverso il nostro sito

Quando vedi offerte di lavoro freelance nel campo della scienza dei dati, non esitare a controllare il nostro sito. Le candidature dirette possono farti spiccare tra la folla e ti metteranno in contatto diretto con le aziende, come Mindrift.

Pensiamo che ti servano queste competenze per eccellere come Evaluation Scenario Writer - AI Agent Testing Specialist

Analytical Skills
Attention to Detail
Test Design Principles
Data Analysis
NLP Annotation
Written Communication Skills
JSON/YAML Proficiency

Alcuni consigli per la tua candidatura 🫡

Metti in mostra il tuo portfolio:Assicurati di includere un portfolio solido con i tuoi progetti di data science. Include progetti che mostrano le tue competenze in analisi dei dati, machine learning e visualizzazione, così da far vedere a Mindrift cosa sei in grado di fare.

Condividi le tue esperienze pratiche:Essendo un freelance, è fondamentale dimostrare che hai esperienza pratica. Se hai lavorato su progetti per clienti precedenti, includili nel tuo cv, specificando i risultati raggiunti e le tecnologie utilizzate. Questo aiuterà Mindrift a capire come potresti contribuire!

Definisci chiaramente le tue tariffe e disponibilità:Quando applichi per un contratto freelance, è importante essere chiari sulle tue tariffe e sulla tua disponibilità. Fai in modo che queste informazioni siano facili da trovare nella tua proposta, così che Mindrift possa valutare la tua candidatura senza esitazioni.

Scrivi una proposta personalizzata:Non inviare una candidatura generica! Prenditi il tempo per scrivere una proposta che risponda alle specifiche esigenze di Mindrift. Parla di come le tue competenze possono risolvere i loro problemi specifici e dimostra che hai fatto le tue ricerche.

Come prepararti a un colloquio di lavoro presso Mindrift

✨Fai brillare il tuo portfolio

Preparati a presentare il tuo portfolio di progetti di data science! Mostra i tuoi lavori migliori, soprattutto quelli che utilizzano tecniche di machine learning o analisi predittiva. Ricorda, i tuoi potenziali clienti vorranno vedere il valore che puoi portare, quindi metti in evidenza i risultati concreti delle tue analisi.

✨Parla il linguaggio della statistica

Durante il colloquio, aspettati domande tecniche che potrebbero richiederti di spiegare i modelli statistici che conosci o di risolvere problemi pratici in tempo reale. Assicurati di rinfrescare i concetti di regressione, clustering e i principali algoritmi di machine learning, così da poter dimostrare la tua competenza.

✨Flessibilità e collaborazione

Essendo un freelance, potresti anche dover lavorare con team diversi. Sii pronto a discutere della tua esperienza di collaborazione con altri professionisti, mostrati flessibile e disponibile ad adattarti a vari ambienti di lavoro. Mostrare che sei un team player può fare la differenza!

✨Stabilisci le tue tariffe con sicurezza

Preparati a discutere delle tue tariffe e del codice etico nel freelancing. Mostrati sicuro nella valutazione delle tue competenze e spiega perché i tuoi servizi valgono il prezzo richiesto. Ricorda, le aziende cercano non solo competenza, ma anche un professionista che sa valorizzare il proprio lavoro.