In sintesi
- Mansioni: Crea ambienti di sviluppo realistici e progetta compiti per valutare agenti AI.
- Azienda: Azienda innovativa nel campo dell'AI con un ambiente di lavoro flessibile.
- Benefit: Fino a $40/ora, orari flessibili e opportunità di lavoro su progetti stimolanti.
- Altre informazioni: Lavoro freelance con possibilità di crescita e apprendimento continuo.
- Perché questo lavoro: Sfida le migliori AI e contribuisci a progetti all'avanguardia nel settore tech.
- Qualifiche: 5+ anni di esperienza in sviluppo software e competenze nella scrittura di test.
La retribuzione prevista è compresa tra 40 - 40 € per ora.
Partecipazione basata su progetti, non un impiego permanente.
Cosa comporta questa opportunità
Stiamo costruendo un dataset per valutare gli agenti di codifica AI - quanto bene un modello gestisce compiti reali degli sviluppatori. Dovrai creare compiti impegnativi e criteri di valutazione all'interno di ambienti simulati realistici:
- Costruire ambienti di sviluppo realistici - una compagnia virtuale con codice sorgente, infrastruttura e contesto (ticket, documenti, conversazioni) che forma una storia di sviluppo credibile.
- Progettare compiti a partire da stati intermedi di questi ambienti - elaborare il prompt, definire cosa significa "risolto" e garantire che il compito sia risolvibile da un agente AI.
- Scrivere test che verifichino le soluzioni degli agenti - accettare tutti gli approcci validi e rifiutare quelli errati, né troppo rigidi né troppo permissivi.
- Iterare su compiti e test in base al feedback QA - rivedere le soluzioni degli agenti, analizzare i fallimenti e perfezionare fino a quando la valutazione non è equa e robusta.
Cosa NON è
- Non etichettatura dei dati
- Non ingegneria dei prompt
- Non scrittura di codice da zero - l'agente scrive la maggior parte del codice; tu guidi e valuti.
Cosa cerchiamo
- 5+ anni di esperienza nello sviluppo software
- Stack principale: Python (FastAPI), JavaScript/TypeScript (React), Docker, Postgres, Kafka, Redis
- Esperienza nella scrittura di test (funzionali, di integrazione)
- Competenza in inglese - B2+
Perché è difficile
I modelli di frontiera sono già bravi a codificare. Creare un compito che sfida genuinamente i migliori modelli non è banale. Devi comprendere profondamente dove i modelli falliscono e quali scenari rivelano la differenza tra una buona e una cattiva soluzione. I compiti hanno molte soluzioni valide - scrivere test che accettino tutte le soluzioni corrette e rifiutino quelle errate è più difficile di quanto sembri.
Come funziona
- Candidati → Supera le qualifiche → Unisciti a un progetto → Completa i compiti → Ricevi pagamento
Stima dello sforzo
I compiti per questo progetto sono stimati richiedere 20 ore per essere completati, a seconda della complessità. Questa è un'ipotesi e non un requisito di programmazione; scegli tu quando e come lavorare. I compiti devono essere inviati entro la scadenza e soddisfare i criteri di accettazione elencati per essere accettati.
Compenso
Fino a $40/ora equivalente, a seconda del livello e del ritmo. I compiti sono stimati a ~20 ore ciascuno; stabilisci il tuo programma.
Freelance Agent Evaluation Engineer datore di lavoro: AI Chopping Block
Lavorare come Freelance Agent Evaluation Engineer offre un'opportunità unica di contribuire a progetti innovativi nel campo dell'IA, in un ambiente flessibile e stimolante. La nostra cultura del lavoro promuove la crescita personale e professionale, permettendo ai dipendenti di esplorare nuove idee e approcci, mentre il compenso competitivo riflette il valore delle tue competenze. Unisciti a noi per affrontare sfide significative e fare la differenza nel mondo dello sviluppo software.
Consigli degli esperti StudySmarter🤫
Ecco come pensiamo che potresti ottenere Freelance Agent Evaluation Engineer
✨Costruisci un Portafoglio Solido
Se vuoi fare il freelance nel campo dell'ingegneria e sviluppo software, il tuo portafoglio è la tua arma segreta! Mostra i progetti su cui hai lavorato, magari includendo anche qualche contributo a codice open source, così da poter dimostrare le tue abilità pratiche a potenziali clienti.
✨Frequenta Meetup e Conferenze
Un modo fantastico per farti vedere è partecipare a eventi di settore come meetup di sviluppatori o conferenze tech. Qui puoi incontrare altri professionisti, scambiare idee e potenzialmente trovare clienti o collaborazioni. Ricorda, il networking è tutto in questo campo!
✨Utilizza Piattaforme Freelance
Crea un profilo su piattaforme come Upwork o Freelancer, dove puoi iniziare a cercare progetti che ti interessano. Assicurati di avere un portfolio ben curato e di scrivere proposte personalizzate per ogni lavoro che desideri ottenere, dimostrando come le tue competenze si allineano alle esigenze del cliente.
✨Fatti Conoscere Su LinkedIn
Su LinkedIn, smettila di rimanere nel backstage! Pubblica aggiornamenti sui tuoi progetti, condividi articoli interessanti legati all'ingegneria software e interagisci con altri professionisti. Questo ti aiuterà a costruire il tuo brand e a farti notare da potenziali clienti, quindi non essere timido!
Pensiamo che ti servano queste competenze per eccellere come Freelance Agent Evaluation Engineer
Alcuni consigli per la tua candidatura 🫡
Mostra il tuo codice!:Per un ruolo freelance in ingegneria e sviluppo software, avere un portfolio online è fondamentale. Includi collegamenti a progetti che hai realizzato, repository GitHub e qualsiasi lavoro che metta in mostra le tue competenze tecniche. Questo è il tuo biglietto da visita digitale!
Sii chiaro sulle tue tariffe:Quando invii la tua candidatura, non dimenticare di menzionare le tue tariffe per il lavoro freelance. La trasparenza è importante per stabilire un rapporto di fiducia con i clienti. Fai sapere anche la tua disponibilità e se hai preferenze di lavoro su progetti specifici.
Parla delle tecnologie che usi:Assicurati di dettagliare nel tuo CV quali linguaggi di programmazione e framework conosci. Specifica se hai esperienza con tecnologie in voga come React, Node.js o Python. Questo potrebbe attirare l'attenzione di chi cerca competenze specifiche per il loro progetto.
Scrivi un messaggio personalizzato:Quando ti candidi per un progetto freelance, prenditi il tempo di scrivere un messaggio personalizzato per AI Chopping Block. Spiega perché sei interessato al progetto e come le tue esperienze passate possono contribuire al loro successo. Questo dimostra che sei motivato e che presti attenzione ai dettagli!
Come prepararti a un colloquio di lavoro presso AI Chopping Block
✨Mostra il tuo portfolio
In un colloquio per un lavoro freelance nel campo dell'ingegneria e sviluppo software, il tuo portfolio è fondamentale. Assicurati di avere pronti esempi di progetti precedenti, magari includendo anche link a repository GitHub o applicazioni che hai sviluppato. I datori di lavoro vogliono vedere cosa sai fare davvero!
✨Preparati a discussioni tecniche
Aspettati domande tecniche che potrebbero riguardare linguaggi di programmazione specifici, algoritmi e strutture dati. Potrebbero anche chiederti di risolvere problemi di coding o di disegnare architetture software su una lavagna. Sii pronto a dimostrare le tue competenze in tempo reale!
✨Comunica le tue tariffe chiaramente
Essendo un freelancer, è importante discutere i tuoi tassi orari o per progetto con chiarezza. Non aver paura di esprimere il valore che offri, supportato dai risultati ottenuti nei tuoi progetti passati. Questo aiuterà a stabilire un rapporto di fiducia sin dall'inizio!
✨Adatta le tue risposte al cliente
Nel freelance, è cruciale dimostrare che puoi lavorare in modo autonomo ma anche che comprendi le esigenze del cliente. Durante il colloquio, cerca di collegare le tue esperienze passate ai requisiti specifici di AI Chopping Block e fai notare come il tuo approccio può apportare valore al loro progetto.
