Ingegnere di ricerca ML del team fondatore

Ciao 👋, siamo Haz e Wyatt, i fondatori di Pally.

Pally è un assistente personale che vive nei tuoi messaggi. Gli scrivi come a un amico. Risponde ai messaggi che stai evitando, prenota la cena, sollecita il pagamento della fattura e si occupa delle cento piccole cose che si accumulano in una settimana.

Leggi la nostra filosofia di lavoro →

Siamo un piccolo team con sede nella Bay Area e cerchiamo persone che renderanno Pally l’agente #1 al mondo per il grande pubblico.

Il ruolo

Renderai i modelli alla base di Pally migliori come assistenti personali. L’intero prodotto è una conversazione via messaggi, quindi ogni risposta è un output del modello e ogni output ha un costo in termini di latenza e denaro. Quale modello risponde, cosa sa, come usa un browser e se fa la cosa giusta quando qualcuno cerca di ingannarlo sono tutti problemi di ricerca. Te ne occuperai tu e ogni settimana porterai le soluzioni a persone reali.

È un ruolo operativo di ricerca e ingegneria. Lavorerai sull’infrastruttura di valutazione, sul codice di addestramento e sull’agente stesso. In pratica significa:

• Valutazioni. Creare l’infrastruttura di test che trasforma «questa risposta sembrava giusta?» in un numero: valutatori a livello di singolo turno, dati sulle preferenze umane, riesecuzione di conversazioni reali e suite di test di regressione eseguite prima di ogni rilascio. Valutazioni di cui il team si fida per decidere cosa rilasciare.
• Fine-tuning. Trasformare conversazioni reali in dati di addestramento e di preferenza ed eseguire il post-addestramento dei modelli (SFT, ottimizzazione sulle preferenze, distillazione), così che modelli piccoli e veloci svolgano bene le attività in cui eccellono i modelli più avanzati.
• Instradamento tra modelli. Addestrare e valutare un router affinché i modelli piccoli gestiscano la maggior parte dei turni e quelli più avanzati si occupino dei turni che contano. Gestire il compromesso tra latenza, costo e qualità per ogni turno.
• Agenti per il browser. Rendere Pally affidabile sui siti senza API: navigazione, accesso, completamento degli acquisti e capacità di capire quando fermarsi e chiedere. Misurarne le prestazioni, poi migliorarle.
• Red teaming. Trovare i modi in cui Pally può essere ingannato, divulgare informazioni o compiere un’azione che nessuno ha richiesto, da una prompt injection in un’email a una pagina web malevola. Costruire le difese e le valutazioni che ne garantiscono l’efficacia nel tempo.
• Esperienza dell’agente. Portare il ML in tutto l’agente: memoria e recupero delle informazioni, selezione degli strumenti, quando agire invece di chiedere e quando scrivere per primo. Leggere le trascrizioni ogni giorno e trasformare ciò che osservi in valutazioni e modifiche ai modelli.

Ti valuteremo su una cosa: quanto Pally migliora come assistente personale, settimana dopo settimana, e se le valutazioni lo dimostrano.

Profilo

È un ruolo di livello senior o staff. Cerchiamo qualcuno che abbia già svolto questo lavoro in un laboratorio di IA di frontiera o in un team che opera a quel livello.

• 4+ anni di esperienza nel ML o nell’ingegneria del software, con esperienza in un laboratorio di IA, in un’azienda che sviluppa prodotti di IA o in realtà simili.
• Esperienza pratica nel post-addestramento o nel fine-tuning degli LLM (SFT, ottimizzazione sulle preferenze, distillazione) e nel portare i risultati in produzione.
• Esperienza nella progettazione di valutazioni, come valutatori LLM, dati sulle preferenze umane o riesecuzione di traffico reale, di cui un team si è fidato per decidere cosa rilasciare.
• Esperienza in almeno uno di questi ambiti: red teaming o test avversari degli LLM; agenti che usano il browser o il computer; instradamento o cascate di modelli; agenti in produzione che usano strumenti e memoria di lunga durata.
• Solide competenze in Python e nello stack ML per addestramento e valutazioni, e dimestichezza con TypeScript nel codice del prodotto.
• Padronanza dei flussi di sviluppo assistiti dall’IA, con solide basi per verificare, correggere e assumerti la responsabilità di tutto ciò che rilasci.
• Vuoi responsabilità da team fondatore. Definirai gli standard di ricerca di Pally e contribuirai ad assumere gli ingegneri che arriveranno dopo di te.

Informazioni pratiche

$200–300k di retribuzione base + una quota azionaria significativa, piano 401(k) e assicurazione sanitaria. A tempo pieno, in presenza a San Francisco, CA.

Lavoriamo con un impegno fuori dal comune. Se il lavoro non è la tua priorità principale, questo ruolo non fa per te. Allo stesso tempo, ti lasciamo piena autonomia sui tuoi orari. Non ci interessa quando lavori sodo, ma che tu lo faccia.

Se ti riconosci in questa descrizione, candidati qui sotto. Raccontaci come immagini il futuro dell’IA personale e perché ti entusiasma lavorare in Pally.

Grazie per aver letto,

Haz + Wyatt