Engenheiro de Pesquisa em ML da Equipe Fundadora

Oi 👋, somos Haz e Wyatt, os fundadores da Pally.

O Pally é um assistente pessoal que vive nas suas mensagens. Você conversa com ele como com um amigo. Ele responde às mensagens que você vem evitando, reserva o jantar, cobra a fatura e cuida das centenas de pequenas tarefas que se acumulam na semana.

Leia nossa filosofia de trabalho →

Somos uma equipe pequena na Bay Area e estamos contratando pessoas para fazer do Pally o agente de consumo #1 do mundo.

A função

Você vai melhorar os modelos por trás do Pally como assistentes pessoais. O produto inteiro é uma conversa por mensagem, então cada resposta é a saída de um modelo, e cada saída custa tempo e dinheiro. Qual modelo responde, o que sabe, como usa o navegador e se age corretamente quando tentam enganá-lo são problemas de pesquisa. Você vai assumir esses problemas e entregar as respostas para pessoas reais toda semana.

É uma vaga de pesquisa e engenharia com a mão na massa. Você vai trabalhar na estrutura de avaliações, no código de treinamento e no próprio agente. Na prática, isso significa:

• Avaliações. Crie a estrutura que transforma “essa resposta pareceu certa?” em um número: avaliadores por turno, dados de preferência humana, reprodução de conversas reais e suítes de regressão antes de cada implantação. Avaliações em que a equipe confie para decidir lançamentos.
• Fine-tuning. Transforme conversas reais em dados de treinamento e preferência e faça pós-treinamento de modelos (SFT, ajuste por preferências, destilação) para que modelos pequenos e rápidos façam bem o que modelos de ponta fazem.
• Roteamento de modelos. Treine e avalie um roteador para que modelos pequenos cuidem da maioria dos turnos e modelos de ponta, dos que mais importam. Cuide do equilíbrio entre latência, custo e qualidade por turno.
• Agentes de navegador. Torne o Pally confiável em sites sem API: navegação, login, compra e saber quando parar e perguntar. Meça e depois melhore.
• Red teaming. Encontre formas de enganar o Pally, fazê-lo vazar algo ou agir sem pedido, da injeção de prompt em um e-mail a uma página maliciosa. Construa as defesas e as avaliações que as mantêm funcionando.
• Experiência do agente. Aplique ML em todo o agente: memória e recuperação, seleção de ferramentas, quando agir ou perguntar e quando iniciar contato. Leia transcrições todos os dias e transforme o que vir em avaliações e mudanças de modelo.

Vamos avaliar você por uma coisa: quanto o Pally melhora como assistente pessoal a cada semana e se as avaliações comprovam isso.

Perfil

Esta é uma vaga de nível sênior a staff. Procuramos alguém que já fez esse trabalho em um laboratório de IA de ponta ou em uma equipe desse nível.

• 4+ anos em ML ou engenharia de software, com experiência em laboratório de IA, empresa de produtos de IA ou similar.
• Experiência prática em pós-treinamento ou fine-tuning de LLMs (SFT, ajuste por preferências, destilação) e em levar os resultados à produção.
• Experiência projetando avaliações, como avaliadores LLM, dados de preferência humana ou reprodução de tráfego real, em que uma equipe confiou para decidir lançamentos.
• Experiência em pelo menos um destes campos: red teaming ou testes adversariais de LLMs; agentes de navegador ou de uso de computador; roteamento ou cascatas de modelos; agentes em produção com uso de ferramentas e memória de longa duração.
• Domínio de Python e da stack de ML para treinamento e avaliações, com facilidade para trabalhar em TypeScript no código do produto.
• Fluência em fluxos de desenvolvimento com assistência de IA, com base nos fundamentos para verificar, corrigir e assumir tudo o que entrega.
• Você quer um escopo de equipe fundadora. Vai definir o padrão de pesquisa do Pally e ajudar a contratar os engenheiros que vierem depois.

Informações práticas

Salário-base de $200–300k + participação acionária significativa, 401(k) e plano de saúde. Tempo integral, presencial em São Francisco, CA.

Trabalhamos com muita dedicação. Se o trabalho não é seu foco principal, esta vaga não é para você. Mas damos total autonomia sobre seus horários. Não importa quando você se dedica, desde que se dedique.

Se você se identificou, candidate-se abaixo. Conte como vê o futuro da IA pessoal e por que tem vontade de trabalhar na Pally.

Obrigado pela leitura,

Haz + Wyatt