Insinyur Riset ML Tim Pendiri

Hai 👋, kami Haz dan Wyatt, pendiri Pally.

Pally adalah asisten pribadi yang hadir di pesanmu. Kamu mengirim pesan kepadanya seperti ke teman. Pally membalas pesan yang selama ini kamu hindari, memesan tempat makan malam, menagih faktur, dan mengurus ratusan hal kecil yang menumpuk dalam seminggu.

Baca filosofi kerja kami →

Kami adalah tim kecil yang berbasis di Bay Area, dan kami mencari orang-orang yang akan menjadikan Pally agen konsumen #1 di dunia.

Tentang peran ini

Kamu akan membuat model di balik Pally lebih baik dalam menjadi asisten seseorang. Seluruh produk berbentuk utas pesan, jadi setiap balasan adalah keluaran model, dan setiap keluaran model membutuhkan waktu dan biaya. Model mana yang menjawab, apa yang diketahuinya, bagaimana ia memakai peramban, dan apakah ia melakukan hal yang benar saat seseorang mencoba mengelabuinya, semuanya adalah masalah riset. Kamu akan bertanggung jawab atas semuanya dan menghadirkan solusinya kepada pengguna nyata setiap minggu.

Ini peran riset dan rekayasa yang terlibat langsung. Kamu akan mengerjakan kerangka evaluasi, kode pelatihan, dan agen itu sendiri. Dalam praktiknya, ini berarti:

• Evaluasi. Bangun kerangka pengujian yang mengubah “apakah balasan itu terasa tepat?” menjadi angka: penilai per giliran, data preferensi manusia, pemutaran ulang percakapan nyata, dan rangkaian uji regresi yang dijalankan sebelum setiap penerapan. Evaluasi yang dipercaya tim untuk memutuskan perilisan.
• Penyetelan model. Ubah percakapan nyata menjadi data pelatihan dan preferensi, lalu lakukan pelatihan lanjutan model (SFT, penyetelan preferensi, distilasi) agar model kecil dan cepat bisa mengerjakan hal-hal yang dikuasai model tercanggih.
• Perutean model. Latih dan evaluasi perute agar model kecil menangani sebagian besar giliran dan model tercanggih menangani giliran yang penting. Bertanggung jawab atas keseimbangan latensi, biaya, dan kualitas per giliran.
• Agen peramban. Jadikan Pally andal di situs tanpa API: navigasi, masuk akun, penyelesaian pembelian, dan mengetahui kapan harus berhenti dan bertanya. Ukur kemampuannya, lalu tingkatkan.
• Pengujian serangan. Cari cara Pally bisa diakali, membocorkan sesuatu, atau melakukan tindakan yang tidak diminta siapa pun, mulai dari injeksi perintah dalam email hingga halaman web berbahaya. Bangun pertahanan dan evaluasi yang memastikan pertahanan itu tetap bekerja.
• Pengalaman agen. Terapkan ML di seluruh bagian agen: ingatan dan pengambilan informasi, pemilihan alat, kapan harus bertindak atau bertanya, serta kapan harus menghubungi lebih dulu. Baca transkrip setiap hari dan ubah temuanmu menjadi evaluasi dan perubahan model.

Kami akan menilaimu dari satu hal: seberapa jauh Pally makin baik sebagai asisten seseorang dari minggu ke minggu, dan apakah evaluasinya membuktikan itu.

Profil

Ini posisi tingkat senior hingga staf. Kami mencari orang yang sudah melakukan pekerjaan ini di laboratorium AI terdepan atau tim yang bekerja di tingkat setara.

• 4+ tahun di bidang ML atau rekayasa perangkat lunak, dengan pengalaman di laboratorium AI, perusahaan produk AI, atau sejenisnya.
• Pengalaman langsung melakukan pelatihan lanjutan atau penyetelan khusus LLM (SFT, penyetelan preferensi, distilasi) dan menerapkan hasilnya ke lingkungan produksi.
• Pengalaman merancang evaluasi, seperti penilai berbasis LLM, data preferensi manusia, atau pemutaran ulang lalu lintas nyata, yang dipercaya tim untuk menentukan keputusan rilis.
• Pengalaman dalam setidaknya satu bidang berikut: pengujian serangan atau pengujian adversarial pada LLM; agen yang menggunakan peramban atau komputer; perutean atau rangkaian model; agen produksi yang menggunakan alat dan ingatan jangka panjang.
• Mahir menggunakan Python dan perangkat ML untuk pelatihan dan evaluasi, serta nyaman bekerja dengan TypeScript di basis kode produk.
• Lancar menjalankan alur pengembangan berbantuan AI, dengan dasar yang kuat untuk memverifikasi, memperbaiki, dan bertanggung jawab atas semua yang kamu rilis.
• Kamu ingin lingkup tanggung jawab seperti tim pendiri. Kamu akan menetapkan standar riset Pally dan membantu merekrut para insinyur yang bergabung setelahmu.

Detail praktis

Gaji pokok $200–300k + kepemilikan saham yang signifikan, 401(k), dan asuransi kesehatan. Penuh waktu, bekerja langsung di San Francisco, CA.

Kami bekerja sangat keras. Kalau pekerjaan bukan fokus utamamu, posisi ini bukan untukmu. Namun, kamu juga punya kebebasan penuh mengatur jadwalmu. Kami tidak mempermasalahkan kapan kamu bekerja keras, yang penting kamu melakukannya.

Kalau ini cocok denganmu, lamar di bawah. Ceritakan pandanganmu tentang masa depan AI pribadi dan kenapa kamu antusias bekerja di Pally.

Terima kasih sudah membaca,

Haz + Wyatt