Kurucu Makine Öğrenmesi Araştırma Mühendisi

Selam 👋, biz Pally'nin kurucuları Haz ve Wyatt.

Pally, mesajlarında yaşayan bir kişisel asistan. Ona bir arkadaşına yazar gibi yazarsın. Yanıtlamaktan kaçındığın mesajları yanıtlar, akşam yemeği için rezervasyon yapar, faturanın peşine düşer ve bir haftada biriken yüz küçük işi halleder.

Çalışma felsefemizi oku →

San Francisco Körfez Bölgesi'nde küçük bir ekibiz ve Pally'yi dünyanın #1 tüketici ajanı yapacak insanları işe alıyoruz.

Rol

Pally'nin arkasındaki modelleri, birinin asistanı olma konusunda daha iyi hâle getireceksin. Ürünün tamamı bir mesaj dizisi, yani her yanıt bir model çıktısı ve her model çıktısının zaman ve para maliyeti var. Hangi modelin yanıt verdiği, ne bildiği, tarayıcıyı nasıl kullandığı ve biri onu kandırmaya çalıştığında doğru şeyi yapıp yapmadığı birer araştırma problemi. Bunları sen üstlenecek ve çözümleri her hafta gerçek kullanıcılara sunacaksın.

Bu, doğrudan uygulamanın içinde olacağın bir araştırma ve mühendislik rolü. Değerlendirme altyapısında, eğitim kodunda ve ajanın kendisinde çalışacaksın. Pratikte bunun anlamı şu:

• Değerlendirmeler. “Bu yanıt doğru hissettirdi mi?” sorusunu bir sayıya dönüştüren altyapıyı kur: her mesaj turunu değerlendiren modeller, insan tercih verileri, gerçek konuşmaların yeniden oynatılması ve her dağıtımdan önce çalışan regresyon testleri. Ekibin kullanıma sunma kararlarında güveneceği değerlendirmeler.
• İnce ayar. Gerçek konuşmaları eğitim ve tercih verilerine dönüştür ve modellere eğitim sonrası çalışmalar uygula (SFT, tercih ayarı, damıtma); böylece küçük ve hızlı modeller, en gelişmiş modellerin iyi yaptığı işleri yapabilsin.
• Model yönlendirme. Çoğu mesaj turunu küçük modellerin, kritik olanlarıysa en gelişmiş modellerin üstlenmesi için bir yönlendirici eğit ve değerlendir. Her turda gecikme, maliyet ve kalite arasındaki dengeyi sen yönet.
• Tarayıcı ajanları. API'si olmayan sitelerde Pally'yi güvenilir hâle getir: gezinme, oturum açma, ödeme ve ne zaman durup sorması gerektiğini bilme. Ölç, sonra iyileştir.
• Saldırgan testler. Bir e-postadaki komut enjeksiyonundan kötü amaçlı bir web sayfasına kadar, Pally'nin nasıl kandırılabileceğini, bilgi sızdırabileceğini veya kimsenin istemediği bir işlemi yapabileceğini bul. Savunmaları ve bunların çalışmaya devam etmesini sağlayan değerlendirmeleri kur.
• Ajan deneyimi. Makine öğrenmesini ajanın tamamına taşı: hafıza ve bilgi getirme, araç seçimi, ne zaman harekete geçip ne zaman soru soracağı ve ne zaman ilk mesajı atacağı. Her gün konuşma dökümlerini oku ve gördüklerini değerlendirmelere ve model değişikliklerine dönüştür.

Seni tek bir şeyle değerlendireceğiz: Pally'nin birinin asistanı olarak her hafta ne kadar geliştiği ve değerlendirmelerin bunu kanıtlayıp kanıtlamadığı.

Profil

Bu rol, kıdemli mühendis ile uzman lider mühendis seviyeleri arasında. Bu işi daha önce öncü bir yapay zekâ laboratuvarında veya o seviyede çalışan bir ekipte yapmış birini arıyoruz.

• Makine öğrenmesi veya yazılım mühendisliğinde 4+ yıl; bir yapay zekâ laboratuvarında, yapay zekâ ürünü geliştiren şirkette veya benzer bir yerde deneyim.
• LLM'lere eğitim sonrası çalışmalar veya ince ayar uygulama (SFT, tercih ayarı, damıtma) ve sonuçları canlı kullanıma sunma konusunda uygulamalı deneyim.
• Bir ekibin kullanıma sunma kararlarında güvendiği; LLM değerlendiricileri, insan tercih verileri veya gerçek trafiğin yeniden oynatılması gibi değerlendirmeler tasarlama deneyimi.
• Şunlardan en az birinde deneyim: LLM'lerde saldırgan testler veya hasmane testler; tarayıcı ya da bilgisayar kullanan ajanlar; model yönlendirme veya kademeli model sistemleri; araç kullanan ve uzun süreli hafızası olan, canlı ortamda çalışan ajanlar.
• Python'a ve eğitim ile değerlendirmelerde kullanılan makine öğrenmesi araçlarına güçlü hâkimiyet; ürünün kod tabanında TypeScript ile rahatça çalışabilme.
• Yapay zekâ destekli geliştirme iş akışlarına hâkimiyet ve kullanıma sunduğun her şeyi doğrulayacak, düzeltecek ve sahiplenecek sağlam temel bilgi.
• Kurucu ekip düzeyinde sorumluluk istiyorsun. Pally'nin araştırma standardını belirleyecek ve senden sonra katılacak mühendislerin işe alımına yardımcı olacaksın.

Pratik bilgiler

$200–300k temel maaş + önemli miktarda hisse, 401(k) ve sağlık sigortası. San Francisco, CA'da tam zamanlı, ofisten çalışma.

Olağanüstü yoğun çalışıyoruz. İş önceliğin değilse burası sana göre değil. Bununla birlikte, çalışma saatlerin üzerinde sana tam özgürlük tanıyoruz. Ne zaman sıkı çalıştığın değil, sıkı çalışman önemli.

Bu sana uyuyorsa aşağıdan başvur. Kişisel yapay zekânın geleceğini nasıl gördüğünü ve Pally'de çalışmanın seni neden heyecanlandırdığını anlat.

Okuduğun için teşekkürler,

Haz + Wyatt