सीधे मुख्य सामग्री पर जाएँPally को मैसेज भेजें

फ़ाउंडिंग ML रिसर्च इंजीनियर

सैन फ़्रांसिस्को, CA · फ़ुल-टाइम, ऑफ़िस से

नमस्ते 👋, हम Haz और Wyatt हैं, Pally के फ़ाउंडर।

Pally एक पर्सनल असिस्टेंट है, जो आपके मैसेज में ही रहता है। आप उसे किसी दोस्त की तरह मैसेज करते हैं। वह उन मैसेज का जवाब देता है जिन्हें आप टालते आ रहे हैं, डिनर की बुकिंग करता है, इनवॉइस के भुगतान के लिए फ़ॉलो-अप करता है, और हफ़्ते भर में इकट्ठा होने वाले सौ छोटे-मोटे काम संभालता है।

काम को लेकर हमारी सोच पढ़ें

हम बे एरिया में काम करने वाली एक छोटी टीम हैं, और ऐसे लोगों को साथ ला रहे हैं जो Pally को दुनिया का #1 कंज़्यूमर एजेंट बनाएँगे।

इस भूमिका में आपका काम

आप Pally के पीछे काम करने वाले मॉडल को किसी का असिस्टेंट बनने में बेहतर बनाएँगे। पूरा प्रोडक्ट एक मैसेज थ्रेड है, इसलिए हर जवाब मॉडल का आउटपुट है, और हर मॉडल आउटपुट में समय और पैसा लगता है। कौन-सा मॉडल जवाब दे, उसे क्या पता हो, वह ब्राउज़र कैसे इस्तेमाल करे, और किसी के बहकाने की कोशिश पर वह सही काम करे या नहीं—ये सब रिसर्च की समस्याएँ हैं। इनकी ज़िम्मेदारी आपकी होगी, और हर हफ़्ते आप इनके समाधान असली लोगों तक पहुँचाएँगे।

यह खुद काम करने वाली रिसर्च और इंजीनियरिंग भूमिका है। आप इवैल्स के टेस्ट ढाँचे, ट्रेनिंग कोड और खुद एजेंट पर काम करेंगे। यानी:

  • इवैल्स। ऐसा टेस्ट ढाँचा बनाएँ जो “क्या यह जवाब सही लगा?” को एक संख्या में बदल दे: बातचीत के हर चरण को परखने वाले जज, लोगों की पसंद का डेटा, असली बातचीत दोबारा चलाना, और हर डिप्लॉय से पहले चलने वाले रिग्रेशन टेस्ट सूट। ऐसे इवैल्स जिन पर टीम रिलीज़ के फ़ैसलों के लिए भरोसा करे।
  • फ़ाइन-ट्यूनिंग। असली बातचीत को ट्रेनिंग और पसंद-आधारित डेटा में बदलें और मॉडल की पोस्ट-ट्रेनिंग (SFT, प्रेफ़रेंस ट्यूनिंग, डिस्टिलेशन) करें, ताकि छोटे, तेज़ मॉडल भी वे काम अच्छे से कर सकें जिनमें सबसे उन्नत मॉडल माहिर हैं।
  • मॉडल रूटिंग। एक राउटर को ट्रेन करें और परखें, ताकि बातचीत के ज़्यादातर चरण छोटे मॉडल संभालें और अहम चरण सबसे उन्नत मॉडल। हर चरण में जवाब देने के समय, लागत और गुणवत्ता के बीच संतुलन की ज़िम्मेदारी लें।
  • ब्राउज़र एजेंट। जिन साइटों पर API नहीं है, वहाँ Pally को भरोसेमंद बनाएँ: पेजों पर जाना, साइन इन करना, चेकआउट करना और यह समझना कि कब रुककर पूछना है। इसकी परफ़ॉर्मेंस मापें, फिर इसे बेहतर बनाएँ।
  • रेड टीमिंग। वे तरीके खोजें जिनसे Pally को बहकाया जा सकता है, उससे जानकारी लीक कराई जा सकती है या कोई ऐसा काम कराया जा सकता है जिसे किसी ने कहा ही नहीं—ईमेल में प्रॉम्प्ट इंजेक्शन से लेकर नुकसान पहुँचाने वाले वेब पेज तक। बचाव के उपाय और उन्हें असरदार बनाए रखने वाले इवैल्स तैयार करें।
  • एजेंट का अनुभव। पूरे एजेंट में ML का इस्तेमाल करें: याददाश्त और जानकारी ढूँढना, टूल चुनना, कब काम करना है और कब पूछना है, और कब खुद पहले संपर्क करना है। हर दिन बातचीत के रिकॉर्ड पढ़ें और उनसे मिली सीख को इवैल्स और मॉडल में बदलावों का आधार बनाएँ।

हम आपको एक ही कसौटी पर परखेंगे: हर हफ़्ते Pally किसी का असिस्टेंट बनने में कितना बेहतर होता है, और क्या इवैल्स इसकी पुष्टि करते हैं।

आपके बारे में

यह सीनियर से स्टाफ़ स्तर की भूमिका है। हमें ऐसा व्यक्ति चाहिए जो किसी अग्रणी AI लैब या उस स्तर पर काम करने वाली टीम में यह काम पहले कर चुका हो।

  • ML या सॉफ़्टवेयर इंजीनियरिंग में 4+ साल, जिसमें किसी AI लैब, AI प्रोडक्ट कंपनी या ऐसी ही जगह का अनुभव शामिल हो।
  • LLMs की पोस्ट-ट्रेनिंग या फ़ाइन-ट्यूनिंग (SFT, प्रेफ़रेंस ट्यूनिंग, डिस्टिलेशन) करने और तैयार मॉडल को प्रोडक्शन में उतारने का व्यावहारिक अनुभव।
  • ऐसे इवैल्स डिज़ाइन करने का अनुभव जिन पर किसी टीम ने रिलीज़ के फ़ैसले लेने के लिए भरोसा किया हो—जैसे LLM जज, इंसानों की पसंद का डेटा या असली ट्रैफ़िक को दोबारा चलाकर जाँचना।
  • इनमें से कम-से-कम एक का अनुभव: LLMs की रेड टीमिंग या हमलावर तरीकों से जाँच; ब्राउज़र या कंप्यूटर इस्तेमाल करने वाले एजेंट; मॉडल रूटिंग या कैस्केड; टूल इस्तेमाल करने वाले और लंबे समय तक याददाश्त रखने वाले प्रोडक्शन एजेंट।
  • Python और ट्रेनिंग व इवैल्स के ML स्टैक पर अच्छी पकड़, और प्रोडक्ट के कोडबेस में TypeScript के साथ सहजता से काम करने की क्षमता।
  • AI की मदद से डेवलपमेंट करने के तरीकों में महारत, साथ ही बुनियादी बातों की इतनी मज़बूत समझ कि आप जो भी रिलीज़ करें, उसे जाँच सकें, सुधार सकें और उसकी पूरी ज़िम्मेदारी ले सकें।
  • आप फ़ाउंडिंग टीम जितनी व्यापक ज़िम्मेदारी चाहते हैं। आप Pally के रिसर्च का स्तर तय करेंगे और अपने बाद आने वाले इंजीनियरों की भर्ती में मदद करेंगे।

ज़रूरी बातें

$200–300k बेस सैलरी + अच्छी-खासी इक्विटी, 401(k) और स्वास्थ्य बीमा। फ़ुल-टाइम, सैन फ़्रांसिस्को, CA में ऑफ़िस से काम।

हम बेहद मेहनत करते हैं। अगर काम आपकी पहली प्राथमिकता नहीं है, तो यह भूमिका आपके लिए नहीं है। हालाँकि, अपना शेड्यूल तय करने की पूरी आज़ादी भी आपको मिलती है। आप कब मेहनत करते हैं, इससे हमें फ़र्क नहीं पड़ता—बस इतना ज़रूरी है कि आप मेहनत करें।

अगर यह भूमिका आपके लिए सही लगती है, तो नीचे आवेदन करें। बताएँ कि पर्सनल AI का भविष्य आपको कैसा दिखता है और Pally में काम करने को लेकर आप क्यों उत्साहित हैं।

पढ़ने के लिए धन्यवाद,

Haz + Wyatt

आवेदन करें