संस्थापक टीम के ML रिसर्च इंजीनियर
सैन फ़्रांसिस्को, CA · फुल-टाइम, ऑफिस से
नमस्ते 👋, हम Haz और Wyatt हैं, Pally के संस्थापक।
Pally एक निजी असिस्टेंट है, जो आपके मैसेज में ही रहता है। आप उसे किसी दोस्त की तरह मैसेज करते हैं। वह उन मैसेज का जवाब देता है जिन्हें आप टालते आ रहे हैं, डिनर की बुकिंग करता है, इनवॉइस के भुगतान के लिए फ़ॉलो-अप करता है, और हफ़्ते भर में इकट्ठा होने वाले सौ छोटे-मोटे काम संभालता है।
हम बे एरिया में काम करने वाली एक छोटी टीम हैं, और ऐसे लोगों को साथ ला रहे हैं जो Pally को दुनिया का #1 कंज़्यूमर एजेंट बनाएँगे।
इस भूमिका में आपका काम
आप Pally के पीछे काम करने वाले मॉडल को किसी का असिस्टेंट बनने में बेहतर बनाएँगे। पूरा प्रोडक्ट एक मैसेज थ्रेड है, इसलिए हर जवाब मॉडल का आउटपुट है, और हर मॉडल आउटपुट में समय और पैसा लगता है। कौन-सा मॉडल जवाब दे, उसे क्या पता हो, वह ब्राउज़र कैसे इस्तेमाल करे, और किसी के बहकाने की कोशिश पर वह सही काम करे या नहीं—ये सब रिसर्च की समस्याएँ हैं। इनकी ज़िम्मेदारी आपकी होगी, और हर हफ़्ते आप इनके समाधान असली लोगों तक पहुँचाएँगे।
यह खुद काम करने वाली रिसर्च और इंजीनियरिंग भूमिका है। आप मूल्यांकन के टेस्ट ढाँचे, ट्रेनिंग कोड और खुद एजेंट पर काम करेंगे। यानी:
- मूल्यांकन। ऐसा टेस्ट ढाँचा बनाएँ जो “क्या यह जवाब सही लगा?” को एक संख्या में बदल दे: बातचीत के हर चरण को परखने वाले जज, लोगों की पसंद का डेटा, असली बातचीत दोबारा चलाना, और हर डिप्लॉय से पहले चलने वाले रिग्रेशन टेस्ट सूट। ऐसे मूल्यांकन जिन पर टीम रिलीज़ के फ़ैसलों के लिए भरोसा करे।
- फ़ाइन-ट्यूनिंग। असली बातचीत को ट्रेनिंग और पसंद-आधारित डेटा में बदलें और मॉडल की पोस्ट-ट्रेनिंग (SFT, प्रेफ़रेंस ट्यूनिंग, डिस्टिलेशन) करें, ताकि छोटे, तेज़ मॉडल भी वे काम अच्छे से कर सकें जिनमें सबसे उन्नत मॉडल माहिर हैं।
- मॉडल रूटिंग। एक राउटर को ट्रेन करें और परखें, ताकि बातचीत के ज़्यादातर चरण छोटे मॉडल संभालें और अहम चरण सबसे उन्नत मॉडल। हर चरण में जवाब देने के समय, लागत और गुणवत्ता के बीच संतुलन की ज़िम्मेदारी लें।
- ब्राउज़र एजेंट। जिन साइटों पर API नहीं है, वहाँ Pally को भरोसेमंद बनाएँ: पेजों पर जाना, साइन इन करना, चेकआउट करना और यह समझना कि कब रुककर पूछना है। इसकी परफ़ॉर्मेंस मापें, फिर इसे बेहतर बनाएँ।
- रेड टीमिंग। वे तरीके खोजें जिनसे Pally को बहकाया जा सकता है, उससे जानकारी लीक कराई जा सकती है या कोई ऐसा काम कराया जा सकता है जिसे किसी ने कहा ही नहीं—ईमेल में प्रॉम्प्ट इंजेक्शन से लेकर नुकसान पहुँचाने वाले वेब पेज तक। बचाव के उपाय और उन्हें असरदार बनाए रखने वाले मूल्यांकन तैयार करें।
- एजेंट का अनुभव। पूरे एजेंट में ML का इस्तेमाल करें: याददाश्त और जानकारी ढूँढना, टूल चुनना, कब काम करना है और कब पूछना है, और कब खुद पहले संपर्क करना है। हर दिन बातचीत के रिकॉर्ड पढ़ें और उनसे मिली सीख को मूल्यांकन और मॉडल में बदलावों का आधार बनाएँ।
हम आपको एक ही कसौटी पर परखेंगे: हर हफ़्ते Pally किसी का सहायक बनने में कितना बेहतर होता है, और क्या मूल्यांकन इसकी पुष्टि करते हैं।
आपके बारे में
यह सीनियर से स्टाफ़ स्तर की भूमिका है। हमें ऐसा व्यक्ति चाहिए जो किसी अग्रणी AI लैब या उस स्तर पर काम करने वाली टीम में यह काम पहले कर चुका हो।
- ML या सॉफ़्टवेयर इंजीनियरिंग में 4+ साल, जिसमें किसी AI लैब, AI प्रोडक्ट कंपनी या ऐसी ही जगह का अनुभव शामिल हो।
- LLMs की पोस्ट-ट्रेनिंग या फ़ाइन-ट्यूनिंग (SFT, प्रेफ़रेंस ट्यूनिंग, डिस्टिलेशन) करने और तैयार मॉडल को प्रोडक्शन में उतारने का व्यावहारिक अनुभव।
- ऐसे मूल्यांकन डिज़ाइन करने का अनुभव जिन पर किसी टीम ने रिलीज़ के फ़ैसले लेने के लिए भरोसा किया हो—जैसे LLM जज, इंसानों की पसंद का डेटा या असली ट्रैफ़िक को दोबारा चलाकर जाँचना।
- इनमें से कम-से-कम एक का अनुभव: LLMs की रेड टीमिंग या हमलावर तरीकों से जाँच; ब्राउज़र या कंप्यूटर इस्तेमाल करने वाले एजेंट; मॉडल रूटिंग या कैस्केड; टूल इस्तेमाल करने वाले और लंबे समय तक याददाश्त रखने वाले प्रोडक्शन एजेंट।
- Python और ट्रेनिंग व मूल्यांकन के ML स्टैक पर अच्छी पकड़, और प्रोडक्ट के कोडबेस में TypeScript के साथ सहजता से काम करने की क्षमता।
- AI की मदद से डेवलपमेंट करने के तरीकों में महारत, साथ ही बुनियादी बातों की इतनी मज़बूत समझ कि आप जो भी रिलीज़ करें, उसे जाँच सकें, सुधार सकें और उसकी पूरी ज़िम्मेदारी ले सकें।
- आप संस्थापक टीम जितनी व्यापक ज़िम्मेदारी चाहते हैं। आप Pally के रिसर्च का स्तर तय करेंगे और अपने बाद आने वाले इंजीनियरों की भर्ती में मदद करेंगे।
ज़रूरी बातें
$200–300k बेस वेतन + अच्छी-खासी इक्विटी, 401(k) और स्वास्थ्य बीमा। फ़ुल-टाइम, सैन फ़्रांसिस्को, CA में मौके पर रहकर काम।
हम बेहद मेहनत करते हैं। अगर काम आपकी पहली प्राथमिकता नहीं है, तो यह भूमिका आपके लिए नहीं है। हालाँकि, अपना शेड्यूल तय करने की पूरी आज़ादी भी आपको मिलती है। आप कब मेहनत करते हैं, इससे हमें फ़र्क नहीं पड़ता—बस इतना ज़रूरी है कि आप मेहनत करें।
अगर यह भूमिका आपके लिए सही लगती है, तो नीचे आवेदन करें। बताएँ कि निजी AI का भविष्य आपको कैसा दिखता है और Pally में काम करने को लेकर आप क्यों उत्साहित हैं।
पढ़ने के लिए धन्यवाद,
Haz + Wyatt