מהנדס מחקר ML בצוות המייסד
סן פרנסיסקו, קליפורניה · משרה מלאה, מהמשרד
היי 👋, אנחנו האז ווייאט, המייסדים של Pally.
Pally הוא עוזר אישי שחי בהודעות שלך. כותבים לו כמו לחבר. הוא עונה להודעות שדחית, מזמין מקום לארוחת ערב, רודף אחרי החשבונית ומטפל במאה הדברים הקטנים שמצטברים בשבוע.
אנחנו צוות קטן באזור מפרץ סן פרנסיסקו, ומגייסים אנשים שיהפכו את Pally לסוכן ה-AI לצרכנים #1 בעולם.
התפקיד
התפקיד שלך יהיה לשפר את המודלים שמאחורי Pally בתפקידם כעוזר אישי. כל המוצר הוא שרשור הודעות, כך שכל תשובה היא פלט של מודל, וכל פלט של מודל עולה בזמן תגובה ובכסף. איזה מודל עונה, מה הוא יודע, איך הוא משתמש בדפדפן והאם הוא עושה את הדבר הנכון כשמנסים להטעות אותו — כל אלה בעיות מחקר. הן יהיו באחריותך, ובכל שבוע הפתרונות שלך יגיעו לאנשים אמיתיים.
זה תפקיד מחקר והנדסה מעשי. העבודה תהיה בתוך תשתית ההערכה, קוד האימון והסוכן עצמו. בפועל זה אומר:
- הערכות ביצועים. לבנות את התשתית שהופכת את השאלה ״התשובה הזאת הרגישה נכונה?״ למספר: מודלים שופטים ברמת הסבב, נתוני העדפות אנושיות, הרצה חוזרת של שיחות אמיתיות ומערכי בדיקות רגרסיה שרצים לפני כל העלאה לייצור. הערכות שהצוות סומך עליהן כדי להחליט מה לשחרר.
- כוונון עדין. להפוך שיחות אמיתיות לנתוני אימון והעדפות, ולבצע אימון המשך למודלים (SFT, כוונון לפי העדפות, זיקוק), כדי שמודלים קטנים ומהירים יעשו את מה שמודלי החזית עושים היטב.
- ניתוב בין מודלים. לאמן ולהעריך נתב כך שמודלים קטנים יטפלו ברוב הסבבים, ומודלי החזית יטפלו באלה החשובים. אחריות על האיזון בין זמן תגובה, עלות ואיכות בכל סבב.
- סוכני דפדפן. להפוך את Pally לאמין באתרים בלי API: ניווט, כניסה לחשבון, השלמת רכישה והבנה מתי לעצור ולשאול. למדוד את הביצועים, ואז לשפר אותם.
- בדיקות תקיפה. למצוא את הדרכים שבהן אפשר להטעות את Pally, לגרום לו להדליף משהו או לבצע פעולה שאף אחד לא ביקש, מהזרקת פרומפט באימייל ועד דף אינטרנט זדוני. לבנות את ההגנות ואת ההערכות שמוודאות שהן ממשיכות לעבוד.
- חוויית הסוכן. לשלב ML בכל חלקי הסוכן: זיכרון ואחזור מידע, בחירת כלים, מתי לפעול ומתי לשאול, ומתי לפנות ביוזמתו. לקרוא תמלילי שיחות מדי יום ולהפוך את מה שרואים להערכות ולשינויים במודלים.
נמדוד אותך לפי דבר אחד: עד כמה Pally משתפר כעוזר אישי משבוע לשבוע, והאם הערכות הביצועים מוכיחות את זה.
מה מחפשים
זה תפקיד ברמת בכירות שבין Senior ל-Staff. אנחנו מחפשים ניסיון קודם בעבודה הזאת במעבדת AI בחזית התחום או בצוות שפועל באותה רמה.
- 4+ שנות ניסיון ב-ML או בהנדסת תוכנה, כולל ניסיון במעבדת AI, בחברת מוצרי AI או במקום דומה.
- ניסיון מעשי באימון המשך או בכוונון עדין של מודלי LLM (SFT, כוונון לפי העדפות, זיקוק) ובהעברת התוצאות לסביבת ייצור.
- ניסיון בתכנון הערכות ביצועים שצוות סמך עליהן כדי להחליט מה לשחרר, כמו מודלי LLM שופטים, נתוני העדפות אנושיות או הרצה חוזרת של תעבורה אמיתית.
- ניסיון לפחות באחד מהתחומים: בדיקות תקיפה או בדיקות עוינות של מודלי LLM; סוכני דפדפן או סוכנים לתפעול מחשב; ניתוב בין מודלים או שרשראות מודלים מדורגות; סוכנים בסביבת ייצור עם שימוש בכלים וזיכרון מתמשך.
- שליטה חזקה ב-Python ובכלי ה-ML לאימון ולהערכות ביצועים, ויכולת לעבוד בנוחות עם TypeScript בבסיס הקוד של המוצר.
- שליטה בתהליכי פיתוח בעזרת AI, לצד בסיס מקצועי חזק שמאפשר לבדוק, לתקן ולקחת אחריות על כל מה שעולה לאוויר.
- מעניין אותך תפקיד בהיקף של צוות מייסד. סטנדרט המחקר ב-Pally ייקבע על ידך, וגם גיוס המהנדסים שיצטרפו בהמשך יהיה חלק מהתפקיד.
הפרטים בתכלס
שכר בסיס $200–300k + נתח משמעותי בהון החברה, 401(k) וביטוח בריאות. משרה מלאה, מהמשרד בסן פרנסיסקו, קליפורניה.
אנחנו עובדים קשה במיוחד. אם העבודה היא לא בראש סדר העדיפויות שלך, זה לא המקום בשבילך. עם זאת, יש לך חופש מלא לנהל את לוח הזמנים שלך. לא חשוב לנו מתי עובדים קשה, רק שזה קורה.
אם זה נשמע מתאים לך, אפשר להגיש מועמדות למטה. נשמח לשמוע איך נראה בעיניך העתיד של AI אישי, ולמה העבודה ב-Pally מלהיבה אותך.
תודה על הקריאה,
האז + וייאט