Inżynier badawczy ML w zespole założycielskim

Hej 👋, tu Haz i Wyatt, założyciele Pally.

Pally to osobisty asystent, z którym rozmawiasz w wiadomościach. Piszesz do niego jak do znajomego. Odpowiada na wiadomości, które odkładasz na później, rezerwuje stolik na kolację, upomina się o opłacenie faktury i załatwia sto drobnych spraw, które zbierają się przez tydzień.

Poznaj naszą filozofię pracy →

Jesteśmy małym zespołem z Bay Area i szukamy osób, dzięki którym Pally zostanie agentem konsumenckim #1 na świecie.

O stanowisku

Sprawisz, że modele stojące za Pally będą coraz lepiej pełnić rolę osobistego asystenta. Cały produkt to wątek wiadomości, więc każda odpowiedź jest wynikiem działania modelu, a każdy taki wynik oznacza czas oczekiwania i koszt. To, który model odpowiada, co wie, jak korzysta z przeglądarki i czy zachowuje się właściwie, gdy ktoś próbuje go oszukać, to problemy badawcze. Weźmiesz za nie odpowiedzialność i co tydzień będziesz wdrażać rozwiązania dla prawdziwych użytkowników.

To praktyczna rola badawczo-inżynierska. Będziesz pracować nad środowiskiem ewaluacyjnym, kodem treningowym i samym agentem. W praktyce oznacza to:

• Ewaluacje. Zbuduj środowisko, które zamienia pytanie „czy ta odpowiedź była trafna?” w liczbę: mechanizmy oceniające poszczególne tury rozmowy, dane o ludzkich preferencjach, odtwarzanie prawdziwych rozmów i zestawy testów regresyjnych uruchamiane przed każdym wdrożeniem. Ewaluacje, którym zespół ufa przy podejmowaniu decyzji o wdrożeniu.
• Dostrajanie. Przekształcaj prawdziwe rozmowy w dane treningowe i dane o preferencjach oraz prowadź dalsze trenowanie modeli (SFT, dostrajanie na podstawie preferencji, destylacja), by małe, szybkie modele robiły to, w czym dobrze radzą sobie najbardziej zaawansowane modele.
• Dobór modeli. Trenuj i oceniaj mechanizm doboru modeli, tak by małe modele obsługiwały większość tur rozmowy, a najbardziej zaawansowane — te kluczowe. Odpowiadaj za kompromis między czasem oczekiwania, kosztem i jakością w każdej turze.
• Agenci przeglądarkowi. Zadbaj o niezawodność Pally na stronach bez API: nawigację, logowanie, finalizowanie zakupów i rozpoznawanie, kiedy się zatrzymać i zapytać. Mierz skuteczność, a potem ją poprawiaj.
• Testy odporności na ataki. Znajduj sposoby, na jakie można oszukać Pally, skłonić je do ujawnienia czegoś lub podjęcia działania, o które nikt nie prosił — od wstrzyknięcia instrukcji w e-mailu po złośliwą stronę internetową. Buduj zabezpieczenia i ewaluacje, które pozwolą utrzymać ich skuteczność.
• Działanie agenta. Wykorzystuj ML w całym agencie: w pamięci i wyszukiwaniu informacji, wyborze narzędzi, decyzjach, kiedy działać, a kiedy pytać, oraz kiedy odezwać się jako pierwszy. Codziennie czytaj zapisy rozmów i przekładaj obserwacje na ewaluacje oraz zmiany w modelach.

Będziemy oceniać cię według jednego kryterium: o ile lepszym osobistym asystentem staje się Pally z tygodnia na tydzień i czy ewaluacje to potwierdzają.

Kogo szukamy

To stanowisko na poziomie starszego lub wiodącego inżyniera. Szukamy kogoś, kto wykonywał już taką pracę w czołowym laboratorium AI lub zespole działającym na tym poziomie.

• 4+ lat doświadczenia w ML lub inżynierii oprogramowania, w tym w laboratorium AI, firmie tworzącej produkty AI lub podobnej organizacji.
• Praktyczne doświadczenie w dalszym trenowaniu lub dostrajaniu LLM (SFT, dostrajanie na podstawie preferencji, destylacja) oraz wdrażaniu wyników do środowiska produkcyjnego.
• Doświadczenie w projektowaniu ewaluacji, takich jak modele LLM oceniające odpowiedzi, dane o ludzkich preferencjach czy odtwarzanie rzeczywistego ruchu, którym zespół ufał przy podejmowaniu decyzji o wdrożeniu.
• Doświadczenie w co najmniej jednym z obszarów: testy odporności LLM na ataki lub testy adwersarialne; agenci korzystający z przeglądarki lub komputera; dobór modeli lub kaskady modeli; agenci produkcyjni korzystający z narzędzi i długotrwałej pamięci.
• Bardzo dobra znajomość języka Python i zestawu narzędzi ML do trenowania i ewaluacji oraz swoboda pracy z językiem TypeScript w kodzie produktu.
• Biegłość w tworzeniu oprogramowania z pomocą AI i solidne podstawy, dzięki którym potrafisz weryfikować, poprawiać i brać odpowiedzialność za wszystko, co wdrażasz.
• Chcesz mieć zakres odpowiedzialności jak w zespole założycielskim. Wyznaczysz standardy badań w Pally i pomożesz zatrudniać kolejnych inżynierów.

Sprawy praktyczne

$200–300k wynagrodzenia podstawowego + znaczący pakiet udziałów, 401(k) i ubezpieczenie zdrowotne. Pełny etat, stacjonarnie w San Francisco, CA.

Pracujemy wyjątkowo ciężko. Jeśli praca nie jest twoim głównym priorytetem, to nie jest miejsce dla ciebie. Dajemy ci jednak pełną swobodę w ustalaniu godzin pracy. Nie ma dla nas znaczenia, kiedy ciężko pracujesz — ważne, że to robisz.

Jeśli to brzmi jak coś dla ciebie, aplikuj poniżej. Opowiedz nam, jak widzisz przyszłość osobistej AI i dlaczego chcesz pracować w Pally.

Dzięki za przeczytanie,

Haz + Wyatt