Trefon.
L1 Modele / fine-tuning

Mniejszy model, który robi Twoją robotę.

Frontier API jest właściwą odpowiedzią, dopóki nie jest za wolne, za drogie albo nie może zobaczyć danych. Wtedy trzeba zmienić model. Robię fine-tuning otwartych modeli na Twoich przypadkach, destyluję duży model do małego i dowodzę wyniku względem bazy, której już ufasz.

Opisz swój problem Co mieści się na jednej karcie

4,5B

model compass, w treningu

1×

RTX 4090 do treningu

3

metody: LoRA, destylacja, RL

§01 objaw

Jak to zwykle wygląda.

Ogólny model nie zna Twojego języka.

Pisze wiarygodne odpowiedzi w Twojej domenie i myli szczegóły: Twój schemat, Twoją terminologię, Twoje przypadki brzegowe.

Rachunek za API to marża produktu.

Każde zapytanie kosztuje jak frontier. Mniejszy model, który zalicza Twoje przypadki, może działać za stały koszt na Twoim sprzęcie.

Promptowanie przestało poprawiać wynik.

Stroisz prompt od tygodni. Odsetek zaliczeń drgnął o dwa punkty. Kolejny zysk musi przyjść z wag.

§02 co zmieniam

Od opisu zadania do wag.

  1. 01

    Zdefiniuj zadanie

    Jeden model, jedno zadanie, jedna ewaluacja. Zapisuję, jak wygląda poprawna odpowiedź, zanim zacznie się trening.

  2. 02

    Zbuduj dane

    Twoje zgłoszenia, dokumenty i poprawki stają się zbiorem treningowym z odłożonymi przypadkami. Czyszczenie i deduplikacja zwykle znaczą więcej niż algorytm.

  3. 03

    Fine-tuning

    LoRA albo pełny fine-tuning, zależnie od tego, jak daleko model musi się przesunąć i ile masz danych. Każdy przebieg jest oceniany względem bazy.

  4. 04

    Destylacja

    Większy model generuje docelowe zachowanie, mniejszy się go uczy. Uczeń zostaje tylko wtedy, gdy zalicza ewaluację w rozmiarze, który możesz serwować.

  5. 05

    Udowodnij

    Model card z odsetkiem zaliczeń, trybami awarii, opóźnieniami i pamięcią. Jeśli nie jest lepszy od bazy na Twoich przypadkach, nie trafia do wdrożenia.

§03 zmierzone dowody

Liczby z moich własnych przebiegów.

4,5Bparametrów

docelowy rozmiar modelu compass

1×4090

gdzie działają trening i ewaluacje

LoRA · destylacja · RL

trzy drogi, wybierane przez dane

ewaluacjanajpierw

bramka, którą musi przejść każdy przebieg

Źródło: model compass w treningu i otwarte narzędzia treningowe poniżej.

§04 co dostajesz

Co dostajesz.

  • Zbiór treningowy z Twoich danych, z odłożonymi przypadkami
  • Dostrojony albo zdestylowany model, z dokładną receptą treningu
  • Model card: odsetek zaliczeń, tryby awarii, opóźnienia i pamięć
  • Zestaw ewaluacji i pipeline, żeby Twój zespół mógł go dotrenować

Matematyka pod spodem.

Wszystkie artykuły
§05 odpowiedzi

O co pytają najczęściej.

Ile danych potrzebujemy?

Dla LoRA na wąskim zadaniu kilka tysięcy czystych przykładów może wystarczyć. Do nowego zachowania albo nowego języka potrzeba więcej. Pierwszy krok to inwentaryzacja tego, co już masz; większość zespołów ma więcej użytecznych danych, niż myśli, i mniej, niż potrzebuje.

LoRA czy pełny fine-tuning?

LoRA, gdy zadanie jest wąskie, a model bazowy blisko. Pełny fine-tuning, gdy zachowanie musi zmienić się głęboko i masz dane oraz moc obliczeniową, żeby to uzasadnić.

Czy fine-tuning usunie halucynacje?

Sam z siebie nie. Fine-tuning uczy formatu, tonu i zachowania w zadaniu; nie czyni modelu prawdomównym w faktach, których się nie nauczył. Od tego nadal są retrieval i ewaluacje.

Czy wynik ruszy na naszym sprzęcie?

To ograniczenie projektowe, nie dodatek. Wybieram docelowy rozmiar na podstawie GPU, na którym możesz wdrożyć model, a potem trenuję albo destyluję, żeby się zmieścił.

Ile to trwa?

Dwa do czterech tygodni na pierwszy fine-tuning z zestawem ewaluacji. Destylacja i RL trwają dłużej, bo każdą rundę trzeba ocenić.

Promptowanie przestało ruszać liczbę?

Opisz swój problem

30-minutowa rozmowa techniczna z inżynierem, który to buduje. Bez działu sprzedaży, bez slajdów.