Jak ocenić dostawcę AI (i nie spalić się)

Każdy dostawca AI brzmi tak samo w rozmowie sprzedażowej

Wszyscy używają tych samych buzzwordów. Wszyscy pokazują imponujące dema. Wszyscy twierdzą, że mają „głęboką ekspertyzę”. Wszyscy obiecują transformację.

Różnica wychodzi w 8. tygodniu, gdy demo psuje się na twoich prawdziwych danych, harmonogram się przesunął o 3 miesiące, a wycena podwoiła się.

Dam ci ramy oceny, których użyłbym, gdybym był na twoim miejscu. Pytania oddzielające budujących od gadających. Czerwone flagi mówiące, by odwrócić wzrok. I zielone flagi mówiące, że znalazłeś kogoś wartościowego.

10 pytań do zadania

1. „Czy możesz pokazać mi system produkcyjny, który wdrożyłeś?”

Nie demo. Nie deck. Działający system z realnymi użytkownikami, w produkcji od co najmniej 3 miesięcy.

Dobra odpowiedź: „Tak, oto system, oto co robi, oto ilu użytkowników, oto uptime”. Potrafią opowiedzieć, co się popsuło i jak to naprawili.

Zła odpowiedź: „Nie możemy podać szczegółów klienta ze względu na NDA”. Albo: „Pokażę ci to środowisko demo”. Jeśli nie mogą pokazać niczego realnego, nie wdrożyli niczego realnego.

2. „Co się dzieje, gdy model się myli?”

Dobra odpowiedź: „Budujemy ścieżki awaryjne, progi pewności i nadpisywanie przez człowieka w każdym systemie. Oto jak to działa…” Mają konkretną odpowiedź z konkretnymi mechanizmami.

Zła odpowiedź: „Dostrajamy model, by był bardzo dokładny”. Albo: „To rzadki przypadek”. Jeśli nie mają planu awaryjnego, budują demo. Systemy produkcyjne mają obsługę błędów. Dema nie.

3. „Jakich danych potrzebujesz od nas i jak sprawdzasz, czy są wystarczająco dobre?”

Dobra odpowiedź: Pytają konkretnie o twoje źródła danych, formaty, kompletność i właścicieli. Chcą zobaczyć próbki. Mają proces oceny danych.

Zła odpowiedź: „Poradzimy sobie z każdymi danymi”. Albo: „Nie martw się, AI jest bardzo elastyczne”. Jeśli nie pytają o jakość danych, poniosą porażkę. Jakość danych to #1 predyktor sukcesu projektu.

4. „Kto jest właścicielem kodu po projekcie?”

Dobra odpowiedź: „Ty. Wszystko trafia do twojego repozytorium. Masz pełny dostęp od pierwszego dnia”. Na piśmie, nie tylko ustnie.

Zła odpowiedź: „Zachowujemy własność, ale dostajesz licencję”. Albo: „Przekażemy kod po finalnej płatności”. Jeśli trzymają kod w zakładnikach, budujesz zależność, nie możliwość.

5. „Ile kosztuje utrzymanie po twoim odejściu?”

Dobra odpowiedź: Realna liczba. „Koszty API to około 500 €/miesiąc przy twoim wolumenie. Infrastruktura 200 €/miesiąc. Monitoring wliczony. Planuj 15-20 tys. €/rok kosztów bieżących”.

Zła odpowiedź: „To zależy od użycia”. Albo: „Możemy omówić retainer utrzymaniowy”. Jeśli nie mogą podać liczby, dowiesz się boleśnie.

6. „Jak wasz zespół jest szkolony w trakcie projektu?”

Dobra odpowiedź: „Twój zespół cieniuje od pierwszego dnia. Uczestniczą w standupach, przeglądają kod i stopniowo przejmują operacje. Gdy odchodzimy, od tygodni to prowadzą”. Z konkretnym fazowym planem.

Zła odpowiedź: „Zrobimy sesję przekazania na końcu”. Albo: „Twój zespół nie jest jeszcze gotowy na to”. Jeśli nie mają planu szkolenia, nie planują odejścia.

7. „Jakie jest twoje podejście do zgodności z EU AI Act?”

Dobra odpowiedź: Znają poziomy ryzyka. Klasyfikują twój przypadek użycia. Wbudowują dokumentację zgodności w projekt. Omawiają to bez prośby.

Zła odpowiedź: „Nie martw się, to dotyczy tylko wielkich firm”. Albo: „Zajmiemy się zgodnością na końcu”. Jeśli lekceważą zgodność, narażają cię na ryzyko prawne.

8. „Czy mogę porozmawiać z poprzednim klientem, którego system jest w produkcji?”

Dobra odpowiedź: „Tak, oto dane kontaktowe”. Mają klientów gotowych za nich poręczyć.

Zła odpowiedź: „Nasi klienci wolą poufność”. Albo: „Możemy zorganizować rozmowę, gdy posuniemy się dalej w procesie sprzedaży”. Jeśli żaden poprzedni klient nie chce z tobą rozmawiać, jest powód.

9. „Jakie projekty odrzuciłeś?”

Dobra odpowiedź: Potrafią wymienić konkretne typy projektów i wyjaśnić dlaczego. „Odrzuciłem projekt dedykowanego modelu w zeszłym miesiącu, bo dane nie były gotowe. Zasugerowałem podejście API”.

Zła odpowiedź: „Nie odrzuciliśmy żadnego”. Jeśli nigdy nie odrzucili projektu, nie mają standardów. Mają plan sprzedaży.

10. „Wyjaśnij w jednym zdaniu, co zbudowałbyś dla nas.”

Dobra odpowiedź: Prosty język. „Podłączylibyśmy model AI do twojej bazy dokumentów, by twój zespół mógł przeszukiwać wewnętrzną wiedzę, zadając pytania zwykłym językiem”.

Zła odpowiedź: Żargon. „Wdrożylibyśmy architekturę opartą na RAG z wektorowymi osadzeniami i semantycznym wyszukiwaniem nad twoim korpusem wiedzy”. Jeśli nie potrafią prosto wyjaśnić, nie rozumieją tego dostatecznie - albo coś ukrywają.

Czerwone flagi

Odwróć wzrok, jeśli widzisz którąkolwiek z nich:

• Zaczyna budować przed audytem twoich danych. Powinni chcieć zrozumieć twoje dane, zanim zobowiążą się do rozwiązania.
• Wycenia cenę przed zrozumieniem twoich danych. „50 tys. € za system AI” przed spojrzeniem na twoje dane to taktyka sprzedażowa, nie estymacja.
• Używa własnych narzędzi lub frameworków. Jeśli narzędzie ma na sobie nazwę ich firmy, nie użyjesz go bez nich.
• Brak planu przekazania. Albo „plan przekazania”, którym jest spotkanie, nie proces.
• „Twój zespół nie jest gotowy” bez planu szkolenia. To gra na zwłokę, nie ocena.
• Nie może pokazać pracy produkcyjnej. Dema są łatwe. Produkcja trudna. Jeśli mogą pokazać tylko dema, zbudowali tylko dema.
• Lekceważy zgodność. „Nie martw się o EU AI Act” to prawnie lekkomyślna rada.

Zielone flagi

Znalazłeś dobrego dostawcę, jeśli:

• Zaczynają od pytań o twoje dane. Dane najpierw oznacza budowę później.
• Mówią ci, czego NIE budować. Szczerość o tym, co nie zadziała, jest cenniejsza niż obietnice o tym, co zadziała.
• Odrzucali projekty. Standardy oznaczają, że zależy im na wynikach, nie tylko przychodzie.
• Mogą pokazać działające systemy. Dowód produkcyjny bije obietnice dem.
• Mają fazowy model przekazania. Planują odejść, nie zostać na zawsze.
• Omawiają zgodność bez prośby. Rozumieją krajobraz prawny i chronią cię przed ryzykiem.

Macierz dostawców

Oceń każdego dostawcę w pięciu wymiarach:

1. Głębia techniczna - czy potrafią prosto wyjaśnić swoją pracę? Czy wdrażali systemy produkcyjne?
2. Dorobek produkcyjny - realne systemy z realnymi użytkownikami, nie tylko dema.
3. Przejrzystość - jasne koszty, jasny harmonogram, jasne przekazanie. Bez mglistości.
4. Zaangażowanie przekazania - fazowe szkolenie, dokumentacja, własność kodu. Na piśmie.
5. Świadomość zgodności - wiedza o EU AI Act, kwestie GDPR, praktyki bezpieczeństwa.

Oceń każdy 1-5. Jeśli jakikolwiek wymiar poniżej 3, szukaj dalej.

Test pilotażowy

Przed podpisaniem dużej umowy zrób mały pilotaż o stałym zakresie. 2-4 tygodnie. Stała cena. 5-15 tys. €.

Pilotaż powinien wyprodukować coś namacalnego: ocenę danych, działający prototyp na twoich prawdziwych danych albo analizę wykonalności. Nie deck.

Jeśli dowiozą, zwiększ zaangażowanie. Jeśli nie, wydałeś 10 tys. €, by się dowiedzieć, że nie potrafią - nie 150 tys. €.

Czego szukałbym na twoim miejscu

Kogoś, kto wdrażał. Kogoś, kto zaczyna od diagnozy, nie od budowy. Kogoś, kto planuje odejście. Kogoś, kto prosto wyjaśnia. Kogoś, kto odrzucał pracę. Kogoś, kto pokaże ci działający system.

Jeśli znajdziesz tę osobę, zatrudnij ją. Są rzadcy.

FAQ

Ilu dostawców powinienem ocenić? 3-5. Więcej to prokrastynacja. Szukasz partnera, nie prowadzisz procesu zakupowego. Zadaj 10 pytań, oceń macierz, podejmij decyzję.

Czy powinienem prosić o darmowy pilotaż? Nie. Darmowe pilotaże to telefony sprzedażowe przebrane za pracę. Zapłać za małe zaangażowanie o stałym zakresie. To oddziela dostawców, którzy chcą pracować, od tych, którzy chcą sprzedawać.