Rozwój jest nieodzowną częścią królestw, państw i firm. Jako władca sieci wiesz, że przed niektórymi zmianami nie ma ucieczki. W przypadku sztucznej inteligencji, z której wiele przedsiębiorstw korzysta jest podobnie. Ze względu na różne przyczyny coraz częściej pojawia się potrzeba postawienia lokalnego AI, dostępnego w sieci firmy. W internecie są różne poradniki tłumaczące krok po kroku co i jak zrobić. Niniejszy artykuł nie zawiera zrzutów ekranu z wierszy poleceń ani nie poleca żadnego konkretnego rozwiązania. Jest o tym nad czym warto zastanowić się zanim przejdzie się do działania i wdrożenia lokalnego AI w firmie.

Jak dopasować model AI do potrzeb w firmie?

Przed wyborem konkretnego modelu sztucznej inteligencji trzeba skonkretyzować do czego będzie wykorzystywany i przez kogo. Jest to ważne, ponieważ AI używane do generowania obrazów niekoniecznie będzie sprawdzać się w pisaniu czy sprawdzeniu tekstu i na odwrót nawet jeśli zostanie wygenerowany obraz to może on być o wiele mniej zadowalający niż grafika stworzona przez dedykowane do tego rozwiązanie.

W kontekście użytkownika końcowego to dla pracownika biurowego, który w życiu nie widział wiersza poleceń może być trudne przyzwyczajenie się do korzystania z niego. Nie chodzi tu tylko o kwestie wizualne. Warto zwrócić uwagę, że zazwyczaj zamiast zadania prostego pytania trzeba dopisać odpowiednie polecenie aby uzyskać odpowiedź. Zazwyczaj osoby nietechniczne wolą interfejs graficzny podobny do takiego, który oferuje sztuczna inteligencja z rozwiązania chmurowego. To rozwiązanie jest prostsze w użytkowaniu ale wymaga od wdrażającego zainstalowania dodatkowego rozwiązania, które to umożliwi.
Z kolei jeśli końcowo mają korzystać z AI programiści czy inne osoby zaznajomione z technologiom to nie powinno stanowić problemu używanie wiersza poleceń i dedykowanych komend aby używać lokalnej sztucznej inteligencji. W teorii tak pewnie jest jednak w praktyce jeśli jest to możliwe lepiej zapytać lub wziąć pod uwagę praktykantów, którzy mogą nie być jeszcze zaznajomieni z wieloma informatycznymi aspektami.

Skoro jest kilka niewiadomych a do tego przecież wygodne jest używanie AI w chmurze dlaczego lepiej używać lokalnego modelu? Może nasunąć się takie pytanie administratorom sieci jak i przełożonym czy pracownikom. Wytłumaczenie tej kwestii również jest istotne, bo brak zrozumienia może powodować niechęć do wykorzystywania nowego rozwiązania. Głównym powodem jest zapewnienie poufności danych a co za tym idzie zgodności z RODO, dyrektywą 2016/680 i 2002/58/WE. Warto tutaj dodać kolejny prawniczy aspekt jakim jest akt w sprawie sztucznej inteligencji, który patrząc na coraz więcej nowinek będzie pewnie rozwijany w przyszłości.

 Inną zagwozdką jest czy na pewno trzeba postawić lokalnie sztuczną inteligencję na serwerze czy konfigurować na każdej maszynie osobno? Tutaj może wiele zależeć od zastosowań. Czy każdy pracownik potrzebuje innego modelu albo czy każda aplikacja lub proces potrzebują osobnego AI? Pytanie też jak to wygląda pod względem kosztów i jaka jest polityka firmy czy wymagania klientów.

Istnieją również ograniczenia lokalnego AI, jednym z nich jest aktualność informacji. Ponadczasowe idee czy wzory matematyczne nie zmieniają się często. Jednak śledzenie najnowszych podatności w cyberbezpieczeństwie czy poszukiwanie wiadomości jakie zdarzenie miało niedawno miejsce może nie być już aktualne. Trzeba zwrócić na to uwagę ludziom korzystającym z takiego lokalnego rozwiązania lub tak często jak to możliwe je aktualizować. A jak już o ograniczeniach jest wspominane to trzeba wziąć pod uwagę możliwości sprzętu, na którym zostanie umieszczony konkretny model. Liczby mogą się różnić jednak zazwyczaj potrzebnych jest około 8 GB pamięci GPU (VRAM) aby uruchomić mały model o wielkości (parametry) około 7B. Im większy model tym więcej pamięci jest potrzebne. Oczywiście istnieje kwantyzacja, która polega na zmniejszeniu rozmiaru modelu bez znaczącej utraty jakości. Jednak jak wiadomo im więcej parametrów tym AI może zwracać lepsze wyniki, więc czy na tym trzeba oszczędzać? Wymagania sprzętowe czasem się różnią w zależności od firmy i modelu. Jaki model najlepiej wybrać? Bielik, Deep sek, Gemini, ChatGPT czy inny? Jest to kwestia indywidualnego wyboru zależnego między innymi od wymienianych wcześniej aspektów.

Lokalne AI w firmie – podsumowanie

Podsumowując, jako władcy sieci powinniśmy iść rozsądnie z duchem czasu i po odwiedzeniu sobie na pytania związane z budżetem, prawem, ograniczeniami sprzętowymi i wymaganiami użytkowników końcowych zdecydować jaki model sztucznej inteligencji wybrać. Trzeba liczyć się z ograniczeniami AI oraz wytłumaczyć pracownikom firmy, że pomoc sztucznej inteligencji jest wygodna ale wiąże się z odpowiedzialnym korzystaniem.