Najprostszym sposobem na skorzystanie z Bielika jest dostęp przez stronę https://bielik.ai/. Natomiast jeśli chcesz całkowicie prywatnie porozmawiać z modelem lub chcesz mieć większy wpływ na sposób generowania odpowiedzi musisz uruchomić model na swoim komputerze.
1. Ściągamy i instalujemy na komputerze program LM Studio: https://lmstudio.ai/
2. W trybie Power User (na dole) wybieramy widok Discover (druga ikonka po lewej u góry) i w oknie wyszukiwania (u góry na środku) wpisujemy „Bielik”.
3. W lewej części okna możemy wybrać wersję Bielika np. Bielik-11B-v2.6-Instruct-GGUF, a w prawej części okna możemy zmienić wersję kwantyzacji (zmniejszenia dokładności wag) tego modelu, np. wersja Q8 oznacza 8-bitowe wagi. Rozpoczynamy proces ściągania modelu klikając Download.
4. Wybieramy widok Chat (pierwsza ikonka po lewej u góry), wybieramy model (na środku u góry) i na dole wpisujemy wiadomość.
Dla zainteresowanych:
W zaawansowanej konfiguracji (ikona szkła laboratoryjnego po prawej u góry) może być interesujące pole System prompt, gdzie możemy podać ogólne instrukcje dotyczące sposobu odpowiadania oraz pole temperatura w Sampling, które określa jak bardzo „kreatywna” ma być odpowiedź – polecam wartość 0.1.
Bielik został wytrenowany w precyzji 16-bitowej i jego załadowanie wymaga minimum 22 GB pamięci (11 miliardów parametrów razy 16 bitów). Wersje skwantyzowane wykorzystują odpowiednio mniej miejsca (np. kwantyzacja Q8 wymaga 11 GB pamięci).
Szybkość generowania odpowiedzi zależy od naszego sprzętu, w szczególności karty graficznej oraz pamięci RAM. Jeśli model zmieści w pamięci karty graficznej możemy osiągnąć szybkość na poziomie 50 tokenów na sekundę. Jeśli zmieści się w pamięci RAM to szybkość może wynieść ok. 1-5 tokenów na sekundę. Jeśli nie zmieści się w pamięci RAM to szybkość będzie znacząco niższa.
Jeśli chcemy zadać kolejne pytanie, które jest niezwiązane z poprzednimi to powinniśmy rozpocząć nowy czat (ikonka plusa).