LLM API
Jako dodatkową usługę oferujemy możliwość korzystania z dużych modeli językowych.
Są one dostępne przez API częściowo kompatybilne z OpenAI API, które widnieje pod
adresem https://llm.comtegra.cloud/.
Umożliwiamy korzystanie z następujących zasobów:
Uwierzytelnienie odbywa się za pomocą klucza. Przykładowe zapytanie wygląda tak:
POST /v1/chat/completions HTTP/2
Host: llm.comtegra.cloud
Content-Type: application/json
Authorization: Bearer TWÓJ-KLUCZ
Content-Length: ...
{"model": "llama31-70b", "messages": ...}
Aby rozpocząć korzystanie z API, wystarczy utworzyć klucz za pomocą klienta CGC.
Klucze API
cgc api-keys create --level LLM
Wypisany zostanie klucz z etykietą API secret. Zapisz go w wygodnym i bezpiecznym miejscu. Nie ma możliwości podejrzeć go drugi raz, więc jeśli go stracisz, usuń go i stwórz nowy. Nie ujawniaj swojego klucza, gdyż może to powodować naliczenie opłat za użycie API przez osoby trzecie.
Do kluczy, przypisanych do Twojego konta można dodać komentarze. Ułatwia to ich identyfikację.
cgc api-keys create --level LLM --comment "Klucz Michała"
Wszystkie dostępne opcje można zobaczyć, wykonując polecenie
cgc api-keys --help.
Billing
Zapytania do API doliczane są do rachunku Twojej organizacji. Ich koszt zależy od liczby tokenów wejściowych i wyjściowych, modelu i GPU. Cennik dostępny jest na stronie cgc.comtegra.cloud/pricing.
Zużycie tokenów i ich koszt można zobaczyć za pomocą polecenia
cgc billing status.
Przykład obliczenia kosztu zapytania:
Używasz modelu Meta-Llama 3.1-70B-Instruct-Q5_K_M, uruchomionego na GPU NVIDIA A100 GPU. Załóżmy, że tokeny wejściowe kosztują 19,78 zł / 1M tok. a tokeny wyjściowe -- 167,66 zł / 1M tok. Twoje zapytanie to: Write a haiku about ChatGPT. Jest ono długości 18 tokenów. Dostajesz następującą odpowiedź: Silicon whispers. ChatGPT's gentle responses. Knowledge at my door, której długość to 16 tokenów. To zapytanie będzie kosztować 19,78 zł * 18 / 1000000 + 167,66 zł * 16 / 1000000 = 0,003039 zł.