Wähl oben einen Tarif (XS bis Max). In den Spalten FP16, INT8 und INT4 siehst du,
ob ein KI-Modell auf diesem Tarif Platz hat – gemessen am benötigten Arbeitsspeicher der Grafikkarte.
Die drei Spalten sind unterschiedliche „Kompressionsstufen“ desselben Modells:
FP16 speichert am genauesten und braucht am meisten Speicher (höchste Qualität),
INT8 spart etwa die Hälfte Speicher bei meist noch guter Qualität,
INT4 ist am sparsamsten und passt oft auch auf kleinere Tarife – kann aber bei manchen Aufgaben etwas ungenauer sein.
Wird es eng, bleibt oft kaum Reserve: das Modell kann stocken, bei langen Texten an Grenzen stoßen
oder in der Praxis unzuverlässig laufen. Dann lohnt sich ein kleineres Modell, eine sparsamere Spalte
(z. B. INT4 statt FP16) oder der nächstgrößere Tarif.
-
grün
passt gut, genug Reserve
-
orange
eng – Risiko für Tempo und Stabilität
-
durchgestrichen
zu groß für diesen Tarif
