Was ist ein Modell

Der Checkpoint ist das, was im letzten Artikel beschrieben wurde: das vollständig trainierte neuronale Netz, mit allen Gewichten, die während des Trainings aus Milliarden Bild-Text-Paaren entstanden sind. Wenn du "Flux.1 dev" oder "SDXL" lädst, lädst du einen Checkpoint. Er ist eigenständig nutzbar — du brauchst nichts weiter dazu, um ein Bild zu erzeugen.

Der Name stammt aus dem Trainingsprozess selbst: Während ein Modell trainiert wird, speichert man regelmäßig Zwischenstände — Checkpoints — um den Fortschritt zu sichern oder verschiedene Trainingsstadien später vergleichen zu können. Eine dieser Zwischenstand-Dateien wird am Ende als das fertige, veröffentlichte Modell herausgegeben. Der Begriff "Checkpoint" hat sich seitdem als gängige Bezeichnung für "die Modelldatei" gehalten — auch wenn es im Kern nur das Ergebnis eines abgeschlossenen Trainings ist.

Ein Checkpoint ist entsprechend groß: oft mehrere Gigabyte, weil eben Milliarden von Gewichten gespeichert sind. Das ist die Basis, auf der alles andere in diesem Artikel aufbaut.

Ein fertiger Checkpoint kann sehr viel — aber nicht alles gleich gut. Wenn du einen bestimmten Bildstil, ein wiederkehrendes Gesicht oder ein bestimmtes Produktdesign verlässlich erzeugen willst, müsste man dem Modell diese spezielle Disziplin eigentlich beibringen. Das komplette Modell dafür neu zu trainieren wäre unverhältnismäßig — es würde enorme Rechenleistung und riesige Datenmengen brauchen, nur um eine einzelne, enge Fähigkeit zu schärfen.

Genau dieses Problem löst ein LoRA (Low-Rank Adaptation). Ein LoRA ist kein eigenständiges Modell, sondern ein kleines, nachtrainiertes Zusatzpaket, das auf einen bestehenden Checkpoint aufgesetzt wird. Statt alle Milliarden Gewichte neu zu lernen, werden beim LoRA-Training nur sehr viel kleinere Zusatzgewichte berechnet, die das vorhandene Wissen gezielt in eine bestimmte Richtung verschieben. Technisch bedeutet das: anstatt eine riesige Gewichtsmatrix komplett zu verändern, werden zwei sehr viel kleinere Matrizen gelernt, deren Zusammenspiel eine niedrigrangige Annäherung an die gewünschte Veränderung ergibt — daher "low-rank". Das Ergebnis ist eine Datei von wenigen Megabyte bis niedrigen hundert Megabyte, statt mehrerer Gigabyte.

Was ein LoRA nicht kann: Er erschafft kein neues Grundwissen. Ein LoRA für einen bestimmten Architekturstil funktioniert, weil der Checkpoint bereits weiß, was Fassaden, Materialien und Proportionen grundsätzlich sind — der LoRA verschiebt dieses vorhandene Wissen in eine bestimmte ästhetische Richtung. Je nach Trainingsziel wirkt das eher präzisierend (aus "ein Gesicht" wird verlässlich "dieses eine Gesicht") oder eher stilistisch verfärbend (aus "ein Bild" wird "ein Bild in dieser bestimmten Bildsprache"). Beides ist dieselbe Mechanik — eine gezielte Gewichtsverschiebung — nur mit unterschiedlicher Wirkung je nach Trainingsdaten.

Diese Eigenschaft erklärt auch, warum LoRA-Training mit überraschend wenigen Bildern funktioniert — oft genügen 30 bis 50 stilistisch konsistente Aufnahmen, statt der Millionen, die für ein vollständiges Modelltraining nötig wären. Es muss kein neues Verständnis aufgebaut werden, nur eine bestehende Tendenz im Modell gezielt verstärkt werden.

Ein Checkpoint kann unabhängig davon mit verschiedenen LoRAs kombiniert werden — je nach Aufgabe ein anderer Aufsatz, oder auch mehrere gleichzeitig mit unterschiedlicher Gewichtung. Das Grundmodell bleibt dabei immer dasselbe; nur die Spezialisierung wechselt.

Eigene LoRAs lassen sich auch mit kleinen, selbst zusammengestellten Bildersets trainieren — relevant etwa für einen bestimmten Bildstil oder die durchgehende Konsistenz einer Bildserie. Dieses Thema verdient ein eigenes Tutorial und wird an anderer Stelle vertieft.

Der VAE (Variational Autoencoder) wurde im letzten Artikel bereits kurz erwähnt: Das Ergebnis des Diffusionsprozesses liegt zunächst im Latent Space vor — einer komprimierten, mathematischen Repräsentation, mit der das neuronale Netz arbeitet. Diese Repräsentation ist kein Bild im üblichen Sinn; sie muss erst übersetzt werden.

Diese Übersetzung übernimmt der VAE: ein eigenes, kleineres Netz, das die komprimierte Latent-Space-Repräsentation in tatsächliche Pixelwerte umrechnet. Ohne diesen letzten Schritt gäbe es kein sichtbares Bild — nur die mathematische Repräsentation davon.

In vielen Checkpoints ist ein VAE bereits enthalten und wird automatisch mitgeladen. In manchen Fällen — etwa wenn ein bestimmter Checkpoint mit einem optimierten oder alternativen VAE bessere Ergebnisse liefert — lässt sich der VAE auch separat laden und austauschen, unabhängig vom restlichen Checkpoint. Für die meisten Workflows reicht zunächst der mitgelieferte VAE vollkommen aus.

Neben Checkpoint, LoRA und VAE gibt es eine vierte Kategorie ladbarer Modelldateien: ControlNet-Modelle. Anders als ein LoRA verändern sie nicht, was generiert wird, sondern geben eine zusätzliche, strukturelle Steuerung vor — zum Beispiel anhand von Kantenverläufen, Tiefeninformation oder Posen, die aus einem Referenzbild oder einer 3D-Szene stammen.

Für RAY-L ist genau diese Kategorie zentral: ControlNet Canny ist die Brücke, über die Blender-Geometrie Einfluss auf das generierte Bild nimmt. Wie das im Detail funktioniert — und warum gerade Canny und nicht eine andere ControlNet-Variante — folgt in einem eigenen Artikel.