KI · Prompt-Architektur
Den Plan übersetzen
Wie aus dem JSON-Prompt Sätze für T5 und Stichworte für CLIP werden.
Warum übersetzen
Flux.2 Klein und Flux.3 Klein lesen den Plan so, wie er ist, weil ihr Encoder ein Sprachmodell ist. Ältere Modelle lesen anders. SDXL arbeitet nur mit CLIP, Flux.1 dev und Flux.1 Krea dev arbeiten mit zwei Encodern gleichzeitig, CLIP-L und T5. Für sie wird der Plan übersetzt.
CLIP wurde darauf trainiert, Bilder und kurze Beschreibungen einander zuzuordnen, ähnlich dem Alt-Text unter einem Foto: „woman in red coat“, „modern kitchen interior“. Das sind keine Sätze, sondern Begriffe. CLIP versteht keine Grammatik und keine Beziehungen zwischen Wörtern, es erkennt Begriffe und gewichtet sie, wobei frühe Begriffe stärker wirken als späte. Ein CLIP-Durchgang fasst 77 Tokens, das sind grob 50 bis 60 Wörter.
T5 ist ein Sprachmodell. Es liest Sätze, versteht, was Subjekt ist und was Nebensache, und erkennt, wie Dinge zueinander stehen. Bei Flux.1 verarbeitet es bis zu 512 Tokens, ausformulierte Beschreibungen sind dort kein Problem.
Daraus ergeben sich zwei Übersetzungen desselben Plans: zusammenhängende Sätze für T5 und eine verdichtete Stichwortliste für CLIP. Flux.1 bekommt beide, jede in ihr eigenes Feld. SDXL bekommt nur die Stichworte.
Vier Regeln
Übersetzen heißt nicht neu schreiben. Die Entscheidungen sind im Plan getroffen, und vier Regeln sorgen dafür, dass sie beim Übersetzen nicht verloren gehen.
1. Der Rang gibt die Reihenfolge vor
Was im Plan am wichtigsten ist, steht in der Übersetzung vorne. Bei CLIP ist das Pflicht, weil frühe Begriffe stärker wirken. Bei T5 ordnet es die Sätze.
2. Wechselwirkungen bleiben in einem Satz
Was erst zwischen zwei Elementen entsteht, etwa die Fassade, die sich im Lack spiegelt, wird nicht auf zwei Sätze verteilt. Für CLIP lässt sich eine Beziehung nur annähern, als zusammenhängender Begriff wie „facade reflections on side panels“.
3. Was man sehen will, steht als eigener Satz
T5 gewichtet nach der Rolle im Satz. Was Subjekt ist, kommt stärker an als das, was im Nebensatz steht. „Natural daylight that pours in through floor-to-ceiling windows“ macht die Fenster zur Nebensache, und im Bild fehlen sie dann gern. Wichtiges bekommt deshalb einen eigenen Satz.
4. Verbote werden umgelenkt
CLIP liest „no people“ als „people“. In der Stichwortliste haben Verbote deshalb nichts zu suchen. Bei SDXL wandern sie in den negativen Prompt. Flux.1 hat keinen wirksamen negativen Prompt, dort bleibt nur die positive Beschreibung im T5-Satz.
Prosa für T5
Ausgangspunkt ist Prompt 2 von der vorigen Seite, der Porsche in Grau-Metallic vor der weißen Fassade.
+ Prompt 2 (JSON) anzeigen− Prompt 2 (JSON) ausblenden
{
"scene": "Quiet SoHo street, New York, early morning, empty, no people",
"subjects": [
{
"description": "Vintage Porsche 911, blank license plate",
"color": "warm light-grey metallic, black wheels with polished rims",
"position": "lower half of frame, parked at the curb parallel to the building",
"action": "parked"
}
],
"background": "White cast-iron storefront, columns framing tall shop windows that faintly mirror the street, lowest flight of a fire escape at the top edge, worn grey cobblestones",
"lighting": "Soft, even overcast daylight, no hard shadows; facade reflects as broad, calm highlights on the side panels",
"style": "Photorealistic, natural muted colors",
"camera": {
"angle": "three-quarter view",
"distance": "medium shot",
"focus": "Sharp focus on the front of the car",
"lens-mm": 85,
"f-number": "f/5.6"
},
"constraints": "No text, lettering, logos or signs anywhere"
}
Die Übersetzung folgt dem Plan, ohne etwas hinzuzufügen. Das Auto als einziges Subjekt eröffnet den Text, mit Farbe, Felgen und Position. Der zweite Satz übernimmt den Kamerablock. Dann folgen der Hintergrund und das Pflaster, jeweils in eigenen Sätzen. Licht und Spiegelung bleiben in einem Satz zusammen, weil die Spiegelung erst aus beiden entsteht. Stimmung, Stil und die Verbote stehen am Ende.
t5xxl
A vintage Porsche 911 in warm light-grey metallic with black wheels and polished rims is parked at the curb, parallel to the building, filling the lower half of the frame. The car is seen in a three-quarter view as a medium shot, photographed with an 85mm lens at f/5.6, with sharp focus on the front of the car. Behind it rises a white cast-iron storefront in SoHo, New York, its columns framing tall shop windows that faintly mirror the street, the lowest flight of a fire escape at the top edge. Worn grey cobblestones cover the street. Soft, even overcast daylight without hard shadows; the white facade reflects as broad, calm highlights on the car's side panels. It is early morning, and the street is quiet and empty. Photorealistic, natural muted colors. The license plate is blank, with no text, lettering, logos or signs anywhere.
Stichworte für CLIP
Für CLIP wird derselbe Plan weiter verdichtet. Aus Sätzen werden Begriffe, die Reihenfolge folgt dem Rang. Was wegfällt, sind Beziehungen, die sich nicht als Begriff fassen lassen, und die Verbote.
clip_l
vintage Porsche 911, warm light grey metallic, black wheels, polished rims, three-quarter view, medium shot, parked at curb, white cast-iron storefront, SoHo New York, columns, tall shop windows, fire escape, worn grey cobblestones, soft overcast daylight, facade reflections on side panels, early morning, empty street, 85mm, f/5.6, photorealistic, natural muted colors
Für SDXL ist diese Liste der positive Prompt. Die Verbote aus constraints gehen in den negativen Prompt:
Negativer Prompt (nur SDXL)
people, text, lettering, logo, sign, watermark
Drei Modelle, ein Plan
Flux.1 Krea dev und Flux.1 dev bekommen beide Übersetzungen, die Prosa ins Feld t5xxl, die Stichworte ins Feld clip_l. Beide laufen mit denselben Werten und demselben Seed, damit nur das Modell den Unterschied macht.
Flux.1 Krea dev · 1024 × 1024 · guidance 3.5 · 25 Steps · Seed 416505903984901
Flux.1 dev · 1024 × 1024 · guidance 3.5 · 25 Steps · Seed 416505903984901
Mit denselben Einstellungen wirkt das Bild aus Flux.1 Krea dev deutlich fotografischer. Flux.1 dev liefert den glatten, gesättigten Look, den man von vielen KI-Bildern kennt. Das ist mein Eindruck, und er deckt sich mit allem, was ich mit beiden Modellen bisher gemacht habe.
Aufschlussreicher ist etwas anderes. Obwohl Szene, Prosa und Stichworte eine leere Straße verlangen, stehen bei Flux.1 dev Menschen im Bild, einer auf dem Gehweg, einer im Laden. Im Fenster leuchtet sogar ein Schild. Das ist Regel 4 in der Praxis: Flux.1 hat keinen negativen Prompt, und „no people“ ist im Satz nur ein schwacher Hinweis. Auch „empty“ reicht hier nicht. Ein Gehweg, der ausdrücklich als „empty sidewalk“ beschrieben ist, und Schaufenster mit „dark, unlit interiors“ wären die positive Fassung.
SDXL bekommt nur die Stichwortliste und den negativen Prompt. Beim ersten Lauf stellte es im Hintergrund einen zweiten Porsche auf den Gehweg. Die Übersetzung musste deshalb nachgezogen werden. Die leere Straße rückt nach vorn und wird leicht gewichtet, „single car“ kommt dazu, und im negativen Prompt stehen jetzt „other cars, traffic, modern car“. „second car“ hätte nicht gereicht, denn zählen kann CLIP nicht. Außerdem kehrt „blank license plate“ zurück. Es war beim Verdichten aus der Liste gefallen, im Plan stand es.
SDXL, positiver Prompt (nachgezogen)
vintage Porsche 911, (single car:1.2), blank license plate, warm light grey metallic, black wheels, polished rims, three-quarter view, medium shot, parked at curb, (empty street:1.2), white cast-iron storefront, SoHo New York, columns, tall shop windows, fire escape, worn grey cobblestones, soft overcast daylight, facade reflections on side panels, early morning, 85mm, f/5.6, photorealistic, natural muted colors
SDXL, negativer Prompt (nachgezogen)
people, text, lettering, logo, sign, watermark, license plate numbers, other cars, traffic, modern car
SDXL · Juggernaut XL · 1024 × 1024 · cfg 4 · 30 Steps · dpmpp_2m · karras
Das zweite Auto ist verschwunden. Das Kennzeichen trägt trotzdem Schrift, obwohl „blank license plate“ an dritter Stelle steht und „license plate numbers“ im negativen Prompt. An dieser Stelle stößt die Stichwortliste an ihre Grenze: Ein leeres Kennzeichen scheint für CLIP kein Begriff zu sein, den es von einem beschrifteten unterscheiden kann.
Dafür trifft SDXL das Baujahr am genauesten. Die schmalen, verchromten Stoßfänger gehören zum 911 der frühen Siebziger.
Lack und Fassade, in Prosa
Auf der vorigen Seite hat sich bei Flux.2 Klein und Flux.3 Klein kaum etwas bewegt, als Lack und Fassade wechselten. Dieselbe Änderung, diesmal als Übersetzung für Flux.1 Krea dev: matter Lack, schwarze Fassade, die Spiegelung gestrichen. Alles andere ist wortgleich, auch der Seed.
t5xxl, matt
A vintage Porsche 911 in matte grey with black wheels and polished rims is parked at the curb, parallel to the building, filling the lower half of the frame. The car is seen in a three-quarter view as a medium shot, photographed with an 85mm lens at f/5.6, with sharp focus on the front of the car. Behind it rises a worn black cast-iron storefront in SoHo, New York, its columns framing tall shop windows that faintly mirror the street, the lowest flight of a fire escape at the top edge. Worn grey cobblestones cover the street. Soft, even overcast daylight without hard shadows. It is early morning, and the street is quiet and empty. Photorealistic, natural muted colors. The license plate is blank, with no text, lettering, logos or signs anywhere.
clip_l, matt
vintage Porsche 911, matte grey, black wheels, polished rims, three-quarter view, medium shot, parked at curb, worn black cast-iron storefront, SoHo New York, columns, tall shop windows, fire escape, worn grey cobblestones, soft overcast daylight, early morning, empty street, 85mm, f/5.6, photorealistic, natural muted colors
Flux.1 Krea dev · 1024 × 1024 · guidance 3.5 · 25 Steps · Seed 416505903984901 · links glänzend, rechts matt
Das Auto bleibt fast an seinem Platz, Standpunkt und Winkel halten. Der Hintergrund aber baut sich neu: Säulen und Fenster stehen anders, die Feuertreppe ist gewandert. Bei Flux.2 Klein und Flux.3 Klein blieb auch die Fassade in ihrer Gliederung stehen, nur ihre Farbe wechselte. Das passt zu meiner Erfahrung, dass sich die Sätze eines Fließtexts stärker gegenseitig beeinflussen als die Felder eines JSON-Prompts. Ein sauberer Vergleich ist es allerdings nicht, denn neben dem Format wechselt hier auch das Modell.
Was beim Übersetzen verloren geht
Jede Übersetzung verliert etwas, und je einfacher der Encoder, desto mehr. In der Prosa geht die Trennung der Felder verloren: Was im JSON nebeneinandersteht, ist im Text verwoben. Bounding Boxes, mit denen Flux.3 Klein ein Element an eine bestimmte Stelle setzt, haben in Flux.1 und SDXL keine Entsprechung. Dort bleibt nur die Beschreibung in Worten, etwa „in the lower half of the frame“.
In der Stichwortliste geht noch mehr verloren. Beziehungen lassen sich nur als zusammengesetzter Begriff andeuten, und was hinter dem 77. Token steht, kommt kaum noch an. Der Plan bleibt trotzdem die Grundlage. Er sagt, was beim Verdichten zuerst geopfert werden darf: das, was den niedrigsten Rang hat.
Mein Favorit für RAY-L
Über alle drei Seiten hinweg hat Flux.1 Krea dev für mich den fotografischsten Look, auch im Vergleich mit Flux.2 Klein und Flux.3 Klein. Das ist ein Eindruck aus vielen Bildern, kein Messergebnis. Seine Schwäche liegt woanders: Weil es Prosa liest, lässt sich die Komposition hier am wenigsten genau steuern. Ändert man ein Detail, baut sich leicht der Hintergrund neu.
Diese Schwäche fällt weg, wenn die Komposition gar nicht aus dem Prompt kommt. In einem RAY-L-Workflow legt eine Blender-Szene Kamera, Perspektive und Geometrie fest, und das Modell übernimmt, was es am besten kann: Licht, Material und Atmosphäre. Deshalb ist Flux.1 Krea dev mein bevorzugtes Modell für Workflows mit RAY-L und Blender.
Einstellungen
SDXL mit Juggernaut XL. Der positive Prompt ist die Stichwortliste. Einzelne Begriffe lassen sich gewichten: (floor-to-ceiling windows:1.3) verstärkt, (fog:0.8) schwächt ab. Sinnvoll ist der Bereich von 0.7 bis 1.4, darüber wird das Ergebnis instabil. Wenn ein Element fehlt, zuerst die Reihenfolge prüfen, dann gewichten. Der negative Prompt bleibt kurz, sechs bis zehn Begriffe, und enthält nur, was tatsächlich als Problem auftaucht. Lange Vorratslisten aus SD1.5-Zeiten schränken Juggernaut XL eher ein, als dass sie helfen. Positiver und negativer Prompt haben je ein eigenes Token-Budget. Längere Prompts teilt ComfyUI in mehrere 77-Token-Abschnitte auf, die getrennt gelesen werden. Das Wichtigste gehört deshalb in den ersten Abschnitt. Im KSampler: cfg 4 bis 5, 30 Steps, Sampler dpmpp_2m, Scheduler karras.
Flux.1 dev und Flux.1 Krea dev. Der Node CLIPTextEncodeFlux hat zwei Textfelder, clip_l für die Stichworte und t5xxl für die Prosa, und einen Wert guidance, der bestimmt, wie eng das Modell dem Prompt folgt. Für Flux.1 dev sind 3.5 der Standard. Bei Flux.1 Krea dev haben sich in meinen Tests 4.0 und 28 bis 32 Steps bewährt, die Bilder auf dieser Seite laufen zum Vergleich aber mit den Werten von Flux.1 dev. Der cfg-Wert im KSampler muss bei beiden auf 1 stehen, jeder höhere Wert arbeitet gegen die eingebaute Guidance-Destillation und verschlechtert das Bild. Aus demselben Grund gibt es keinen wirksamen negativen Prompt. Im KSampler: 20 bis 25 Steps, Sampler euler, Scheduler simple.