Was Referenzbilder leisten

Die Frau stammt aus meinem Bildfundus, den ich gerade als Trainingsmaterial für ein Character-LoRA zusammenstelle. Die Person ist vollständig generiert: Das erste Bild ist aus einem Prompt entstanden, ohne Bildvorlage. Alle weiteren sind Variationen dieses Basis-Characters. Aus diesem Fundus habe ich eine Reihe Aufnahmen mit unterschiedlicher Frisur und unterschiedlichem Make-up generiert.

Weil die Person vollständig generiert ist, berührt sie keine Persönlichkeitsrechte Dritter. Mehr dazu in 2.7.3 Persönlichkeitsrecht.

Die Hose ist echt: ein Produktfoto, wie es jeder Onlineshop hat, flach liegend, freigestellt, ohne Körper darin. Porträt und Produktfoto liegen im Workflow als Referenz, Figure 1 und Figure 2. Aus den beiden Referenzbildern und dem dazugehörigen Prompt ist die Modeaufnahme darunter entstanden. Die Frau stammt aus dem Porträt, die Hose aus dem Shop, die Lederjacke allein aus dem Prompt.

Das Zusammenspiel dieser Komponenten ergibt einen glaubwürdigen Modelshot. Auf dem Produktfoto ist der Schnitt der Hose zwar zu erahnen, es lässt aber wenig Rückschluss darauf zu, wie sie getragen sitzt. Diese Information muss in den Prompt. Sie sollte unterstützen, was auf dem Bild zu sehen ist, denn wo sie dagegen läuft, kann es zu Konflikten kommen. Getragen sitzt sie tief auf der Hüfte, fällt weit und bauchig und steht auf dem Fuß auf — so, wie sie im Lookbook der Marke getragen wird.

Darum geht es in diesem Kapitel. Nicht darum, ein Bild nachzumalen, sondern darum, dass ein Modell versteht, was es aus einem Bild übernehmen soll.

Aus dem Porträt kamen Gesicht, Sommersprossen, Brauen und Haarfarbe. Und die Frisur, die im Prompt gar nicht stand. Aus dem Produktfoto kamen Stoff, Tarnmuster in genau dieser Farbstellung, die braune Kordel, die Cargotaschen. Weder „camouflage“ noch „drawstring“ stehen im Prompt. Muster und Kordel sind trotzdem da. Deutlicher lässt sich nicht zeigen, dass das Modell die Referenz liest. Dass man sich darauf nicht immer verlassen kann, zeigt 2.5.2.

Eine Referenz liefert, was auf ihr zu sehen ist. Nicht mehr. Das gilt für jedes Produkt. Ein Herstellerfoto zeigt immer einen bestimmten Zustand — liegend, auf dem Bügel, freigestellt, unbenutzt. Wie das Produkt im Bild sein soll, getragen, eingesessen, aufgeklappt, beschreibt der Prompt.

Naheliegend wäre die Aufteilung: Die Referenz bestimmt, wie etwas aussieht, ControlNet bestimmt, wo es steht. So sauber ist es nicht. Eine Referenz kann auch eine Pose tragen — ein drittes Bild, und im Prompt der Hinweis, dass nur die Haltung daraus übernommen werden soll. Ob das ohne Übersprechen funktioniert, ohne dass Kleidung oder Gesicht der Posenvorlage mitwandern, teste ich gerade.

Der eigentliche Unterschied liegt in der Verbindlichkeit. ControlNet legt fest. Kanten oder Tiefe werden pixelgenau übernommen, die Perspektive deckt sich mit der Vorlage. Eine Referenz gibt vor. Das Modell interpretiert sie, so wie ein Model eine Posenvorlage nachstellt: sinngemäß, nicht deckungsgleich.

Für ein Modefoto reicht das. Für ein Sofa, das in eine Blender-Szene mit festgelegter Perspektive muss, reicht es nicht. Referenzbilder ersetzen ControlNet also nicht, sie ergänzen es. Deshalb arbeitet RAY-L mit ControlNet. Und wer beides braucht, eine festgelegte Geometrie und ein bestimmtes Produkt darin, kombiniert beides — darum geht es in 2.5.4.

Bei Flux.2 Klein bekommen Referenzbilder Namen: Figure 1, Figure 2, in der Reihenfolge, in der sie im Workflow hängen. Der Prompt verteilt die Rollen. For the identity of the woman use Figure 1. As reference for the pants use Figure 2. Das klingt banal und ist der eigentliche Wechsel. Das Referenzbild ist keine Stimmung mehr, die irgendwie ins Bild sickert, sondern Material, auf das sich die Sprache beziehen kann.

Das hat eine Kehrseite, die ich bei der Umstellung auf einen JSON-Prompt gelernt habe. Wer festlegt, was sichtbar sein muss — die Haut zwischen den offenen Jackenseiten, beide Hosenbeine bis zum Boden —, legt damit auch fest, wie die Person stehen muss. Plötzlich stand sie bei jedem Seed breitbeinig, mit hängenden Armen. Erst eine konkret beschriebene Pose hat das gelöst: Standbein, Spielbein, eine Hand in der Tasche.

Wie solche Prompts aufgebaut werden, steht in der Promptschule. Der vollständige Prompt, zur Variante mit Camouflage Cargo:

{
  "image_type": "full-length commercial studio fashion photograph",
  "references": {
    "Figure 1": "identity of the woman: face, hair, skin, freckles",
    "Figure 2": "the cargo pants: fabric"
  },
  "subject": {
    "who": "the woman from Figure 1",
    "body": "slim and trained",
    "expression": "neutral and editorial",
    "head": "lifted chin",
    "pose": "relaxed contrapposto: weight on one leg, the other knee slightly bent, shoulders turned a little away from the camera, one hand loosely in a pant pocket, the other arm hanging naturally",
    "feet": "bare feet, no shoes",
    "priority": 1
  },
  "wardrobe": {
    "jacket": {
      "description": "short black leather biker jacket, worn open",
      "underneath": "bare skin only — the inner edges of the lapels rest directly on the skin of her chest and stomach",
      "priority": 1
    },
    "pants": {
      "reference": "Figure 2",
      "cut": "barrel-cut cargo pants: legs curve outward from the hips, widest at the knee, and taper slightly toward the hem",
      "fit": "baggy, very loose",
      "rise": "worn low on the hips",
      "priority": 1
    }
  },
  "interactions": [
    "the open jacket ends at the waist and falls loosely open over bare skin",
    "the wide pant legs fall to the floor and rest on the bare feet"
  ],
  "setting": {
    "backdrop": "seamless pale grey studio backdrop",
    "priority": 3
  },
  "lighting": {
    "key": "large soft diffused key light",
    "priority": 2
  },
  "style": {
    "palette": "neutral",
    "quality": "clean high-end fashion catalogue",
    "priority": 2
  }
}