Hardware-Talk

[cM0]

Wie gesagt, je nach Spiel... Gibt ja eher lineare Games wo man eh nicht zurückgeht. Prinzipiell sehe ich da aber auch in Open Worlds kein Problem, wenn man die Objekte für eine Weile vorhält. Das muss nicht unbedingt im VRAM sein, eine schnelle SSD tut es auch, gerade mit Hinblick auf DirectStorage. Ob der Baum dann 5h später noch der gleiche ist, oder neu generiert wird, ist egal, oder merkt man wirklich "Moment, der Ast von Baum X war vorhin aber irgendwie anders?"

Jetzt liegt der Kram halt direkt auf der SSD und wird von dort in den VRAM geschoben, wenn ein Level lädt, oder auch nur, wenn man in die Nähe des Objekts kommt (sehr vereinfacht).
Zukünftig generiert man den Kram on the fly und legt ihn vorübergehend auf der SSD ab. Ich sehe nicht, wie das mehr Speicher brauchen sollte, sondern sehe dadurch zumindest auf der SSD weniger Speichernutzung, während sich am VRAM nichts ändern sollte

Kennst du das Spiel .kkrieger? Das ist 96kb groß, weil mehr oder weniger alles on the fly generiert wird und das ist schon 20 Jahre her. Heute geht da technisch sicher nicht weniger, im Gegenteil.

 

[sabienchen.banned]

Jetzt liegt der Kram halt direkt auf der SSD und wird von dort in den VRAM geschoben, wenn ein Level lädt, oder auch nur, wenn man in die Nähe des Objekts kommt (sehr vereinfacht).
Zukünftig generiert man den Kram on the fly und legt ihn vorübergehend auf der SSD ab. Ich sehe nicht, wie das mehr Speicher brauchen sollte, sondern sehe dadurch zumindest auf der SSD weniger Speichernutzung, während sich am VRAM nichts ändern sollte

Weil es im Speicher vorbehalten werden muss.
Dein Kurzfilmbeispiel legt das Problem ja offen. Das sind sekundenclips, die dann zusammengeschnitten werden.
Da ändern sich ständig Gesichter, Kleidung etc. weil die KI Information aus vorherigen Frames nutzen muss. War etwas einige Frames aus dem Bild, bekommste diese "Fehler" rein.
Also muss diese Information gespeichert werden, um konsistent zu bleiben... und weil der Speicher irgendwann ausgeht, muss Information gelöscht werden, und ab diesen Zeitpunkt ist diese Information für später verloren, und du bekommst Inkonsistenz.

Analog wie in beinahe jedem Spiel erledigte Gegner nicht unendlich vorhanden bleiben.. weil s zuviel Speicher kosten würde.
Damit haben wir uns mehr oder weniger abgefunden, dass sich aber Details am Leveldesign/Architektur/Aufbau ändern.. nunja.. das mag in nem experimentellen Titel schön wirken.. aber ich seh da kaum Anwendungsfälle für normale Spiele.

 

[sabienchen.banned]

Kennst du das Spiel .kkrieger? Das ist 96kb groß, weil mehr oder weniger alles on the fly generiert wird und das ist schon 20 Jahre her. Heute geht da technisch sicher nicht weniger, im Gegenteil.

Ja... prozedural.. wie es eben auch bei Rogue-Lites gerne ist.
Im RAM ist das Spiel aber bedeutend größer, weil s den kompletten Seed da beim Start reinlädt.
-> Wirf mal nen Blick auf die HW-Anforderungen des Spiels.. da haste damals nen wirklich starken Rechner benötigt.

 

[cM0]

Ich glaube, wir reden von unterschiedlichen Kurzfilmen. Die die ich meine, gehen mindestens 10 Minuten oder teils auch deutlich länger. Gibt allerdings bisher nicht allzu viele davon und die haben nicht die Dynamik eines Spiels, aber es ist nichts groß Inkonsistentes dabei. Von diesen kurzen Sora AI Clips rede ich nicht. Dazu kommt noch, dass das der aktuelle Stand der Technik ist, aber in x Jahren wird man dort weiter sein, was Inkonsistenzen angeht.

Ich verstehe aber auch nicht ganz, wo da der Bogen zu Objekten in Spielen ist. Es geht nicht darum, ALLES per KI zu generieren. Bleiben wir beim Beispiel Baum. Wenn du im Spiel einen Wald siehst, sind die Bäume im VRAM, egal ob mans jetzt klassisch berechnet oder zukünftig per KI. Im hier und jetzt liegen diese Dinge vorher auf der SSD, mit KI-Erstellung nicht. Man kann sie aber nach Gebrauch eine Weile auf SSD auslagern und lädt sie wieder in den VRAM, wenn man die Bäume wieder braucht. Auch jetzt ist ja nicht das ganze Spiel gleichzeitig im VRAM, sondern nur Dinge, die gebraucht werden. Nach einer gewissen Zeit (wie lange genau ist vom Spiel abhängig und davon, was der Entwickler für sinnvoll hält) kann man den Kram auch wieder von der SSD schmeißen und sollte der Spieler wider Erwarten doch in das Spielgebiet zurückkehren, generiert man neu. Mit entsprechender KI und Promts, die genauere Vorgaben machen, als meine sehr simpel gehaltenen Beispiele, kein Problem. Dann sehen die Bäume im Wald halt etwas anders aus, who cares?

Deine vorherige Ergänzung im letzten Post ist auch kein Problem. Wo der Baum steht, wird selbstverständlich im Prompt vorgegeben, hatte ich in meinem Beispielpromt auch erwähnt. Ein echter prompt müsste aber viel länger sein. So eine Bürgermeisterstatue würde ich z. B. lieber weiterhin per Hand bauen lassen, weil das ein aufälliges Bauwerk ist, was wahrscheinlich für alle Spieler gleich aussehen soll, aber wenn man es unbedingt mit KI machen will, legt man halt den Gesichtsausdruck im Promt mit fest. Ist alles kein Hexenwerk.

Im RAM ist das Spiel aber bedeutend größer, ähnlich wie auch "Videos" aus der Demoszene..

Jup, die RAM-Belegung ist deutlich größer als der belegte Platz auf der SSD. Aber ist der RAM-Verbrauch auch größer, als wenn man nichts prozedural generieren, sondern stattdessen händisch erstellen würde? Das glaube ich nicht und darauf kommt es doch an. Bei .kkriger kommt natürlich keine KI zum Einsatz, ist also ein anderer Ansatz, aber speichersparend (in Bezug auf die SSD) wird auch KI-Erstellung von Objekten sein.

 

[sabienchen.banned]

Jup, die RAM-Belegung ist deutlich größer als der belegte Platz auf der SSD. Aber ist der RAM-Verbrauch auch größer, als wenn man nichts prozedural generieren, sondern stattdessen händisch erstellen würde?

Sowas wie Unreal Tournament 2003 hat 128MB RAM Mindestanforderung empfohlen wird mehr (256MB), aber das entspricht ja nicht der RAM-Auslastung, schließlich läuft da auch Windows XP nebenbei
Bei kkrieger wird das wohl höher sein.. weil s dir da vermutlich alle Assets (zumindest ein Großteil) beim Start generiert und im RAM vorbehält, da die on-the-fly Erstellung sehr ressourcenfressend ist.

Immerhin hat prozedural (in den meisten Fällen) aber den Vorteil gegenüber KI, dass sich anhand des "Seeds" ein ganz bestimmtes Spiellayout berechnen und dieser laden/Wiederspielen lässt.

Ich verstehe aber auch nicht ganz, wo da der Bogen zu Objekten in Spielen ist. Es geht nicht darum, ALLES per KI zu generieren. Bleiben wir beim Beispiel Baum. Wenn du im Spiel einen Wald siehst, sind die Bäume im VRAM, egal ob mans jetzt klassisch berechnet oder zukünftig per KI.

Das ist im VRAM nicht dasselbe. ...
Man könnte sogar annehmen, dass der VRAM-Bedarf bei der Darstellung des "KI-Waldes" niedriger ist.
Willst du jedoch Konsistenz beim Baum (bei den Bäumen), was dir offensichtlich nicht wichtig ist, bspw. nachdem du die Holzfällerhütte zum looten betreten hattest und anschließend verlässt... dann ginge er bedeutend hoch (bzw. wohin auch immer es ausgelagert wird).

 

[cM0]

Bei kkrieger wird das wohl höher sein.. weil s dir da vermutlich alle Assets (zumindest ein Großteil) beim Start generiert und im RAM vorbehält, da die on-the-fly Erstellung sehr ressourcenfressend ist.

Richtig, das ist der Ansatz von .kkrieger, aber der ist nicht damit gleichzusetzen, dass man einige Objekte von der KI erstellen lässt. Wozu sollte man alle KI-Objekte bei Spielstart generieren? .kkrieger macht das (nicht mit KI), um so bei 96kb auf der SSD zu bleiben, aber das ist nicht das Ziel von "normalen" Spielen. Dort würde die Objekterstellung dann gemacht werden, wenn man sie braucht, so wie man jetzt Zeug in den VRAM lädt, wenn man es braucht. .kkrieger habe ich eigentlich nur als Beispiel genommen, um aufzuzeigen, dass diese Art der Erstellung Speicherplatz spart. Also auf der SSD, nicht im VRAM.

Willst du jedoch Konsistenz beim Baum (bei den Bäumen), was dir offensichtlich nicht wichtig ist, bspw. nachdem du die Holzfällerhütte zum looten betreten hattest und anschließend verlässt... dann ginge er bedeutend hoch (bzw. wohin auch immer es ausgelagert wird).

Wenn man alles im VRAM lässt, sicher, aber muss man ja nicht. Wenn du jetzt in irgendeinem Spiel die Holzfällerhütte betrittst, wird der Wald auch nicht mehr im VRAM vorgehalten*. Bei Bedarf lädt man die Texturen usw. wieder von SSD in den VRAM.
Würde man jetzt stattdessen den Wald per KI erstellen, wird dieser beim Betreten der Hütte auf die SSD ausgelagert und wenn man sie verlässt, werden die Daten wieder in den VRAM geladen. Ob du da jetzt vom Entwickler händisch erstellte Objekte in den VRAM lädst, oder welche, die die KI on the fly gebastelt hat, ist wurscht. Du hast nicht mehr Objekte, als wenn alles händisch gebaut worden wäre, im Gegenteil, je nachdem wie lange man den Kram auf der SSD liegen lässt, sogar weniger. Aber theoretisch kannst du alles Mögliche per KI erstellen lassen und so lange vorhalten, bis das Spiel deinstalliert wird. Dann gäbe es keinerlei Inkonsistenzen und du brauchst trotzdem nicht mehr Platz, als wenn man das alles im Vorfeld händisch erstellt hätte.
Damit das alles so funktioniert, braucht man natürlich einen möglichst schnellen Speicher zur Auslagerung, außerdem eine vernünftige, aufs Spiel zugeschnittene KI und durchdachte Promts. Das ist daher nichts, was man demnächst in Spielen bewundern kann, aber ich halte das durchaus für einen Teil der Zukunft in Kombination mit klassischem Rendering, FG, Upscaling und sicher auch anderen Techniken, die ich noch nicht auf dem Schirm habe.

Am besten du wirfst einen Blick in das Video ab Kapitel "Neural Shader" bis zum Ende des Videos:

Play video

The video is played embedded by Youtube. Google's privacy policy applies.

Speicherbedarf wird da übrigens auch kurz erwähnt, aber wie man woanders lesen würde, anders als du denkst. Objekterstellung gibt es dort auch schon anhand eines Edelsteins als Beispiel.
Wie gesagt, Details erfinden geht jetzt schon. Im Artikel waren es die Schuppen eines Drachen, aber da wird die Entwicklung nicht aufhören. Am Anfang sind es vielleicht nur Blätter oder Äste, dann einzelne Bäume und irgendwann wird der ganze Wald per KI im laufenden Betrieb gebastelt. Es gibt im gleichen Artikel sowie im Video noch weitere Techniken, die alle mehr oder weniger zusammenhängen. Besonders Neural Radiance Cache finde ich spannend. Noch eine KI-Technik, die die Grafikkarte entlastet, diesmal in Bezug auf Pathtracing.


*ok, je nach Engine vielleicht doch, weil klar ist, dass man die Holzfällerhütte wieder verlässt, oder weil die Hütte Fenster hat, aber das tut bei der grundlegenden Technik nichts zur Sache. Wichtig ist, dass alles irgendwann aus dem VRAM fliegt, meist, wenn man sich von den Objekten entfernt oder ein Level wechselt.

 

[sabienchen.banned]

Wenn man alles im VRAM lässt, sicher, aber muss man ja nicht. Wenn du jetzt in irgendeinem Spiel die Holzfällerhütte betrittst, wird der Wald auch nicht mehr im VRAM vorgehalten*. Bei Bedarf lädt man die Texturen usw. wieder von SSD in den VRAM.

Der Punkt ist, dass du es 1:1 wieder laden kannst, auch wenn es aus dem VRAM geflogen ist.
Bei KI geht das nicht, es wird etwas ähnliches generiert, außer du behältst es dir vor.
-> Und NUR da beißt es sich mit dem Speicherbedarf, wenn du das SELBE Objekt wieder anzeigen willst...

Behältst du es dir nicht vor, kann der VRAM-Bedarf via KI-erstellter Objekte eher sinken, aber du verlierst Konsistenz.
Und auch generell kannst du natürlich via KI den VRAM-Bedarf senken...



Neural Shader, sind doch was ich zuvor bereits erwähnte, nämlich Performanceboost durch Reduktion der für bestimmte Effekte (bspw. RT) notwendigen Ressourcen, hat aber nichts mit generierten Objekten die "persistent" sind zu tun.

In dem Zusammenhang, bitte ich um den Timestamp für das "Edelsteinbeispiel"
//ahh... bei den "Materialien".. idk.. da würde ich gerne genauere technische Details zu hören.. naiv gesagt wirkt es für mich als würde es die "KristallOberflächeOptik" generieren .. nicht "aus dem nichts" das eigentliche Objekt hinzufügen..

 

[cM0]

Ich hab so das Gefühl, dass wir aneinander vorbeireden Solange man das KI-generierte Objekt auf die SSD auslagert, belegt es dort natürlich Speicherplatz, aber alternativ würde da sonst etwas liegen, das der Entwickler vorher erstellt hat Im VRAM siehts genauso aus. Spiele könnten so auf SSD kleiner werden. Ja, wenn man die ganze Welt erkundet UND das Spiel alle KI-Objekte dauerhaft speichert, wird es groß, aber nicht größer, als wenn man vorher die Texturen und was sonst noch alles dazu gehört, vor Spielstart auf der SSD hätte, weil die Entwickler das schon erstellt haben.

Neural Shader, sind doch was ich zuvor bereits erwähnte, nämlich Performanceboost durch Reduktion der für bestimmte Effekte (bspw. RT) notwendigen Ressourcen, hat aber nichts mit generierten Objekten die "persistent" sind zu tun.

Ich weiß, aber bei dir klang das eher nach einer Idee, die du als Beispiel für weitere Reduktion der Rechenlast hast, nicht, dass du dich explizit auf die Technik von Nvidia bezogen hast.

"Edelsteinbeispiel"
//ahh... bei den "Materialien".. idk.. da würde ich gerne genauere technische Details zu hören..

Ich auch Keine Ahnung, wie genau das technisch läuft. Mehr Infos als aus dem Video habe ich dazu bisher nicht gefunden, aber ich habe auch noch nicht wirklich danach gesucht. Ich schätze, dazu wird man mehr hören, wenn die Technik wirklich genutzt wird.

 

[sabienchen.banned]

Ich hab so das Gefühl, dass wir aneinander vorbeireden Solange man das KI-generierte Objekt auf die SSD auslagert, belegt es dort natürlich Speicherplatz, aber alternativ würde da sonst etwas liegen, das der Entwickler vorher erstellt hat Im VRAM siehts genauso aus. Spiele könnten so auf SSD kleiner werden. Ja, wenn man die ganze Welt erkundet UND das Spiel alle KI-Objekte dauerhaft speichert, wird es groß, aber nicht größer, als wenn man vorher die Texturen und was sonst noch alles dazu gehört, vor Spielstart auf der SSD hätte, weil die Entwickler das schon erstellt haben.

Ein generiertes Objekt auf SSD ausgelagert belegt deutlich mehr Speicher, als die Texturen, Shader, Modell etc..
Vom wieder laden mal ganz abgesehen... genau deswegen, würde man das aber auch NICHT machen, sondern KI einfach bei Bedarf das Objekt wieder erstellen lassen. Nur eben mit dem Problem, dass es nicht mehr das selbe Objekt ist.

Ich rede auch nicht vom "Speicherbedarf" des Spiels an sich, sondern was zur Laufzeit alles weggesichert werden müsste um "konsistent" zu bleiben. Dieses Problem hast du bei klassischen 3D-Modellen nicht, denn es kann 1:1 neu berechnet werden.

Der Ansatz von Mega Geometry ist ja genau deswegen, dass ein grobes Modell vorhanden ist, und mit Details angereichert wird.
Denn wenn ein Baum nen Ast weniger hat, dann sticht das ins Auge, sieht die Rindenstruktur etwas anders aus, stört es nicht.

Und darauf zielte auch mein "Short film"-Vergleich ab.
Ich kenne da keinen, bei dem nicht am laufenden Band Schnitte mit Szenenwechseln geschehen.
Das sind meist zusammengeschnittene ~10 Sekunden Clips, ohne große Kamerafahrt, Perspektivwechsel etc., bzw. wenn doch, dann bekommste plötzlich die klassischen "Continuity Errors" en masse.
Weil genau hier bekommt die KI Probleme konsistent zu bleiben.
Wenn du da ein gutes Gegenbeispiel kennst, dann bitte her damit.

Ich weiß, aber bei dir klang das eher nach einer Idee, die du als Beispiel für weitere Reduktion der Rechenlast hast, nicht, dass du dich explizit auf die Technik von Nvidia bezogen hast.

Ich bezog mich auch nicht konkret darauf, sondern allgemein.
Allerdings sind diese "Neural Shaders" einfach "nur" ein Beispiel dafür.

Ich auch Keine Ahnung, wie genau das technisch läuft. Mehr Infos als aus dem Video habe ich dazu bisher nicht gefunden, aber ich habe auch noch nicht wirklich danach gesucht. Ich schätze, dazu wird man mehr hören, wenn die Technik wirklich genutzt wird.

Wie gesagt, das ganze ist im Kontext von "Materialien" und "Texturen".. entsprechend, glaube ich nicht, dass das Objekt an sich von KI erstellt wird, sondern die Berechnung der Oberfläche, oder wegen mir, der "Beschaffenheit" des Objekts von KI übernommen wird.

 

[Gelöschtes Mitglied 7305]

Mal sehen ob ihr noch ne Seite schafft.