Amerikanische Entwickler haben pizzaGAN vorgestellt, einen Algorithmus, der durch Hinzufügen oder Entfernen einzelner Zutaten Schritt für Schritt ein Bild einer Pizza zeichnen kann (auch umstrittene Ananasscheiben von Pizza entfernen kann). Die Architektur eines solchen Systems basiert auf einem generativen gegnerischen neuronalen Netzwerk, wobei jede Schicht das vorherige Bild verändert und ihm eine neue Zutat hinzufügt. Details zur Funktionsweise des Algorithmus sind im auf arXiv veröffentlichten Preprint beschrieben.
Algorithmen, die auf der Arbeit neuronaler Netze basieren, sind heute in der Lage, auf der Grundlage einer Textbeschreibung Bilder von Objekten mit hoher Qualität zusammenzusetzen. Das gilt zum Beispiel für Rezepte für Gerichte: Ein ähnlicher Algorithmus wurde Anfang des Jahres von israelischen Wissenschaftlern vorgestellt. Gleichzeitig bedeutet das Verstehen, wie das fertige Gericht aussieht, nicht, dass Informationen über die Zubereitung des Gerichts vorliegen: Dazu müssen Sie Schritt für Schritt verstehen, wie das Gericht zubereitet wird, was passiert, wenn eine Zutat entfernt wird und die andere hinzugefügt wird, und wie die Farbe, Konsistenz und Art des Produkts während der Wärmebehandlung.
Ein solcher Algorithmus wurde von Forschern des Massachusetts Institute of Technology unter der Leitung von Dim Papadopoulos entwickelt. Sie beschlossen, sich auf Pizza zu konzentrieren - ein Gericht, das einen ziemlich einfachen Kochprozess mit mehreren Zutaten beinhaltet. Dazu haben sie pizzaGAN entwickelt, eine Art generatives gegnerisches neuronales Netzwerk, bei dem jede Schicht verwendet wird, um eine separate Zutat oder eine andere Stufe der Zubereitung eines Gerichts hinzuzufügen. Diese Architektur ermöglicht es Ihnen, der Pizza nicht nur Zutaten hinzuzufügen, sondern auch die Zubereitung einen Schritt zurückzusetzen, um ein Beispiel dafür zu haben, wie das Gericht ohne sie aussah.
Um das Modell zu trainieren, erstellten die Forscher einen Datensatz „synthetischer Pizza“– digitale Bilder von Pizza mit verschiedenen Belägen, die in einer bestimmten Reihenfolge auf der Pizza angeordnet sind. Jede Füllung wurde in Form einer speziellen Zutatenmaske präsentiert: wie sie sich auf dem Gericht befinden und wie viele es sind. Echte Fotos des Gerichts wurden verwendet, um das endgültige Bild der Pizza zu erstellen.
Dadurch lernte der Algorithmus, wie man zuverlässig Zutaten zu einer Pizza hinzufügt und entfernt, sowie zeigt, wie eine bestimmte Pizza vor und nach dem Garen im Ofen aussieht. Datensätze mit „synthetischer“und echter Pizza, Beispiele, wie sich das Bild beim Hinzufügen und Ausschließen von Zutaten verändert, sowie Bilder vor und nach dem Pizzabacken im Ofen sind auf der Projektwebsite verfügbar.
Auch das inverse Problem ist den Entwicklern gelungen: Vor zwei Jahren stellten Forscher einen Algorithmus vor, der aus seinem Foto ein ungefähres Rezept für ein Gericht zusammenstellen kann.
