Diese Abbildung veranschaulicht eine automatisierte Pipeline für das Reverse Engineering von Diagrammbildern in TikZ-Code. Die Kernlogik dieses Systems lässt sich in die folgenden vier Hauptphasen unterteilen: 1. Eingabe- & Globale Planungsphase: Eingabe: Originale Diagrammbilder (wie Liniendiagramme, Balkendiagramme usw.). Globale Verarbeitung: Globaler Planer: Empfängt Bildeingaben und extrahiert globale Metadaten. Ausgabe: Generiert JSON-formatierte Daten, die die globalen Parameter des Diagramms enthalten (z. B. 'X-Skala': 1.5, 'Y-Skala': 0.5 usw.). 2. Parallele Merkmalsextraktionsphase: Das Bild wird gleichzeitig in vier parallele Deep-Learning-/Erkennungsmodelle eingegeben, die jeweils für die Extraktion verschiedener Diagrammkomponenteninformationen und die Generierung entsprechender TikZ-Code-Snippets verantwortlich sind: Diagramm-Basiskonfigurations-Erkennungsmodell: Identifiziert die grundlegende Struktur des Diagramms und generiert Tikz 1-Code. Achsen-Parsing-Modell: Parsed die Skalen, Beschriftungen usw. der X/Y-Achsen und generiert Tikz 2-Code. Datenvisualisierungs-Erkennungsmodell: Identifiziert spezifische Datenpunkte, Linien oder Balken und generiert Tikz 3-Code. Legenden-Erkennungsmodell: Identifiziert den Inhalt und Stil der Legende und generiert Tikz 4-Code. 3. Code-Synthese-Phase: Ausfüllen: Integriert die in den obigen zwei Phasen erzeugten Daten: JSON-Daten, die vom Globalen Planer erzeugt wurden. TikZ-Code-Snippets (1-4), die von den vier Modellen erzeugt wurden. Vorlagenanwendung: Diese Daten werden in eine voreingestellte LaTeX-Vorlage eingefügt. Ausgabe: Generiert vollständigen TikZ-Code. 4. Kompilierungs- & Validierungsschleife: Dies ist eine entscheidende geschlossene Schleife im System, um die Ausführbarkeit des Codes sicherzustellen: Latex-Compiler: Versucht, den generierten vollständigen Code zu kompilieren. Erfolg: Gibt direkt das endgültige Diagramm aus, und der Prozess endet. Fehler: Löst einen Fehlerbehandlungsmechanismus aus. Check-Agent: Empfängt Informationen über Kompilierungsfehler. Analysiert den Fehler und versucht, den Code zu korrigieren. Generiert neuen TikZ-Code. Schleife: Sendet den neuen Code zur Kompilierung zurück an den Latex-Compiler, bis er erfolgreich ist.
Automatisierte Pipeline zur Rückentwicklung von Diagrammbild...