Prompt-Beschreibung
Dieses Projekt befasst sich mit den Herausforderungen großer visueller Token-Anzahlen, redundanter Informationen und der Schwierigkeit, Effizienz und Aufgabenanforderungen in Kompressionsstrategien im Kontext des multimodalen Verständnisses langer Dokumente auszubalancieren. Angesichts des Rechenaufwands, mit dem multimodale Modelle in Langkontext-Szenarien konfrontiert sind, untersuchen wir systematisch visuelle Token-Kompressionsmethoden und adaptive Kompressionsstrategien. Insbesondere untersuchen wir effektive Kompressions- und Filtermechanismen für visuelle Token unter dem Gesichtspunkt der Gesamt-Dokument- und Aufgabenrelevanz. Darüber hinaus führen wir Reinforcement-Learning-Methoden ein, um adaptive Auswahlstrategien für Kompressionsraten in verschiedenen Dokument- und Frageszenarien zu untersuchen. Darauf aufbauend konstruieren wir ein Anwendungssystem für multimodale lange Dokumenten-Frage-Antwort-Aufgaben, um die vorgeschlagenen Methoden zu integrieren und zu validieren. Der wesentliche Forschungsinhalt ist in Abbildung 1 dargestellt. Könnten Sie mir eine Abbildung erstellen? Welche Art von Abbildung wäre geeignet und wie sollte sie dargestellt werden?
![Erstelle ein übersichtliches, akademisches Flussdiagramm, das ein mehrrundiges, kompetitives Spiel-Experiment mit LLM-gesteuerten Agenten darstellt. Das Diagramm soll den folgenden Arbeitsablauf veranschaulichen: Initialisierung: Eine Population von Agenten wird erstellt, wobei jeder Agent heterogene intrinsische Fähigkeiten besitzt, die aus einer Normalverteilung gezogen werden. Jeder Agent wird für jede Runde mit einem festen verfügbaren Kapital ausgestattet, das mit E bezeichnet wird. Die Agenten werden einer von drei experimentellen Bedingungen zugeordnet: 1) Keine-Netzwerk-Bedingung: Agenten agieren isoliert ohne Zugang zu sozialen Informationen. 2) Small-World-Netzwerk: Agenten interagieren innerhalb einer Small-World-Netzwerkstruktur. 3) Hybrid-Netzwerk: Agenten interagieren innerhalb eines Netzwerks, das Small-World-Eigenschaften mit einer Scale-Free-Gradverteilung kombiniert (d.h. ein Scale-Free-Netzwerk, das mit zusätzlichen Dreiecken erweitert wurde). Wiederholte Spielschleife (T Runden): Für jede Runde t: Jeder Agent i entscheidet über ein Investitionsniveau oᵢ,ₜ ∈ [0, E]. Das nicht investierte Kapital (E − oᵢ,ₜ) wird als privates Vermögen behalten. Ein globaler Wettbewerbsmechanismus weist Leistungsbewertungen basierend auf einer Boltzmann-artigen Regel zu, die relative Investition, intrinsische Fähigkeit und stochastisches Rauschen berücksichtigt. Information...](/_next/image?url=https%3A%2F%2Fpub-8c0ddfa5c0454d40822bc9944fe6f303.r2.dev%2Fai-drawings%2Fvw1Gnd9NCyziYwTyT6q2uXK6J2zyJMnT%2F7aa136b9-e4fe-4993-8c83-f2a8e187769a%2F3d05bab2-a68e-48b9-9e18-b9eaa7b0b577.png&w=3840&q=75)
![Bitte zeichne ein vertikales, gestuftes Flussdiagramm eines Merkmalsauswahlalgorithmus im Stil einer Illustration für eine wissenschaftliche Arbeit (helle Farben, klare Linien). Der Prozess ist in drei Stufen unterteilt, die durch horizontale Linien getrennt sind:
Stufe 1 (Schnelles Screening):
1. Eingabe: Ursprüngliche Merkmale X, Zielvariable Y
2. Berechne die gegenseitige Information I(X_j; Y) (k-Nächste-Nachbarn-Methode)
3. Sortiere in absteigender Reihenfolge der gegenseitigen Information → F_sortiert
4. Auswahlstrategie (parallele Zweige):
- Schwellenwertstrategie: I ≥ τ
- Quantitätsstrategie: Nimm die obersten k = β×d Merkmale
5. Ausgabe: S1, X1
Stufe 2 (mRMR + Markov-Decke):
1. Ausgehend von S1, wähle das Merkmal mit der maximalen gegenseitigen Information aus, um es zu S hinzuzufügen
2. mRMR-Iteration:
- Berechne den marginalen mRMR-Score der Kandidatenmerkmale
- Wähle den höchsten Score aus und füge ihn zu S hinzu
3. Markov-Decken-Screening:
- Für jedes Merkmal X_i in S:
- Finde X_j, das I(X_i; X_j) > τ_mb und I(X_j; Y) ≥ I(X_i; Y) erfüllt
- Wenn gefunden, entferne X_i
4. Ausgabe: S2
Stufe 3 (PCBWOFS-Optimierung):
1. Kodierung: Binär b=[b_1,...,b_m]
2. Initialisierung (gemischte Strategie)
3. Fitnessbewertung: Fitness = Acc - α·|b|/m
4. Reproduktion und Crossover:
- Selektion → OR-Gatter-Crossover → Kontextbewusster Crossover
5. Kannibalismusstrategie: Eliminiere Nachkommen mit geringer Fitness
6. Mutation: Bit-Flip + Merkmalsaustausch
7. Aktualisiere iterativ die Population, wobei Eliten beibehalten werden
8. Ausgabe: Optimale Merkmalsuntermenge
Anforderungen an Flussdiagrammelemente:
- Verwende rechteckige Kästen, um Schritte darzustellen, und rautenförmige Kästen, um Urteile/Verzweigungen darzustellen
- Pfeile zeigen die Flussrichtung an
- Verwende "Stufe 1/2/3"-Titel, um die drei Stufen zu kennzeichnen
- Das Gesamtlayout sollte prägnant und für die Einfügung in ein Papier geeignet sein.](/_next/image?url=https%3A%2F%2Fpub-8c0ddfa5c0454d40822bc9944fe6f303.r2.dev%2Fai-drawings%2Fhpsp97YaFBIUPx0EbaYDvGh7CgMgwN6k%2F78922486-2288-41ff-b4fd-2ad57a745aa8%2F13bd335c-4284-418b-83a3-f002ed2565b3.png&w=3840&q=75)
