Description du prompt
Ce projet aborde les défis posés par les grands nombres de Tokens visuels, les informations redondantes et la difficulté d'équilibrer l'efficacité et les exigences des tâches dans les stratégies de compression, dans le contexte de la compréhension multimodale de longs documents. Compte tenu de la surcharge de calcul rencontrée par les modèles multimodaux dans les scénarios de contexte long, nous étudions systématiquement les méthodes de compression de Tokens visuels et les stratégies de compression adaptatives. Plus précisément, nous explorons des mécanismes efficaces de compression et de filtrage des Tokens visuels du point de vue de la pertinence globale du document et de la tâche. De plus, nous introduisons des méthodes d'apprentissage par renforcement pour explorer des stratégies de sélection adaptatives pour les taux de compression dans différents scénarios de document et de question. Sur cette base, nous construisons un système d'application pour les tâches de question-réponse sur de longs documents multimodaux afin d'intégrer et de valider les méthodes proposées. Le contenu principal de la recherche est illustré à la Figure 1. Pourriez-vous générer une figure pour moi ? Quel type de figure serait approprié et comment devrait-elle être présentée ?
![Générer un organigramme clair et académique représentant une expérience de jeu compétitif multi-tours impliquant des agents pilotés par des LLM. Le diagramme doit illustrer le flux de travail suivant : Initialisation : Une population d'agents est créée, chacun possédant des capacités intrinsèques hétérogènes échantillonnées à partir d'une distribution normale. Chaque agent est doté d'un capital disponible fixe, noté E, pour chaque tour. Les agents sont affectés à l'une des trois conditions expérimentales : 1) Condition sans réseau : Les agents opèrent de manière isolée sans accès à l'information sociale. 2) Réseau petit monde : Les agents interagissent au sein d'une structure de réseau petit monde. 3) Réseau hybride : Les agents interagissent au sein d'un réseau combinant les caractéristiques d'un petit monde avec une distribution de degrés sans échelle (c'est-à-dire un réseau sans échelle augmenté de triangles supplémentaires). Boucle de jeu répétée (T tours) : Pour chaque tour t : Chaque agent i décide d'un niveau d'investissement oᵢ,ₜ ∈ [0, E]. Le capital non investi (E − oᵢ,ₜ) est conservé comme richesse privée. Un mécanisme de compétition global attribue des scores de performance basés sur une règle de type Boltzmann, incorporant l'investissement relatif, la capacité intrinsèque et le bruit stochastique. Information...](/_next/image?url=https%3A%2F%2Fpub-8c0ddfa5c0454d40822bc9944fe6f303.r2.dev%2Fai-drawings%2Fvw1Gnd9NCyziYwTyT6q2uXK6J2zyJMnT%2F7aa136b9-e4fe-4993-8c83-f2a8e187769a%2F3d05bab2-a68e-48b9-9e18-b9eaa7b0b577.png&w=3840&q=75)
![Veuillez dessiner un organigramme vertical et étagé d'un algorithme de sélection de caractéristiques, dans le style d'une illustration d'article académique (couleurs claires, lignes claires). Le processus est divisé en trois étapes, séparées par des lignes horizontales :
Étape 1 (Filtrage rapide) :
1. Entrée : Caractéristiques originales X, variable cible Y
2. Calcul de l'information mutuelle I(X_j; Y) (méthode des k plus proches voisins)
3. Tri par ordre décroissant d'information mutuelle → F_sorted
4. Stratégie de sélection (branches parallèles) :
- Stratégie de seuil : I ≥ τ
- Stratégie de quantité : Prendre les k = β×d meilleures caractéristiques
5. Sortie : S1, X1
Étape 2 (mRMR + Couverture de Markov) :
1. À partir de S1, sélectionner la caractéristique avec l'information mutuelle maximale à ajouter à S
2. Itération mRMR :
- Calculer le score mRMR marginal des caractéristiques candidates
- Sélectionner le score le plus élevé et l'ajouter à S
3. Filtrage par couverture de Markov :
- Pour chaque caractéristique X_i dans S :
- Trouver X_j qui satisfait I(X_i; X_j) > τ_mb et I(X_j; Y) ≥ I(X_i; Y)
- Si trouvé, supprimer X_i
4. Sortie : S2
Étape 3 (Optimisation PCBWOFS) :
1. Encodage : Binaire b=[b_1,...,b_m]
2. Initialisation (stratégie mixte)
3. Évaluation de la fitness : Fitness = Acc - α·|b|/m
4. Reproduction et croisement :
- Sélection → Croisement porte OU → Croisement sensible au contexte
5. Stratégie de cannibalisme : Éliminer les descendants à faible fitness
6. Mutation : Inversion de bit + échange de caractéristiques
7. Mettre à jour itérativement la population, en conservant les élites
8. Sortie : Sous-ensemble de caractéristiques optimal
Exigences relatives aux éléments de l'organigramme :
- Utiliser des boîtes rectangulaires pour représenter les étapes et des boîtes en losange pour représenter les jugements/branches
- Les flèches indiquent le sens du flux
- Utiliser les titres "Étape 1/2/3" pour étiqueter les trois étapes
- La mise en page générale doit être concise et adaptée à l'insertion dans un article.](/_next/image?url=https%3A%2F%2Fpub-8c0ddfa5c0454d40822bc9944fe6f303.r2.dev%2Fai-drawings%2Fhpsp97YaFBIUPx0EbaYDvGh7CgMgwN6k%2F78922486-2288-41ff-b4fd-2ad57a745aa8%2F13bd335c-4284-418b-83a3-f002ed2565b3.png&w=3840&q=75)
