واكب
→العودة للمقالات

تنسيق جديد لسلسلة التفكير قد يقلص تكاليف الاستدلال في النماذج اللغوية الكبيرة بنسبة 85%

LLMsResearch
صورة توضيحية مُولّدة بالذكاء الاصطناعي: Editorial image for A New Format for Chain-of-Thought Could Cut LLM Reasoning Costs by 85%

الزبدة

  • باحثون يطورون تنسيقاً جديداً اسمه 'الأفكار المهيكلة' يقسّم تفكير النموذج اللغوي إلى وحدات 'محاولة' و'نتيجة' واضحة، بدل الفوضى المعتادة في سلاسل التفكير الطويلة
  • الحيلة تشتغل بطريقتين متضاربتين: كضبط دقيق ترفع الدقة حتى 8.08%، وكأداة تقليم للسياق توفّر 85% من الذاكرة لكن بتكلفة تراجع في الدقة بنسبة 8.67%
  • بالنسبة لفرق تشغيل النماذج، توفير 85% من الذاكرة مقابل خسارة أقل من 9 نقاط دقة صفقة رابحة لأي نظام مقيّد بحدود العتاد أكثر من حدود الدقة

ثماني نقاط مئوية زيادة في الدقة، مقابل بصمة ذاكرة أصغر بكثير: هذه هي الصفقة التي يطرحها فريق بحثي عبر طريقة جديدة تحمل اسم "الأفكار المهيكلة" (Structured Thoughts)، وردت تفاصيلها في ورقة بحثية قُدّمت إلى أرشيف الأبحاث المفتوحة (arXiv) في 11 يوليو 2026.

المشكلة التي تعالجها الورقة مألوفة لكل من يشغّل نماذج لغوية كبيرة (LLMs) تعتمد على الاستدلال المكثف في بيئات الإنتاج الفعلية. تقنية "التلقين بسلسلة التفكير" (Chain-of-Thought Prompting) تسمح للنموذج بحل المسائل خطوة بخطوة، وهي تحسّن الدقة بشكل موثوق في مهام الرياضيات والمنطق والاستدلال متعدد الخطوات. لكن مسارات التفكير التي تولّدها هذه النماذج تميل إلى التمدد دون ضابط. فالنموذج يعيد اشتقاق خطوات وسيطة، ويكرر السياق، ويحشو "دفتر ملاحظاته" برموز (Tokens) زائدة، وكل ذلك يضخّم طول السياق (Context Length) ويرفع تكلفة الاستدلال (Inference) دون تحسّن يوازيه في جودة النتائج.

هيكلة عملية التفكير نفسها

يعالج نظام "الأفكار المهيكلة" هذه المشكلة بفرض تنسيق محدد على عملية الاستدلال ذاتها. فبدلاً من ترك النموذج يكتب سلسلة تفكيره بحرية، ينظّم الإطار العمل هذه السلسلة في وحدات متعاقبة من نوعين: <try> و<outcome>. كل وحدة <try> تمثّل محاولة أو فرضية يقترحها النموذج، وكل وحدة <outcome> تسجّل نتيجة تلك المحاولة قبل أن ينتقل النموذج إلى الخطوة التالية. بهذه الطريقة، يتحول تدفق الرموز غير المنظم إلى سلسلة من وحدات استدلال منفصلة ومُصنّفة بوضوح.

هذا التصنيف يثبت أهميته لسببين رئيسيين. أولاً، حين خضعت النماذج للضبط الدقيق (Fine-tuning) على بيانات بهذا التنسيق، تحسّن أداؤها في اختبارات قياس الاستدلال (Reasoning Benchmarks) بنسبة تصل إلى 8.08% مقارنة بالضبط الدقيق الخاضع للإشراف التقليدي (Standard Supervised Fine-tuning) على المهام نفسها. هذه النتيجة تشير إلى أن إجبار النموذج على التمييز بين "ما أحاول فعله" و"ما حدث فعلاً" يولّد أنماط استدلال أنظف وأسهل تعلّماً، مقارنة بترك النموذج يسرد تفكيره بنثر حر غير منضبط.

تقليم السياق: مقايضة الدقة بالكفاءة

السبب الثاني، والذي قد يكون الأكثر أهمية من الناحية التطبيقية، هو أن بنية <try>/<outcome> تجعل من الممكن تقليم السياق (Context Pruning) بشكل جذري. فبما أن كل وحدة مكتفية ذاتياً، يستطيع النظام حذف وحدات <try> السابقة بعد تسجيل نتيجتها في <outcome>، والاحتفاظ فقط بالمعلومات التي لا تزال ذات صلة بالخطوة التالية. في اختبارات الورقة البحثية، حقق هذا الأسلوب في تقليم السياق توفيراً بمعدل 85% في استخدام الذاكرة والسياق عبر مهام الاستدلال الرياضي، مقابل تراجع في الأداء بنسبة 8.67%.

هذه المقايضة هي الرقم الأهم لفرق البنية التحتية. فتقليص السياق الذي يحمله النموذج طوال سلسلة استدلال طويلة بنسبة 85% يترجم مباشرة إلى تخفيف الضغط على ذاكرة التخزين المؤقت للمفاتيح والقيم (KV-cache)، وخفض تكلفة الاستدلال، والقدرة على تشغيل جلسات استدلال أطول وأكثر تعقيداً ضمن الموازنات الحالية للعتاد. وفقدان أقل من 9 نقاط مئوية من الدقة في المقابل هو نوع المقايضة الذي ستقبله بسهولة أنظمة إنتاج كثيرة، خصوصاً تلك التي تُقيَّد بحدود نافذة السياق (Context Window) أو ذاكرة معالج الرسوميات (GPU Memory) أكثر من تقيّدها بمستوى الدقة الخام.

النتيجتان تسيران في اتجاهين مختلفين، وهذا ربما هو الاستنتاج الأكثر إثارة للاهتمام في الورقة كلها. فاستخدام "الأفكار المهيكلة" كهدف للضبط الدقيق يحسّن الدقة مباشرة، بينما استخدامها كآلية للتقليم يضحي بجزء من الدقة لتحقيق مكاسب كبيرة في الكفاءة. القيمة الحقيقية لهذا الإطار قد تكمن في تمكين الفرق التقنية من اختيار نقطة توازن مناسبة على هذا المنحنى، بدل الانحصار في أحد الطرفين، وهي ميزة جذابة لكل من يشغّل نماذج استدلال طويلة السلسلة على نطاق واسع، حيث تظل التكلفة والدقة تحت ضغط مستمر في آن واحد.

التغطيات والأبحاث الأصلية التي استند إليها هذا المقال.

  1. 1SPARK: Susceptibility-Guided Profiling and Steering of Latent Reasoning States in Large Language Modelsarxiv.org
  2. 2Successor-Generator Planning with LLM-generated Heuristicsarxiv.org
  3. 3Large Language Models for Token-Efficient and Semantic-Preserving Opinion Summarizationarxiv.org
  4. 4PiCSAR: Probabilistic Confidence Selection And Ranking for Reasoning Chainsarxiv.org
  5. 5Nested-ReFT: Efficient Reinforcement Learning for Large Language Model Fine-Tuning via Off-Policy Rolloutsarxiv.org
  6. 6The Hidden Footprint: Making Storage a First-Class Metric for LLM Agent Evaluationarxiv.org
  7. 7StructAgent: Harness Long-horizon Digital Agents with Unified Causal Structurearxiv.org
  8. 8RSLoRA: Training-free Rank Allocation for LoRA via Representational Sensitivity Probingarxiv.org
  9. 9UNIT: Unleash Large Language Models Potential for Graph Continual Learningarxiv.org
  10. 10TILDE: TILt-based Distributional Erasure for Concept Unlearningarxiv.org
  11. 11Turbo Connection: Reasoning as Information Flow from Higher to Lower Layersarxiv.org
  12. 12SCOReD: Student-Aware CoT Optimization for Recommendation Distillationarxiv.org
  13. 13Unlocking Parallelism in Autoregressive Language Models via Speculative Decoding with Progressive Tree Draftingarxiv.org
  14. 14Beyond Euclidean Clipping: Overcoming Exploration Collapse in LLM RL via Riemannian Isometric Policy Optimizationarxiv.org
  15. 15Heterogeneous Agent Cohorts for Safe Open-Ended Exploration with Runtime Constraint Memoryarxiv.org
  16. 16Agon: Competitive Cross-Model RL with Implicit Rival Grading of Reasoningarxiv.org
  17. 17The Compliance Trap: Diagnosing How AI Agents Consume Conflicting Memoryarxiv.org
  18. 18ProgramTab: Boosting Table Reasoning of LLMs via Programmatic Paradigmarxiv.org
  19. 19Selective Timestep Weighting and Advantage-Based Replay for Sample-Efficient Diffusion RLHFarxiv.org
  20. 20Minionese: Comprehensive Benchmark and Mechanistic Study of Multilingual LLM Safetyarxiv.org
  21. 21Agentic-DPO: From Imitation to Agentic Policy Optimization on Expert Trajectoriesarxiv.org
  22. 22CLAP: Direct VLM-to-VLA Adaptation via Language-Action Groundingarxiv.org
  23. 23VIA: Visual Interface Agent for Robot Controlarxiv.org
  24. 24Multi-Agent LLMs Fail to Explore Each Otherarxiv.org
  25. 25Entropy Pacing Policy Optimization for Multi-Task Agentic Reinforcement Learningarxiv.org
  26. 26Maximizing Human Efficiency in Large-Scale Robot Post-Training via VLAC-Cut Guided Pipelinearxiv.org
  27. 27Future Confidence Distillation in Large Language Modelsarxiv.org
  28. 28A Comprehensive Survey and Systematic Real-World Evaluation of Embodied Vision-and-Language Navigationarxiv.org
  29. 29Adaptive Model Compression (AMC): Saliency-Driven Resource Allocation for Ultra-Low-Power Transformer Inferencearxiv.org
  30. 30Enabling Agents to Communicate Entirely in Latent Spacearxiv.org
  31. 31Route, Communicate, and Reason: Gated Routing and Adaptive Depth for Efficient Multi-Agent Reasoningarxiv.org
  32. 32Rethinking Zero-Shot Time Series Classification: From Task-specific Classifiers to In-Context Inferencearxiv.org
  33. 33Coresets Before Score Sets: Evaluation-Unsupervised Prompt Subset Selection for LLM Benchmarksarxiv.org
  34. 34SearchEyes: Towards Frontier Multimodal Deep Search Intelligence via Search World Simulationarxiv.org
  35. 35When Prompts Ignore Structure: Graph-Based Attribute Reasoning for Calibrated VLMsarxiv.org
  36. 36CogniConsole: Externalizing Inference-Time Control as a Formal Abstraction for Reliable LLM Interactionsarxiv.org
  37. 37Closed-Loop Control with Rule-Aligned Small Language Models and Multi-Agent Self-Correctionarxiv.org
  38. 38Interpreting Latent CoT Reasoning as Dynamical Systemsarxiv.org
  39. 39SCALECUA: Scaling Computer Use Agents with Verifiable Task Synthesis and Efficient Online RLarxiv.org
  40. 40EvalLoop: A Methodology for Evaluation-Driven Iterative Improvement of Business AI Systemsarxiv.org
  41. 41DeepBias: Adaptive In-depth Probing of Social Biases in LVLMsarxiv.org
  42. 42Interference and Retention in Continual Learningarxiv.org
  43. 43Structured Thoughts For Improved Reasoning And Context Pruningarxiv.org
  44. 44Prompt-Driven Explorationarxiv.org
  45. 45Remembering Distinct Items, Not Tokens: A Learnable Dirichlet-Process Cache Between State-Space Models and Attentionarxiv.org
  46. 46Disentangling Intrinsic Importance from Emergent Structure in Multi-Expert Orchestrationarxiv.org
  47. 47SPQR: A Multi-Dimensional Benchmark for Safety Alignment under Benign Model Adaptationarxiv.org
  48. 48AMT-X: Phase-Structured Multi-Turn Red-Teaming with Checklist-Gated Evaluationarxiv.org
  49. 49Towards Predictive, Aligned, and Scalable Robot Learningarxiv.org
  50. 50Valid $\ne$ Necessary: Diagnosing Latent Inefficiency in Chain-of-Thoughtarxiv.org
  51. 51What Does It Mean to Break a Distillation Defense?arxiv.org
  52. 52Auditing Belief-Conditioned LLM Agents in Hidden-Information Social Deduction Gamesarxiv.org
  53. 53DepthWeave-KV: Token-Adaptive Cross-Layer Residual Factorization for Long-Context KV Cache Compressionarxiv.org
  54. 54The Nuts and Bolts of Natural Language to SQL Translation: A Systematic Analysis of Model Pipeline Optimisation Approaches and their Interactionsarxiv.org
  55. 55To Retain or to Adapt? Generalizing Continual Learningarxiv.org
  56. 56EMO-R3: Reflective Reinforcement Learning for Emotional Reasoning in Multimodal Large Language Modelsarxiv.org
  57. 57Cross-Layer Misalignment Detection in Agent Skills: A Progressive Loading-Aware Contrastive Learning Approacharxiv.org
  58. 58Language Models Need Sleep: Learning to Self-Modify and Consolidate Memoriesarxiv.org
  59. 59Analysis-by-Proxy: Localization Signals in VLMs Operating as Condition Encodersarxiv.org
  60. 60ReflectWorld-MM: An Entity-Oriented Multi-Media Memory System for Open-Ended Video Streamsarxiv.org
  61. 61ABot-AgentOS: A General Robotic Agent OS with Lifelong Multi-modal Memoryarxiv.org
  62. 62MUGEN: Evaluating and Improving Multi-audio Understanding of Large Audio-Language Modelsarxiv.org
  63. 63LLMs as a Jury: Cross-Model Consensus Can Outperform Process Reward Models for LLM Reasoningarxiv.org
  64. 64OS-Pruner: Pruning Chains-of-Thought of Reasoning Models via Optimal Stoppingarxiv.org
  65. 65Local Message-Passing for Discrete Graph Generationarxiv.org
  66. 66Bridging Physical Reasoning and Task Generalization via Visual Action Outcome Reasoning Alignmentarxiv.org
  67. 67What We Talk About When We Talk About LLM Planning: Evidence for Two Distinct Planning Abilitiesarxiv.org
  68. 68Multi-Agent Routing as Set-Valued Prediction: A WildChat Benchmark and Cost-Aware Evaluationarxiv.org
  69. 69Thinking Ahead: Foresight Intelligence in MLLMs and World Modelarxiv.org
  70. 70GRATE: Temporal Extensions for Inductive KG Foundation Models via Gated Rotary Attentionarxiv.org
  71. 71CanvasAgent: Enabling Complex Image Creation and Editing via Visual Tool Orchestrationarxiv.org
  72. 72Enhancing LLMs through human feedback: a journey towards self-improvementarxiv.org
  73. 73FreqDepthKV: Frequency-Guided Depth Sharing for Robust KV Cache Compression in Long-Context LLM Inferencearxiv.org
  74. 74AgentCheck: A Reproduce-Intervene-Mitigate Workbench for LLM Agents over MCParxiv.org
  75. 75NL-PAC: Specification Ambiguity and Certified Minimax Risk Floors in LLM-Mediated Supervisionarxiv.org
  76. 76Answer-Conditioned Chain-of-Thought Distillation for Few-Shot Industrial Vision with Small VLMsarxiv.org
  77. 77Stable On-Policy Distillation through Adaptive Target Reformulationarxiv.org
  78. 78HiQA: A Hierarchical Contextual Augmentation RAG for Multi-Documents QAarxiv.org
  79. 79GRASP: GRanularity-Aware Search Policy for Agentic RAGarxiv.org
  80. 80Who&When Pro: Can LLMs Really Attribute Failures in AI Agents?arxiv.org
  81. 81Predicting LLM Safety Before Release by Simulating Deploymentarxiv.org
  82. 82A Formal Hierarchical Architecture for Agentic Orchestration with Stack-Based Execution and Lazy Discoveryarxiv.org
  83. 83Compile, Then Page: Executable SOP Programs and a Capability-Gated Runtime for Procedural LLM Agentsarxiv.org
  84. 843D-DefectBench: A Controlled Factorial Study of Vision-Language Model Evaluation Pipelines for Fine-Grained 3D Generation Defectsarxiv.org
  85. 85Framing Instability in LLM Ethical Stance: Auditing Negation Sensitivity in Moral Dilemmasarxiv.org
  86. 86Interaction Scaling: Grounding the Third Axis of Test-Time Computearxiv.org
  87. 87MAG: A Web-Agent Benchmark and Harness for Multimodal Action and Guide Generationarxiv.org
  88. 88Omni-Decision: A Progressive Evidence-State Agent System for Omni-Modal QAarxiv.org
  89. 89Tree-of-Thoughts Reasoning for Text-to-Image In-Context Learningarxiv.org
  90. 90HIVE: Understanding Post-Hallucination Reasoning in Vision Language Modelsarxiv.org
  91. 91Disentangling Feature Structure: A Mathematically Provable Two-Stage Training Dynamics in Transformersarxiv.org
  92. 92ARMOR: Stabilizing On-Policy LLM RL with Off-Policy Anchor Samplesarxiv.org
  93. 93Depth-Entropy Guided Sampling for Training-Free LLM Reasoningarxiv.org
  94. 94A Stepwise Questioning Expert-Editor Multi-Agent Framework for Long-Document Summarizationarxiv.org
  95. 95Do Video-LLMs Actually Watch? Diagnosing Character-Tracking Failures in Long-Form Videoarxiv.org
  96. 96Faithful, Not Corrective: Message-Format Effects in Multi-Hop Agent Relays Are Tier-Dependentarxiv.org
  97. 97AgentAbstain: Do LLM Agents Know When Not to Act?arxiv.org
  98. 98MemDecay: Region-Aware KV Cache Eviction for Efficient LLM Agent Inferencearxiv.org
  99. 99The Ebb and Flow of Multimodal Focus: Scheduling Visual Relay Windows for Grounded VLM Reasoningarxiv.org
  100. 100PatchOptic for Shared-State LLM Workflows with Projected Views and Verified Structured Updatesarxiv.org
  101. 101Context-Dependent Affordance Computation in Vision-Language Modelsarxiv.org
  102. 102SynthAVE: Scalable Synthetic Labeling for E-Commerce with LLM-Arena Validationarxiv.org
  103. 103When Does Depth Survive Composition? Compute--Quality Regimes in Latent World Modelsarxiv.org
  104. 104SynthDocBench: Controlled Benchmark for Long-Context Visual Document Understandingarxiv.org
  105. 105Looped State-Space Language Models with Adaptive Exit-State Selectionarxiv.org
  106. 106Terminus-4B: Can a Smaller Model Replace Frontier LLMs at Agentic Execution Tasks?arxiv.org
  107. 107Automated Textbook Auditing with Multi-Agent LLM Systemsarxiv.org
  108. 108KAT-Coder-V2.5 Technical Reportarxiv.org
  109. 109Tool-Adaptive LLM Rerankerarxiv.org
  110. 110ResonatorLM: Causal Resonant Field Mixing for Efficient Long-Context Language Modelinarxiv.org
  111. 111Uncertainty-guided Compositional Alignment with Part-to-Whole Semantic Representativeness in Hyperbolic Vision-Language Modelsarxiv.org
  112. 112BaFCo: A Document Understanding Benchmark for Complex Bangla Form Comprehensionarxiv.org
  113. 113Calibrated e-CUSUM Decoding for Quantized Reasoning Models: Why Token Log-Probability Is the Wrong Observable for Decoding Monitorsarxiv.org
  114. 114Beyond Na\"ive Prompting: Strategies for Improved Context-aided Forecasting with LLMsarxiv.org
  115. 115Filtering Harmful Actions Isn't Enough: Phantom Transfer in Agentic SDFarxiv.org
  116. 116Modality Relevance is not Modality Utility: Post-hoc Selective Modality Escalation for Cost-Aware Multimodal RAGarxiv.org
  117. 117ANCHOR: Automated Alignment Auditing for CLI Agents on Real-World Harmarxiv.org
  118. 118VOTE: Vision-Language-Action Optimization with Trajectory Ensemble Votingarxiv.org
  119. 119Embodied Multi-Agent Coordination by Aligning World Models Through Dialoguearxiv.org
  120. 120Think Through a Bottleneck: Hourglass Reasoning for Rigorous Inductionarxiv.org
  121. 121STEC: Evidence Compression for Deep Search in Open-domain Multi-Hop QAarxiv.org
  122. 122Single-Rollout Asynchronous Optimization for Agentic Reinforcement Learningarxiv.org
  123. 123The foundational elements of AI architecture that IT leaders need to scaletechnologyreview.com
  124. 124DiaLLM: An Investigation into the Robustness-Generation Gap in English Dialect Adaptationarxiv.org
  125. 125On Adversarial Vulnerability of Vision-Language Models through the Lens of Intermediate Spectral Subspacesarxiv.org
  126. 126Graph Optimization Foundation Model: Tokenizing Graph via A Language-Model Paradigmarxiv.org
  127. 127Dynamic Agent Skills: A Lifecycle Survey and Taxonomy of Evolving Skill Librariesarxiv.org
  128. 128CRiT-QA: Evaluating Multi-hop Reasoning with Counterfactual Chains and Distractor Trapsarxiv.org
  129. 129PRISM Edit: One Vector for All Temporal Answersarxiv.org
  130. 130MetaState: Persistent Working Memory Enhances Reasoning in Discrete Diffusion Language Modelsarxiv.org
  131. 131ABot-N1: Toward a General Visual Language Navigation Foundation Modelarxiv.org
  132. 132SVR-R1: Bootstrapping Multi-modal Reasoning with Self-verification in Reinforcement Learningarxiv.org
  133. 133KVpop -- Key-Value Cache Compression with Predictive Online Pruningarxiv.org
  134. 134Format Sensitivity Index: Token-Controlled Prompt Wrapper Robustness and Schema Compliance in LLM Benchmarkingarxiv.org
  135. 135Conditional Optimal Bridge for Riemannian Activation Steeringarxiv.org
  136. 136Learning to Fine-tune Foundation Models under Resource Limitationsarxiv.org
  137. 137Propose and Attend: Training-free MLLM Grounding Confidence via Multi-Token Localized Attentionarxiv.org
  138. 138Weight-Adjusted Gradients Reveal Parameter Importance and Failure Modes in LLMsarxiv.org
  139. 139CRINN: Contrastive Reinforcement Learning for Approximate Nearest Neighbor Searcharxiv.org
  140. 140Co-LMLM: Continuous-Query Limited Memory Language Modelsarxiv.org
  141. 141Conditional Memory via Scalable Lookup: A New Axis of Sparsity for Large Language Modelsarxiv.org
  142. 142Eluna: An Agentic LLM System for Automating Warehouse Operations with Reasoning and Task Executionarxiv.org
  143. 143SynthSAEBench: Evaluating Sparse Autoencoders on Scalable Realistic Synthetic Dataarxiv.org
  144. 144Agentic Context Learning with Self-Discovered Specificationarxiv.org
  145. 145PolicyShiftGuard: Benchmarking and Improving Policy-Adaptive Image Guardrailsarxiv.org
  146. 146Agents Don't Just Agree, They Remember: Benchmarking Persistent Sycophancy in Stateful Personal Agentsarxiv.org
  147. 147Can Argus Judge Them All? Comparing VLMs Across Domainsarxiv.org
  148. 148Unveiling the Mechanisms of Multi-Hop Reasoning in Transformers via Identity Bridgearxiv.org
  149. 149To Answer or to Abstain: Mitigating Search-Agent Hallucinations via Abstention-Aware Reinforcement Learningarxiv.org
  150. 150Segmentation before Answering: Pixel Grounding for MLLM Visual Reasoningarxiv.org
واكب

فريق تحرير واكب

تم إعداد هذه المراجعة وتلخيصها بواسطة محرك الذكاء الاصطناعي الخاص بواكب ومراجعتها وتدقيقها من قبل فريقنا التحريري لضمان الدقة والموثوقية.

اشترك في النشرة البريدية

احصل على ملخص أسبوعي لأبرز أبحاث وأدوات الذكاء الاصطناعي مباشرة في بريدك.

قناة التليجرام

تابع تغطيتنا اللحظية ونقاشاتنا حول آخر مستجدات وأنظمة الذكاء الاصطناعي.

انضم إلينا على تليجرام

المزيد من الأبحاث

عرض الكل في الأبحاث