English
Attention is a mechanism that lets a model weigh how much each part of the input matters when producing each part of the output, instead of treating all input equally. It is the core mechanism inside the transformer architecture.
Attention lets a model weigh every other position in the input when computing any one position, rather than relying on a fixed window or on order alone. Each position asks what it needs, every position advertises what it offers, and the match decides how much each contributes. Self-attention, where a sequence attends to itself, is the operation the transformer is built around, and the reason context can be used non-locally.
Attention weights show the model relied on the first paragraph.
العربية
آلية الانتباه تتيح للنموذج تحديد مقدار أهمية كل جزء من المُدخل عند إنتاج كل جزء من المُخرج، بدلاً من التعامل مع كل المُدخل بالتساوي. وهي الآلية الجوهرية داخل معمارية المحوّل.
تتيح آلية الانتباه للنموذج أن يزن كل موضعٍ آخر في المُدخَل عند حساب أي موضعٍ واحد، بدلاً من الاتكال على نافذةٍ ثابتة أو على الترتيب وحده. فكل موضعٍ يسأل عمّا يحتاج، وكل موضعٍ يعرض ما لديه، والمواءمة بينهما تحدد قدر إسهام كلٍّ منها. والانتباه الذاتي، حيث تنتبه السلسلة إلى نفسها، هو العملية التي بُني المحوِّل حولها، وسبب إمكان استعمال السياق استعمالاً غير موضعي.
تُظهر أوزان الانتباه أن النموذج اعتمد على الفقرة الأولى.
يُعرف أيضاً بـ
- attention mechanism
- self-attention
- الانتباه
- آلية الأتينشن
يُكتب أيضاً هكذا، ولا نوصي به
- الانتباه الذاتي
- آلية الالتفات
لمَ هذه الصيغة: «الانتباه الذاتي» هو ضربٌ محدد من الانتباه لا مرادفٌ له.
أول ظهور
2014 · قُدِّمت للترجمة على يد بحدناو وزملائه، ثم عُمِّمت في ورقة المحوِّل سنة 2017.
المصدر