English
Attention is a mechanism that lets a model weigh how much each part of the input matters when producing each part of the output, instead of treating all input equally. It is the core mechanism inside the transformer architecture.
Attention lets a model weigh every other position in the input when computing any one position, rather than relying on a fixed window or on order alone. Each position asks what it needs, every position advertises what it offers, and the match decides how much each contributes. Self-attention, where a sequence attends to itself, is the operation the transformer is built around, and the reason context can be used non-locally.
Attention weights show the model relied on the first paragraph.
العربية
آلية الانتباه تتيح للنموذج تحديد مقدار أهمية كل جزء من المُدخل عند إنتاج كل جزء من المُخرج، بدلاً من التعامل مع كل المُدخل بالتساوي. وهي الآلية الجوهرية داخل معمارية المحوّل.
تتيح آلية الانتباه للنموذج أن يزن كل موضعٍ آخر في المُدخَل عند حساب أي موضعٍ واحد، بدلاً من الاتكال على نافذةٍ ثابتة أو على الترتيب وحده. فكل موضعٍ يسأل عمّا يحتاج، وكل موضعٍ يعرض ما لديه، والمواءمة بينهما تحدد قدر إسهام كلٍّ منها. والانتباه الذاتي، حيث تنتبه السلسلة إلى نفسها، هو العملية التي بُني المحوِّل حولها، وسبب إمكان استعمال السياق استعمالاً غير موضعي.
تُظهر أوزان الانتباه أن النموذج اعتمد على الفقرة الأولى.
Also known as
- attention mechanism
- self-attention
- الانتباه
- آلية الأتينشن
Also seen as, but not recommended
- الانتباه الذاتي
- آلية الالتفات
Why this form: «الانتباه الذاتي» is self-attention specifically, a variety of attention, not a synonym for it.
First use
2014 · Introduced for translation by Bahdanau et al.; generalised by the 2017 transformer paper.
Source