English
The optimisation method behind almost all training: measure which way the error decreases, take a small step that way, repeat.
The step size is the learning rate, and it is the single most consequential knob in training: too large and the process diverges, too small and it never arrives. In practice the gradient is estimated from a small batch rather than the whole dataset, which makes the path noisy, and that noise turns out to help, letting the process escape poor solutions it would otherwise settle into.
Training used gradient descent with a warmup schedule.
العربية
طريقة التحسين وراء التدريب كله تقريباً: قِس الاتجاه الذي يقل فيه الخطأ، وخُطُ خطوةً صغيرة نحوه، ثم أعِد الكرّة.
حجم الخطوة هو معدل التعلم، وهو أشد مقابض التدريب أثراً: فإن كبر تباعدت العملية، وإن صغر لم تصل أبداً. وعملياً يُقدَّر التدرّج من دفعةٍ صغيرة لا من مجموعة البيانات كلها، وهو ما يجعل المسار مشوَّشاً، وقد تبيّن أن هذا التشويش نافع، إذ يتيح للعملية الإفلات من حلولٍ رديئة كانت لتستقر عندها.
استعمل التدريب الانحدار التدرّجي بجدول إحماء.
Also known as
- stochastic gradient descent
- SGD
- النزول التدريجي
- الانحدار العشوائي