English
The first and by far most expensive training stage, where a model learns general structure from a very large unlabelled corpus before any task-specific adaptation.
Pretraining is where nearly all of a model's knowledge and most of its cost live, months of compute, and the reason only a handful of organisations produce frontier models. Everything afterwards, fine-tuning and RLHF included, is comparatively cheap adjustment of a capability that already exists. The training data cut-off is a pretraining property, which is why a model cannot simply be told about recent events.
Pretraining consumed 40 days on 8,000 GPUs.
العربية
المرحلة التدريبية الأولى وأعلاها كلفةً بفارقٍ كبير، ويتعلم فيها النموذج البنية العامة من مدونةٍ ضخمة غير مُسمّاة قبل أي تكييفٍ لمهمةٍ بعينها.
في التدريب المسبق تسكن معرفة النموذج كلها تقريباً ومعظم كلفته، أشهرٌ من الحوسبة، وسببُ اقتصار إنتاج النماذج المتقدمة على حفنةٍ من المؤسسات. وكل ما يليه، ومنه الضبط الدقيق والتعلم بالتعزيز من تغذيةٍ راجعة بشرية، تعديلٌ رخيصٌ نسبياً لقدرةٍ موجودةٍ أصلاً. وتاريخ انتهاء بيانات التدريب خاصيةٌ من خصائص التدريب المسبق، ولهذا لا يكفي أن يُخبَر النموذج بالأحداث الحديثة.
استهلك التدريب المسبق أربعين يوماً على ثمانية آلاف وحدة معالجةٍ رسومية.
يُعرف أيضاً بـ
- base training
- التدريب الأساسي
- التدريب الأولي