English
The body of work on getting machines to process Arabic, which is harder than English for structural reasons: rich morphology, absent short vowels, and a standard written form that differs from every spoken variety.
Arabic is not simply another language to add to a model; it breaks several assumptions that English-first systems are built on. Words carry prefixes, suffixes and infixes that English expresses with separate words, so tokenizers cut Arabic into more pieces for the same meaning. Short vowels are absent from ordinary text. And Modern Standard Arabic, which dominates written corpora, is nobody's mother tongue, and the varieties people actually speak are under-represented in exactly the data models learn from. Each of these is a measurable performance gap, not a matter of polish.
Arabic NLP benchmarks lag English ones by several years.
العربية
مجموع العمل على جعل الآلات تعالج العربية، وهو أصعب من الإنجليزية لأسبابٍ بنيوية: صرفٌ غني، وحركاتٌ قصيرة محذوفة، وصيغةٌ كتابيةٌ معيارية تختلف عن كل صيغةٍ منطوقة.
ليست العربية مجرد لغةٍ أخرى تُضاف إلى النموذج، بل هي تكسر عدة افتراضاتٍ بُنيت عليها الأنظمة الإنجليزية أولاً. فالكلمات تحمل سوابق ولواحق وزوائد داخلية تعبّر عنها الإنجليزية بكلماتٍ مستقلة، فتقطّع المُقطِّعات العربيةَ إلى قطعٍ أكثر للمعنى نفسه. والحركات القصيرة غائبة عن النص العادي. والعربية الفصحى المعاصرة التي تهيمن على المدونات المكتوبة ليست لغةً أمّاً لأحد، أما اللهجات التي يتكلمها الناس فعلاً فأقلُّ تمثيلاً في البيانات ذاتها التي تتعلم منها النماذج. وكلٌّ من هذه فجوةُ أداءٍ قابلةٌ للقياس لا مسألةَ صقل.
تتأخر الاختبارات المعيارية لمعالجة اللغة العربية عن نظيرتها الإنجليزية بسنوات.
يُعرف أيضاً بـ
- Arabic natural language processing
- معالجة اللغات الطبيعية العربية
- المعالجة الآلية للعربية