اسم الباحث:

م. ناديا قسيس

اسم المشرف:

أ.د. رانيا لطفي – د. إيفا حريقص

العنوان:

التعرف على لغة الإشارة لمساعدة الصم والبكم

باستخدام التعلم العميق

العنوان باللغة الإنكليزية:

العام:

القسم:هندسة البرمجيات ونظم المعلومات

الملخص:

تُعتبر لغة الإشارة الطريقة الأكثر تعبيراً وفاعليةً لتمكين ضعاف السمع من الانغماس في الأنشطة الاجتماعية وتحسين قدرات التواصل الاجتماعي لديهم، إلا أن أنظمة التعرف على لغة الإشارة لاسيما لغة الإشارة العربية تواجه عدة تحديات تجعل دقة التعرف الخاصة بها غير جيدة.

يهدف هذا البحث إلى تطوير نظام للتعرف على لغة الإشارة العربية باستخدام تقنيات التعلم العميق، وعلى وجه التحديد بنية الشبكات العصبية التلافيفية CNN. يعمل النظام على سد فجوة التواصل للأشخاص ضعاف السمع مع محيطهم من خلال ترجمة إيماءات لغة الإشارة العربية تلقائياً إلى نص مكتوب، حيث تم اختبار أداء أربعة بنى معمارية من نماذج CNN وهي: نموذج CNN مخصص، VGG-16، MobileNet V1، MobileNet V2 على مجموعتي بيانات للغة الإشارة العربية إحداهما تم بناؤها يدوياً ومعترف بها من قبل جمعية رعاية الصم والبكم في مدينة حمص. أظهرت النتائج أن نموذج MobileNet V2 حقق أعلى دقة بلغت 96% على مجموعة البيانات المبنية، مع إمكانية تضمين هذا النموذج ضمن تطبيق على منصات الويب والأجهزة المحمولة لترجمة لغة الإشارة العربية لنص في الوقت الحقيقي.

الكلمات المفتاحيّة: التعرف على لغة الإشارة العربية، التعلم العميق، التعلم بالنقل، الشبكات العصبية التلافيفية (CNNs) .

 

تحميل البحث