اسم الباحث:

المهندسة لارا محسن علي

اسم المشرف:

الدكتور المهندس ماهر عباس –   الدكتور المهندس محسن عبود

العنوان:

جدولة المهام في إنترنت المركبات باستخدام التعلم المعزز العميق

العنوان باللغة الإنكليزية:

Task Scheduling in Internet of Vehicle Using Deep Reinforcement Learning

العام:2024

القسم:هندسة النظم والشبكات الحاسوبية

الملخص:

أدى تطور إنترنت الأشياء وتقنيات الاتصال إلى تطور شبكات VANET (Vehicular Ad-Hoc Network) إلى إنترنت المركبات IoV (Internet of Vehicles)، حيث تزايدت أعداد المركبات بشكل كبير، وأصبحت مزودة بأنظمة ذكية بالإضافة للعديد من التطبيقات التي تهدف لمساعدة السائق، وجعل الرحلة أكثر راحةً وأمناً مثل تطبيقات السلامة، وكشف الازدحام وتخطيط المسارات والقيادة الذاتية، ولكن أغلب هذه التطبيقات هي تطبيقات زمن حقيقي أو تحتاج لموارد حساب وتخزين كبيرة وقد لا تستطيع موارد المركبة نفسها تلبية تلك المتطلبات، لذلك اقترح الباحثون تفريغ مهام المركبات إلى مخدمات أخرى تستطيع تلبية متطلبات المهام وإنجازها من دون تأخير، بدايةً تم التفريغ إلى مخدمات السحابة ولكن بسبب المسافة البعيدة بين المركبات والمخدمات أدى ذلك لتأخير إرسال كبير، لذلك تم اقتراح التفريغ إلى مخدمات الحافة أو المركبات المجاورة لأنها أقرب للمركبات. تم اقتراح العديد من الخوارزميات والطرائق لحل مشكلة التفريغ في بيئة المركبات ولكن الطبيعة الديناميكية للمركبات والموارد غير المستقرة يزيد من تعقيد المشكلة، لذلك تعرض هذه الأطروحة أولاً شرحاً عن إنترنت المركبات والمفاهيم التي تخص تفريغ المهام وبنى الحوسبة التي تم اقتراحها، وهي سحب المركبات وحوسبة الضباب للمركبات وحوسبة الحافة للمركبات، ثم يقترح حل مشكلة تفريغ مهام المركبات باستخدام التعلم المعزز العميق الذي يدمج بين التعلم العميق والتعلم المعزز ومناسب جداً لاتخاذ القرار في البيئات المعقدة والديناميكية ولا يحتاج لبيانات تدريب حيث إنّه تعليم ذاتي. تمت دراسة المهام المرتبطة لأنها تمثل مهام العالم الحقيقي وتمت جدولتها للتنفيذ حسب الأولوية حيث تم اعتبار أن الزمن المتبقي للوصول لـ deadline هو أولوية المهمة، وتم اقتراح تحسين على سياسات الاستكشاف في خوارزميات التعلم المعزز العميق من خلال الاستفادة من تابع التعلم state value function الذي أدى لتسريع عملية التدريب. تمت صياغة مشكلة تفريغ المهام كـ MDP (Markov Decision Process) بهدف تخفيض تأخير تنفيذ المهام وتم حلها باستخدام خوارزمية D3QN (Double Dueling Deep Q Network)، ثم تمت المقارنة مع خوارزميةVAO (Vehicular Adaptive Offloading) وهي خوارزمية إرشادية لتفريغ مهام المركبات للمركبات المجاورة، بينت النتائج تفوق D3QN حيث خفضت التأخير بنسبة 10% ووازنت الحمل بنسبة 13% أفضل من VAO بالإضافة لعدم وجود أي فشل في تنفيذ المهام، ويعود ذلك لآلية التفريغ والجدولة المقدمة.

الكلمات المفتاحية: إنترنت المركبات، التفريغ الحسابي، التعلم المعزز العميق، تفريغ المهام، بنى الحوسبة

تحميل البحث