نحن الآن في عام 2015، تحديدا في مكتب إيلون ماسك في مقر شركته “تسلا”، يجلس ماسك وصديقه سام ألتمان وبعض الأصدقاء من مليارديرات وادي السيليكون، متخوفين من هجوم الذكاء الاصطناعي الوشيك على البشرية، الأمر أصبح خطرا الآن، يجب أن نتحرك سريعا، نحن قادة التقنية في العالم، يجب أن نضع حلا لهذه المعضلة، فما الحل الذي فكر فيه إيلون ماسك والأصدقاء حينها؟

بسيطة، دعنا نؤسس منظمة غير ربحية تستهدف إتاحة أبحاث الذكاء الاصطناعي وتعلم الآلة للجميع، وتجعلها مفتوحة المصدر، حتى إن اسمها سيكون مبدعا للغاية “أوبن إيه آي (OpenAI)”، حسنا، هذا السيناريو تخيلي بالطبع، أو لم يحدث كما نحكيه، فهذا لزوم المقدمة الإبداعية كما تعرف، لكن تأسيس إيلون ماسك وسام ألتمان منظمة غير هادفة للربح تتيح أبحاث الذكاء الاصطناعي حدث فعلا!

والآن أنت بالتأكيد تعرف ما الذي يحدث في مجال الذكاء الاصطناعي، وبالطبع سمعت اسم الشركة الناشئة التي تقود هذا المجال حاليا، نعم، هي نفسها شركة “أوبن إيه آي” التي تحولت إلى شركة تسعى للربح، وتخفي كيفية تطور نماذج تعلم الآلة الجديدة الخاصة بها، وتعيش على استثمارات أحد أضخم العمالقة في عالم التقنية، وهي مايكروسوفت.

كل هذا ليس بجديد، لكن الجديد أن إيلون ماسك، وبعض الأصدقاء الآخرين، قرروا أن يعترضوا على هذا التطور السريع الذي يغزو مجال الذكاء الاصطناعي التوليدي، ويطالبوا شركة “أوبن إيه آي”، وغيرها من الشركات التي تعمل في المجال، بإبطاء هذا التطور لـ 6 أشهر، لأننا بوصفنا بشرية نتجه بخطى ثابتة نحو كارثة بسبب هذا الذكاء الاصطناعي الخارق!

خطاب مفتوح

يوم الأربعاء الماضي، 29 مارس/آذار، دعا إيلون ماسك، ومجموعة من باحثي وخبراء الذكاء الاصطناعي والرؤساء التنفيذيين لعدد من الشركات في المجال في خطاب مفتوح، إلى التوقف عن تطوير تدريب نماذج اللغة الكبيرة لمدة 6 أشهر، والهدف أن تلتقط البشرية أنفاسها من هذا السباق المحموم، ونتمكن من تقييم مخاطر تلك النماذج على الإنسانية والمجتمع، في محاولة للسيطرة عليها وفرض قوانين تحكمها.(1)

الخطاب الذي صدر عن مؤسسة “فيوتشر أوف لايف (Future of Life)”، وهي منظمة غير ربحية تهدف إلى حماية مستقبل البشرية من أخطار التكنولوجيا وتمولها مؤسسة “ماسك”، وقّع عليه أكثر من 2000 شخص حتى الآن، في مقدمتهم إيلون ماسك نفسه بالطبع، وستيف وزنياك المؤسس المشارك لشركة آبل، وعماد مصطفى الرئيس التنفيذي لشركة “ستابيليتي إيه آي (Stability AI)”، بالإضافة إلى عدد من الشخصيات المهمة في مجال الذكاء الاصطناعي، مثل “يوشوا بنجيو” عالم الحاسوب الكندي الذي يُعَد من أبرز علماء المجال المعاصرين، و”ستيوارت راسل” وهو عالم حاسوب ومهندس وأستاذ جامعي من المملكة المتحدة.

عندما أعلنت عن النموذج الجديد “GPT-4” مؤخرا لم تشارك أي تفاصيل حول كيفية تطويره، أو حتى حول البيانات التي تدرب عليها. (شترستوك)

يأتي هذا الخطاب بعد أقل من شهر تقريبا من إعلان شركة “أوبن إيه آي” عن نموذجها الجديد “جي بي تي 4 (GPT-4)”، ويشير إلى مدى قوة هذا النموذج الجديد، وإمكانية خروجه عن السيطرة وتأثيره السلبي على المجتمع والحضارة الإنسانية من وجهة نظر هؤلاء الموقعين، كما يشير إلى خطوة السباق الأخير الذي دخلته شركات غوغل ومايكروسوفت للسيطرة على هذا السوق، في محاولة لتطوير تقنيات ذكاء اصطناعي قوية للغاية، لدرجة أن الشركات المطورة نفسها “لا يمكنها أن تفهم أو تتنبأ بنتائجها أو حتى تتحكم بها بصورة موثوقة”، وحذر الموقعون من أن الشركات إذا لم تستجب للأمر فيجب أن تتدخل الحكومات، وتفرض قوانين تحظر تطوير هذه النماذج أكثر.

وقد أكد الخطاب أن هذه الدعوة لا تعني التوقف عن تطوير الذكاء الاصطناعي عموما، ولكنها تعني أخذ خطوة للخلف والتراجع عن السباق الخطر للوصول إلى نماذج الذكاء الاصطناعي الأكبر التي تُعرَف بـ”الصندوق الأسود” ولا يمكن التنبؤ بقدراتها وإمكاناتها، وربما هنا أساس المشكلة، أن تلك النماذج لا يمكن معها أن نعرف تحديدا كيف تعمل من الداخل، ولهذا يُطلَق عليها “الصندوق الأسود”.

الصندوق الأسود

تعتمد نماذج “الصندوق الأسود” على خوارزميات تستخدم كميات هائلة من البيانات لتتنبأ بالكلمة التالية في النص، ويُطلَق عليها هذا الاسم لأنه لا يمكن لأحد معرفة كيفية عملها تحديدا، حتى مطوروها أنفسهم لا يمكنهم شرح كيف تتنبأ تلك النماذج بهذه المعلومات، قد يمثل هذا الأمر مشكلة في المواقف التي يكون فيها هذا التنبؤ مؤثرا في قرار يخص حياة الناس، كما هو الحال في الرعاية الصحية، أو في اختيار الشخص المناسب للوظيفة، أو مَن يستحق الحصول على القروض والتمويل.

تختار الشركات، مثل “أوبن إيه آي”، نموذج “الصندوق الأسود”، لأنها تريد أن تخفي معلوماتها وتحافظ على نقاط قوتها في ظل التنافس المحموم في سوق بدأت تسيطر عليه الشركات الكبرى، مثل: مايكروسوفت، وغوغل. (شترستوك)

بينما في الجهة المقابلة تأتي النماذج القابلة للتفسير مع قدر أكبر من الشفافية، لأنها نماذج أبسط يمكن للبشر فهمها بسهولة، وتُظهِر كيف تجمع بين الأجزاء المختلفة من المعلومات لتتخذ القرار المناسب، هناك اعتقاد شائع بأن دقة تلك النماذج وقابلية التفسير هما أمران متعارضان، ما يعني أنه لا يمكنك الحصول إلا على واحد منهما، لكن في الحقيقة يمكن أن تكون النماذج الأبسط دقيقة تماما مثل النماذج الأكثر تعقيدا، بالإضافة لسهولة فهمها وتسويغ ما تنتجه.(2)

تختار الشركات، مثل “أوبن إيه آي”، نموذج “الصندوق الأسود”، لأنها تريد أن تخفي معلوماتها وتحافظ على نقاط قوتها في ظل هذا التنافس المحموم في سوق بدأت تسيطر عليه الشركات الكبرى، مثل: مايكروسوفت، وغوغل، وهذا ما يحاول خبراء المجال التحذير منه، لأننا حين نمنح الثقة الكاملة لنموذج الصندوق الأسود، فهذا لا يعني أن نثق فقط في معادلات هذا النموذج، ولكننا سنمنح الثقة أيضا لقاعدة البيانات بأكملها التي بُني عليها، وإن لم نعرف ما تلك البيانات فإن الأمر يظل خطرا، وسوف يؤثر بالتأكيد على النتائج التي نحصل عليها من هذا النموذج في النهاية.

لكن ماذا إذا عرفت أن إيلون ماسك نفسه كان سببا، ربما غير مباشر، في التحول الذي أصاب شركة “أوبن إيه آي”، وبالتالي تسبب في توجهها لإطلاق أدوات مثل “شات جي بي تي” للسوق، ومحاولة الكسب منها سريعا، مع إخفاء أبحاثها في المجال؟ حسنا، يبدو أن هذا جزء من الحقيقة.

محاولة السيطرة ثم الفشل

بحلول أوائل عام 2018، قرر ماسك أن يعرض تولي الإدارة المباشرة لشركة “أوبن إيه آي”، وهو ما قابله باقي المؤسسين بالرفض، وأشهرهم سام ألتمان الرئيس التنفيذي. (أسوشيتد برس)

كان “إيلون ماسك” أحد أفراد المجموعة الصغيرة التي أسست مختبر الذكاء الاصطناعي “أوبن إيه آي”، في عام 2015، مع سام ألتمان، وبيتر ثيل، وإيليا سوتسكيفر، وجريج بروكمان، وغيرهم من الأسماء الشهيرة في وادي السيليكون حينها، كان الهدف أن تكون مؤسسة غير ربحية، وتشارك أبحاث المجال وتجعلها مفتوحة المصدر حتى يستفيد منها المجتمع بأكمله، في مواجهة الشركات الكبرى التي تسعى للسيطرة على المجال وتحتكر المعلومات بشأنه مثل غوغل.(3)

ولكن بحلول أوائل عام 2018، وفق تقرير جديد لمنصة “سيمافور (Semafor)”، رأى إيلون ماسك أن الشركة تتخلف في السباق عن غوغل، وقرر كعادته أن يعرض تولي الإدارة المباشرة للشركة بنفسه، وهو ما قابله باقي المؤسسين بالرفض، وأشهرهم سام ألتمان الرئيس التنفيذي للشركة، وجريج بروكمان رئيسها الحالي.(4)

حينها قرر إيلون ماسك إعلان انسحابه من الشركة، واستقال من مجلس إدارتها في العام نفسه، والسبب الذي ذكره حينها هو تضارب المصالح مع عمله في شركة تسلا، لأنها تملك مختبرات تطوير ذكاء اصطناعي خاصة بها للسيارات ذاتية القيادة، ما يشير إليه التقرير أن ماسك كان قد وعد بتمويل “أوبن إيه آي” بنحو مليار دولار، لكن عند انسحابه لم يقدم هذا التمويل، وأسهم بمبلغ 100 مليون دولار فقط.

مايكروسوفت أول شركة ضخمة تستثمر في “أوبن إيه آي”، حيث وفرت مليارات الدولارات لتمويل أبحاث الشركة. (الأناضول)

هذه الانسحاب المفاجئ لماسك أوقع شركة “أوبن إيه آي” في معضلة، حيث كانت الشركة قد بدأت حينها في تطوير نماذج الذكاء الاصطناعي التوليدي، مثل: مولد الصور “دالي (DALL-E)”، وسلسلة نماذج “جي بي تي (GPT)” لتوليد النصوص، وهو ما يحتاج إلى أموال ضخمة بالطبع، لذا بحلول عام 2019 أعلنت الشركة تأسيس كيان جديد هادف للربح لتتمكن من تمويل أبحاثها في المجال، كانت أول شركة ضخمة تستثمر فيها هي مايكروسوفت، التي وفرت مليارات الدولارات لتمويل أبحاث “أوبن إيه آي”، بجانب توفير منصتها السحابية “آزور (Azure)”، والكثير من الموارد الأخرى، والمقابل أن تضمن ترخيصا حصريا لاستخدام تقنيات “أوبن إيه آي” في منتجاتها مستقبلا.

ربما لا يكون فقدان أموال التمويل من إيلون ماسك هو السبب الوحيد أو حتى الرئيس الذي دفع بشركة “أوبن إيه آي” إلى التحول إلى النموذج الربحي والارتماء في أحضان مايكروسوفت، لكنه يظل أفضل تفسير لما حدث، والمهم أن هذا التوجه السريع نحو الربحية، وتغير المبادئ التي أُسست عليها الشركة، مثَّل لحظة فارقة للمجال بأكمله، وربما للعالم، لأن هذه هي المشكلة الحالية، الشركة أصبحت متعطشة للغاية لإطلاق منتجات جديدة وبأسرع وقت ممكن، وهو ما يرى الكثيرون أنه قد يسبب عواقب وخيمة في المستقبل القريب، كما جاء في الخطاب المفتوح من مؤسسة “فيوتشر أوف لايف”.

تغير في التوجه

(شترستوك)

توجُّه شركة “أوبن إيه آي” نحو مايكروسوفت غيَّر من كيفية مشاركتها لأبحاثها فعلا، فعندما أعلنت عن النموذج الجديد “GPT-4” مؤخرا لم تشارك أي تفاصيل حول كيفية تطويره، أو حتى حول البيانات التي تدرب عليها، وفي مقابلة مع موقع “The Verge” أوضح إيليا سوتسكيفر، رئيس الباحثين في الشركة، أن هذا كان للحفاظ على الميزة التنافسية للشركة في السوق، وعندما سُئل عن تغيُّر توجُّه الشركة وعدم اتباعها للنموذج مفتوح المصدر أكد أنهم كانوا “مخطئين” سابقا بمشاركة ما لديهم من أبحاث، وأن تلك الأبحاث في مجال الذكاء الاصطناعي لا يجب أن تكون مفتوحة المصدر.(5)

بالمثل عندما شارك جريج بروكمان، رئيس الشركة، في حوار صحفي مع موقع “TechCrunch”، فإنه أكد (5) فكرة تدريب النموذج الجديد على الصور بجانب النصوص، لكن عندما سُئل عن تفاصيل هذه الصور والنصوص رفض “جريج” مناقشتها أو التحدث عن مصدر أي بيانات خاصة بتدريب نموذج “GPT-4″، وهو ما دفع العديد من خبراء المجال للإشارة إلى أن إغلاق الوصول إلى نماذج الذكاء الاصطناعي التي تطورها الشركة يجعل من الصعب على المجتمع فهم التهديدات المحتملة التي تشكلها هذه الأنظمة، ويركز القوة في أيدي الشركات العملاقة.

“إيلون ماسك” نفسه هاجم هذا التغيير في مسار شركة “أوبن إيه آي” عدة مرات، وكتب في تغريدة على حسابه بمنصة تويتر أن شركة “أوبن إيه آي” أصبحت “شركة مغلقة المصدر وتهدف لأقصى ربح وتسيطر عليها مايكروسوفت”، مؤكدا أن هذا لم يكن في نيته مطلقا، لكن هل يدفعنا للتساؤل حول دوافع “ماسك” لطلب التوقف عن تطوير الذكاء الاصطناعي؟ هل يخشى فعلا على المجتمع والبشرية من هذا الخطر؟ أم ما يخشاه حقا أنه لن يكون هو قائد تلك المسيرة الجديدة في عالم التقنية وأنه سيخسر صورة البطل التي تعوَّد أن يظهر بها دائما؟

ذكاء إيلون ماسك

دائما ما يذكر إيلون ماسك أنه يخشى من تفوق الذكاء الاصطناعي على البشر يوما ما، الأمر الذي قد يعرِّضنا جميعا للخطر، مؤكدا في لقاء مع “CNBC”، عام 2014، أن الذكاء الاصطناعي هو أكبر تهديد للحضارة الإنسانية، حتى إنه تنبأ بنتائج مخيفة (7) على شاكلة ما حدث في سلسلة الأفلام الشهيرة “The Terminator”، ولكن في الوقت نفسه يؤكد ماسك أنه إذا صنعت شركته “تسلا” روبوتا خاصا بها فإن بإمكانها أن تضمن أن هذا الروبوت سيكون آمنا ولن ينقلب على البشر!

وفي عام 2017 أشار ماسك من جديد إلى الفيلم نفسه، مستشهدا بتقنيات شركته الأخرى “نيورالينك” (Neuralink)، التي تهدف إلى تطوير أجهزة داخل الدماغ البشري ليتمكن من التفاعل مع الآلات، بوصفها وسيلة دفاعية ضد تهديدات الذكاء الاصطناعي مثل شبكة “سكاي نت (Skynet)”، وهي اسم الذكاء الاصطناعي الذي دمر البشر في فيلم “The Terminator”، وهو ما يُظهِر قدرة ماسك على التوظيف المزدوج للتطور نفسه (الذكاء الاصطناعي)، بل وللحجة نفسها (فيلم The Terminator) لخدمة أغراضه.

ربما كان هذا هو هدفه وراء تمويل وتأسيس مختبرات “أوبن إيه آي” عام 2015، أن يسيطر هو بنفسه على أبحاث هذا المجال الواسع المعقد للغاية، المفاجأة أن ماسك تواصل بنفسه مع مجموعة من باحثي الذكاء الاصطناعي في الأسابيع الأخيرة حول تأسيس مختبر أبحاث جديد لتطوير روبوت محادثة منافس لروبوت “شات جي بي تي”، وفقا لتقرير جديد من منصة “The Information”، لكن يظل المشروع في مراحله الأولى ومن دون خطة واضحة للمنتجات التي سيقدمها هذا المختبر الجديد حال نجح في تأسيسه.(8)

يريد إيلون ماسك إذن، على الأرجح، إبطاء وتيرة التطور في هذا المجال، من أجل إعطاء نفسه فرصة للحاق بالركب وممارسة السيطرة كما اعتاد دائما، هو يريد أن يقود المجال وأن يلعب دورا رائدا في تقديم تقنيات الذكاء الاصطناعي، ويحتفظ في الوقت نفسه بدور البطولة والمنقذ للبشرية من الخطر الذي تشكله هذه التقنيات، لكن ذلك لا يمنعنا من التساؤل: هل المخاوف التي يروجها ماسك تجاه الذكاء الاصطناعي حقيقة حقا؟

 

مخاطر واقعية

حسنا، الأمر لا يخلو من مخاطر فعلا، وهي تستحق الانتباه بكل تأكيد، ولكن بدلا من الانتباه إلى مخاوف خارجة من أفلام الخيال العلمي، مثل: سيطرة الذكاء الاصطناعي على العالم وإبادتنا، علينا أن نحول انتباهنا إلى التحديات الحقيقية الوشيكة، مثل: مشكلات الخصوصية، والأمن الإلكتروني، وزيادة عمليات النصب، وتغير الوضع الاقتصادي، والاستغناء عن بعض الوظائف التي ستتأثر بهذه التقنيات الجديدة.

فيما يخص الأمن الإلكتروني، مثلا، يستخدم المخترقون “الهاكرز” الآن تقنيات متطورة أكثر، بالاعتماد على الذكاء الاصطناعي وتعلم الآلة والأتمتة، على مدى السنوات القليلة الماضية زاد الاعتماد على تلك التقنيات عبر استخدام برامج الروبوتات وأدوات أتمتة في نشر البرمجيات الخبيثة، إذ إن توافرها وسهولة استخدامها قلل حاجز المهارة المطلوب للدخول إلى عالم الجريمة الإلكتروني، ناهيك بأن توافر أدوات مثل روبوت المحادثة الجديد “شات جي بي تي” سيسهل الأمور أكثر وأكثر.

المخترقون استخدموا روبوت المحادثة “شات جي بي تي لتطوير نسخة من الكود الخاص ببرمجية خبيثة من عام 2019، والتي تُعرَف باسم “InfoStealer”. (شترستوك)

حسنا، هذا ليس مجرد توقع، ولكنه حدث بالفعل بعدما وجد المخترقون طريقة لتجاوز القيود البرمجية المفروضة على روبوت “شات جي بي تي” ليتمكنوا، بالاعتماد على الذكاء الاصطناعي، من تطوير وتحسين أكواد البرمجيات الخبيثة أو رسائل البريد الإلكتروني الاحتيالية، إذ اكتشفت شركة “CheckPoint” للأمن السيبراني أن المخترقين استخدموا الروبوت الجديد (9) لتطوير نسخة من الكود الخاص ببرمجية خبيثة من عام 2019، والتي تُعرَف باسم “InfoStealer”.

كما يرى بعض الخبراء أن روبوتات المحادثة الجديدة ستساعد المخترقين في كتابة رسائل بريد إلكتروني احتيالية أكثر احترافية، عبر تجنب الأخطاء اللغوية والإملائية، وهي الأخطاء التي تجعل من السهل اكتشاف تلك الرسائل الاحتيالية، يأتي هذا وسط تحذيرات الشرطة الأوروبية “اليوروبول” من مخاطر استخدام روبوت المحادثة “شات جي بي تي”، وغيره من نماذج الذكاء الاصطناعي، وكيف يمكن استغلالها في نشر المعلومات الكاذبة والمضللة، وفي الجرائم الإلكترونية، وفي عمليات الاحتيال المعتمدة على الهندسة الاجتماعية.(10)

مجددا، نحن لا نتوقع هذا، فقد أشارت صحيفة واشنطن بوست إلى استخدام المحتالين نماذج الذكاء الاصطناعي، المصممة لمحاكاة صوت الإنسان، في تقليد أصوات الأقارب والأصدقاء لعدد من الأشخاص، وطلب المساعدة منهم، ومن ثَم الاحتيال عليهم وسرقة آلاف الدولارات، (11) تتطلب بعض برمجيات توليد الصوت بالذكاء الاصطناعي بضع جمل فقط بصوت الشخص لتتمكن من إنتاج حوار مقنع ينقل الصوت وحتى النبرة العاطفية التي تميز طريقة المتحدث، بينما تحتاج بعض النماذج الأخرى إلى ثلاث ثوانٍ فقط من صوت المتحدث، بالنسبة للضحايا المستهدفين، وهم غالبا من كبار السن، يصعب اكتشاف ما إذا كان الصوت حقيقيا أو صناعيا، حتى عندما يبدو الظرف الطارئ الذي يصفه المحتال بعيدا عن المنطق القابل للتصديق.

أما بالنسبة للجانب الاقتصادي فإن روبوتات المحادثة الجديدة، مثلها مثل أي تكنولوجيا ناشئة، سيكون لها تأثيرها على سوق العمل، وستغير من الأوضاع الحالية، كما يشير تقرير من بنك الاستثمار الأشهر “جولدمان ساكس (Goldman Sachs)”، إذا استمرت التقنيات المرتبطة بالذكاء الاصطناعي في التطور فستؤدي إلى “اضطراب كبير” في سوق العمل، ما يعرِّض نحو 300 مليون وظيفة بدوام كامل عبر الاقتصادات الكبيرة للخطر، وهذه المرة تشمل وظائف مثل المحاماة والوظائف الإدارية، وليس مجرد العمالة منخفضة المهارة، ويقدِّر التقرير أن ما يقرب من ثلثَي الوظائف في الولايات المتحدة وأوروبا معرضة لدرجة ما من أتمتة الذكاء الاصطناعي، وفقا لبيانات المهام المعتادة في آلاف المهن.(12)

في النهاية، فإن أنظمة الذكاء الاصطناعي المتطورة والخارقة التي نشهدها اليوم هي نتاج عقود من التطور الثابت في أبحاث المجال وتطبيقاته بالحد الذي مكننا من تدريب الشبكات العصبية وتغذيتها بكميات هائلة من البيانات المتاحة حاليا، ومثل أي تقنية جديدة، تأتي معها تحدياتها ومشكلاتها ومخاوفها، وبالتأكيد ستُحدِث تغييرا كبيرا في المجتمعات وفي الاقتصاد وفي كل شيء في حياتنا، تماما مثلما فعلت تقنيات أخرى سبقتها، سواء كانت أجهزة الحاسوب أو الإنترنت أو الهواتف الذكية أو شبكات التواصل الاجتماعي، لهذا علينا أن نستعد للمستقبل، ونحاول أن نتأقلم كما فعلنا دائما عندما غزت حياتنا كل تلك التقنيات السابقة.

____________________________________________

المصادر:

  1. Pause Giant AI Experiments: An Open Letter
  2. Why Are We Using Black Box Models in AI When We Don’t Need To?
  3. Introducing OpenAI
  4. The secret history of Elon Musk, Sam Altman, and OpenAI
  5. OpenAI co-founder on company’s past approach to openly sharing research: ‘We were wrong’
  6. Interview with OpenAI’s Greg Brockman: GPT-4 isn’t perfect, but neither are you
  7. SpaceX CEO Elon Musk Speaks with CNBC’s “Closing Bell”
  8. Fighting ‘Woke AI,’ Musk Recruits Team to Develop OpenAI Rival
  9. 10.5 تريليونات دولار خسائر سنوية متوقعة.. لماذا يتوقع الخبراء كارثة أمنية إلكترونية خلال عامين؟
  10. The criminal use of ChatGPT – a cautionary tale about large language models
  11. They thought loved ones were calling for help. It was an AI scam
  12.  Generative AI set to affect 300mn jobs across major economies


المصدر: وكالات

Share.

محرره صحفية من ريف حلب سوريا خريجة اعلام من جامعة دمشق 2016

Leave A Reply