لماذا تستهلك نماذج الذكاء الاصطناعي الكثير من الطاقة؟

طردت Google مؤخرًا باحثة رائدة في مجال أخلاقيات الذكاء الاصطناعي (AI) بعد أن أعربت عن إحباطها من الشركة لجعلها تسحب مقالة بحثية من نتائج محرك بحث Google. أشارت المقالة إلى مخاطر استخدام الذكاء الاصطناعي لمعالجة اللغة ، وهو بالتحديد النوع المستخدم في بحث Google ومنتجات تحليل النصوص الأخرى.

من بين المخاطر التي تم الاستشهاد بها هي المخاطر الكبيرة "أثار الكربون" عند تطوير هذا النوع من تقنيات الذكاء الاصطناعي. حسب بعض التقديرات ، فإن تدريب نموذج ذكاء اصطناعي يولد العديد من انبعاثات الكربون بقدر ما يتطلبه بناء وقيادة خمس سيارات على مدار حياتها.

مع تزايد استخدام الذكاء الاصطناعي كأداة حسابية في محيطنا التكنولوجي ، من الضروري أن نسأل أنفسنا: لماذا أصبحت نماذج الذكاء الاصطناعي متعطشة للطاقة؟ كيف تختلف عن حوسبة مركز البيانات التقليدية؟

تدريب الذكاء الاصطناعي الحالي غير فعال

وظائف معالجة البيانات التقليدية التي تتم في مراكز البيانات (المعروفة باسم مراكز البيانات) تضمن متدفق الفيديو والبريد الإلكتروني ووسائل التواصل الاجتماعي. يعد الذكاء الاصطناعي أكثر كثافة من الناحية الحسابية لأنه يحتاج إلى قراءة الكثير من البيانات حتى يتعلم فهمها ، أي أن يتم تدريبه.

مثل هذا التدريب غير فعال مقارنة بالطريقة التي يتعلم بها الناس بالفعل. يستخدم الذكاء الاصطناعي الحديث الشبكات العصبية الاصطناعية ، أي الحسابات الرياضية التي تحاكي سلوك الخلايا العصبية في الدماغ البشري. قوة اتصال كل خلية عصبية بجارتها هي معلمة شبكة تسمى الوزن. لذا ، لتعلم فهم اللغة ، تبدأ الشبكة بأوزان عشوائية وتقوم بضبطها حتى توافق المخرجات مع الإجابة الصحيحة.

تمثل الصورة عملية شبكة عصبية اصطناعية بسيطة. تتلقى الشبكة مدخلين: صورة كلب وقطة ستكون المدخلات ("الإدخال"). يعرف النموذج مقدمًا أن الاستجابة المتوقعة هي أن الصورة المختارة هي صورة الكلب. لذلك ، كل سهم يخرج من الإدخال له وزن احتمالي مختلف ، والذي يستخدم بعد ذلك مع الإدخال لتغذية إحدى الخلايا العصبية في الطبقة الأولى ("مختفي"). بعد ذلك ، يكون لكل خلية عصبية دالة تكلفة رياضية محددة يتم حسابها على الخلايا العصبية الناتجة ("انتاج"). سيكون الناتج المحدد هو الخلية العصبية التي تقدم أعلى احتمال.

من الطرق الشائعة لتدريب شبكة لغوية ، على سبيل المثال ، تزويدها بالكثير من النصوص من مواقع مثل ويكيبيديا ومنافذ الأخبار مع بعض الكلمات المخفية ويطلب منك تخمين تلك الكلمات.

مثال على ذلك "قطتي لطيفة" ، مع إخفاء كلمة "لطيف". في البداية ، سيفتقد النموذج كل كلمة "التخمينات" ، ولكن بعد عدة جولات من الضبط ، تبدأ أوزان الاتصال في التغيير والتقاط الأنماط في البيانات. بهذه الطريقة ، تصبح الشبكة دقيقة في النهاية. إنها ممارسة أنيقة لتقنية المحاولة و الخطأ.

للحصول على فكرة عن حجم ملف قواعد البيانات (مجموعة بيانات التدريب) المستخدمة من قبل الذكاء الاصطناعي، وهو نموذج حديث تم تطويره بواسطة Google ويسمى تمثيلات التشفير ثنائية الاتجاه من المحولات (بيرت, "تمثيلات المشفر ثنائي الاتجاه للمحولات"، تكريما للشخصية التي تحمل اسم البرنامج الدمى) استخدمت 3,3 مليار كلمة من الكتب الإنجليزية ومقالات ويكيبيديا.

علاوة على ذلك ، أثناء التدريب ، قرأ BERT مجموعة البيانات هذه ليس مرة واحدة فقط ، ولكن 40 مرة. لسوء الحظ ، يعد إجراء جولات متعددة من التدريب خطوة أساسية في عملية التعلم للذكاء الاصطناعي لأنه ، كما يقول المثل ، "الممارسة تؤدي إلى الكمال". في حالة الذكاء الاصطناعي ، كلما زاد عدد الجولات التي يتم تشغيلها ، أصبح الذكاء الاصطناعي أكثر دقة.

ومع ذلك ، عندما نقارن هذه الطريقة بطريقة التعلم المستخدمة للبشر ، يمكن للطفل الذي يتعلم التحدث أن يسمع 45 مليون كلمة في سن الخامسة ، أي أقل بثلاثة آلاف مرة من BERT بمنهجيته التدريبية.

بحثا عن البنية العصبية الصحيحة

على وجه التحديد لأن عملية التدريب تتم في عدة جولات أثناء تطوير أنظمة الذكاء الاصطناعي هذه ، تصبح النماذج اللغوية غالي جدا لبناء. هذا على وجه التحديد لأن الباحثين يريدون العثور على أفضل بنية للشبكة ، أي عدد الخلايا العصبية ، وعدد الاتصالات بين الخلايا العصبية ، والسرعة التي يجب أن تتغير بها المعلمات أثناء التعلم وما إلى ذلك.

كلما زاد عدد التركيبات المختلفة التي تمت تجربتها أثناء تدريب الذكاء الاصطناعي ، زادت فرص تحقيق درجة عالية من الدقة. إنها عملية مختلفة تمامًا عن تلك التي تحدث مع العقول البشرية ، على سبيل المثال ، لأن عقولنا لا تحتاج إلى إيجاد بنية مثالية لفهم العالم من حولنا ، حيث أن قرونًا من التطور قد قدمت لنا بالفعل بنية مسبقة الصنع.

بينما تتنافس الشركات والأكاديميون في مجال الذكاء الاصطناعي ، هناك ضغط لتحسين "حالة الفن" - وهو مصطلح يشير إلى أعلى مستوى من المعرفة في مجال معين تم تحقيقه حتى الآن. حتى تحقيق تحسن بنسبة 1٪ في الدقة في المهام الصعبة مثل الترجمة الآلية يعتبر إنجازًا مهمًا ويؤدي إلى دعاية جيدة ومنتجات أفضل. ومع ذلك ، للحصول على هذا التحسين الصغير ، يحتاج الباحث إلى تدريب النموذج آلاف المرات ، في كل مرة بهيكل مختلف ، حتى يتم العثور على أفضل نموذج.

باحثين من جامعة ماساتشوستس امهيرست تقدير تكلفة الطاقة لتطوير نماذج الذكاء الاصطناعي لمعالجة اللغة عن طريق قياس استهلاك الطاقة لـ خردوات شائعة الاستخدام أثناء التدريب. وجدوا أن تدريب BERT ، على سبيل المثال ، كان ذات مرة ذات تكلفة طاقة مماثلة لراكب يقوم برحلة ذهابًا وإيابًا بين نيويورك وسان فرانسيسكو.

ومع ذلك ، عند البحث باستخدام أطر عمل مختلفة - أي تدريب الخوارزمية عدة مرات باستخدام نفس مجموعة مجموعات البيانات ولكن مع وجود أعداد مختلفة قليلاً من الخلايا العصبية والوصلات والمعلمات الأخرى - أصبحت التكلفة تعادل 315 راكبًا ، أو طائرة 747 كاملة!

أنظمة الذكاء الاصطناعي الأكبر والأكثر سخونة

مشكلة كبيرة أخرى في نماذج الذكاء الاصطناعي الحالية هي أنها أكبر بكثير مما يجب أن تكون عليه ، والأسوأ من ذلك أنها تنمو كل عام. نموذج لغة أحدث يشبه BERT يسمى GPT-2، لديها 1,5 مليار وزن أو معلمة في شبكتها. من ناحية أخرى ، فإن GPT-3التي تتمتع بدرجة عالية من الدقة 175 مليار بيزو!

من الطبيعي أن تؤدي الشبكات الكبيرة إلى دقة أفضل. إن القياس الجيد لفهم سبب عدم استخدام البنية الكاملة لنموذج الذكاء الاصطناعي بشكل فعال في التنبؤ بالنتائج هو ما يحدث في الدماغ البشري نفسه ، حيث لا يتم استخدام جميع أجزاء الدماغ لفهم النص ، على سبيل المثال. الفرق هو أن الدماغ البيولوجي أكثر كفاءة في استخدام الطاقة من أجهزة الكمبيوتر.

من الضروري اعتبار أن نماذج الذكاء الاصطناعي يتم تدريبها عليها خردوات مثل وحدات معالجة الرسومات الكبيرة ، والتي تستهلك طاقة أكثر من وحدات المعالجة المركزية التقليدية. نظرًا لأن بطاقات الرسومات أصبحت أكثر قوة وقوة عند مقارنتها بالمعالجات المستخدمة عادةً في أجهزة الكمبيوتر ، فمن المنطقي أن يتم تنفيذ هذه الخوارزميات باهظة الثمن في مكونات مناسبة لدعم كل الطلب على الحسابات والمعالجة وإنفاق الطاقة.

إذا كان لديك جهاز كمبيوتر أو كمبيوتر محمول للألعاب ، فمن المحتمل أن يكون مزودًا ببطاقة رسومات NVIDIA (في معظم الحالات) بتقنية RTX. ولا يقتصر الأمر على الباحثين والمتخصصين في الكمبيوتر الذين يمكنهم الاستفادة من قوة معالجة بطاقات الرسومات هذه لتدريب نماذج الذكاء الاصطناعي الخاصة بهم ، ولكن الألعاب التي تستخدم تقنية DLSS تستفيد أيضًا من القوة الحسابية لهذه المكونات.

ومع ذلك ، لا تزال مشكلة الاستهلاك العالي للطاقة قائمة ، حيث يولد الكمبيوتر الشخصي أو الكمبيوتر المحمول الذي يحتوي على هذا النوع من بطاقات الرسومات حرارة أكثر بكثير من الأجهزة العادية عند استخدام بطاقة الرسومات لتشغيل نماذج الذكاء الاصطناعي.

كل هذا يعني أن تطوير نماذج الذكاء الاصطناعي المتقدمة يضيف تكلفة طاقة كبيرة ، وبالتالي ينتج عنه تأثير بيئي كبير في توليد هذه الطاقة. ما لم ننتقل إلى مصادر الطاقة المتجددة بنسبة 100٪ ، فقد يتعارض تقدم الذكاء الاصطناعي مع أهداف الحد من انبعاثات غازات الاحتباس الحراري وإبطاء تغير المناخ.

علاوة على ذلك ، أصبحت تكلفة تطوير نماذج الذكاء الاصطناعي عالية جدًا لدرجة أن عددًا قليلاً فقط من المختبرات المختارة تستطيع تحمل تكاليفها. ينتهي هذا الأمر بتوليد احتكار لأولئك الذين لديهم معرفة بأحدث تقنيات الذكاء الاصطناعي وأيضًا تحديد كيفية تطوير هذه النماذج من الآن فصاعدًا.

بناء نماذج ذكاء اصطناعي تحقق الكثير بتكلفة أقل

ولكن ، بعد كل شيء ، ماذا تعني هذه الزيادة الهائلة في تكاليف الطاقة لنماذج الذكاء الاصطناعي لمستقبل البحث في هذا المجال؟ على الرغم من الدلائل على أن النماذج تميل إلى أن تصبح أكبر وأكثر تكلفة من الناحية الحسابية ، لا يزال من الممكن تخيل منظور أكثر تفاؤلاً لهذا السيناريو.

قد تنخفض تكلفة تدريب نماذج الذكاء الاصطناعي مع اختراع أساليب تدريب أكثر كفاءة. وبالمثل ، على الرغم من أنه كان من المتوقع أن استخدام الطاقة مراكز البيانات في السنوات الأخيرة ، لم يحدث هذا بسبب التحسينات في كفاءة مراكز تخزين البيانات العملاقة هذه ، لا سيما من حيث تحسين خردوات وممارسات تبريد أكثر كفاءة.

هناك أيضًا مفاضلة بين تكلفة تدريب نماذج الذكاء الاصطناعي وتكلفة استخدامها ، لذا فإن إنفاق المزيد من وقت التدريب على الطاقة لإنشاء نموذج أصغر يمكن أن يجعلها أرخص في الواقع. بعد كل شيء ، سيتم استخدام النموذج عدة مرات خلال حياته ، مما يؤدي إلى توفير كبير في الطاقة.

بالإضافة إلى زيادة كفاءتها ودرجة دقتها ، فإن التحدي البحثي الأكبر في نماذج الذكاء الاصطناعي اليوم هو البحث عن طرق لجعلها أصغر ، أو مشاركة الأوزان أو استخدام نفس الأوزان في أجزاء مختلفة من الشبكة. يسمى هذا النوع من نهج بنية الشبكة العصبية شبكات شيفتر، لأنه يمكن إعادة تكوين مجموعة صغيرة من الأوزان في شبكة أكبر من أي شكل أو هيكل.

مع أخذ ذلك في الاعتبار ، يجب على مجتمع الذكاء الاصطناعي أن يستثمر أكثر في تطوير خطط تدريب موفرة للطاقة. بخلاف ذلك ، فإننا نواجه خطر هيمنة مجموعة مختارة من الشركات أو مراكز الأبحاث على الذكاء الاصطناعي التي ستؤسس مستقبل الذكاء الاصطناعي ، بما في ذلك أنواع النماذج التي سيتم تطويرها ، وأنواع البيانات التي سيتم استخدامها وكيف سيتم تنفيذ التدريب . في النهاية ، سيكون لدينا "أعمال" أكثر من الذكاء "الاصطناعي".

مصدر: آرس تكنينا