إنترنت_الأشياء_بالعربي !!

إنترنت_الأشياء_بالعربي
هل يمكن استخدام نماذج LLMs في أجهزة إنترنت الاشياء؟

تشغيل نماذج اللغة الكبيرة أو ما يعرف ب LLMs ليس محصورا فقط على المنصات السحابية او السيرفرات بل يمكن أن تعمل في أجهزة إنترنت الاشياء ونسميها ايضا On-Device AI أو Edge AI.

ربما البعض قد يتساءل ، كيف يمكن تشغيل هذه النماذج الضخمة في أجهزة محدودة الامكانيات ؟
هذا التساؤل مشروع وذلك بحكم أن أجهزة IoT محدودة الامكانيات وطبيعي أن لا يمكن استخدام النماذج الضخمة مثلا GPT-4 وإنما يمكن :
١- استخدام نماذج مصغرة او مضغوطة منها وتسمى نماذج اللغة الصغيرة نماذج اللغة الصغيرة SLMs ومن أمثلتها Phi-3 أو Llama 3-8B التي تم تحسينها لتعمل بكفاءة عالية بمساحة ذاكرة صغيرة كما هو الحال في أجهزة IoT .
٢- تدريب نماذج صغير ليتعلم ذكاء نموذج الكبير بحيث يكون خفيف وسريع وتسمى هذه العملية Distillation

هنا يجب أن نذكر الدور الكبير الذكي تلعبه معالجات NPU ( سبق أن تحدثت عنها ف عدة مواضيع سابقة) وهي التي تمكن الاجهزة من القيام بعمليات الذكاء الاصطناعي مع استهلاك منخفض للطاقة .

ماهي مزايا وجود هذه النماذج في أجهزة إنترنت الاشياء الطرفية وليس في السحابية ؟
1- السرعة والاستجابة الفورية دون الحاجة لنقل البيانات لجهاز اخر عبر الانترنت
2- يمكن للجهاز العمل حتى في حال انقطاع الانترنت.
3- الخصوصية والسرية بحكم انه يتم التعامل مع البيانات في الجهاز دون الحاجة لمشاركتها مع السحابة مثلاً.