باختصار
Vision-Language-Action Model أو VLA (نموذج الرؤية واللغة والفعل) نموذج بياخد صورة وأمر مكتوب، ويطلّع أفعال لروبوت، كلّه في نموذج واحد متدرّب من الأوّل للآخر.
بالتفصيل
المصطلح جه من ورقة RT-2 (يوليو 2023). الفكرة: نماذج الرؤية واللغة (VLM) اتدرّبت على بيانات ضخمة من الإنترنت، فعندها فهم واسع للعالم. طب ليه ما نستغلّش ده في التحكّم في الروبوتات؟
الوصفة اللي قدّمتها الورقة بسيطة:
- عبّر عن أفعال الروبوت كرموز نصّية (Text Tokens)، بنفس شكل كلمات اللغة.
- حطّ الرموز دي في بيانات تدريب النموذج بنفس طريقة رموز اللغة الطبيعية.
- اضبط النموذج (Co-fine-tune) على بيانات حركة الروبوت وعلى مهام رؤية ولغة من الإنترنت مع بعض، زي الإجابة عن أسئلة الصور.
كده النموذج نفسه يقدر يجاوب بكلام أو بحركة.
مثال عملي
في أكتر من 6 آلاف تجربة تقييم، الورقة بتقول إن RT-2 اكتسب قدرات من التدريب على بيانات الإنترنت:
- تعميم أفضل بكتير على أشياء جديدة ما شافهاش في تدريب الروبوت.
- فهم أوامر مش موجودة في بيانات الروبوت، زي «حطّ الحاجة على رقم معيّن أو أيقونة معيّنة».
- استدلال بسيط، زي «هات أصغر حاجة» أو «الحاجة الأقرب للحاجة دي».
ومع Chain of Thought (سلسلة الأفكار)، قدر يعمل استدلال على مراحل: يعرف إن الحجر ينفع كشاكوش مرتجل، أو إن مشروب الطاقة أنسب لحدّ تعبان.
مصطلحات مرتبطة
- Vision-Language Model — نموذج الرؤية واللغة.
- Robotics AI — ذكاء الروبوتات.
- Physical AI — الذكاء الاصطناعي المادّي.
- Fine-tuning — الضبط الدقيق.
المصادر: arXiv — RT-2 (Brohan et al.) — 2023-07-28
