أهلا بكم متابعي مدونة مقالات الأعزاء مواصلة لمتابعة ثورة الذكاء الاصطناعي، مختبر Google DeepMind يكشف عن معمارية جديدة مستوحاة من العقل البشري تحت مسمى Titan و التي تعتبر ثورة كبيرة في مجال ال Context management و من الممكن أن تكون أحد مفاتيح الAGI و لأكثر تفاصيل تابعوا معنا هذه التدوينة.
ما هي معمارية Titan ؟
معمارية Titan هو معمارية مستوحاة من تصميم الذاكرة في العقل البشري حيث أنها ستنقسم إلى ثلاثة وحدات (short-term، working memory، وlong-term) هذه التقنية فيها آليات متعددة تسمح باستدعاء الأشياء التي نحتاجها من الذواكر الثلاث إعتمادا على عوامل معينة.
لماذا معمارية Titan ستسبب تغيير كبير ؟
1- الNeural Long-Term Memory Module
- تقوم ب memory system dynamic، و تستعمل
surprise metric (gradient-based) و هذا حتى تعرف ماذا تحتفظ به أو تنساه!
- عندها نظام “forgetting gate” يعمل بالـ weight decay حتى يحافظ على memory من الامتلاء دون سبب.
- الMemory module مبنية على MLPs لكن يمكن تطويرها أكثر.
2- الPersistent Memory
- تخزن معلومات عامة على الـ task لكنها مستقلة على input data. يعني data context لا يضغط على الأداء.
3. الSuper Scalability
- يمكن عمل efficiently على GPUs وTPUs بفضل matrix multiplications، التي تجعل الحساب أسرع و بأقل موارد.
ما هي أقسام معمارية Titan ؟
تنقسم هذه المعمارية إلى ثلاثة أنواع هي:
1- الMAC (Memory as Context)
تجمع ما بين memory و attention module، وتجعل attention يستعمل memory حسب الحاجة.
هذا الحل هو الأقوى في long-term dependencies.
2- الMAG (Gated Memory)
نظام multi-head architecture يدمج بين sliding window attention وlong-term memory، النتيجة تكون أفضل في ال Medium term dependencies
3- الMAL (Memory as Layer)
memory تعمل كـ deep layer داخل الشبكة، التي ستكون بسيطة وفعالة و مناسبة لل short term dependencies.
في الأخير متابعي مدونة مقالات الأعزاء ما رأيكم في هذا التطور الكبير في مجال الذكاء الاصطناعي.
إرسال تعليق