وفقا لتقارير qubit ، أطلقت شركة Beijing Depth Quest Company أول نموذج محلي مفتوح المصدر لوزارة التربية والتعليم DeepSeek MoE ، والذي يمكن مقارنته ب Llama 2-7B في الأداء ويسقط مقدار الحساب بنسبة 60٪. يحتوي الإصدار الحالي من DeepSeek MoE على 16 مليار معلمة ، ويبلغ العدد الفعلي للمعلمات المنشطة حوالي 2.8 مليار. بالإضافة إلى ذلك ، كشف فريق Depth Seek أيضا أن هناك نسخة 145 B من نموذج DeepSeek MoE قيد التطوير. أظهرت التجارب الأولية المرحلية أن 145 B DeepSeek MoE يتمتع بميزة كبيرة على GShard 137 B ، مع القدرة على تحقيق أداء مماثل للإصدار المكثف من طراز DeepSeek 67 B بجهد حسابي بنسبة 28.5٪.

وفقا لتقرير صادر عن مجلس الابتكار العلمي والتكنولوجي اليومي في 28 ديسمبر ، كشف وي وي ، نائب رئيس MiniMax ، وهي شركة صينية ناشئة للنماذج واسعة النطاق ، في منتدى فرعي للاجتماع الافتتاحي لمنتدى الصين الرقمية ومنتدى التنمية الرقمية أنه سيصدر أول نموذج واسع النطاق يعتمد على بنية MoE (خليط الخبراء) في الصين في المستقبل القريب لقياس OpenAI GPT-4. MoE ، التي تعني Expert Hybrid ، هي تقنية تعلم عميق تجمع بين نماذج متعددة معا مباشرة لتسريع تدريب النموذج للحصول على أداء تنبؤي أفضل.

وفقًا لتقرير "Kechuangban Daily" في 14 يوليو ، بدأت بعض الشكوك تظهر على الإنترنت مؤخرًا ، ويشكو العديد من المستخدمين من أن GPT-4 الخاص بـ OpenAI أصبح أقل قوة. يعتقد بعض الأشخاص في الصناعة أن هذا قد يكون مرتبطًا بإعادة تصميم OpenAI الرئيسية للنظام ، ويتوقعون أن تستخدم OpenAI نموذج خبير مختلط (MoE) لجعل ناتج النموذج التوليدي أعلى جودة وتكلفة أقل واستجابة أسرع.