تنافس كبير في قدرات النصوص الطويلة للنماذج الكبيرة: من 4000 إلى 400000 توكن، "قدرة القراءة" للذكاء الاصطناعي ترتفع بشكل كبير
تعمل النماذج الكبيرة على تعزيز قدرتها على معالجة النصوص الطويلة بسرعة مذهلة. من 4000 توكن في البداية إلى 400000 توكن اليوم، يبدو أن القدرة على التعامل مع النصوص الطويلة أصبحت المعيار الجديد لمصنعي النماذج الكبيرة.
على الصعيد الدولي، قامت OpenAI من خلال عدة ترقيات بزيادة طول إدخال السياق لـ GPT-3.5 من 4000 إلى 16000 توكن، بينما زادت GPT-4 من 8000 إلى 32000 توكن. أما منافستها Anthropic فقد رفعت طول السياق إلى 100000 توكن دفعة واحدة. كما أن LongLLaMA قد وسعت طول السياق إلى أكثر من 256000 توكن.
فيما يتعلق بالجانب المحلي، أطلقت شركة الناشئة في نماذج الذكاء الاصطناعي "كيم تشات" التابعة لـ "مو月之暗面"، والتي تدعم إدخال 200,000 حرف صيني، ما يعادل حوالي 400,000 توكن. بينما تتيح تقنية LongLoRA، التي تم تطويرها بالتعاون بين جامعة الصين في هونغ كونغ وMIT، توسيع طول النص لنموذج 7B إلى 100,000 توكن، ونموذج 70B إلى 32,000 توكن.
في الوقت الحالي، تركز العديد من الشركات والمؤسسات البحثية الرائدة في مجال النماذج الكبيرة، بما في ذلك OpenAI وAnthropic وMeta و月之暗面، على توسيع طول السياق كاتجاه رئيسي للتحديث. تحظى هذه الشركات عمومًا بقبول كبير في سوق رأس المال، حيث تظهر أحجام التمويل والتقييمات نموًا سريعًا.
ما الذي يعنيه تقدم 400000 توكن لشركة النماذج الكبيرة عندما تعطي هذا القدر من الأهمية لتقنية النصوص الطويلة؟ على السطح، يمثل هذا زيادة كبيرة في طول نصوص الإدخال وقدرة القراءة للنموذج. من القدرة في البداية على معالجة مقالة قصيرة فقط، إلى الآن يمكنه قراءة رواية كاملة، تم توسيع نطاق تطبيقات النموذج بشكل كبير.
من منظور أعمق، فإن تقنية النصوص الطويلة تدفع تطبيق النماذج الكبيرة في مجالات المالية، والعدالة، والبحث العلمي. تعتبر قدرات تلخيص الوثائق الطويلة، وفهم القراءة، والإجابة على الأسئلة هي المفتاح لترقية الذكاء في هذه المجالات.
ومع ذلك، على غرار معلمات النموذج، فإن طول النص ليس دائمًا أفضل كلما كان أطول. تظهر الأبحاث أنه لا توجد علاقة إيجابية بسيطة بين طول السياق المدعوم من النموذج والنتائج. المفتاح هو كيفية استفادة النموذج بشكل فعال من محتوى السياق.
حالياً، لا تزال استكشافات تقنية النصوص الطويلة لم تصل إلى ذروتها. لا تزال شركات النماذج الكبيرة المحلية والأجنبية تحقق اختراقات مستمرة، وقد تكون 400,000 توكن مجرد بداية.
لماذا تتسابق شركات النماذج الكبيرة لتحسين النصوص الطويلة؟
أشار مؤسس "الوجه المظلم للقمر" ، يانغ زهي لين ، إلى أن قيود طول مدخلات النموذج الكبير تسبب العديد من التحديات في تطبيقات التنفيذ ، وهذا هو السبب في تركيز الشركات الكبرى حالياً على تقنية النصوص الطويلة.
على سبيل المثال، في مشاهد الشخصيات الافتراضية، قد تنسى الشخصيات الافتراضية معلومات مهمة بسبب عدم كفاية القدرة على معالجة النصوص الطويلة. عند تطوير ألعاب القتل السينمائي، قد تؤدي قلة طول المدخلات إلى تقليص القواعد والإعدادات، مما يؤثر على تجربة اللعبة. في المجالات المهنية مثل القانون والمال، غالبًا ما تكون هناك قيود أيضًا على التحليل العميق للمحتوى وتوليده.
تلعب النصوص الطويلة دورًا مهمًا في تطبيقات الوكلاء والذكاء الاصطناعي الأصلية في المستقبل. يحتاج الوكلاء إلى الاعتماد على المعلومات التاريخية للتخطيط واتخاذ القرارات، بينما تحتاج التطبيقات الأصلية للذكاء الاصطناعي إلى السياق للحفاظ على تجربة مستخدم متماسكة وشخصية.
يعتقد يانغ تشي لين أن الحد الأقصى للنماذج الكبيرة يتحدد من خلال القدرة على الخطوة الواحدة وعدد خطوات التنفيذ، حيث ترتبط القدرة على الخطوة الواحدة بكمية المعلمات، بينما يشير عدد خطوات التنفيذ إلى طول السياق. ليست التقنية الخاصة بالنصوص الطويلة قادرة فقط على حل بعض المشكلات المبكرة للنماذج الكبيرة، بل إنها واحدة من التقنيات الرئيسية لدفع الصناعة وتطبيقاتها إلى الأمام.
من خلال Kimi Chat الذي تم إصداره حديثًا من جانب الجانب المظلم للقمر، يمكننا إلقاء نظرة على وظائف الترقية لنماذج اللغة الكبيرة في عصر النصوص الطويلة:
استخراج المعلومات الرئيسية، تلخيصها وتحليلها من النصوص الطويلة جداً
تحسين القدرة على توليد وتعديل الشفرات
تمثيل الأدوار في مشاهد الحوار الطويلة
تظهر هذه الميزات أن الروبوتات الحوارية تتجه نحو التخصص والتخصيص والعمق، ومن المتوقع أن تصبح رافعة مهمة لدفع الصناعة نحو الواقع وظهور التطبيقات الفائقة.
أزمة "مثلث المستحيل" في النص الطويل
في تقنية النصوص الطويلة، هناك "مثلث الاستحالة" المتمثل في طول النصوص، والانتباه، والحوسبة. يتجلى ذلك في:
كلما طال النص، زادت الصعوبة في جذب الانتباه الكافي، وصعب هضم المعلومات بالكامل.
تحت قيود الانتباه، لا يمكن قراءة المعلومات المعقدة بشكل كامل من النصوص القصيرة
معالجة النصوص الطويلة تتطلب قوة حسابية كبيرة، مما يزيد من التكاليف
تعود جذور هذه الأزمة إلى أن معظم النماذج تعتمد على هيكل Transformer. إن آلية الانتباه الذاتي في هذا الهيكل تجعل كمية الحسابات تنمو بشكل متزايد مع طول السياق.
هناك ثلاث حلول رئيسية في الوقت الحالي:
استخدام أدوات خارجية لمساعدة النموذج في معالجة النصوص الطويلة
تحسين حساب آلية الانتباه الذاتي
الطرق العامة لاستغلال تحسين النموذج
لا يزال "مثلث الاستحالة" في النصوص الطويلة بلا حل، لكن هذا يوضح أيضًا مسار استكشاف شركات النماذج الكبيرة: البحث عن أفضل نقطة توازن بين طول النص، والانتباه، وقوة الحوسبة، بحيث يمكن معالجة كمية كافية من المعلومات مع مراعاة قيود حساب الانتباه وتكاليف الحوسبة.
قد تحتوي هذه الصفحة على محتوى من جهات خارجية، يتم تقديمه لأغراض إعلامية فقط (وليس كإقرارات/ضمانات)، ولا ينبغي اعتباره موافقة على آرائه من قبل Gate، ولا بمثابة نصيحة مالية أو مهنية. انظر إلى إخلاء المسؤولية للحصول على التفاصيل.
تجاوزت قدرة النماذج الكبيرة على معالجة النصوص الطويلة 400,000 توكن، مما يعزز تطبيق الذكاء الاصطناعي في مجالات المالية والقانون.
تنافس كبير في قدرات النصوص الطويلة للنماذج الكبيرة: من 4000 إلى 400000 توكن، "قدرة القراءة" للذكاء الاصطناعي ترتفع بشكل كبير
تعمل النماذج الكبيرة على تعزيز قدرتها على معالجة النصوص الطويلة بسرعة مذهلة. من 4000 توكن في البداية إلى 400000 توكن اليوم، يبدو أن القدرة على التعامل مع النصوص الطويلة أصبحت المعيار الجديد لمصنعي النماذج الكبيرة.
على الصعيد الدولي، قامت OpenAI من خلال عدة ترقيات بزيادة طول إدخال السياق لـ GPT-3.5 من 4000 إلى 16000 توكن، بينما زادت GPT-4 من 8000 إلى 32000 توكن. أما منافستها Anthropic فقد رفعت طول السياق إلى 100000 توكن دفعة واحدة. كما أن LongLLaMA قد وسعت طول السياق إلى أكثر من 256000 توكن.
فيما يتعلق بالجانب المحلي، أطلقت شركة الناشئة في نماذج الذكاء الاصطناعي "كيم تشات" التابعة لـ "مو月之暗面"، والتي تدعم إدخال 200,000 حرف صيني، ما يعادل حوالي 400,000 توكن. بينما تتيح تقنية LongLoRA، التي تم تطويرها بالتعاون بين جامعة الصين في هونغ كونغ وMIT، توسيع طول النص لنموذج 7B إلى 100,000 توكن، ونموذج 70B إلى 32,000 توكن.
في الوقت الحالي، تركز العديد من الشركات والمؤسسات البحثية الرائدة في مجال النماذج الكبيرة، بما في ذلك OpenAI وAnthropic وMeta و月之暗面، على توسيع طول السياق كاتجاه رئيسي للتحديث. تحظى هذه الشركات عمومًا بقبول كبير في سوق رأس المال، حيث تظهر أحجام التمويل والتقييمات نموًا سريعًا.
ما الذي يعنيه تقدم 400000 توكن لشركة النماذج الكبيرة عندما تعطي هذا القدر من الأهمية لتقنية النصوص الطويلة؟ على السطح، يمثل هذا زيادة كبيرة في طول نصوص الإدخال وقدرة القراءة للنموذج. من القدرة في البداية على معالجة مقالة قصيرة فقط، إلى الآن يمكنه قراءة رواية كاملة، تم توسيع نطاق تطبيقات النموذج بشكل كبير.
من منظور أعمق، فإن تقنية النصوص الطويلة تدفع تطبيق النماذج الكبيرة في مجالات المالية، والعدالة، والبحث العلمي. تعتبر قدرات تلخيص الوثائق الطويلة، وفهم القراءة، والإجابة على الأسئلة هي المفتاح لترقية الذكاء في هذه المجالات.
ومع ذلك، على غرار معلمات النموذج، فإن طول النص ليس دائمًا أفضل كلما كان أطول. تظهر الأبحاث أنه لا توجد علاقة إيجابية بسيطة بين طول السياق المدعوم من النموذج والنتائج. المفتاح هو كيفية استفادة النموذج بشكل فعال من محتوى السياق.
حالياً، لا تزال استكشافات تقنية النصوص الطويلة لم تصل إلى ذروتها. لا تزال شركات النماذج الكبيرة المحلية والأجنبية تحقق اختراقات مستمرة، وقد تكون 400,000 توكن مجرد بداية.
لماذا تتسابق شركات النماذج الكبيرة لتحسين النصوص الطويلة؟
أشار مؤسس "الوجه المظلم للقمر" ، يانغ زهي لين ، إلى أن قيود طول مدخلات النموذج الكبير تسبب العديد من التحديات في تطبيقات التنفيذ ، وهذا هو السبب في تركيز الشركات الكبرى حالياً على تقنية النصوص الطويلة.
على سبيل المثال، في مشاهد الشخصيات الافتراضية، قد تنسى الشخصيات الافتراضية معلومات مهمة بسبب عدم كفاية القدرة على معالجة النصوص الطويلة. عند تطوير ألعاب القتل السينمائي، قد تؤدي قلة طول المدخلات إلى تقليص القواعد والإعدادات، مما يؤثر على تجربة اللعبة. في المجالات المهنية مثل القانون والمال، غالبًا ما تكون هناك قيود أيضًا على التحليل العميق للمحتوى وتوليده.
تلعب النصوص الطويلة دورًا مهمًا في تطبيقات الوكلاء والذكاء الاصطناعي الأصلية في المستقبل. يحتاج الوكلاء إلى الاعتماد على المعلومات التاريخية للتخطيط واتخاذ القرارات، بينما تحتاج التطبيقات الأصلية للذكاء الاصطناعي إلى السياق للحفاظ على تجربة مستخدم متماسكة وشخصية.
يعتقد يانغ تشي لين أن الحد الأقصى للنماذج الكبيرة يتحدد من خلال القدرة على الخطوة الواحدة وعدد خطوات التنفيذ، حيث ترتبط القدرة على الخطوة الواحدة بكمية المعلمات، بينما يشير عدد خطوات التنفيذ إلى طول السياق. ليست التقنية الخاصة بالنصوص الطويلة قادرة فقط على حل بعض المشكلات المبكرة للنماذج الكبيرة، بل إنها واحدة من التقنيات الرئيسية لدفع الصناعة وتطبيقاتها إلى الأمام.
من خلال Kimi Chat الذي تم إصداره حديثًا من جانب الجانب المظلم للقمر، يمكننا إلقاء نظرة على وظائف الترقية لنماذج اللغة الكبيرة في عصر النصوص الطويلة:
تظهر هذه الميزات أن الروبوتات الحوارية تتجه نحو التخصص والتخصيص والعمق، ومن المتوقع أن تصبح رافعة مهمة لدفع الصناعة نحو الواقع وظهور التطبيقات الفائقة.
أزمة "مثلث المستحيل" في النص الطويل
في تقنية النصوص الطويلة، هناك "مثلث الاستحالة" المتمثل في طول النصوص، والانتباه، والحوسبة. يتجلى ذلك في:
تعود جذور هذه الأزمة إلى أن معظم النماذج تعتمد على هيكل Transformer. إن آلية الانتباه الذاتي في هذا الهيكل تجعل كمية الحسابات تنمو بشكل متزايد مع طول السياق.
هناك ثلاث حلول رئيسية في الوقت الحالي:
لا يزال "مثلث الاستحالة" في النصوص الطويلة بلا حل، لكن هذا يوضح أيضًا مسار استكشاف شركات النماذج الكبيرة: البحث عن أفضل نقطة توازن بين طول النص، والانتباه، وقوة الحوسبة، بحيث يمكن معالجة كمية كافية من المعلومات مع مراعاة قيود حساب الانتباه وتكاليف الحوسبة.