[ترجمة Yaso Xtreme. أرسل التصحيحات على criblate.com] لما بتحوّل النص لنظام ثنائي، غالبًا بيكون من الأفضل إنك تستخدم أقل قدر ممكن من البيانات،

فطبيعي تتساءل: هل فيه نوع من الحد الأساسي اللي بيحدد قد إيه ممكن نضغط النص بكفاءة؟

الترميز الافتراضي باستخدام ASCII غير فعّال لدرجة كبيرة.

كل حرف بيتم تمثيله بـ 8 بتات كاملة.

لو استخدمت شوية ذكاء وربطت الحروف الأكتر شيوعًا بسلاسل بتات أقصر، ممكن تنزل

في المتوسط لحوالي أربعة بتات لكل حرف، وبعدها فيه طرق أذكى بكتير من كده،

بتستفيد من الأنماط الموجودة في سلاسل طويلة من النصوص، وممكن تحقق نتايج أفضل كمان.

لكن برضه، فين الحد؟

أتوقع إن كتير منكم يمكن سمعوا تقدير لده هنا، وهشارككم واحد في النهاية، لكن الأكتر

إثارة من أي إجابة رقمية واحدة هو إزاي أصلًا ممكن تبدأ تقرب من الإجابة عن السؤال ده.

السؤال ده بيرجع على الأقل لأربعينيات القرن اللي فات، مع

العمل التأسيسي لكلود شانون اللي أطلق نظرية المعلومات.

والمثير جدًا هو إن الرياضيات اللي طوّرها للإجابة عن

أسئلة زي دي طلعت مفيدة بشكل مدهش في تعلّم الآلة الحديث.

وخلونا ناخد المثال الغريب ده للنهارده، لما بيتم تدريب النماذج اللغوية

الكبيرة، فجزء ما قبل التدريب عادةً بيتوصف على إنه بيتعلق بتوقع التوكن

اللي جاي، وتحديدًا باستخدام حاجة اسمها خسارة الإنتروبيا التقاطعية.

والمصطلح ده، الإنتروبيا التقاطعية، جذوره بترجع لنظرية المعلومات.

لكن المثير كمان هو إن واحدة من نتايج نظرية المعلومات

بتقول إن التنبؤ والضغط متكافئين رياضيًا.

في النهاية بيطلعوا وجهين لعملة واحدة.

وده معناه إنك تقدر تعيد صياغة الطريقة اللي بتفكر بيها في هدف ما

قبل التدريب بالكامل، بحيث ميبقاش فعلًا متعلق بتوقع التوكن اللي

جاي بحد ذاته، بل إنه يبقى متعلق بصنع أكتر ضاغط نصوص كفاءة ممكن.

قدام شوية هشرحلك إزاي ده بيشتغل بالظبط، لكن لما تعمله، أظن إنه بيدي

وضوح أكبر عن المعنى الحقيقي لمفهوم الإنتروبيا التقاطعية، وليه بنستخدمه.

وبرضه، مش عارف رأيك، لكن بالنسبة لي على الأقل، فيه حاجة مثيرة

جدًا في استخدام الضغط كهدف أساسي وإحنا بنسعى ورا الذكاء.

في الواقع، بعض الناس راحوا لأبعد من كده وقالوا: الضغط هو الذكاء.

زي ما اتقالت كده، دي عبارة صعب نحكم عليها بدقة، لإن الذكاء مصطلح مطاطي ومش محدد بوضوح.

العبارة الأكثر أمانًا هو إن النظرية الرياضية للضغط مرتبطة بشكل غريب بالذكاء الاصطناعي.

ومع كده، العبارة القصيرة بتلفت التفكير، عشان كده ده هو أول فيديو من ثلاثي

فيديوهات بتهدف لوضع الأسس الرياضية اللازمة لتقييم العبارة دي بتشير لإيه فعلًا.

على مدار التلاتين دقيقة الجاية تقريبًا، هنركز أنا وأنت على

فهم حدود الضغط، ونشوف لو قدرنا نخليك تحس وكأنك قادر على إعادة

اكتشاف الفكرة الأساسية ورا نظرية شانون للترميز عديم الضوضاء.

وعشان نعمل ده، فهنحتاج نعيد اكتشاف بعض التعريفات

الأساسية، وتحديدًا تعريف المعلومات والإنتروبيا.

ومن الممكن يبدو غريب شوية إني أوصف التعريفات بأنها حاجة تُكتشف،

لكن التعريفات العظيمة غالبًا بتكون أثر متبقي من نوع من البصيرة.

بص، المصطلحين دول تحديدًا مش صعبين فعلًا من ناحية وضع صيغة

قدامك، لكن عمل كده بدري أكتر من اللازم هيبوظ قصة حلوة.

الأمتع بكتير إنك تشوف إزاي بتنجذب ليهم بشكل حتمي لما تسأل عن حدود ضغط اللغة.

والحاجة اللي عايزك تلاحظها في النهاية هنا هي إننا منقدرش فعلًا نجاوب على

السؤال ده، أو على الأقل شانون مقدرش، من غير ما نتعامل مع نوع من مفهوم الذكاء.

هنوصل لنمذجة اللغة، وهي معقدة بشكل رائع، لكن من المفيد إننا نبدأ نسخن

بمثال أبسط فيه نفس الأفكار الجوهرية اللازمة لمسار إعادة الاكتشاف ده.

تخيل إن عندك روبوت بعتناه لقمر بعيد، ومهمته إنه يتجول على السطح ويجمع بيانات.

ومن هنا على الأرض، بنبعتله تعليمات للحركة، والتعليمات

دي هتكون محصورة في أربع احتمالات بسيطة جدًا.

يتحرك لفوق أو لتحت أو شمال أو يمين، وكل حركة منها بخطوة حجمها ثابت.

والتفصيلة المهمة هنا هي إن التعليمات دي مش متوزعة بشكل متساوي.

نص كل اللي بنبعته بيكون لفوق، وربع التعليمات لتحت، وتُمنها للشمال، والتُمن التاني لليمين.

ده مثال فيه شوية تكلّف، والمقصود منه إنه يكون بسيط، ومن

باب التبسيط كمان، هنفترض إن كل أمر من دول مستقل عن التاني.

بيتم أخذها من التوزيع ده بغض النظر عن السياق اللي قبلها.

لما بنبعت بيانات للروبوت البعيد ده، بنبعتها على شكل تدفق من البتات، وحايد

وأصفار، وده بطيء ومكلف جدًا، فالسؤال الطبيعي، واللغز التمهيدي للنهارده، هو:

إيه هي أحسن طريقة ممكنة من حيث كفاءة لترميز التعليمات دي كسلسلة من البتات؟

وهنا ممكن نتخيل تلات طلاب، كل واحد فيهم بيحاول يجاوب:

واحد مباشر، وواحد ذكي، وواحد نظري جدًا.

الطالب المباشر بيرفع إيده فورًا ويقول: طيب، لكل واحدة

من التعليمات الأربعة دي، نقدر ببساطة نستخدم بتين.

ممكن 00 يرمز لفوق، و01 يرمز لتحت، و10 يرمز للشمال، و11 يرمز لليمين.

وعند جهة الاستقبال، ده بيسهل جدًا على الروبوت عملية فك الترميز.

هو مجرد إنه بيقسم تدفق البتات لأجزاء من بتين، وبيحوّل كل جزء للأمر المناسب.

دلوقتي، الطالب الذكي بيشاور على إن ده مبيستفيدش أبدًا من

حقيقة إن أمر "لفوق" بيظهر أكتر بكتير من الشمال أو اليمين.

وبيقتـرح طريقة نستخدم فيها عدد مختلف من البتات لكل تعليمة.

هشرحها بعد شوية، لكن أحب أنبه لإنه بمجرد ما تسمح بإن التعليمات المختلفة تاخد

أعداد مختلفة من البتات، مابيبقاش من الواضح أبدًا الروبوت هيعرف إزاي يفك الترميز.

فهو في النهاية محتاج بطريقة ما إنه يعرف فين يحط الخطوط الفاصلة.

وبما إن الطالب التاني ذكي جدًا، فهو فكر في النقطة دي من قبل

كده، لكن أسهل طريقة لشرحها هي إني أعرضها كلها مرة واحدة.

اللي بيقترحه هو إن البت الواحد 0 يمثّل لفوق، والبتين

10 يمثّلوا لتحت، و110 للشمال و111 لليمين.

تقدر تحسب متوسط عدد البتات لكل أمر اللي بتتطلبه الطريقة دي باستخدام مجموع موزون بسيط.

نص الوقت بنستخدم بت واحد بس، وربع الوقت بنحتاج بتين، وفي بقية الحالات بنحتاج تلات بتات.

لما تجمع ده كله كمجموع موزون، بتحصل على 1.75 بت لكل أمر، وده

فعلًا أحسن من الطريقة السهلة اللي بتستخدم بتين ثابتين لكل تعليمة.

الطالب التاني بيصرف بتات أكتر على آخر أمرين، لكن لإن ظهورهم

أقل بكتير، فده بيتعوض وأكتر باستخدام بت واحد بس لأكتر أمر شائع.

وتقدر تشوف الكفاءة دي بتظهر عمليًا كمان.

دي هنا مجموعة من التعليمات مأخوذة من التوزيع ده.

هتلاحظ وجود أوامر كتير لفوق، وحوالي نص العدد ده من

أوامر لتحت، وعدد أقل حتى من أوامر الشمال واليمين.

ولما بتحوّل كل رمز لسلسلة البتات المناسبة بحسب الترميز ده، بتكون

سلسلة البتات الناتجة فعلًا أقصر من اللي إدتهالنا الطريقة السهلة.

أنا سامع بعضكم بيسأل دلوقتي: إزاي الروبوت يعرف يفك الترميز ده؟

هل نقدر نكون متأكدين إن فيه طريقة مش مبهمة لتحديد الخطوط الفاصلة؟

في مصطلحات الترميز، كل واحدة من سلاسل البتات الأربعة

المستخدمة لترميز التعليمات اسمها "كلمة ترميز".

ومع تقدمنا هنا خطوة بخطوة، شوفوا لو تقدروا تكتشفوا القاعدة اللي كان

بيتبعها الطالب الذكي عشان يضمن إن كلمات الترميز بتاعته مبتتعارضش مع بعضها.

وبصراحة، كل اللي محتاجه هو إنك تبص لمثال لتدفّق بِتّات من منظور الروبوت وتفكر فيها شوية.

خلينا نقول إن أول بِت استقبله كان 1.

ده ممكن يكون ترميز لأي واحدة من آخر تلات تعليمات: لتحت، أو شمال، أو يمين.

لو اللي بعده كان 0، فهنا ماينفعش يكون إلا "لتحت".

مفيش أي احتمال تاني.

فبكده يقدر الروبوت يسجله كأمر كامل.

ومن هنا، لو بدأنا من جديد، ولو اللي بعده كان 0، فده

لازم يكون ترميز "لفوق"، لإنه مفيش أي احتمال تاني.

ولا فيه أي حاجة تانية بتبدأ بـ 0.

بعد كده، لو شاف 1، فده لحد دلوقتي مبهم، لإنه بداية لأي واحدة من آخر تلات كلمات ترميز.

ولو كان البِت اللي بعده 1 كمان، هيفضل مبهم، لإنه معاه بداية آخر كلمتين.

لكن الـ 0 اللي ييجي بعده بيوضح إن التلات بِتّات دول لازم يكونوا ترميز للشمال.

باختصار، كل اللي على الروبوت يعمله هو إنه يقرا تسلسل البِتّات الجاي لحد

اللحظة اللي تتكوّن فيها كلمة ترميز كاملة، وساعتها يقدر يسجلها كأمر كامل.

لو رجعت خطوة لورا وفكرت فيها، فالقيد الأساسي عشان كل ده

يشتغل هو إنه ماينفعش أي كلمة ترميز تكون بداية لكلمة تانية.

مثلاً، خلينا نقول إنك حاولت تضيف تعليمة خامسة ليها كلمة الترميز 100.

ده هيسبب تعارضات، لإنه بعد قراءة 10، مابيبقاش واضح إذا كان

المقصود "لتحت"، ولا إذا كان ده بداية التعليمة الخامسة الجديدة.

ولما بتتجنب النوع ده من التعارض، طريقة الترميز دي بيكون ليها اسم خاص.

في المجال ده، بتتعرف باسم ترميز خالي من البوادئ، أو بشكل ممكن

يلخبط شوية لإنه مرادف ليه، والأشهر فعليًا إنه يُسمى ترميز البادئة.

وفيه طريقة جميلة جدًا لتصور اختيار ترميزات خالية من

البوادئ باستخدام مخطط معيّن بيمثّل كل سلسلة ثنائية ممكنة.

والمخطط ده فيه كمان تشابهات مفيدة مع الطريقة اللي عايز أوضح بيها الإنتروبيا كمان شوية.

غالبًا الفكرة بديهية نوعًا ما لو وقفت شوية وتأملته، لكن هأشاور على أهم الخصائص.

كل طبقة بتعرض كل سلاسل البِتّات بطول معيّن، وهتلاحظ إن كل حاجة بتبدأ بـ 0 موجودة

في النص الشمال من المخطط ده، وكل حاجة بتبدأ بـ 1 موجودة في النص اليمين منه.

ونفس الفكرة بتستمر بشكل متكرر كل ما بتطلع لفوق.

فكل حاجة بتبدأ بـ 00 بتكون فوق الربع ده من المخطط،

وكل حاجة بتبدأ بـ 01 بتكون فوق الربع ده، وهكذا.

وبالتحديد، الخاصية الأساسية هي إن كل سلسلة ثنائية

في المخطط ده بتُعتبر بادئة لكل حاجة موجودة فوقها.

فلما الطالب الشاطر اختار يخصص البِت الواحد 0 لتمثيل أمر "لفوق"، فهو

فعليًا استهلك نص مساحة كل كلمات الترميز الممكنة بالاختيار ده، لإن

كل حاجة بتبدأ بـ 0 بقت ممنوعة دلوقتي بسبب خاصية الخلو من البوادئ.

وبنفس الطريقة، تخصيص 10 للنزول بيستهلك ربع تاني من المساحة دي،

والتعليمتين اللي فاضلين بتستهلك كل واحدة فيهم تُمن المساحة.

وتقدر ببساطة تشوف إنه مفيش أي حاجة فائضة أو زيادة.

وفي المرحلة دي، أتوقع إن فيه جرس معيّن بيضرب في دماغك،

لإن النسب دي كلها مطابقة تمامًا لاحتمال ظهور كل تعليمة.

وفعلاً، الإحساس ده بوجود علاقة بين حجم البيانات

والاحتمالات هو بالظبط الفكرة التأسيسية لنظرية المعلومات.

ولما تتأمل المطابقة الجميلة دي، ممكن تفكر إن حل الطالب

الشاطر مش بس أفضل، يمكن كمان يكون بطريقة ما حل مثالي.

لكن حاليًا، ده بيبدو ادعاء جريء شوية.

إزاي ممكن تعرف إنه مفيش طريقة أذكى بكتير بتتعامل بشكل معيّن مع سلاسل

طويلة جدًا من التعليمات وتخلي متوسط عدد البتات لكل تعليمة يقل أكتر من كده؟

وده يودّينا للطالب التالت، "اللي دماغه في السحاب"، واللي

بصراحة مكنش بيفكر كتير في أكواد فعلية يقدر يطبّقها.

هو كان بيتأمل في الخصائص اللي لازم تكون موجودة في كود مثالي وفعّال لأقصى درجة.

وعنده فكرة ذكية جدًا، وهي إنه يقول بإن الضوضاء العشوائية لازم تكون غير قابلة للضغط،

وبالتالي أي خوارزمية ضغط مثالية لازم تطلّع سلسلة بتات متقدرش تميّزها عن الضوضاء

العشوائية.

والجميل إنه بالرغم من إن ده بيبدو بسيط نوعًا ما، إلا

إنه فعليًا يقدر يوصلك لإعادة اكتشاف فكرة إنتروبيا شانون.

ولما بقول ضوضاء عشوائية، بقصد إن كل بت بيكون إما 1 أو

0 باحتمال 50%، وكل البتات بتتصرف بشكل مستقل عن بعضها.

ومش صعب تبين إن ترميز طالبنا التاني للروبوت فعلًا بيتبع القاعدة دي.

لو فكرت فيها، فيه احتمال 50% إن الرسالة تبدأ بأمر "فوق"،

فبالتالي أول بت عنده احتمال 50% إنه يكون 0، وإلا هيكون 1.

وبعدين لو كان 1، ففيه احتمال 50% إن الأمر يكون "تحت"،

وده معناه إن البت اللي بعده يكون 0، وإلا هيكون 1.

وهكذا.

كل بت جديد فعلًا بيتصرف زي رمية عملة مستقلة، وعشان كده بالنسبة للمستقبل،

سلسلة البتات المضغوطة فعلًا متقدرش تميّزها عن الضوضاء العشوائية.

لكن ليه بقول إن الضوضاء العشوائية غير قابلة للضغط؟

طيب، عشان كده، خلينا نركز فعلًا على الأمور من منظور المستقبِل.

وهنا، بدل ما نفكر تعليمة بتعليمة، هيفيدنا إننا نوسّع النظرة ونصيغ النقاش

من حيث الرسايل الكاملة وشكل ترميز الرسايل الكاملة بيبقى عامل إزاي.

لما المستقبِل يشوف سلسلة من n بتات بتمثل رسالة مضغوطة معينة، فدي

بتكون واحدة من أصل 2 أس n رسالة ممكنة كان ممكن يستقبلها بنفس الحجم.

وبعدين، والأهم، بما إننا بنفترض إن ده بيبدو زي الضوضاء العشوائية،

فكل الـ 2 أس n رسالة دول لازم يكونوا متساويين في الاحتمال.

وللتوضيح، إحنا مش بس بنتكلم عن مثال الروبوت من دلوقتي ورايح.

طالبنا النظري اللي عايش في السحاب فعلًا عايز يقدّم حجة عن شكل الضغط

المثالي لأي نوع بيانات، سواء كنا بنضغط لغة أو بنضغط صور، وعايز حجة

تنفع بغض النظر عن تفاصيل خوارزمية الضغط المحددة اللي بنستخدمها.

فيه حدس عام ممكن يتكوّن في دماغك، وهو إنه يمكن من بين كل الرسايل

اللي بتنضغط لـ n بت، بعضها كان بيحتوي على قدر أكبر من البيانات

المتوقعة، بينما بعضها التاني بدأ كقدر أصغر من البيانات غير المتوقعة.

لكن النقطة الأساسية هي: لو كانت سلسلة البتات المضغوطة فعلًا بتبدو كضوضاء عشوائية،

بمعنى إن كل سلاسل البتات بطول n متساوية في الاحتمال، فلازم يكون صحيح إن كل الرسايل

الأصلية اللي بتنضغط كانت متساوية في احتمال ظهورها، وبشكل أدق باحتمال 1 على 2 أس n.

فمرة تانية، ليه بقول إن ده غير قابل للضغط؟

طيب، خلينا نرجع لنفس الرسم، اللي بيمثّل فضاء كل السلاسل الثنائية الممكنة.

في الحالة دي، نقدر نفكر في كل الترميزات الخاصة برسايلنا الـ 2 أس n

المتساوية في الاحتمال على إنها سلاسل البتات الموجودة في إحدى طبقات الرسم ده.

لو حاولت تعرّف مخطط بديل، أو حاولت تبقى أكفأ بإنك تخلي واحدة من الرسايل دي

تستخدم بِتّات أقل، فهي هتنزل لطبقة أدنى في الرسم، وده معناه إنها هتتداخل مع

رسالة تانية، وبالتالي لازم تحط الرسالة التانية دي في مكان تاني في الرسم ده.

وكحد أدنى، ده معناه إنها هتشارك نفس المساحة مع رسالة تالتة، وآخر رسالتين دول لازم نوعًا

ما يتزاحوا لفوق طبقة واحدة، ويحتاجوا البِتّ الإضافي ده لكل واحدة فيهم عشان نقدر نميّز

بينهم.

يعني توفير بِت واحد هنا هيكلّفك بِتّين في مكان تاني.

أنت كأنك بتدوس على مطب في سجادة، وبيطلع بشكل أسوأ في مكان تاني.

وبشكل عام، أي رسالة تترمّز بسلسلة موجودة تحت في الرسم ده هتستهلك

أكتر من حصتها العادلة من المساحة، وده هيجبر رسايل تانية إنها

تحتل منطقة أصغر، ويزقها لفوق، يعني يبقي ترميزها أقل كفاءة.

وأتوقع إنه بديهي لدرجة معقولة لكل اللي بيتابعوا إن أكفأ مخطط هنا، لما تكون الرسايل

متساوية في الاحتمال، هو إنك تديهم كلهم نفس عدد البِتّات، لكن فعلًا أعتقد إن الرسم بيدي

طريقة أوضح وأكتر واقعية عشان نفهم ليه بتظهر مقايضات أو تنازلات مش مرغوب فيها لو عملت

غير كده.

وبمجرد ما تتبنّى فكرة إن الضغط المثالي بيبدو كضوضاء عشوائية، فده بالظبط النوع من

الحاجات اللي كنت بشير ليها في المقدمة، عن إزاي إن الأفكار العميقة ممكن تقودك لتعريفات.

لاحظ إن اللي بنقوله أساسًا هو إن الرسالة اللي بتستخدم n بِتّات

في مخطط مثالي لازم يكون احتمالها 1 على 2 أس n، أو 2 أس سالب n.

لو أخدت لوغاريتم الأساس 2 للطرفين هنا وبعدين حطيت إشارة سالبة،

فده بيكافئ قول إن عدد البِتّات المخصصة لرسالة ما، بافتراض ضغط

مثالي، هو سالب لوغاريتم الأساس 2 لـ p، حيث p هو احتمال حدوثها.

والتعبير اللوغاريتمي السالب ده هو الصيغة الأساسية لكل نظرية المعلومات.

وكل اللي قلته لحد دلوقتي هو محاولة مني عشان أخلي القيمة دي تحسسّك إنها حاجة بتنجذب

ليها بشكل حتمي لما تسأل عن الضغط المثالي، بدل ما تحسّ إنها مجرد تعريف مبهم بنبدأ بيه.

بعض الطلاب فعلًا بيحسوا إن اللوغاريتم السالب ده محتاج شوية تعوّد.

عارف، شكله بيوحي كأنه لازم يكون قيمة سالبة قبل ما تفكر في الكسر

اللي في النص، لكن فعليًا الطريقة الحدسية عشان تقرأه هي إنه بيسأل:

كام مرة بتقسم فضاء الاحتمالات لنصين لحد ما توصل لكمية معيّنة؟

هنا، خلّيني أطلعلك شوية محاور وأوريك منحنى سالب لوغاريتم p.

وشفت كمان بعض الكتّاب بيفضّلوا يكتبوه على شكل

لوغاريتم 1 على p، ويمكن ده يكون أوضح بالنسبة لك.

وتقدر كمان تفكر فيه على إنه لوغاريتم p للأساس نص، وده بصراحة

مشفتش حد بيعتمد عليه فعلًا، لكن شخصيًا بميل له كمصطلح.

دلوقتي، وبغض النظر عن طريقة كتابته، اللي أدركه شانون هو إن دي طريقة مفيدة جدًا

للتفكير في المعلومات اللي بتحتويها رسالة ما حتى لما ميكونش الضغط المثالي الحرفي

ممكن، ومبتبقاش p قوة مثالية للعدد 2، وده معناه إن الناتج هنا هيكون مقدار كسري.

في الواقع، هو عرّف التعبير ده على إنه معلومات الحدث.

والصورة اللي أحيانًا بتكون في دماغي هي إنك تتخيل احتمال حدث ما كمخطط دائري صغير،

والمعلومة هي العمود اللي فوقه ده، واللي بيرتفع ويطول كل ما انضغط الاحتمال أكتر باتجاه

الصفر.

يعني الرسايل غير المحتملة بتحتوي على قدر كبير من المعلومات،

بينما العمود بيرتخي ويقصر كل ما اقترب الاحتمال من 100%.

الرسايل المتوقعة جدًا بتحتوي على معلومات قليلة جدًا.

وعايز أوضح إن التعريف ده فيه مضمون فعلي.

هو أكتر من مجرد إعادة تحجيم للاحتمالات، كأنك بس بتحوّلها لنظام وحدات مختلف.

أنت أصلًا شفت الفكرة الأساسية.

في مخطط ضغط مثالي، عدد البِتّات المخصصة لرسالة كاملة بيساوي بالظبط المحتوى المعلوماتي ده.

وطبعًا، الضغط المثالي مبيكونش ممكن دائمًا.

احتمالات رسايلك على الأغلب مش قوى مثالية للعدد 2.

فالصياغة الأعم لده هي إن معلومات الرسالة بتديك حد أدنى لمدى

إمكانية ضغطها، على الأقل لما تاخد متوسط كل الرسايل الممكنة.

ومن السهل جدًا إنك تبالغ في تكييف خوارزمية ضغط لحالة معينة واحدة.

وعشان تستوعب فعلًا معنى المعلومات والبتات الكسرية،

لازم نرفع المستوى شوية فوق مثال التمهيد ده.

شوف، مع الروبوت الاحتمالات كانت مترتبة أكتر من اللازم.

كلها كانت قوى مثالية للعدد 2، بحيث إن المعلومات

لكل رمز كانت بتطابق بدقة عدد صحيح من البتات.

لكن شانون كان مهتم جدًا بسؤال حدود الضغط في حالات أكتر واقعية، معقدة زي اللغة الطبيعية.

مثلاً، هنا هطلّع احتمالات كل حرف جديد في عبارة كمثال،

على الأقل علي حسب GPT صغير بشغله علي جهازي عندي.

وبالمناسبة، لو حسّيت إن الاحتمالات اللي بيديها النموذج ممكن

تكون مختلفة عن احتمالات اللغة الفعلية، فأيوة، من حقك تستغرب.

خلي معاك الفكرة دي.

لإنها بتبقى مهمة جدًا بعدين.

الفرق الأساسي في اللغة هو أن كل حاجة بتعتمد على السياق.

توزيع الاحتمالات لكل حرف جديد بتشوفه بيعتمد بشكل كبير جدًا جدًا على كل اللي جه قبله.

والفرق الكبير التاني هو إن كل الاحتمالات دي واضح إنها مش هتكون قوى مثالية ونظيفة للعدد 2.

فلو حسبت معلومات شانون لكل واحدة فيها، يعني أخدت اللوغاريتم

السالب للأساس 2، فكل الأرقام اللي هتطلعلك هتكون قيم كسرية.

ومرة تانية، إعطاء تفسير عام لمعنى ده مش صعب أبدًا.

المحتوى المعلوماتي بيكون قليل للحروف المتوقعة جدًا، وبيكون عالي للحروف غير المتوقعة خالص.

لكن كلكم اللي بتشوفوا ده أذكياء بما يكفي إنكم تطلبوا تفسير

أدق، تفسير يبرر ليه تستحق القيم دي إنها تاخد وحدة البتات.

يعني، مش كأن هيكون فيه ترميز مثالي بيكون فيه للحرف i كلمة ترميز طولها بطريقة ما 4.19

بت، أو يكون الحرف o المتوقع جدًا ده متشفّر بطريقة ما بشريحة ضيقة بس من بت واحد.

المعنى الحقيقي ليه علاقة بترميز الرسايل كاملة ووضع حد على مقدار ضغطها.

احتمال عبارة كاملة، زي اللي بعرضها هنا، بيكون عبارة عن ضرب احتمالات كل حرف جديد

متتالي، ومرة تانية أحب أأكد إن احتمالات الحروف المتتالية دي مشروطة باللي جه قبلها.

وده أساسًا هو قانون السلسلة في الاحتمالات.

عايزك تلاحظ قد ازاي ده بينسجم بشكل جميل مع اللوغاريتم.

لو سألت عن معلومات الرسالة الكاملة، بأني آخد التعبير اللوغاريتمي السالب ده، وبما إن

اللوغاريتمات بتحوّل الضرب لجمع، فده بيتفكك بشكل جميل جدًا لمجموع معلومات كل حرف لوحده.

في الجزء الأخير من ثلاثي الفيديوهات ده، همشي معاك في خوارزمية ضغط

محددة جدًا بتضغط النص ده فعلًا لقريب من بت أو بتين من القيمة دي.

الموضوع مبقاش ببساطة ربط كل حرف بكلمة ترميز محددة مسبقًا، لكنك

مع كده بتحصل على الإحساس المباشر ده بفكرة جمع المحتوى المعلوماتي

الكسري لكل حرف لتحديد طول الترميز النهائي اللي هتستخدمه.

فدي هي الفكرة الأساسية.

حتى لو، وقت ما تحتاج تربط ده بأحجام البيانات الفعلية، الأمور بتتقرّب لأقرب عدد صحيح،

فالشيء اللي أدركه شانون هو مدى فايدة الشغل على المستوى الأعلى ده من التجريد، اللي بيسمح

فيه لكل معلوماتك إنها تكون مستمرة بحرية، ومعلومات الأحداث المتتالية بتتجمع مع بعض بشكل

جميل جدًا.

ومع كده، لو رجعت خطوة لورا وتخيلت نفسك بتقيّم بجدية شديدة القابلية الأساسية

لضغط اللغة، فكل ده بيعتمد على سؤال: إزاي تعرف احتمالات كل حرف جاي؟

هنا، في كل الرسوم المتحركة دي، كنت بوضح الأمور باستخدام نموذج لغة، لكن

أولًا ده مش بالضرورة بيحسسك إن دي نفس الاحتمالات الحقيقية الكامنة ورا

اللغة، وثانيًا حتى مش واضح أصلًا إيه اللي نقصده بالاحتمالات الحقيقية للغة.

عشان كده هنا، أعتقد فعلًا إن الأكتر توضيحاً للفكرة هو إننا نرجع خطوة لورا في الزمن ونشوف

شانون نفسه كان بيفكر إزاي في كل ده قبل وقت طويل من نماذج اللغة أو تحليل البيانات الحديث.

بعض أقدم تجاربه عن معلومات اللغة كانت بتعتمد على النظر لسلاسل قصيرة محددة من الحروف،

واللي غالبًا بتسمع عنها باسم n-grams، وبعدين تتبع إحصائيات إيه اللي كان بيميل انه ييجي

بعدها.

فمثلاً، لو شوفت كتب كتير، ولاحظت كل مرة بيظهر فيها الحرفين th وسجلت أنهي حروف بتميل إنها

تيجي بعدها، تقدر تبني جدول للحروف دي وتخلي الإحصائيات دي تمثل عينة للاحتمالات اللي بتهمك.

دلوقتي، المشكلة إن ده بينهار تمامًا مع سلاسل الحروف الأطول،

وبالأخص أي سلسلة نصية مبتظهرش أبدًا في كل الكتب اللي بتحللها.

ومع كده، بيفضل من المنطقي تمامًا إننا نتكلم عن إيه المتوقع ييجي بعد سلسلة أطول زي دي.

في الواقع، الأهم إننا نتكلم عن الحالات دي، لإن نوافذ السياق الأطول

هي الأوقات اللي بتكون فيها الأشياء أكتر قابلية للتنبؤ، وهنا المكان

اللي ممكن تكسب فيه أكبر قدر من الضغط بسبب القابلية دي للتنبؤ.

وعشان كده بدل ما يستخدم الإحصائيات الخام، بعد فترة قصيرة،

شانون حلل نموذج مختلف للغة الإنجليزية كان متاح ليه، مراته بيتي.

شانون سحب كتاب وبدأ يطلب من بيتي إنها تخمّن كل حرف جاي.

وشانون كان بيدوّن تخميناتها حرف بحرف.

وفي كل مرة بتخمّن فيها غلط، كان بيكتب الحرف الصح، وكل ما بتخمّن صح، كان بس بيستبدله بشرطة.

الفكرة كانت إن النسخة المنسوخة دي اللي كان بيعملها بتحتوي على حروف فعلية أقل من

الأصل، لكن كان قصده إنها بتحتوي على نفس مقدار المعلومات، على الأقل بالمعنى ده.

لو قدر بطريقة ما إنه يجيب نسخة مطابقة تمامًا من مراته ويعيد لعبة

التخمين مرة تانية، فكل اللي كان هيحتاجه هو إنه يديها النص المختصر ده.

الحروف دي لوحدها كانت هتدي المعلومات المناسبة تمامًا

لنسخة مراته المكررة عشان تعيد إنتاج النص الأصلي بدقة.

طبعًا، عمليًا، الشخص مش بالضرورة هيخمّن بنفس الطريقة مرتين، ومع إن ده كان بينقل

بشكل نوعي فكرة إن القابلية للتنبؤ بتسمح بالضغط، إلا إنه مكنش لسه مقياس للمعلومات.

وبعدها بفترة، في ورقته البحثية سنة 1950 بعنوان التنبؤ وإنتروبيا

الإنجليزية المطبوعة، شانون جدد تصميم التجربة عشان يحصل على قراءة

أقوى للسؤال ده اللي بيتعلق بمتوسط المحتوى المعلوماتي في الإنجليزية.

المرة دي، وبعد ما عمل مقابلات مع عدد أكبر من الناس، بدل ما يكتفي بتسجيل لو كان كل تخمين

صح أو غلط، شانون سجّل عدد التخمينات اللازمة عشان يوصل الشخص المُخمّن للحرف اللي بعده

الصحيح.

وبعدين بشكل منفصل، كان عنده طريقة كاملة عشان يربط عدد التخمينات

المطلوبة باحتمال ضمني بيكون الشخص نسبه للحرف الحقيقي اللي بعده.

تفاصيل الموضوع ده بتدخل شوية في التعقيدات، لكن الفكرة الأوسع اللي عايز أوصلها

هي إنه، لما كان بيحلل اللغة، مكنش بس بيعمل تحليل بيانات بحت من خلال تصفح الكتب.

كان بيحاول يستكشف نموذج كامن ورا اللغة، واللي هو دماغ الشخص اللي بيتعمل معاه المقابلة.

الأدمغة دي اللي كان بيقدر يتكلم معاها كانت بتُعامل فعليًا كصناديق سودا،

تمتلك فهم متطور بس ميتوصفش للغة، وقدرة على التنبؤ بالحروف بناءً على السياق.

أما الأيام دي، في عشرينيات القرن الواحد وعشرين، إحنا انتقلنا

من مجرد استجواب صناديق سودا بتفهم اللغة لتصميمها إحنا.

والسبب اللي بيجمعني بيك هنا، وإحنا بنعيد زيارة جذور نظرية المعلومات

والدراسة دي الخاصة بمدى قابلية اللغة للضغط، هو مقدار اعتماد

الرياضيات في التعلم الآلي الحديث على الصيغ اللي ظهرت في المجال ده.

وبعيدًا عن تعريف المعلومات نفسه، فيه تلات تعبيرات أساسية تانية عايزك تحس

إنك كان ممكن تعيد اكتشافها بنفسك، مش بس لإن إعادة اكتشافها بيخليها أسهل

في التذكر، بل لإنك لما تشوف إزاي بتنشأ طبيعيًا من دراسة الضغط، ده هيديك

أساس صلب أكتر تقدر من خلاله تقيّم التفاعل المثير للتفكير ده بين الضغط والذكاء.

عندك بالفعل كل اللي تحتاجه عشان تعيد ابتكار أول واحدة فيهم، وهي الإنتروبيا.

تخيل إن عندك أي إشارة ممكن نفكر فيها كسلسلة من الرموز، سواء كانت تعليمات

الروبوت الأربعة، أو اللغة الإنجليزية، أو بصراحة أي حاجة تانية تخطر على بالك.

الإنتروبيا بتسأل عن متوسط كمية المعلومات في كل رمز، وبالاعتماد على كل اللي

كنا بنتكلم عنه، وإن الضغط المثالي شكله بيبقى زي ضوضاء عشوائية، وإزاي إنه

في الحالة دي بيكون عدد البِتّات المستخدمة للرسالة هو نفسه محتوى المعلومات

في الرسالة دي، واللي مرة تانية بينقسم بشكل جميل لمجموع معلومات كل الرموز.

فالسؤال ده عن قياس متوسط المعلومات لكل رمز هو في الأساس سؤال عن حدّ الضغط.

هو بيديك حد أدنى لمدى الكفاءة اللي ممكن تنضغط بيها أي إشارة معيّنة.

وأنا وأنت حسبنا ده بالفعل في حالة معيّنة، لما أخدنا المجموع الموزون ده

عشان نلاقي متوسط عدد البِتّات لكل تعليمة في الترميز المثالي لحالة الروبوت.

بشكل أساسي، ولإن الترميز ده كان مثالي، فطول كلمة

الشفرة لكل رمز كان بيساوي تمامًا محتواه المعلوماتي.

ففعليًا، إحنا بنحسب متوسط المعلومات لكل رمز.

ولو حبينا نعمّم ده، فده هو شكله.

لأي توزيع احتمالي معيّن بيوصف أياً كانت الرموز اللي رسايلك مكوّنة منها، فمتوسط المعلومات

لكل رمز لازم يكون زي جمع p مضروبة في اللوغاريتم السالب لـ p لكل احتمال p في التوزيع ده.

وخد لحظة كده ولاحظ إزاي بنتخيل التعبير ده.

طول الفيديو، كنا بنتخيل التوزيعات الاحتمالية على شكل عواميد أفقية مكدسة،

عرض كل شريط فيها بيساوي احتماله، وبالتالي مجموعهم كلهم مع بعض هو 1.

ودلوقتي، فوق كل واحد فيهم، حطّيت مستطيل ارتفاعه ثابت على قيمة

المعلومات المقابلة ليه، واللي هي سالب لوغاريتم الاحتمال ده للأساس 2.

وعشان كده، المجموع الموزون اللي فوق، أي متوسط المعلومات لكل رمز،

ممكن نفكر فيه على إنه المساحة الكلية لكل المستطيلات دي مع بعض.

بس ده لسه مش عام بالكامل.

هو بس بيوصف حدّ الضغط في الحالات اللي بيكون فيها كل رمز جديد بيتبع نفس التوزيع.

ده صحيح في حالة الروبوت، لكنه مش صحيح في الإنجليزية مثلًا.

ومع كده، هو مهم كفاية لدرجة إنه يستحق يبقى ليه اسم.

وفيه قصة ممتعة عن إزاي إن جون فون نيومان يُفترض إنه قال لشانون إنه لازم

يسمّي التعبير ده إنتروبيا، لإنه أولًا بيشبه تعبير مستخدم أصلًا لفكرة

الإنتروبيا في الميكانيكا الإحصائية، وثانيًا، زي ما قال، "محدش يعرف فعلًا

إيه هي الإنتروبيا، عشان كده في أي نقاش، هتكون الأفضلية في صفك دايمًا."

دورت في الموضوع، وعلى الأغلب القصة دي موثقة بشكل مش دقيق، لكن يبدو إن فيها جزء من الحقيقة.

ودلوقتي، مهما كانت القصة الحقيقية، شانون فعلًا سمّى الكمية دي إنتروبيا، ورمز لها بالحرف H.

ومن الممتع إننا نأخد لحظة ونلعب بالشكل البياني ده عشان نبني شوية حدس.

كل ما كان التوزيع الاحتمالي متوزع بشكل فيه تساوي أكتر، كانت الإنتروبيا

الكلية أعلى، بينما لو ضغطنا الحاجات دي بحيث تبقى غير متساوية جدًا، مثلًا

مع حدث واحد بيستولي على فضاء الاحتمالات، فهنا الإنتروبيا بتكون منخفضة

جدًا، لإن الحدث اللي احتماله كبير ده بيحمل في المقابل قدر قليل جدًا من المعلومات.

وكذلك، لو قسمت فضاء الاحتمالات أكتر، بمعنى إنه يتوزع على عدد أكبر من الرموز الممكنة،

فكل واحد فيهم بيبقى عنده معلومات أكتر، وبالتالي بتكون الإنتروبيا الكلية أعلى.

ومرة تانية، من الممتع نوعًا ما إنك تحرّك كل حاجة رايح جاي، وتشوف أن التوزيع

المنحاز جدًا بيدي إنتروبيا كلية أقل، بينما انتشار متساوي أكتر بيدينا إنتروبيا أعلى.

الحدس النوعي الغامض هنا هو إن الإنتروبيا بتقيس مقدار عدم اليقين في التوزيع،

لكن الفهم الأدق، واللي بيبرر ليه بتستحق إنها تُعطى بوحدات البِتّات، هو إنها

بتوصف الحد الأدنى لعدد البِتّات لكل رمز اللازمة لترميز رسالة بتتبع التوزيع ده.

الكلام ده، وكل اللي غطيناه لحد دلوقتي، هو تقريبًا مضمون نظرية أساسية في ورقة

شانون لسنة 1948 اللي أطلقت نظرية المعلومات، وهي نظرية الترميز عديم الضوضاء.

واللي بتقول إنه مفيش أي ترميز ممكن يكون أكفأ من الحد ده، بل وأكتر من

كده، أثبت كمان إنه دائمًا ممكن نقرب من الحد ده لأي درجة إحنا عايزينها.

ودلوقتي، زي ما قلت، التعبير ده بينطبق بس في الحالات اللي بيتبع فيها

كل رمز نفس التوزيع، لكن شانون طبعًا كان مهتم جدًا بحالة أكتر عمومية،

وهي لما احتمالات كل رمز جديد ماتكونش بالضرورة بتتبع نفس التوزيع.

وبالذات، قضى وقت كبير جدًا وهو بيفكر في قابلية اللغة الطبيعية للضغط.

وده بيحتاج مفهوم أعمّ للإنتروبيا، حاجة معروفة باسم معدل الإنتروبيا لعملية عشوائية.

لكن بيفضل نفس السؤال الأساسي.

إيه هو متوسط المعلومات لكل رمز، بس إحنا في الحالة دي بناخد المتوسط على كل الرسايل الممكنة.

وده تقريبًا عمره ما بيكون حسبة سلسة وتقدر تعملها

باستخدام تصور واضح زي اللي كنا بنلعب بيه من شوية.

في النهايةأصلا ، إيه هي الصيغة اللي بتوصف توزيع احتمالات اللغة؟

فلو سمعت حد بيشير لإنتروبيا اللغة، فده أبعد بكتير من أي حاجة يقدر حساب

دقيق إنه يديها لك، وعشان كده شانون لجأ لتقديرات مبنية على الملاحظة.

وبرضه، منهجيته مكنتش مجرد تحليل بيانات.

مش حاجة تقدر تطبقها كدالة على مجموعة نصوص.

عشان يحصل على تقدير مُرضي للانضغاطية، لقى نفسه

مضطر وبشكل لا مفر منه إنه يستكشف نماذج ذكية للغة.

لما كان عند الأشخاص اللي عمل معاهم المقابلة على الأقل 100 حرف سابق

من السياق، قدّر إنتروبيا اللغة الإنجليزية بحوالي بت واحد بس لكل حرف.

ده رقم مجنون شوية لو فكرت فيه، لإنه بيوحي إن اللغة الإنجليزية

ممكن تتضغط لمجرد إجابة واحدة بـ "أه" أو "لأ" لكل حرف.

مهما كان ده غريب بالنسبالك، في الجزء التالت هنا، هوريك الخوارزمية

اللي اتكلمت عليها، واللي فيها لو مسموح لك تستخدم نموذج لغة عالي

الجودة للترميز وفك الترميز، تقدر عمليًا توصل لقريب بشكل مدهش من الحد ده.

قبلها، هيكون مفيد إنك تفهم نسخة مختلفة من الإنتروبيا، اسمها الإنتروبيا

التقاطعية، ونسأل إزاي وليه بنستخدمها في تدريب نماذج اللغة الكبيرة.

لو حابب تتعلم ده، ومعاه كام فكرة ممتعة مرتبطة بيه زي إزاي بيتم

تقطير النماذج الكبيرة لـ نماذج أصغر، وليه أصلًا GZIP بيقدر

يستعيد البنية بين لغات مختلفة، تعالى معايا في الجزء التاني.

المشاهدين الدائمين يعرفوا إن تجربتي الجديدة للسنة دي

هي إقامة معرض وظايف افتراضي، صفحة على /3b1b.co/talent.

عشان يقدر الجمهور ده يستكشف فرص مهنية متوافقة.

التحديث المهم هو ببساطة كمية المحتوى الأكبر بكتير الموجودة

دلوقتي، وبالأساس على شكل مقابلات مميزة بيني وبين الفرق المعنية دي.

خليني أوضح فكرتي.

بحس إنه لما تكون بتقيّم وظايف محتملة، يكاد يكون مستحيل إنك تاخد إحساس

حقيقي بطبيعة الشغل في مكان معين بس من خلال إنك تتصفح النت، وبتتعلم

أكتر بمراحل مهولة لو جاتلك فرصة تقعد تاكل مع اتنين من أعضاء الفريق ده.

أملي هو إني أقدم لك النسخة غير المباشرة من ده.

فلو كنت بتسأل عن قصدي إيه لما بقول إن دي كلها فرق واعية وعندها فضول، خد لك لحظة واستكشفها.

أعتقد فعلًا إنك هتستمتع بيها.