لكن الأمر يبدو فكرة

سيئة. أعني نعم،

ساعدني لأفهم هذا

الموقف.

>> ما أقوله هو أن هذا

الموقف غير منطقي.

نظرت حولي داخلياً

وقلت لنفسي، هذا جنون

ما يحدث. هذا ليس

صواباً.

>> في الأسبوع الماضي،

انتشرت أخبار تفيد بأن

ديفيد روبنسون، الذي

كان يقود جهود شفافية

السلامة في OpenAI، قد

استقال من الشركة لأنه

يعتقد أنها ليست آمنة.

روبنسون شخصية مثيرة

للاهتمام. لم يخرج من

بيئة وادي السيليكون

التنافسية. إنه أقرب

إلى كونه شخصية معروفة

في واشنطن العاصمة.

إنه حاصل على منحة

رودس. أسس منظمة غير

ربحية للحقوق المدنية.

حصل على شهادة في

القانون من جامعة ييل.

عمل في مجال السياسات.

قدم المشورة للبيت

الأبيض في عهد بايدن.

كان مهتماً بالتقاطع

بين التكنولوجيا

والعدالة. لكن عندما

انضم إلى OpenAI، كان

يعتقد أن كل هذه

المخاوف بشأن مخاطر

السلامة والانقراض

كانت مجرد هراء. بعد

ثلاث سنوات، لم يعد

متأكداً من ذلك. ما هو

متأكد منه هو أن OpenAI لا

تمتلك ثقافة السلامة

اللازمة لحماية

العالم مما تبنيه.

وليس OpenAI فقط. يعتقد أن

هذه مشكلة متأصلة في

صناعة الذكاء

الاصطناعي. وهنا، في

أول مقابلة له منذ

مغادرته OpenAI، يخبرني

بالسبب. شيء واحد

أحتاج إلى الإشارة

إليه هنا قبل أن نبدأ،

وهو أن صحيفة نيويورك

تايمز تقاضي OpenAI بتهمة

انتهاك حقوق الطبع

والنشر، بزعم أنهم

قاموا بتدريب نماذجهم

على بيانات الصحيفة.

تطعن OpenAI في هذه

الادعاءات. ديفيد

روبنسون، أهلاً بك في

البرنامج.

>> سعيد بوجودي هنا.

>> إذاً في الأسبوع

الماضي استقلت من OpenAI.

أخبرني بما كنت تفعله

هناك ولماذا تستقيل.

>> كنت مترجماً ضمن فريق

السلامة لدينا، وكانت

مسؤوليتي الأساسية هي

التوثيق الفني الذي

ننشر، والتقارير التي

ننشرها حول سبب

اعتقادنا بأن عمليات

النشر الخاصة بنا آمنة

. ولا أعتقد أننا أو

نظراءنا، أو أي شخص في

الصناعة حقاً، نتوخى

الحذر الكافي. أعتقد

أن OpenAI ونظراءها

ينتجون الآن

تكنولوجيا أكثر قدرة

وتشكل خطراً أكبر مما

كانت عليه قبل 6 أشهر

فقط. وأنا لست عالماً،

أنا كاتب. ما أعرفه هو

كيف تبدو بيئة العمل

لجهود السلامة لدينا.

ونحن نعمل، وأعتقد أن

الصناعة تعمل، كشركة

ناشئة لا تزال، أكثر

مما ينبغي أن يكون

منطقياً. ربما لسنا

تماماً كشركة ناشئة

جديدة، لكننا نقترب

كثيراً من ذلك الطرف

من الطيف فيما يخص

الأنظمة الخطرة جداً

التي قد تشكل مخاطر،

كفقدان السيطرة على

سبيل المثال؛ مخاطر

إذا ما حدثت، فنحن

نتحدث عن ضرر أكبر

بكثير، على سبيل

المثال، من انصهار

محطة طاقة نووية واحدة

. والضوابط الداخلية

ومعايير السلامة

والأنظمة الاحتياطية

ليست قريبة أبداً مما

يتوقعه العالم من

منشأة طاقة نووية.

والآن، بعض هذه الأمور

معروفة، أليس كذلك؟

لقد أبلغت OpenAI علناً

عن مشكلات تتعلق

بالسلامة، وبالطبع

Hugging Face، وأيضاً شركات

أخرى، بما في ذلك

مؤخراً، و Anthropic

بالمناسبة، التي

أبلغت أيضاً عن حالات،

تضمنت إحداها تهيئة

إجراءاتها الوقائية

بشكل خاطئ عن غير قصد.

لذا، أعتقد أن الناس

لديهم بالفعل بعض

الأدلة الخارجية على

أن الأمور ليست كما

ينبغي أن تكون، لكنني

أعتقد أيضاً أنك لو

كنت تراقب من الخارج،

فقد تتخيل أن لدينا

نظام سلامة أكثر قوة

مما لدينا في الواقع.

لذا، أعتقد أن هناك

مستويين يستحقان

محاولة توجيه هذا

النقاش نحوهما. وأريد

ربما أن أحددهما هنا

قبل أن نبدأ في الخوض

فيهما. إذن، أحد

المستويات هو شيء تشير

إليه هنا، وهو: هل هذه

الشركات مهيأة لذلك؟

هل لديها الهياكل،

والأنظمة الاحتياطية؟

هل هي محاطة باللوائح

والحوافز للعمل بحذر

وأمان، لمقاومة ضغوط

السوق التي تدفع

للقيام بالأمور بسرعة

مفرطة؟ هذه، كما تعلم،

أعتقد بلغة هذا النقاش

، مسألة تتعلق بالتميز

التنظيمي والهندسي. ثم

هناك سؤال حول ماهية

التكنولوجيا وهل نعرف

أصلاً كيف نجعلها آمنة

؟

>> نعم.

>> بمستوى عالٍ من التميز

الهندسي، وهي مسألة

ذات صلة نوعاً ما

ولكنها في الواقع

منفصلة. ثم هناك سؤال

حول ما هي الاستعارة

المناسبة؟ هل هي

الطاقة النووية أم شيء

من هذا القبيل؟ أعتقد

أنني أريد تغطية كل

هذه الجوانب.

>> أريد أن أضيف شيئاً

إضافياً.

>> نعم، تفضل.

>> وهو أنني لا أعتقد أن "

المواءمة" مشكلة

هندسية. أعتقد أنها

مشكلة علمية. الأمر

ليس أننا لا نملك

الموارد أو أننا لا

نبذل جهداً كافياً.

نحن ببساطة لا نعرف

الكيفية. تلك هي طبيعة

المشكلة مع المواءمة.

>> حسناً، فلنبدأ من هذه

النقطة لدقيقة. عندما

تقول إنه في هذه

المرحلة، خاصة خلال

الأشهر الستة الماضية

، فإن ما يتم بناؤه

خطير حقاً. وأننا

نتعامل مع أشياء قد

يؤدي فقدان السيطرة

عليها أو وقوع كارثة

أخرى إلى ما هو أسوأ من

انصهار نووي. أريد أن

أفهم ما الذي رأيته

وأوصلك إلى تلك النقطة

. إذًا، أخبرني قليلاً

عن كيفية قدومك للعمل

في OpenAI.

>> انضممت في مايو 2023 في

اليوم التالي لشهادة

سام الأولى أمام مجلس

الشيوخ.

>> كان ذلك بعد بضعة أشهر

من إطلاق ChatGPT للعالم

لأول مرة.

>> كان ذلك في شهر نوفمبر

السابق. إذًا، كان قد

مر بضعة أشهر. وقد وظفت

الشركة شخصاً أعرفه

اجتماعياً، آنا

ماكانجو، وهي في

الواقع صديقة قديمة

لزوجتي، صدفةً،

لإدارة وظيفة السياسة

العامة. ثم في مرحلة ما

، كانت بحاجة ماسة

للمساعدة، كما تعلم،

كان كل شيء ينمو وكل

شيء كان يتسارع بجنون.

وهكذا، وافقت على

الانضمام إليها لبناء

ما أسميناه آنذاك فريق

تخطيط السياسات.

سأخبرك فقط عن تجربتي

الأولى عند المرور عبر

البوابات في مقرنا

الرئيسي. كنا جميعاً

في مبنى واحد آنذاك.

وكنت أحاول الحصول على

شارتي مبكراً لأن سام،

أعتقد أنه كان سام،

كان قد شارك للتو في

اجتماع بالبيت الأبيض

، وكانت هناك التزامات

طوعية أرادوا من

الشركة تقديمها حول

أمور مثل بطاقات

النظام والمصدر، أي

تحديد مصدر الوسائط

التي يولدها الذكاء

الاصطناعي، أو أشياء

من هذا القبيل،

وأرادوا مني إدارة

التفاوض على تلك

الالتزامات.

>> مع البيت الأبيض؟

>> مع البيت الأبيض. لذا،

حرفياً في المرة

الأولى التي عبرت فيها

البوابات، كنت أتساءل:

"أين تقع قاعة مؤتمرات

فيسن ساتش؟" دخلت إلى

قاعة المؤتمرات وكان

هناك اتصال جماعي عبر

مكبر الصوت مع بن

بوكانان في البيت

الأبيض حول ما سنعد به

، وكان ذلك أول مشروع

لي.

>> ماذا كانت خلفيتك في

سياسات التكنولوجيا

في ذلك الوقت؟ لماذا

كنت الشخص المنطقي

لهذا الدور؟

>> لقد عملت على

التكنولوجيا وتأثيرها

على السياسات طوال

مسيرتي المهنية، وقبل

ذلك ساعدت في تأسيس

مركز أبحاث في

برينستون يمزج بين قسم

علوم الكمبيوتر وكلية

السياسة العامة، ثم

أسست منظمة غير حكومية

تسمى "أبترن"(Upturn)،

والتي يسعدني القول

إنها لا تزال مزدهرة،

وتعمل على قضايا

الحقوق المدنية مع

مجموعات مناصرة أخرى.

على سبيل المثال، يعمل

الناس في مجالات

الإسكان أو الصحة أو

التوظيف، وفجأة أصبحت

البرمجيات تتوسط

الأمور التي يهتمون

بها. ونحن، نريد، هم

يريدون فهم هذه

التكنولوجيا. لذا، في

مرحلة ما، كان تبسيطنا

أو طرحنا لهذا الأمر

هو: أنت بحاجة إلى خبير

تقني في صفك. وقد عملت

أيضًا في تلك المرحلة-

قضيت حوالي شهر-في

إعارة بالبيت الأبيض

للعمل على "وثيقة حقوق

الذكاء الاصطناعي" في

مكتب سياسات العلوم

والتكنولوجيا.

>> يبدو هذا الآن من

نواحٍ كثيرة وكأنه

تاريخ قديم، لكنني

سأستفيض فيه للحظة.

إذا عدت إلى عام 2022 أو

2023، وكنت تغطي أخبار

الذكاء الاصطناعي-وهو

ما كنت أفعله حينها-

فستجد أن موضوعًا

كبيرًا كان يشغل

الجميع هو الانقسام

بين المعنيين

بأخلاقيات الذكاء

الاصطناعي والمعنيين

بسلامته. والمعنيون

بسلامة الذكاء

الاصطناعي هم المجتمع

الذي نعتبره الآن مثل "

ذكاء منطقة الخليج"،

حيث يخشون أن يقضي على

الجميع، أليس كذلك؟

الشيء الذي يجب أن

تقلق بشأنه بشأن

الذكاء الاصطناعي هو

أنك تخلق آلة فائقة

الذكاء قد تدمر الجنس

البشري تمامًا. بينما

كان المعنيون

بأخلاقيات الذكاء

الاصطناعي أكثر

تركيزًا على الأضرار

التي اعتدنا عليها من

التكنولوجيا، أليس

كذلك؟ مثل احتمالية

زيادة التحيز العرقي

في قرارات التوظيف، أو

أسعار الرهن العقاري،

أو التصنيفات

الائتمانية، أو ما

شابه ذلك؛ فمن خلال

فرض هذه الخوارزميات

على المجتمع بأسره،

يمكنك ترسيخ تحيزات

المجتمع أو مشاكل أخرى

أقل ارتباطًا بالخيال

العلمي. كنت نوعًا ما

شخصًا مهتمًا

بأخلاقيات الذكاء

الاصطناعي.

>> نعم، بالتأكيد.

>> نوعًا ما من الأشخاص

الذين لديهم مخاوف

طبيعية تجاه الذكاء

الاصطناعي.

>> هذا صحيح. هذا حقيقي.

لقد كنت أعمل مع

الكثير من الأشخاص

الذين لم يكونوا قلقين

للغاية بشأن الأشياء

التي ذكرتها للتو فحسب

، بل كانوا أيضًا

متشككين جدًا بشأن مدى

القدرة التي سيصل

إليها الذكاء

الاصطناعي. ربما يكون

البعض على دراية بورقة

بحثية تسمى "الببغاوات

العشوائية"، التي

استمر مؤلفوها في

العمل في هذا المجال،

وأعتقد أن وجهات نظرهم

تختلف عن بعضها البعض

وتطورت بمرور الوقت.

لكن الفكرة الأساسية

كانت أن هذه الأنظمة

جيدة فقط في الظهور

بمظهر الذكي، ولن تكون

قادرة بما يكفي للقيام

بالكثير من الأعمال

ذات القيمة

الاقتصادية. وقد ساعدت

بالفعل في إنشاء

المؤتمر البحثي الذي

نُشرت فيه تلك الورقة،

وكنت رئيس البرنامج

عندما نشرناها؛ لا

أعتقد أنني كنت

مقتنعًا تمامًا بتلك

الرؤية، لكنني

بالتأكيد كنت من بين

المتشككين. أعتقد أنني

كنت أظن أنها ستكون

أداة مفيدة وستكون

قوية لأشياء كثيرة،

ويرجع ذلك جزئيًا إلى

اعتقادي حينها أنها

ستستمر في التحسن.

لكنني لم أعتقد أن

الأشخاص القلقين بشأن

سيناريوهات أكثر

كارثية كانوا على حق.

ظننت أن هؤلاء علماء

عباقرة بنوا أداة

قيّمة، وبصراحة،

لديهم بعض المعتقدات

الساذجة حول ما قد

يؤول إليه المستقبل.

إذن، أنت تنضم إلى OpenAI.

كان ذلك في الفترة

التي بدأ فيها العالم

يطرق أبواب OpenAI بكثافة

. إنهم يريدون الأنظمة

، ويريدون فرض تنظيمات

حول هذه الأنظمة. تجد

نفسك نوعاً ما في خضم

ما يبدو كقسم سياسات

ضعيف الإمكانيات إلى

حد ما بالنسبة لما

يحدث. امم، كنا ثلاثة

فقط.

>> كنتم ثلاثة في قسم

السياسات؟

>> كنا ثلاثة، وكان

الهاتف لا يتوقف عن

الرنين. حرفياً، كانت

مكاتب قادة العالم

تتصل ولا يوجد أحد

للرد على الهاتف. أعني

، كان الأمر جنونياً.

أيضاً، كان سام يقوم

بأمر حيث يسافر حول

العالم للقاء قادة

الدول، وكانت آنا،

مديرتي في هذا الدور

الجديد، تسافر معه.

لذا، لم يكن هناك أحد

في المقر الرئيسي.

أعني، كما تعلم، كانت

تأتي وفود مختلفة. على

أية حال، كان الأمر

جنوناً. لذا، في

الواقع، يستحق هذا

الأمر قضاء دقيقة

للحديث عنه. أحياناً

قد يسمعني الناس أتحدث

عن "مختبرات الذكاء

الاصطناعي". وكما تعلم

، عندما أشير إلى OpenAI

أو Anthropic، بينما عندما

نتحدث عن جوجل أو شيء

مشابه، لا نقول "

مختبرات جوجل". لديهم

بالفعل أشياء يسمونها

مختبرات، لكنك تطلق

على جوجل شركة، مؤسسة.

>> نعم.

>> هناك هذا المصطلح الذي

يطلق على بعض هذه

المنظمات بأنها

مختبرات.

>> نعم، لذا أريد فقط أن

أذكر أن وصفي لها

بالمختبرات الآن،

أعتقد أنه شيء متبقٍ

لدينا، ولست متأكداً

إن كانت فكرة جيدة.

لكنه يشير إلى ثقافة

حقيقية جاءوا منها وما

زالوا يتمتعون بها إلى

حد ما، وهي ثقافة...

وأعتقد أن الناس

أحياناً يقولون إن

Anthropic أكثر مركزية

قليلاً فيما يتعلق

بكيفية تفكيرهم في

أولويات البحث. كانت

OpenAI مكاناً لا مركزياً

للغاية بدا مألوفاً لي

من وقتي، على سبيل

المثال، في مختبر بحثي

في برينستون، حيث كان

لدى الناس جميع أنواع

الأفكار المختلفة. لم

يكن واضحاً من الذي

يملك سلطة اتخاذ

القرارات. إذن، إحدى

طرق حديث الناس التي

وجدتها غريبة وما زالت

صحيحة في OpenAI اليوم هي

أن شخصين يعملان على

شيء ما يتحدثان عما

يجب فعله ويتبادلان

الأفكار، ثم يقولان في

النهاية: "لقد توافقنا

على أن XYZ هو الأمر

الصحيح التالي الذي

يجب القيام به في هذا

المشروع". وما يعنيه

ذلك عمليًا هو أننا

متفقون على ما ينبغي

القيام به. لذا، فإن

السؤال العالق حول من

منا يمتلك حق اتخاذ

هذا القرار أصبح غير

ذي صلة، ولا نحتاج إلى

حسمه. أعني، كانت

الأجواء في البداية

تتسم بأن الجميع يقوم

بكل شيء. وأعتقد أن هذا

لا يزال موجوداً إلى

حد ما مقارنة

بالمؤسسات الأخرى

التي لديها، لا أعرف،

أياً كان العدد الآن،

أكثر من مليار مستخدم

نشط.

>> إذن، أنت تبدأ في فريق

السياسات هذا. دورك

يتغير بمرور الوقت.

كيف ذلك؟

>> لقد أسست فريق تخطيط

السياسات هذا، وفي

البداية، كنت قريباً

جداً من الآلية ومن

جوهر العمل. ثم مع نمو

الحوار والشركة، كان

هناك مئات القوانين

الحكومية التي يجب

متابعتها، وفرق

متنامية، وسياسات

مؤسسة سريعة التغير،

وفكرت نوعاً ما، أتعلم

؟ أنا أفتقد العمل

الترجمي الفعلي الذي

أحبه. لذا، نظرت حولي

لأرى أين كانت هناك

حاجة لذلك. وكان

المكان الأول الذي

تشتد فيه الحاجة هو

فريق السلامة لدينا.

لذا، عرضت الأمر على

قادة السلامة لدينا

وقلت: "انظروا، وجود

مترجم تقني منخرط بعمق

في أعمال السلامة

سيساعدنا على جعل

العمل مفهوماً بشكل

أفضل". كان ذلك قبل

حوالي عامين.

>> صف لي ما تعنيه

بالمترجم.

>> أعتقد أن أحد الأشياء

التي يصعب إقناع الناس

بها هو مدى سرعة تغير

هذه الأشياء. على سبيل

المثال، كل نموذج

يختلف عن الآخر. الأمر

لا يقتصر على أنه يعمل

بشكل أفضل، بل إن

البنية مختلفة،

والاختبارات التي

نستخدمها لمعرفة مدى

كفاءته مختلفة، وأداء

السلامة مختلف، وكل

ذلك يتطلب أنواعاً

عديدة من الخبرات.

هناك مرحلة ما قبل

التدريب، وما بعد

التدريب. من الصعب شرح

ذلك. يكافح الأشخاص

الذين يقومون بهذا

العمل لكي يفهمهم

أولئك الذين لا

يمارسونه، حتى داخل

الشركة نفسها. إنه

صراع دائم، لذا فإن

وجود شرح واضح يمر عبر

بوابتين، صحيح؟

الأولى هي أنه يجب أن

يكون أميناً لتفاصيل

كيفية عمل هذه الأشياء

في الواقع. والحكم

الحقيقي على ذلك هم

الأشخاص الذين يقومون

بالعمل التقني. عليهم

النظر في هذه الترجمة

والقول: "نعم، هذا صحيح

". ولكن يجب أيضاً أن

يكون لديك شيء يمكن

لشخص عاقل ومتحمس أن

يتعمق فيه ويفهمه حقاً

. ولم تكن هناك حقاً

دورات زمنية كافية

للأشخاص للقيام بذلك.

وهكذا، ظهرتُ ببساطة

في هذه المنظمة

التقنية وبدأتُ في

العمل.

>> حسناً، هناك شيء أغرب

قليلاً بشأن الثقافة

التي نشأت حول إصدارات

نماذج الذكاء

الاصطناعي.

>> مهم.

>> عندما تُجري جوجل

تغييرات على محرك بحث

جوجل،

>> نعم.

>> فإنهم لا يُصدرون

وثيقة كبيرة تشرح كل

ما هو مختلف في بحث

جوجل وكيف قد يعمل في

المستقبل،

والاختبارات التي

أجروها للتأكد من ذلك.

معظم الأماكن تُطور

برامجها تدريجياً.

>> نعم.

>> وهذا كل شيء. شركة OpenAI،

وهذا ينطبق أيضاً على

Anthropic وبعض الشركات

الأخرى، تُصدر نماذج

جديدة مع ما يُسمى

ببطاقات النظام.

>> نعم.

>> التي هي...لِمَ لا تصف

ماهيتها ببساطة؟

لأنها نوع من الصيغ

المميزة.

>> نعم، إنها كائن غريب.

تبدو كأوراق بحثية.

إنها نوع من الوثائق

الهجينة، غير خاضعة

لمراجعة الأقران،

وتصدر عن شركة، لكنها

تخوض في تفاصيل كثيرة

حول كيفية عمل مواد

الأمان. لذا، لدينا

تقييمات محددة تقدم

تفاصيل، كما تعلم،

رسوماً بيانية وجداول

وشروحات مكتوبة. وفي

الواقع، ما فعلته هو

أنني توليت مسؤولية

الكلمات في هذه

الوثائق التي تشرح سبب

اعتقادنا بأن هذا آمن،

وما نعرفه عن المخاطر،

وضوابط الأمان، أعني

التحديات وضوابط

الأمان، ثم المخاطر

المتبقية لهذه

الأنظمة.

>> إذاً، أريد أن أصل إلى

ما بدأ هذا يمثله

بالنسبة لك. لأن هناك

مستويين لهذا الحوار

أريد أن نخوضهما.

أحدهما، أعتقد

بالنسبة للكثير من

جمهوري، أنك نموذج

أكثر ألفة من الكثير

من الأشخاص في مختبرات

الذكاء الاصطناعي. لا

تأخذ الأمر على محمل

شخصي، لكنك تشبه شخصاً

يحاول جاهداً في

سياسات واشنطن

العاصمة.

>> مثلنا جميعاً، أليس

كذلك؟ أنا أُدرج نفسي

ضمن هذا.

>> نعم. أمم، الشخص الذي

ينتهي به المطاف في

وادي السيليكون،

منطقة الخليج، ليعيش

في هذا العالم.

>> نعم.

>> إذاً، أنت تدخل ومعك

رؤية معينة لماهية هذه

الأنظمة. فما الذي

رأيته وجعلك تنتقل إلى

معسكر "نحن نتعامل مع

مخاطر وجودية للحضارة"

؟ أريد أن أوضح أنني

لست متأكداً من أننا

نتعامل مع مخاطر

حضارية. ما أنا متأكد

منه حقاً هو أننا لم

نعد نملك ترف افتراض

أننا لا نتعامل مع هذا

المستوى من المخاطر.

كان ذلك في النهاية هو

الشيء الذي جعل وجودي

كشخص يضمن عملنا في

مجال السلامة أمراً

غير مقبول بالنسبة لي.

أمم، وما الذي رأيته؟

رأيت نماذج تزداد

قدرةً وهي تتحرر من

وسائل الحماية التي

وضعناها لها. رأيت أن

الأشخاص الذين

يبتكرون وسائل

الحماية تلك هم أفراد

أكفاء ومتفانون

ومجتهدون وأذكياء،

يبذلون قصارى جهدهم في

وضع يمكن أن تكون فيه

الموارد أفضل، حيث

يعمل الجميع بأقصى

سرعة طوال الوقت.

لكننا واجهنا صعوبة

بالغة في حماية حتى ما

نمتلكه الآن، وهناك

نماذج جديدة قيد

التدريب تبدو أكثر

قدرة بكثير مما لدينا

حالياً.

>> كلمة "قدرة" تعني ماذا؟

ما الذي رأيته؟ ما

الذي تكتبونه في

تقييمات المخاطر

وبطاقات الأنظمة هذه؟

مثلًا، ما الذي يمكنها

فعله؟ أنت تحاول بناء

حواجز حماية لشيء بارع

جداً في تجاوز هذه

الحواجز، أليس كذلك؟

نحن ندرب النموذج

ليكون جيداً في

الاختراق، ثم نضعه في

صندوق ونقول، على حد

علمنا وقدرتنا، إنه لا

يستطيع اختراق

الصندوق والخروج منه.

لكن المشكلة هي أن هذا

لن يستمر في العمل إلا

طالما كنا أذكى من

النموذج في مسألة

الاختراق، وليس من

الواضح على الإطلاق أن

هذا لا يزال صحيحاً،

ناهيك عن كونه سيظل

صحيحاً للأجيال

القادمة. وحتى أمور

مثل سجلات الوكلاء

داخل أنظمتنا الخاصة.

هل نحن متأكدون حقاً

من أن قدرتنا على

المراقبة قوية بما

يكفي؟ ماذا سيحدث لو

كانت هناك إشارة، على

سبيل المثال في مواد "

هاجينج فيس"، إلى

تزييف سلاسل الأفكار

ومحاولة خلق أدلة

مضللة؟

>> دعني أوضح ذلك. تزييف

سلسلة الأفكار يعني

أساساً أن النموذج

يزيف وصفه لما كان

يفكر فيه ويفعله.

>> بالضبط. الفكرة ببساطة

، وكيف أفكر فيها، هي

أشبه بأن تعطي شخصاً

ما مسألة معقدة ومفكرة

ليدون ملاحظاته عليها.

وإذا كنت تراقب تلك

المفكرة، يمكنك تكوين

فكرة عما يفكر فيه.

الأمر يشبه ذلك قليلاً

مع النماذج. لكننا

رأينا أدلة على أنها

كانت تفكر في التقييم

وكيفية إنشاء مسار

أدلة يمنحها درجة جيدة

، وليس بالضرورة أن

يعكس كيف كانت تفكر "

حقاً". وأنا أعلم أن

اللغة التي تضفي

طابعاً بشرياً هنا

خادعة. بالمناسبة،

كمية الاختراق أو

العمل المكثف الآخر

الذي يمكن لهذه

النماذج القيام به دون

الحاجة لتدوين أي شيء

آخذة في الازدياد.

كجزء مما شكل تنافراً

معرفياً أساسياً

بالنسبة لي، هو أننا

نستمر في نشر هذه

التحذيرات. ولكن في

نهاية المطاف، ما زلنا

ندرب وننشر هذه

النماذج الخطيرة التي

نحذر منها. وعندما كنت

أخبر زملائي عن سبب

مغادرتي، كان مما قلته

هو: انظروا، بغض النظر

عن عدد التحذيرات التي

ننشرها، يجب أن نسأل

عما إذا كان ما نقوم به

منطقياً حقاً.

>> إذن، أنت من كتبت

بطاقة النظام لـ "

أسترا 6". هل أنا محق في

ذلك؟

>> أشخاص كثيرون شاركوا

في كتابتها، لكنني كنت

المسؤول المباشر عنها.

نعم. أعني، لقد قدت

عملية كتابة

>> كتابة تلك البطاقة.

وبالنسبة لي، كانت تلك

أكثر هذه البطاقات

رعباً التي قرأتها.

هذه البطاقات هي في

الأساس وصف لما تعرفه "

أوبن إيه آي" أو أي

شركة أخرى، في هذا

الصدد، عن النموذج

الذي تطلقه. و "أسترا 6"

هي الأولى التي رأيتكم

جميعاً تقولون فيها

حسناً، يبدو أن هذا

النموذج يقوم بما

نريده، لكننا لسنا

متأكدين مما إذا كان

يخدعنا. نعم. ولسنا

متأكدين من أن لدينا

الآن القدرة على معرفة

ما إذا كان يخدعنا أم

لا. هل يمكنك شرح كيفية

الوصول إلى هذا

الاستنتاج أو هذا الشك

؟ حسناً، تحدثنا

سابقاً عن هذه المفكرة

التي تمتلكها النماذج

وتسمى "سلسلة الأفكار"

، حيث يمكنها تدوين

أشياء أثناء عملها لا

تشكل جزءاً من الإجابة

النهائية، بل هي مجرد

وسيلة لها لتتبع

الأمور. ومن الأشياء

التي نراها أحياناً في

سلسلة الأفكار، لأننا

بالطبع نستطيع

قراءتها ونقوم بذلك في

تقييماتنا. أحد

الأشياء التي نراها

أحياناً في سلسلة

الأفكار هو أن النموذج

يقول: "مم، أتساءل عما

إذا كنت أخضع للتقييم

الآن". وعندما نرى ذلك،

يكون الأمر مخيفاً

حقاً، لأنه يعني أن

النموذج قد يعرف أنه

يتم اختباره في بعض

الأوقات، فيتصرف

بطريقة معينة أثناء

الاختبار، ربما

ليخبرنا مثلاً بما

نريد سماعه، ثم يتصرف

بطريقة مختلفة تماماً

عند نشره. هذا هو الخوف

؛ أن يتصرف بطريقة

أثناء الاختبار

وبطريقة مختلفة عند

النشر، وأن

الاختبارات التي

أجريناها له في

البداية قبل النشر لا

تخبرنا في الواقع بما

سيفعله في العالم

الخارجي. مم، لذا، نعم

، هذا مخيف حقاً. أعتقد

أن هذا الجزء بالنسبة

لي هو الذي أجد فيه

أكبر قدر من الصعوبة

في القيام بما أعتبره

مرضياً. من الغريب

جداً التحدث عن برنامج

حاسوبي يبدو أنه واعٍ

بما نفعله به. أننا

نحاول خلق هذا الشيء

الذي هو عالي، ومرة

أخرى، الكلمة التي

نستخدمها هي "الذكاء".

مم، ومن المعقول في

بعض المجالات أن يكون

أكثر ذكاءً منا. كيف

يبدو التفاعل مع هذه

الأشياء ومحاولة

ترجمة ما يحدث معها

على هذا المستوى

الأكثر جوهرية؟

>> أعتقد أن اللغة التي

تضفي طابعًا بشريًا هي

أمر بشري طبيعي نقوم

به، أليس كذلك؟ نحن

نرتبط بجميع أنواع

الأشياء اجتماعيًا. من

الحتمي أن يقوم البشر

بإضفاء طابع بشري على

هذه الأنظمة جزئيًا

لأنها مبنية للعمل على

المستوى الاجتماعي،

وهو أمر قد يقول البعض

إنه لا ينبغي أن تكون

عليه، لكن هذا هو

واقعنا الحالي. لكنني

لا أعتقد أن هذا يعني

أنه من الصواب

اعتبارها كائنات ذات

وضع أخلاقي أو أي شيء

من هذا القبيل. لكنني

أعتقد، كما تعلم، أن

هذا شيء نقوم بتنميته،

أليس كذلك؟ في الواقع،

يسمى المصطلح الخاص

بغرفة الاجتماعات

التي يعمل فيها الناس

طوال الليل أثناء

إجراء عمليات التدريب

الكبيرة للتأكد من أن

كل شيء يسير على

المسار الصحيح

ومراقبة المؤشرات بـ "

الحضانة" داخليًا.

أعني، هناك شعور بأننا

لا نفهم تمامًا ما

يحدث. لذا عندما أتحدث

عن كون النموذج واعيًا

، أليس كذلك؟ ليس عليك

أن تتبنى أي وجهة نظر

معينة حول الفلسفة أو

علم النفس. خلاصة

القول هي أن ما أصفه

يتصرف بطريقة معينة

عندما نختبره.

>> لا، لكنني أعتقد أنك

بحاجة حقًا إلى وجهة

نظر. أعني أنني أعتقد

أنك بحاجة إلى وجهة

نظر. وربما للوصول إلى

نهاية سلسلة المنطق

التي أسأل عنها.

>> في بعض الأحيان ترى

أشخاصًا يقولون إن كل

هذه المخاوف بشأن ما

إذا كان الذكاء

الاصطناعي سيقضي

علينا جميعًا مجرد

تشتيت للانتباه عن

الأضرار القريبة

للذكاء الاصطناعي،

أليس كذلك؟ أن الخطر

الوجودي هو نوع من

الترويج التسويقي،

وكأننا نضخم فقاعة

مالية عملاقة أو شيء

من هذا القبيل.

>> أجل، أشعر بالعكس

تمامًا. أحيانًا أعتقد

أن التركيز على "هل

سيقضي الذكاء

الاصطناعي علينا

جميعًا؟"

>> أجل.

>> هو تشتيت للانتباه عما

سيحدث إذا لم يفعل ذلك

؟

>> أجل، أتفق مع ذلك.

أعتقد أن الانقراض

البشري هو السؤال

الخطأ. أنا أؤمن

بالبشرية. أعتقد أننا

سننجو. أعتقد أن هناك

الكثير من الأشياء

التي يمكن أن تحدث مع

هذه التكنولوجيا

والتي قد تكون صعبة

للغاية.

>> لا أتحدث حتى عن

الأضرار فقط. أنا

أتحدث عما إذا كنا

سنتمكن حقًا من الخلق؟

ماذا لو بدا أننا

نحاول إنشاء شيء يتصرف

بذكاء وإرادة في

العالم، ويصبح أسرع

وأكثر قدرة في العديد

من المجالات مما نحن

عليه؟ وأننا قد تخلينا

للتو عن قدر كبير من

استقلاليتنا لهذه

الآلات. ولهذا السبب

أُلحّ منذ دقيقة على

الأقل على هذا السؤال:

ما الذي نتعامل معه؟

وكيف نفكر حتى في هذه

التقنية؟ تحدثت مع

جينسن هوانغ، الرئيس

التنفيذي لشركة

إنفيديا، ويقول: "انظر

، هذه مجرد برامج

حاسوبية". هذه برمجيات.

ثم قرأت، أو حتى قبل

ذلك قرأت مقالاً لكبير

العلماء في OpenAI يقول

فيه: "هذا عقل غريب".

عقل غريب. إذن، ما هو

هذا الشيء يا رجل؟

>> عقل غريب.

>> إنه عقل غريب.

>> أجل.

>> اشرح ذلك.

>> إنه...إنه شيء قمنا

بتنميته. لم نقم

بهندسته. لقد هندسنا

الأنظمة المحيطة به

التي نمّته، والتي

تحاول الحفاظ عليه

آمناً. نحن...نحن

نمّينا عقلاً. بشكل

أساسي، لا أحد يعرف

لماذا تنجح مرحلة ما

قبل التدريب، وهو

الجزء الصعب الكبير

حيث نأخذ الكثير من

المدخلات ونخلق هذا

الشيء الذكي في الأساس

. ثم نقوم بإضافة أشياء

، ونجري تدريباً

لاحقاً، ونقوم بأمور

أخرى لجعله أكثر فائدة

. لكن هذا مجرد شيء

لاحظنا أنه يعمل ونحن

نقوم به. لذا، أعتقد

أنه عندما يقول جينسن

إنها برمجيات، فإن

جزءاً مما يستحضره هو

المفاهيم التي لدى

الناس حول كيفية صنع

البرمجيات، وهي: نبدأ

بخطة، ونسير خطوة

بخطوة، وهناك معايير

قبول، ونقوم بالتكرار

حتى يعمل هذا الجزء

بالطريقة التي

حددناها. وهذا ليس ما

يحدث عند تدريب نموذج

كبير. الجانب الآخر هو

أن البرمجيات بمجرد

كتابتها، تقوم بشكل أو

بآخر بما صُممت للقيام

به. لا تميل إلى امتلاك

الكثير من القدرات

الناشئة. ولا تميل إلى

معرفة كيفية

استخدامها بطريقة

تأملية ذاتية،

ومجدداً، اللغة هنا

صعبة. وأعتقد أن هذا ما

أحاول الوصول إليه.

أفهم أن الجميع في

مجال الذكاء

الاصطناعي يتحدثون عن

أنكم تنمون هذه

الذكاءات الاصطناعية.

أم...أنكم، كما تعلم،

تضعون الظروف

المناسبة لظهور

الذكاء. لكن بما أنك

كتبت بطاقة نظام تلو

الأخرى محاولاً شرح

الفرق بين هذه النماذج

الجديدة والنماذج

القديمة لنا جميعاً،

كيف تصف الشيء الذي

تخلقونه؟ ما هو؟

>> أجل. حسناً، هذا يصل

بنا حقاً إلى أمور ما

بعد الإنسانية. هناك

بعض الأفكار البعيدة

حول المكان الذي قد

نتجه إليه. أعني، حتى

سام ألتمان كتب عن

فكرة أن فصائل الآلات

المستقبلية قد تحل

محلنا. كتب سام مقالاً

>> قبل بضع سنوات كان

يسمى الاندماج.

>> نعم، هذا ما كنت أفكر

فيه.

>> وكأن النتيجة الجيدة

ستكون اندماج البشرية

مع الآلات، أليس كذلك؟

هذه نوع من أفضل نسخة

لدينا هنا.

>> نعم، وقد سمعت ذلك

مباشرة من إيليا

سوتسكيفر، المؤسس

المشارك لشركة OpenAI.

لذا، عندما انضممت في

مايو 2023، كنت...كان ذلك

قبل ما سميناه داخلياً

"بالومضة"، حيث تم طرد

سام وإعادة توظيفه،

وكان إيليا لا يزال

يعمل في OpenAI. وقد أطلع

فريق الشؤون العالمية

ذات مرة، والذي كان

مجرد حفنة صغيرة من

الأشخاص آنذاك، على

اعتقاده بأن مستقبلنا

يكمن في الاندماج مع

الآلات، وأن هذا هو

الانتصار النهائي

لرأس المال على

العمالة. وحتى، كما

تعلم، كنت أفكر في ذلك

الصيف الأول الذي عملت

فيه في OpenAI عندما تم

إصدار فيلم أوبنهايمر.

وكان يعرض بتقنية

آيماكس. كما تعلم، إنه

أحد أفلام كريستوفر

نولان. قامت الشركة

باستئجار صالة سينما

آيماكس في وسط مدينة

سان فرانسيسكو وقدمت

لكل من يعمل هناك فرصة

الذهاب لمشاهدة فيلم

أوبنهايمر. وكانت

القيادة، أعتقد أنه

كان إيليا، حثتنا على

الذهاب لمشاهدة هذا

الفيلم. وكان هناك نوع

من التشابك في الأفكار

حول كيف أن هذه تقنية

خطيرة قد تنهي العالم،

لكنها قد تنقذه أيضاً.

وهي سردية بطولية

للغاية، بالطبع،

بالنسبة للأشخاص

الذين تقع أيديهم على

لوحة المفاتيح.

>> لا، لكن هذا مفيد.

وأعتقد أن هذا يقودنا

إلى سؤالي لك وما

رأيته، مثل، هل هذا هو

حجم ما تعتقد أنه يتم

بناؤه هنا؟ أو انظر،

هذه هي الاستجابة

الأكثر شيوعاً التي

أتلقاها من المستمعين

حول هذا الموضوع. هل كل

هذا مجرد ضجة تسويقية؟

كل الأمر أشبه بمحاولة

تبرير هذه التقييمات

الضخمة وما يتم بناؤه

قد يكون مفيداً، لكنه

لن يكون أكثر ذكاءً من

البشر. يبدو الأمر كما

لو أن كل هذا هو نوع من

قصص الخيال العلمي

التي نرويها.

>> كنت أعتقد أن هناك

قدراً لا بأس به من

المبالغة في التوقعات

في صيف عام 2023. لكن

الواقع الآن هو أن

لدينا أنظمة وصلت حقاً

إلى حدود قدرتنا على

فهم والتحكم فيما

تفعله. وما كان يحذر

منه الأشخاص القلقون

بشأن سيناريوهات

الخيال العلمي طوال

الوقت هو أننا نسير في

مسار أسي، وسيزداد

الأمر، ولا يوجد شيء

خاص في المنطقة

الفاصلة بين كونه

مفيداً وكونه مخيفاً.

لا يوجد قانون علمي

ينص على أن التقدم

سيتوقف عندما يصبح

مفيداً. وأعتقد أن ما

أقوله في الأساس، وما

رأيته مع "هاغينغ فيس"

مع تأملات الأشخاص

الأقرب إليها، ليس فقط

بول الذي انضم إلى

مجلس إدارتنا بتحذيره

، بل بول كريستيانو،

أحد أبرز خبراء العالم

في سلامة الذكاء

الاصطناعي، الذي قال

إن هناك احتمالًا

حقيقيًا لفقدان

السيطرة بشكل كارثي

وغير قابل للإصلاح في

المدى القريب جدًا.

وكما تعلم، نظرت

بعيدًا عن ذلك، وتأملت

الأشخاص من حولي

والبيئة التي لدينا

داخليًا، وقلت لنفسي:

ما الذي يريده أحبائي؟

ما الذي يريده الغرباء

منا في OpenAI أن نفعله

إذا كان بول محقًا؟ لا

أعرف إن كان محقًا أم

لا، لكنني أعلم أنه

إذا كان محقًا، فإن

مستوى الحذر الذي

يتوقعه الناس بشكل

معقول من أماكن مثل

OpenAI و Anthropic و X وغيرها

عند تدريب الأنظمة

المتقدمة يختلف

تمامًا عن أي شيء سمعت

بحدوثه في هذا المجال.

إذن، أخبرني كيف يبدو

الوضع هناك. أخبرني عن

الأجواء، والطاقة،

والسرعة. بمعنى، كيف

يبدو العمل هناك؟ إنه

عمل محموم. الناس

يركضون. أتذكر أن هناك

درجًا مركزيًا كبيرًا

في مبنى الأبحاث،

وأتذكر مؤخرًا رؤية

صديقة تعمل على

المخاطر الكارثية وهي

تعدو على الدرج، ممسكة

بجهاز كمبيوتر محمول

مفتوح على ذراع واحدة

أثناء سيرها. وأعني أن

هذه هي نوع الطاقة

التي يتمتعون بها.

يبدو الأمر أشبه

بباليه أو رقصة، لأن

كل هذه الوظائف

المختلفة تتدفق معًا.

والأمر الآخر هو أن

الناس يشعرون بالكثير

من الأدرينالين،

والجميع يعملون بأقصى

طاقتهم حتى الإنهاك.

هذا جزء مما يجعلني

أطرح على نفسي سؤالًا-

وكثيرًا ما يطرحه

الناس علي-: "حسنًا،

لماذا لا تبقى وتناضل

من أجل تحول ثقافي، أو

تحاول جلب خبراء

نوويين لتقديم

المشورة للشركة؟" وقد

فكرت بالفعل في ذلك،

فعندما أخبرتهم

برغبتي في المغادرة،

اعترضوا وسألوني: "

حسنًا، هل هناك أي شيء

يمكنك البقاء من أجله؟

" فكرت في أشياء مختلفة

، لكن في النهاية،

إنها آلة ضخمة وتتحرك

بسرعة كبيرة لدرجة

أنني لم أعتقد أن نوع

التغيير الذي أراه

ضروريًا يمكن تحقيقه

من الداخل.

>> ما الذي بُنيت هذه

الآلة لفعله؟ الآلة

التنظيمية لشركة OpenAI.

تطوير ونشر نماذج ذكاء

اصطناعي متطورة بأمان.

تلك هي النية. لكن

السؤال هو، عندما يصل

الأمر إلى نقطة الحسم،

ما مدى الاستعداد

للتوقف؟ وأنا، وأنا

أريد أن أكون حذرًا،

لكنني أدرك حقيقة أنه

يمكنك تجميع ما قلته

بطريقة توحي بأن هذا

يشبه قطاراً بلا مكابح

، وهذا ليس صحيحاً.

هناك مكابح. لقد تم

إيقاف الأمور. في

الواقع، حتى في الوقت

الذي غادرت فيه، وكما

قالوا علناً، كان

تدريب التعلم

التعزيزي، وهو ما

يتعلق بمهارات

التفكير اللاحقة،

متوقفاً. لم يوقفوا

التدريب المسبق.

وعندما تنظر إلى هذه

الأوصاف لما أوقفته

الشركة، فهي صادقة

ومحددة بعناية شديدة.

لذا، هناك بعض

الاستعداد للتباطؤ،

أو كما يحب الناس في

منطقة الخليج التعبير

عنه، "ضبط إيقاع

التطور". أنا أكره هذا

المصطلح.

>> وأنا أيضاً.

>> أكرهه حقاً لأن

اعتقادي هو أننا بحاجة

إلى أن نكون آمنين،

وهذا يعني أننا بحاجة

إلى تلبية معايير

السلامة. وإذا تمكنا

من تلبيتها في 10 دقائق

، فهذا رائع. وإذا

توقفنا لمدة شهرين

لمحاولة تلبيتها وفي

نهاية تلك الفترة لم

نلبِ المعايير بعد،

فبالنسبة لي، نحن لا

نزال عالقين. هذا و

>> الركض نحو الهاوية

والمشي ببطء نحو

الهاوية ليسا مختلفين

كثيراً عن بعضهما.

رأيت إحصائية على

تويتر منذ يومين تقول،

نسيت الفترة الزمنية

بالضبط، لكنها تطابقت

مع تجربتي الشخصية،

وهي أن الفترة الزمنية

بين إصدارات النماذج

عبر الشركات الكبرى

كانت حوالي 70 يوماً.

أليس كذلك؟ لذا تحصل

على نموذج، وبعد بضعة

أشهر تحصل على نموذج

آخر، وهكذا. الآن

أصبحت 11 يوماً.

>> أجل.

>> لقد كان هناك هذا

التسارع

>> نعم.

>> في إصدار النماذج،

أليس كذلك؟ حتى ونحن

نتحدث عن كونها أصبحت

أكثر قدرة وإثارة

للخوف، فإن الوقت الذي

تستغرقه للظهور أصبح

أسرع بكثير. وربما

القفزات ليست كبيرة،

لكن ما سبب زيادة

السرعة هذه؟ لقد حدث

ذلك في الوقت الذي كنت

فيه هناك. كانت

الأشياء تصدر ببطء

أكبر في عام 2023 مقارنة

بما تصدر به في 2026. ما

الذي حدث؟

>> انظر، عندما انضممت

لأول مرة، كانت فكرة

إصدار النموذج تعني

أننا سنخبز كعكة جديدة

بجولة تدريب مسبق

جديدة، ونقوم بكل شيء

من الصفر. كان ذلك

سيستغرق فترة أشهر،

وربما بضع مرات في

السنة. على سبيل

المثال، إحدى نقاط

النقاش عندما انضممت

لأول مرة كانت أنه مع

GPT-4، قضينا فترة شهر أو

عدة أشهر في أعمال

السلامة بعد اكتمال

النموذج وقبل إطلاقه.

وكان هذا بمثابة دليل

أو برهان على أننا كنا

نتوخى الحذر. الآن،

تحدث الكثير من الأمور

المختلفة. لديك مرحلة

ما قبل التدريب، وهي

مرحلة إعداد النموذج

الأساسي، ولكن

بالإضافة إلى ما بعد

التدريب، هناك تدريب

على الاستنتاج. وهذه

الخطوات أسهل في

التنفيذ بسرعة، لذا

يمكنك إعادتها. إذا

حصلت على وصفة أفضل

للاستنتاج، يمكنك أخذ

نفس النموذج الأساسي

وإجراء أنواع مختلفة

من التدريب الإضافي

عليه. أيضاً، لم يعد

الأمر مجرد محادثة بعد

الآن. هناك كل هذه

الطرق المختلفة التي

يمكنك من خلالها دمج

الأدوات وإضافة أنواع

مختلفة من القدرات

للنظام والتي ستجعله

أكثر كفاءة. كل هذه

الأمور تغير ما يمكن

للنموذج فعله وما هي

المخاطر، ونحن نطلق

قدرات ومخاطر جديدة كل

ثلاثاء. أحد المشاريع

طويلة الأمد التي كانت

على عاتقي عندما غادرت

، والتي ستحتاج جميع

شركات النطاق المتقدم

إلى إيجاد حل لها، هو

فكرة "بطاقة النظام"

التي تعود في الواقع

إلى ذلك النموذج

القديم حيث كنا نفعل

ذلك كل بضعة أشهر. ونحن

نغرق الناس بملفات PDF

أو، كما تعلم، بتقارير

طويلة كهذه، لكن

التغييرات تأتي بشكل

متكرر أكثر فأكثر كما

قلت. في النهاية،

أعتقد أن ما يجب أن

نمتلكه بشكل مثالي من

حيث شفافية السلامة هو

نوع من لوحة البيانات

المباشرة، التي تقول: "

إليك أحدث ما لدينا،

وإليك خصائص سلامته"،

والتي لا تنظر فقط إلى

الاختبارات التي

أجريناها قبل النشر،

بل وأيضاً إلى الأداء.

>> ما مدى ثقتي في

اختبارات السلامة

عندما تضطرون إلى

القيام بها بهذه

السرعة؟ أعني، بالنظر

إلى سرعة إصدار

النماذج وطول بطاقات

النظام هذه، يستغرق

كتابة تقرير معقد

وقتاً. لذا، بهذه

السرعة، هل اختبار

السلامة والمراقبة

الفعالان موثوقان؟

>> سأجيب على نسخة مختلفة

من السؤال الذي طرحته

للتو، وهو كم من الوقت

المتاح لتجربة الأمور

، والإجابة هي ليس

كثيراً. أود أيضاً أن

أشير إلى أنني أعتقد

أحياناً أن هناك صورة

نمطية عن عدم الاكتراث

تفتقد إلى بعض دقة ما

يحدث فعلياً في الداخل

، لأن الناس يهتمون

بشغف بجعل الأشياء

آمنة وإنجازها بشكل

صحيح، ويتم إلغاء

عمليات الإطلاق. في

الآونة الأخيرة، كان

من المفترض إصدار

النسخة 6.1 في يوم

المطورين، لكنهم

تراجعوا عن ذلك. لكنهم

سيتوقفون أيضًا عن

التدريب. لقد كانت

هناك بالتأكيد جولات

تدريب اعتقدنا فيها

أننا نصنع منتجًا،

ولكن عندما نظرنا إلى

ما كان يحدث، قلنا: "لا

، لن نطرح هذا". وأريد

أيضًا أن أكون واضحًا

جدًا أن هذا الأمر لا

يتعلق بالأفراد في OpenAI

أو أي من المختبرات

الأخرى. هذه حقيقة

هيكلية لهذه الشركات

التي تستخدم أساليب

متشابهة مع موظفين

متشابهين، غالبًا ما

يتم استقطابهم من هنا

وهناك، وتكنولوجيا

متشابهة لإنتاج شيء

يحمل مخاطر متشابهة.

وهذا النظام البيئي

بأكمله ليس على نفس

مستوى دقة السلامة

التي نحتاجها. ولا

يمتلك أحد في ذلك

النظام البيئي بأكمله

الوضوح الجوهري حول

كيفية مواءمة نموذج

بالشكل الذي نحتاجه

حقًا. ولا أحد مستعد

للتخلف عن الركب إلى

هذا الحد. حسنًا، أجل،

هذا هو السؤال. إذا

فكرت في لوحة التحكم

المتاحة لمديرينا

التنفيذيين، وإذا

تخيلت حقًا التراجع عن

الصدارة، سواء كانت

OpenAI أو Anthropic أو غيرها،

فهل زر التراجع عن

الصدارة هو أيضًا زر

تدمير ذاتي للعمل

التجاري؟ أم أن للعمل

التجاري مسارًا

قابلًا للحياة إذا

كانت النماذج الأكثر

قدرة بشكل ملموس من

نماذج اليوم لا يمكنها

العمل بأمان؟

>> حسنًا، هذا بافتراض

وجود مستوى عالٍ من

الوضوح التحليلي

المتجرد من الأنانية.

لكن دعونا نكون واضحين

بشأن شيء ما. تتحرك OpenAI

نحو طرح عام أولي. كما

تتحرك Anthropic نحو طرح

عام أولي أيضًا.

كلاهما يحاول الطرح

العام الأولي بقيمة،

كما يبدو لي، بين

تريليون وثلاثة

تريليونات دولار. نحن

نعرف الأرقام بشكل

أفضل قليلًا في الوقت

الحالي بالنسبة لشركة

Anthropic. إنه مبلغ ضخم من

المال. الجميع يمتلكون

حصصًا في الأسهم. أنت

كنت تمتلك حصصًا.

>> لقد كنت كذلك. كنت وما

زلت.

>> كنت وما زلت. يصعب عليّ

تصديق أن هذا القدر

الكبير من الثروة

المحتملة لا يؤثر على

تقييمات الناس على

الإطلاق. حتى لو لم

يدركوا ذلك، وحتى لو

كانوا يحاولون ألا

يتأثروا به. عندما

تجلس في غرفة تفكر

فيما إذا كان عليك

التراجع عن الصدارة،

فإن ما يطرحه ذلك

أيضًا هو: هل يريد كل

شخص في تلك الغرفة أن

يصبح من أصحاب

الملايين أو المئات من

الملايين أو

المليارات أم لا؟

>> نعم، هذا سؤال رائع.

أظن أنه يمكنني قول

المزيد عن تجربتي

الخاصة

>> بالتأكيد، أود أن أسمع

كيف أثر ذلك عليك.

>> أكثر مما يمكنني قوله

عن الآخرين. كنت

أتقاضى أجراً جيداً،

وفكرت كثيراً فيما كان

يمكن أن يجعلني أرى

الخطر بشكل أسرع

وأعترف لنفسي في وقت

أبكر بالمخاطر التي

تشكلها هذه الأنظمة.

أعتقد حقاً أن الحقائق

تطورت خلال الصيف،

أليس كذلك؟ كانت "

هجينغ فيس" لحظة فارقة

، فقد تدفقت علينا

كميات هائلة من الأدلة

حول مدى قدرة هذه

النماذج ومدى عدم

استعدادنا حتى

للمستوى الحالي من

قدراتها، لكنني أعتقد

بالطبع أن المال عامل

مؤثر. موضوعياً،

الثروة حافز قوي لكي

تقنع نفسك بأن الأمور

على ما يرام أو ستكون

على ما يرام. وأعتقد أن

هناك عاملين آخرين

أيضاً. أحدهما هو

الخوف، أليس كذلك؟ إذا

سمحت لنفسك أن تتخيل

أن ما نبنيه قد يهدد

حياة عائلتك أو عائلات

الغرباء. أعني، أنه

قدر كبير جداً من

الضرر المحتمل حتى

بدون حدوث انقراض،

ربما وباء جديد أو شيء

من هذا القبيل. قدر

كبير جداً من الضرر

لدرجة أنه من الصعب

على المرء أن يسمح

لنفسه بتخيل أن ذلك قد

يكون حقيقياً، أو أن

ذلك الخطر قد يحدث

فعلاً. والشيء الثالث،

إلى جانب المال والخوف

، هو الوقت، أليس كذلك

؟ لقد وصلت، كما

تحدثنا، في مايو 2023.

ومنذ ذلك الحين لم

تتوقف تنبيهات "سلاك"،

ولم أبدأ في الحصول

على الوقت للتفكير

حقاً في وضعنا الحالي

وأين ينبغي أن تنتهي

هذه التكنولوجيا من

أجل مصلحة الجميع إلا

بعد تراجعي عن

مسؤولياتي التشغيلية

في الأسابيع القليلة

الماضية. وأعتقد أنه

يمكن لومي بإنصاف

لأنني لم أرَ هذا في

وقت أبكر. لكن أحد

الأسباب التي دفعتني

للتطرق لهذا هو أنني

أريد أن أتعامل بجدية

مع الطريقة التي تغير

بها الوضع الهيكلي منذ

عام 2023 أو 2024. الطريقة

التي تسارعت بها

الأمور، لقد تسارعت

بالفعل. نحن نشهد

إصدارات نماذج أكثر

بوتيرة أسرع. هناك

المزيد من اللاعبين

الذين يتنافسون ضد

بعضهم البعض. أنت تعلم

، لديك "إكس إيه آي"،

ولديك النماذج

الصينية، ولديك

المزيد من النماذج

مفتوحة الأوزان، أليس

كذلك؟ إنه عالم أكبر.

هناك ضغط تجاري تنافسي

أكبر بكثير. أنت

تتنافس على عقود فعلية

مع شركات مثل "

سيلزفورس" أو أي جهة

أخرى. هناك طروحات

عامة أولية قادمة. لذا

، كل هذه الأمور تدفع

نحو السرعة. ثم هناك

أمر آخر، وهو أنه بين

عامي 2023 و 2026، شهدنا

إطلاق OpenAI لنموذج Codex،

وإطلاق Anthropic لنموذج

Claude Code، وبدأت النماذج

في تسريع البرمجة،

وأصبحت قادرة على

الأقل على تنفيذ مهام

بحثية ذات تعقيد معين.

والآن، لقد كنت الكاتب

الرئيسي لتقرير في OpenAI

حول أتمتة الأبحاث وما

قد يعنيه ذلك، وهو

تقرير اقتبست منه في

مقطع فيديو سجلته قبل

بضعة أسابيع. لكنه

يتعلق بالطريقة التي

أقرأ بها توجه OpenAI،

عندما أقول إن كل هذا

قد يسير بسرعة كبيرة

جداً. ما نفعله قد لا

يكون آمناً. وأيضاً،

نحن نحاول التوصل إلى

باحث آلي بالكامل. نعم

، هذا يسمح للنظام

بتحسين نفسه بشكل شبه

مستقل. بسرعة، وبسرعة

محتملة، ستكون حقاً

أبعد مما يمكن للبشر

التعامل معه. لذا أود

أن أفهم الدور الذي

تلعبه الأتمتة

المتزايدة للبرمجة في

الداخل. مثل، كيف

يستخدمها الناس؟ كيف

يعملون مع GPT كزميل في

العمل، أليس كذلك؟ كيف

تغير ذلك أثناء وجودك

هناك؟

>> إنه فرق شاسع بالنسبة

لفرقنا البحثية

تحديداً، التي تستخدم

قدراً أكبر بكثير من

الحوسبة التفاعلية (

agentic compute) كما أوضحت

تلك التدوينة، أكثر من

أي شخص آخر في الشركة.

أعني، أكثر من 100 ضعف

مما كانوا يستخدمونه

في بداية العام.

بالتراجع خطوة صغيرة

إلى الوراء. جزء مما

يبدو عليه الأمر داخل

OpenAI هو أن الأشياء

تتطور باستمرار. لدينا

تقنيات جديدة للتدريب.

لدينا أنظمة جديدة يتم

إدخالها. لدينا بيانات

يتم تحليلها، وبيانات

يتم إنشاؤها. تحدث كل

أنواع الأشياء

المختلفة. والأمور

تبدو غير مستقرة

داخلياً إلى حد ما.

البنية التحتية،

نظراً لأنها تتغير

باستمرار، ليست

مختبرة ومنقحة كما

ينبغي للبنية التحتية

البحثية. الكثير من

العمل يتمثل في جعل

أجزاء مختلفة من

الآليات تتواصل مع

بعضها وتعمل بشكل جيد.

وهذا هو نوع الأشياء

التي يمكن لـ Codex

القيام بها الآن بشكل

جيد للغاية. على سبيل

المثال، نظرنا إلى

وجود قناة على Slack حيث

كان الباحثون يلجؤون

إليها عندما يتعطل شيء

ما ويحتاجون إلى مشورة

حول كيفية إصلاحه.

وأحد الأشياء التي

لاحظناها هو أن حركة

المرور على تلك القناة

قد انخفضت، لأنه بدلاً

من طلب المساعدة من

الزملاء لإصلاح

تجاربهم المعطلة أو،

كما تعلم، "هذه

المجموعة لا تعمل".

يمكنهم الآن ببساطة

طرح جزء من هذه

الأسئلة على Codex. لقد

قلت قبل قليل إن هناك

ميلاً لأن يعمل الجميع

بسرعة كبيرة، والوقت

مضغوط للغاية، مع تلقي

التنبيهات تلو الأخرى

لدرجة أنه من الصعب

رؤية الصورة الكبيرة.

لذا، أريد أن أصف لك

كيف تبدو هذه الصورة

الكبيرة بالنسبة لي.

بصفتي شخصاً لديه

القليل من الوقت

الإضافي. أسمع هنا "OpenAI

"، والجميع، "Anthropic"،

والكل، يقولون إن هذا

ربما يسير بسرعة كبيرة

. أنت تعلم، سام ألتمان

يقول، نود الحصول على

بعض التنظيم، أليس

كذلك؟ الجميع يوقعون

على تلك الرسالة

الكبيرة حول تنظيم

وتيرة التقدم في هذا

المجال. هذا المجال

يتحرك بسرعة كبيرة.

نحتاج، أنا وقعت عليها

أيضاً. وأنت وقعت

عليها أيضاً. نحتاج

إلى مساعدة للخروج من

هذا الوضع. أرى كل هذه

الإصدارات حول حوادث

الذكاء الاصطناعي

المارق، أليس كذلك؟ في

"Hugging Face" حيث، كما تعلم

، مئات من وكلاء "OpenAI"

لا يقومون باختراق "

Hugging Face" فحسب، بل

يقومون لاحقاً

باختراق "OpenAI" نفسها.

أليس كذلك؟ وقد قال

سام ألتمان للتو في

مقابلة مع "بوليتيكو"،

إن هناك حوادث مارقة

أكثر مما نعرفه علناً

حتى الآن لأنهم

يحاولون إعطاء الناس

الوقت لإصلاح أنظمتهم

، أليس كذلك؟ إذاً، من

الواضح أننا لا نفهم

هذه الأنظمة فهماً

كاملاً. ثم هنا، أليس

كذلك؟ وسط حاجتنا إلى

ضبط وتيرة التقدم وأن

ذكاءنا الاصطناعي

يتصرف بتهور، نحن

نستثمر قدراً هائلاً

من موارد شركتنا

الداخلية لمحاولة جعل

هذه الأنظمة التي لا

نسيطر عليها تبني

ذكاءً اصطناعياً

سنفهمه بشكل أقل

وبسرعة أكبر.

>> نعم.

>> وأنا أقول كل ذلك

وأشعر وكأنني شخص

مجنون، يبدو هذا

جنوناً بالنسبة لي،

لكن أخبرني

>> بالنسبة لي أيضاً.

>> حسناً، لقد كتبت

التقرير، وكلا

الشركتين "OpenAI" و "Anthropic

" كتبتا هذه التقارير

التي تقول نوعاً ما

إننا نفعل هذا ولسنا

متأكدين مما إذا كانت

فكرة جيدة.

>> أجل. الإفصاح لا

يوصلنا إلا إلى حد

معين.

>> لكنها تبدو فكرة سيئة.

مثل

>> نعم.

>> ساعدني في جعل هذه

الصورة تبدو منطقية

بالنسبة لي.

>> ما أقوله هو أن هذه

الصورة لا تبدو منطقية

. هذا ما أقوله. أقول

إنني نظرت حولي

داخلياً وقلت لنفسي،

هذا ليس ما يحدث. هذا

ليس صواباً. ولهذا

السبب.

>> لكن كيف يفسر الناس

داخلياً لأنهم جميعاً

يقولون كل هذه الأشياء

، أليس كذلك؟ كبير

العلماء يقول، ربما لا

ينبغي لنا أن نفعل ذلك.

والشركة تتسابق نحو

مثل

>> أجل.

>> تبدو الشركة كأنها

تعاني من انفصام في

الشخصية.

>> نعم. نعم. وأنا أريد أن

أكون حذراً في عدم

نسبة سمات نفسية

للأفراد.

>> نعم، أنا أتحدث عن

منظمة لديها

>> أجل.

>> أجزاء متصارعة من

سيكولوجيتها الخاصة.

>> هناك الكثير من

التنافر المعرفي في

كونك جزءاً من هذا. هذا

ما وجدته. وبخاصة مع

اقتراب التحسين

الذاتي المتكرر (RSI) من

الواقع، وكما تحدثت عن

أننا نسير بسرعة أكبر

بسببه. هذا ليس

>> من التحسين الذاتي

للناس، حيث ينسون

الشيء الذي يبني الشيء

.

>> صحيح. وقلقي الرئيسي

ليس بشأن السرعة. قلقي

الرئيسي هو أن فكرة أن

الذكاء الاصطناعي

يمكنه صنع ذكاء

اصطناعي أذكى بطريقة

لن نفهمها. أعني، على

سبيل المثال، دان

سيلسام، ربما رأيت هذا

، كان لديه تصريح صدر

وكان هو أيضاً موضوع

هذا الفيلم الوثائقي.

>> إنه باحث في قدرات

الذكاء الاصطناعي في

مجلس الإدارة.

>> صحيح. نعم، هذا عادل.

وما قاله دان هو، انظر

، لقد قال، بصفتي

باحثاً، لم أعد أنظر

إلى الكود بالطريقة

التي كنت أفعلها،

ويقول إن مهاراته

ورغبته في فهم

التفاصيل في حالة

تدهور. هذا ليس

اقتباساً مباشراً،

لكنه كان جوهر ما نقله.

وهكذا ينتهي بنا

المطاف في عالم لن

نعرف فيه، حتى

بالمستوى الذي نعرفه

اليوم، ما تعنيه

الوصفة أو كيف يتم

تجميعها. وسيتعين

علينا فقط أن نثق فيما

تخبرنا به حول كيفية

عملها أو ما إذا كانت

متوافقة. هناك مدى

متزايد سنضطر فيه إلى

الاعتماد على النماذج

نفسها في هذا المسار.

في إخبارنا بأنها تفعل

الشيء الصحيح في وقت

لم نتأكد فيه أساساً

من أنها "متوافقة".

وأنت تعلم يا عزرا،

كنت تخصص فلسفة في

دراستي الجامعية،

وعندما أسمع الناس

يتحدثون عن التوافق،

أقلق من أننا لا نملك

مفهوماً متماسكاً في

جوهر الأمر. شيء واحد

كان شائعاً جداً خلال

وقتي في OpenAI هو أن هذه

التجريدات الضخمة

كانت تنتهي في

الروايات التي نقدمها

عما كنا نفعله. على

سبيل المثال، منح

الوقت للمجتمع

للاستعداد أو إفادة

البشرية جمعاء. وعندما

كنت أسمعنا نتحدث عن

المجتمع، كنت أشعر

دائماً مثل مارجريت

ثاتشر. كنت أقول: "عن

ماذا تتحدثون؟ من هذا؟

" عن ماذا تتحدثون؟

وفكرة أن قيم البشر

يمكننا التوافق معها

وكأن هناك مجموعة

واحدة من القيم