MedAI #163: Resource-Efficient LLMs for Infection Surveillance in Home Healthcare

MedAI #163: Resource-Efficient LLMs for Infection Surveillance in Home Healthcare | Zidu Xu

Watch on YouTube

Now Playing

MedAI #163: Resource-Efficient LLMs for Infection Surveillance in Home Healthcare | Zidu Xu

Transcript

1326 segments

0:00

العرض الذي قدمته

0:01

اليوم هو في الواقع

0:03

عملي لنيل درجة

0:04

الدكتوراه. أطروحتي

0:07

تركز على كيفية تحسين

0:08

الكشف عن العدوى في

0:10

بيئة الرعاية الصحية

0:12

المنزلية، وهي بيئة

0:14

فريدة جداً في نظام

0:15

الرعاية الصحية

0:16

المنزلية بالولايات

0:18

المتحدة. أود أن أوضح

0:22

أنه قد مضى بعض الوقت

0:24

منذ أن أنهيت هذا

0:25

العمل. لذا، لا

0:30

تترددوا في تصحيحي أو

0:32

إضافة أي تعليقات،

0:34

خاصة وأننا نعلم أن

0:36

النماذج اللغوية

0:37

الكبيرة تتطور بسرعة.

0:41

لذلك قد تشعرون

0:42

أحياناً أن الرسالة

0:43

قديمة قليلاً أو ربما

0:44

تودون إضافة بعض

0:46

الأفكار الأكثر إثارة

0:47

للاهتمام. حسناً.

0:54

أولاً، أود أن أقدم

0:55

لكم لمحة موجزة عما هي

0:57

الرعاية الصحية

0:59

المنزلية. لقد رأيت أن

1:01

معظم الحضور هنا من "

1:03

مايو كلينك"، وهي بيئة

1:05

رعاية حادة (Acute Care)

1:07

بامتياز. كما ترون،

1:13

هناك مريض في المركز؛

1:15

ففي الولايات المتحدة

1:17

، بعد أن يتلقى المريض

1:19

خدمات الرعاية الصحية

1:21

داخل المستشفى، يتم

1:23

تسريحه، وبعد التسريح

1:25

قد تكون هناك عدة

1:26

خيارات متاحة له. إذ

1:32

يمكنهم إما الذهاب إلى

1:34

منازلهم. كما يمكنهم

1:36

أيضاً الذهاب إلى بعض

1:38

مراكز الرعاية طويلة

1:40

الأمد. أحياناً تكون

1:41

مثل دور رعاية المسنين

1:43

. بالنسبة لأولئك

1:45

الذين يعودون إلى

1:46

منازلهم، قد يظلون

1:48

بحاجة إلى رعاية صحية

1:50

مهنية للغاية، لأنهم

1:52

قد يكونون كباراً في

1:53

السن، ويعانون من

1:55

أمراض مصاحبة متعددة،

1:57

أو ربما خضعوا للتو

1:58

لعمليات جراحية. لذا،

2:01

فهم لا يزالون معرضين

2:03

لمخاطر صحية عالية

2:05

جداً. والرعاية

2:07

المنزلية هي نوع من

2:09

خدمات الرعاية الصحية

2:11

التي تقدمها وكالات

2:12

الرعاية المنزلية. في

2:16

بيئة الرعاية الصحية

2:18

المنزلية هذه، عادة ما

2:20

يتولى الممرضون

2:21

والممرضات زمام

2:22

الأمور. يقوم الممرضون

2:25

بزيارة منزل المريض،

2:27

عادة مرتين أو ثلاث

2:29

مرات في الأسبوع. وفي

2:30

كل مرة يزورون فيها

2:32

المنزل، يدونون بعض

2:34

الملاحظات، ويأخذون

2:35

بعض القياسات،

2:37

ويراجعون الأدوية، أو

2:38

يطلبون إجراء بعض

2:40

الفحوصات لهذا المريض.

2:42

كما يقومون بالتحقق

2:43

مما إذا كانت هناك أي

2:45

مشكلة عاجلة تستدعي

2:47

نقل المريض إلى

2:48

المستشفى. أيضاً، هناك

2:54

مشكلة كبيرة في

2:55

الرعاية المنزلية وهي

2:57

أنها ليست غنية

2:58

بالموارد مثل

2:59

المستشفى. عادة ما

3:05

يتولى ممرض واحد

3:06

مسؤولية 20 مريضاً أو

3:08

أكثر، ولا يتم مراقبة

3:10

المرضى عن كثب من قبل

3:12

فريق سريري كامل على

3:14

مدار الساعة طوال أيام

3:16

الأسبوع. في الوقت

3:19

نفسه، هم معرضون للخطر

3:21

بشكل كبير. أكثر من 80%

3:23

منهم متقدمون في السن.

3:27

لذا، عندما نجمع كل

3:29

عوامل الخطر هذه معًا،

3:30

هناك احتمال كبير أن

3:32

يُنقل مرضى الرعاية

3:34

الصحية المنزلية إلى

3:36

المستشفى بعد عودتهم

3:37

إلى المنزل. ومن بين

3:43

جميع أسباب دخول

3:44

المستشفى، تُعد

3:45

العدوى تحديًا كبيرًا.

3:50

وكما أدرجتُ أهم أسباب

3:52

دخول مرضى الرعاية

3:54

الصحية المنزلية

3:55

للمستشفى، يمكننا أن

3:57

نرى أن العدوى تتصدر

3:58

القائمة دائمًا. ومع

4:05

ذلك، من حسن الحظ أن

4:06

فريق بحثنا أجرى دراسة

4:09

سابقًا، ووجدنا أنه

4:10

يمكن بالفعل منع ما

4:12

يصل إلى 40%من حالات

4:14

دخول المستشفى ومثل

4:16

هذه الأحداث الضارة.

4:23

لذا، إذا أردنا منع

4:24

حدوث شيء ما، يجب

4:26

علينا أولاً تحديد

4:28

الإشارات المبكرة.

4:32

وعادةً في إعدادات

4:33

الرعاية الصحية

4:35

المنزلية، لا تكون

4:36

البيانات المهيكلة

4:38

غنية بالمعلومات.

4:41

عادةً ما يتم قياس

4:43

العلامات الحيوية فقط

4:45

، وتُسجل الأدوية فقط.

4:48

مع محدودية كبيرة في

4:52

الفحوصات التي قد

4:54

يجريها المرضى. لذا،

4:56

غالبًا ما توجد

4:57

المعلومات الغنية في

4:59

الملاحظات السردية.

5:03

وهذا هو الدافع وراء

5:04

بحثنا المتعمق في هذه

5:06

الملاحظات السريرية.

5:11

سابقًا، أجرينا دراسة

5:12

نوعية مع أطباء

5:14

الرعاية الصحية

5:15

المنزلية لمعرفة ما

5:17

يريدون رؤيته بالضبط

5:19

في دعم القرار السريري

5:20

للتحذير المبكر من

5:22

المخاطر. وقد قدموا

5:29

فكرة مفيدة جدًا بأنهم

5:31

لا يريدون فقط رؤية

5:33

محتوى موجز جدًا مثل "

5:35

هذا المريض يحتاج إلى

5:37

فعل هذا أو ذاك". إنهم

5:44

يريدون مرونة أكبر،

5:46

وهذا يعني أنهم يريدون

5:48

تسمية توجيهية تجذب

5:50

انتباههم أولاً. وإذا

5:53

كان لديهم الوقت،

5:54

فإنهم يريدون النقر

5:56

عليها لرؤية الأدلة

5:57

الدقيقة الواردة في

5:59

الملاحظات السريرية.

6:01

باختصار، الأمر أشبه

6:04

بوجود مؤشر وسياق

6:06

مرتبط به. وهذا يصبح

6:09

الدافع الرئيسي

6:11

لتطوير أداة استخراج

6:12

المعلومات في هذه

6:14

الدراسة. بالنسبة

6:16

لاستخراج المعلومات،

6:18

فهي مهمة كلاسيكية

6:20

ومستمرة في مجال

6:21

معالجة اللغات

6:23

الطبيعية. أعتقد أن

6:26

جميع الحاضرين في هذا

6:27

الاجتماع على دراية

6:29

كبيرة بهذه المهمة.

6:32

نحن نستخرج المعلومات

6:34

التي نحتاجها من اللغة

6:36

الطبيعية. على مدى

6:40

السنوات الماضية في

6:41

مجال الرعاية الصحية

6:43

المنزلية، كانت هناك

6:44

فرق تعمل على استخدام

6:46

الأساليب القائمة على

6:48

القواعد لاستخراج

6:49

الأعراض والأحداث

6:51

الضارة من الملاحظات

6:52

الطبية السريرية. لكن

6:56

القيود واضحة جدًا.

7:00

إنه يتمتع بفهم محدود

7:02

للغاية للسياق،

7:03

وطالما أننا نتعرض

7:05

للمزيد من الملاحظات

7:07

السريرية، فإننا

7:08

نحتاج إلى مراجعة

7:10

القواعد أو تعديلها

7:12

مراراً وتكراراً.

7:15

ومؤخراً، أصبح لدينا

7:17

نماذج تشفير مثل BERT و

7:19

clinical BERT، والتي أظهرت

7:21

أداءً جيداً في مهام

7:23

استخراج المعلومات،

7:25

خاصة في استخراج

7:26

الكيانات والعلاقات.

7:30

ومع ذلك، عندما يتعلق

7:32

الأمر بمهمتنا الخاصة

7:33

، لدينا العديد من

7:35

جوانب عدم التوافق

7:37

المختلفة. أولها هو

7:39

عدم توافق التنسيق؛

7:41

لأن نماذج التشفير هذه

7:43

تهدف عادةً إلى صياغة

7:45

مهمة استخراج

7:46

المعلومات كعملية

7:48

تصنيف على مستوى

7:49

الرموز (token level). لذا،

7:52

فإن تنسيق المخرجات

7:54

الطبيعي ليس بشكل

7:55

مباشر أزواج "المؤشر +

7:58

السياق" التي يحتاجها

8:00

الأطباء بالفعل. وسبب

8:07

آخر هو أن بعض الأشخاص

8:09

ربما تناولوا بالفعل

8:11

حقيقة أنه في بعض مهام

8:13

استخراج المعلومات،

8:14

توجد كيانات متعددة.

8:20

تكون لهذه الكيانات

8:21

حدود متداخلة مع بعضها

8:23

البعض. وهذا سيشكل

8:24

صداعاً كبيراً

8:26

بالنسبة لعملية

8:27

التصنيف على مستوى

8:28

الرموز هذه. الأمر ليس

8:30

مستحيلاً. إنه ممكن في

8:32

الواقع، لكنه ليس

8:34

مباشراً بالقدر

8:35

الكافي. لذا، وبناءً

8:37

على عدم التوافق هذين،

8:39

فإننا نمضي قدماً.

8:45

بفضل عصر اللغات

8:47

الكبيرة، وطبيعة

8:48

الذكاء الاصطناعي

8:50

التوليدي، أصبح

8:51

قادراً على فهم وتوليد

8:53

لغة تشبه لغة البشر

8:55

كما نريد. لذا، نعتقد

9:03

أنه مناسب جداً لتوليد

9:06

تنسيق أزواج "المؤشر +

9:08

السياق" لتلبية

9:09

الاحتياجات التي

9:11

ناقشناها سابقاً مع

9:13

أطباء الرعاية الصحية

9:15

المنزلية. وفيما يتعلق

9:21

باستخدام النماذج

9:23

اللغوية الكبيرة،

9:24

أعتقد أننا خلال

9:26

المحادثات اليومية مع

9:28

هذه النماذج، قد نشعر

9:30

بالفعل أن التوجيه (

9:31

prompting) قوي جداً في

9:33

الوقت الحالي على

9:35

الأقل. ومع ذلك، من

9:40

وجهة نظري، فإن السبب

9:42

الذي يجعل النماذج

9:43

اللغوية الكبيرة

9:45

قادرة على فهم وتوليد

9:47

محتوى يلبي توقعاتنا

9:49

بشكل جيد هو امتلاكها

9:51

لهذا النوع من المعرفة

9:53

. لكن بالنسبة

9:57

لإعدادات الرعاية

9:59

الصحية المنزلية

10:00

السريرية، أجرينا بعض

10:02

الاختبارات الأولية

10:04

ووجدنا أنها ليست

10:05

مطلعة بشكل كافٍ في

10:07

مثل هذه الإعدادات

10:08

الصحية غير الشائعة

10:10

والتي لم يتم بحثها

10:11

بشكل كافٍ. وهذا

10:15

يجعلنا نفكر فيما إذا

10:17

كان التوجيه وحده لا

10:19

يمكن أن يكون موثوقاً

10:21

في جعله يسترجع

10:22

المعرفة الصحيحة

10:24

ويتبع النمط الصحيح،

10:26

فهل يجب علينا التفكير

10:28

في بذل جهود إضافية

10:29

مثل الضبط الدقيق (

10:31

fine-tuning)؟ لذا، ومن بين

10:39

جميع أساليب الضبط

10:41

الدقيق المختلفة،

10:42

حددنا "ضبط التعليمات"

10:44

، وهو أسلوب ربما لا

10:46

يحظى بشعبية كبيرة

10:48

حالياً، لكننا

10:49

اعتبرناه في ذلك الوقت

10:51

وسيلة مباشرة جداً

10:53

لتعليم النموذج نوع

10:55

التنسيق الذي ينبغي

10:57

عليه اتباعه. وهناك

11:03

هدف آخر، وهو ما هو نوع

11:05

المعرفة بالمجال التي

11:07

يجب حقنها في النموذج.

11:10

كما يجب مراعاة

11:11

المصطلحات المحددة

11:12

الموجودة في إعدادات

11:14

الرعاية الصحية

11:15

المنزلية. بناءً على

11:21

ذلك، حددنا حلنا

11:22

الأساسي في استخدام

11:24

ضبط التعليمات لتخصيص

11:25

نماذج اللغة الكبيرة

11:27

ذات الأغراض العامة

11:29

لتناسب إعدادات

11:30

الرعاية الصحية

11:31

المنزلية. ومع ذلك،

11:39

بعد تحديد أساليب ضبط

11:41

التعليمات، أدركنا

11:43

وجود مشاكل جديدة

11:45

تتعلق بالبيانات. ذلك

11:49

لأن ضبط التعليمات يظل

11:50

في النهاية نوعاً من

11:52

الضبط الدقيق. والضبط

11:55

الدقيق يعني أننا

11:57

بحاجة إلى الكثير من

11:58

البيانات لتعليم دروس

12:00

لنماذج اللغة الكبيرة.

12:06

وللأسف، على الرغم من

12:07

وجود الكثير من

12:09

الملاحظات التي

12:10

يمكننا الحصول عليها

12:12

من وكالات الرعاية

12:13

الصحية المنزلية، فإن

12:15

معظمها ليس مفيداً

12:17

فيما يتعلق بمؤشرات

12:19

المخاطر التي نريدها.

12:25

ففي مشروعنا السابق

12:27

الذي حلل عوامل خطر

12:29

الاستشفاء لجميع

12:31

الأسباب، من بين

12:33

الملاحظات المتعددة

12:35

لمريض واحد على مدار

12:37

فترة علاج (تخيل مثلاً

12:39

30 يوماً، وما يقابلها

12:41

من حوالي 10 ملاحظات)،

12:43

تبين أن 3.3 ملاحظة فقط

12:46

في المتوسط تحتوي على

12:48

عوامل خطر مفيدة. وكان

12:52

ذلك بالنسبة

12:53

للاستشفاء لجميع

12:55

الأسباب. لذا، عندما

12:56

نركز على المؤشرات

12:58

الخاصة بالعدوى، فمن

13:00

المفترض أن تكون أقل

13:01

تكراراً. شيء آخر هو

13:05

أنه حتى لو قلنا إنها

13:07

ليست متكررة، فإن

13:08

استخدام التعليق

13:10

البشري لآلاف

13:11

الملاحظات لا يزال

13:12

أمراً شاقاً ويستغرق

13:14

وقتاً طويلاً. وفي

13:18

الواقع، آلاف

13:20

الملاحظات تعد غير

13:21

كافية لتدريب نموذج

13:23

لغة كبير. لذا نحن

13:27

بحاجة إلى حل مشكلة

13:29

ندرة البيانات. وهناك

13:31

نقطتان تاليتان

13:32

محدودتان جداً

13:34

بإعدادات الرعاية

13:35

الصحية المنزلية.

13:38

أولاً، وكالات

13:39

الرعاية الصحية

13:41

المنزلية غالباً ما

13:42

تكون محلية جداً. مما

13:47

يعني أنها لا تملك

13:49

موارد قوية أو فرق

13:51

تكنولوجيا معلومات،

13:52

مثل المستشفيات

13:54

الجامعية التي تمتلك

13:56

شبكات وخوادم سحابية

13:58

لدعم الحوسبة. أيضاً،

14:02

العديد من وكالات

14:04

الرعاية الصحية

14:05

المنزلية لديها قوالب

14:07

ملاحظات خاصة بها.

14:08

لديهم نظام السجلات

14:09

الصحية الإلكترونية

14:11

الخاص بهم ولوحة تحكم.

14:12

إنهم لا يرغبون في

14:14

إجراء تغييرات أو

14:15

مشاركتها مع أشخاص

14:16

آخرين. لذلك، أضفنا

14:18

قيدين إضافيين

14:19

يتعلقان بالموارد

14:21

الحوسبية والخصوصية.

14:27

بناءً على كل هذه

14:28

الدوافع والتحديات

14:30

والآفاق الواعدة،

14:31

اقترحنا أهدافنا.

14:39

هدفنا الأول هو

14:40

استخدام أساليب ضبط

14:42

التعليمات لتخصيص

14:43

نماذج اللغة الكبيرة

14:45

العامة الحالية لتكون

14:47

قادرة على استخراج

14:48

مؤشرات العدوى من

14:50

ملاحظات الرعاية

14:51

الصحية المنزلية.

14:57

وبشكل خاص، نأمل أن

14:59

نتمكن من استخدام

15:01

أسلوب ضبط دقيق وفعال.

15:05

ثانياً، نريد استخدام

15:07

بعض أساليب تعزيز

15:08

البيانات لمعالجة

15:10

مشكلة ندرة البيانات

15:12

هذه. هنا، أقدم نظرة

15:18

عامة على هذه الدراسة

15:20

على الجانب الأيسر،

15:22

وهي بديهية للغاية.

15:26

لقد قمنا بتوسيع

15:28

مجموعة البيانات

15:29

أولاً. وبعد ذلك، قمنا

15:35

بضبط تعليمات نماذج

15:37

اللغة الكبيرة. على

15:41

الجانب الأيمن، قدمت

15:43

بعض الأوصاف للبيانات

15:44

التي نستخدمها.

15:52

بالنسبة لنوبة

15:53

الرعاية الصحية

15:55

المنزلية، كما ذكرنا،

15:57

فهي تعكس الفترة

15:58

الزمنية التي يُدخل

16:00

فيها المريض إلى

16:02

الرعاية الصحية

16:03

المنزلية حتى خروجه أو

16:05

دخوله المستشفى،

16:07

وعادة ما تصل إلى 30

16:08

يوماً. في إطار عملنا،

16:13

نادراً ما نجد مرضى

16:14

يدخلون ويخرجون

16:16

مراراً وتكراراً. لذلك

16:20

، من بين 717 نوبة،

16:23

لدينا 711 مريضاً

16:25

فريداً. هناك قيد بسيط

16:30

في هذه الدراسة وهو

16:32

أننا نركز على منطقة

16:34

نيويورك. أيضاً، عند

16:39

النظر إلى بيانات

16:40

الرعاية الصحية

16:42

المنزلية، حصلنا في

16:43

البداية على أكثر من

16:45

4000 ملاحظة من هذه

16:47

النوبة. ولكن عند

16:51

إلقاء نظرة فاحصة، نجد

16:53

أن أغنى المعلومات في

16:55

ملاحظات الرعاية

16:57

الصحية المنزلية تكون

16:58

عادة في البداية

17:00

والنهاية. أما في

17:05

المنتصف، فعادة ما

17:07

تكون لغة نمطية لنسخ

17:09

ولصق الأدوية

17:10

والإجراءات. لذا، من

17:17

أجل الكفاءة وضمان

17:19

تدريب ملاحظاتنا على

17:21

مجموعة بيانات متنوعة

17:23

وممثلة للغاية،

17:25

اتبعنا استراتيجية

17:26

أخذ العينات. وقد قمنا

17:31

بأخذ عينات حسب الفترة

17:33

الزمنية عبر كل نوبة

17:35

رعاية صحية منزلية.

17:38

أود أن أذكر أيضاً أن

17:40

ملاحظات الرعاية

17:41

الصحية المنزلية ليست

17:43

طويلة جداً. الوسيط

17:46

عادة هو 97 كلمة فقط.

17:51

بعد الحصول على

17:52

البيانات، نريد إنشاء

17:54

مخطط لاستخراج مؤشرات

17:56

العدوى. بالنسبة لهذا

18:02

الجزء، فهو مستمد بشكل

18:04

كبير من الخبرة

18:05

السريرية وعملنا

18:07

السابق حول وبائيات

18:08

تشخيص العدوى في

18:10

الرعاية الصحية

18:11

المنزلية. لذا، قمنا

18:17

بأخذ المجموعات التي

18:19

تمثل التشخيصات

18:20

الأكثر شيوعاً للعدوى

18:22

بين مرضى الرعاية

18:23

الصحية المنزلية. كما

18:28

أننا نتخيل أن المريض

18:31

سواء كان رجلاً أو

18:33

امرأة، يتفاعل مع بيئة

18:35

المنزل بأكملها

18:36

والأشخاص المحيطين به.

18:38

لذا قمنا بتضمين

18:39

مؤشرات السلوك

18:41

الاجتماعي. كما قمنا

18:44

أيضاً بتضمين بعض

18:45

التقييمات الحاسمة

18:47

والفحوصات والعلاجات،

18:49

مثل بعض المضادات

18:50

الحيوية. ووحدة

18:55

التحليل لمهمة

18:57

استخراج المعلومات

18:58

هذه هي الحالة (instance).

19:03

وفي دراستنا، كما أوضح

19:05

في المثال هنا، تعني

19:07

الحالة أنه بالنسبة

19:09

لفئة واحدة من مؤشرات

19:11

العدوى هذه، فإنها

19:13

ترتبط بملاحظة واحدة،

19:15

ولكن يمكن أن يكون لها

19:17

عدة نطاقات مختلفة.

19:21

طالما أنها تشير إلى

19:23

نفس المؤشر وموجودة

19:24

ضمن هذه الملاحظة.

19:32

وبعد تحديد المخطط،

19:34

قمنا بإنشاء نموذج

19:35

التقييم، ثم اخترنا

19:37

مؤشراً يتمتع بخبرة في

19:39

الرعاية الصحية

19:41

المنزلية والتقييم.

19:46

وقمنا بوضع التعليقات

19:48

التوضيحية عليها

19:49

وتوصلنا إلى مستوى

19:51

عالٍ من الاتفاق بين

19:52

المقيمين. بعد ذلك،

19:58

ننتقل إلى أحد أهم

19:59

أجزاء هذه الدراسة وهو

20:01

إجراء تعزيز البيانات.

20:05

بالنسبة لهذا الجزء،

20:07

قمت في الواقع بإعداد

20:09

شريحة واحدة فقط.

20:13

ودافع القيام بتعزيز

20:14

البيانات متعدد

20:16

المراحل هذا يأتي من

20:17

عدة جوانب. أولاً،

20:23

ذكرنا ما نسميه "

20:24

الإيجابي". ويعني

20:28

الإيجابي أنه من

20:29

الممكن تحديد مؤشر

20:31

العدوى ضمن هذه

20:32

الملاحظات السريرية.

20:35

لذا، أولاً وقبل كل

20:37

شيء، ذكرنا أن الحالات

20:39

الإيجابية نادرة جداً

20:40

ضمن ملاحظات الرعاية

20:42

الصحية المنزلية. ومن

20:47

ناحية أخرى، ليس كل

20:48

مؤشر نادراً جداً. في

20:53

الواقع، هناك تفاوت

20:54

كبير جداً أيضاً. بعض

20:58

الفئات قد تصل نسبة

21:00

انتشارها إلى 46%،

21:02

بينما لا تتجاوز بعضها

21:05

2%. وهذا يعني أننا إذا

21:08

أردنا القيام بتعزيز

21:10

البيانات، فلا يمكننا

21:11

معاملتها جميعاً بنفس

21:13

الطريقة. وهذا أحد

21:15

الدوافع للقيام بهذا

21:17

العمل متعدد المراحل.

21:19

لأننا نستطيع اختيار

21:21

ما نريد تعزيزه وما

21:23

نريد الإبقاء عليه كما

21:25

هو خلال هذه المراحل

21:26

المختلفة. وعبر

21:30

المراحل الثلاث، كما

21:31

لاحظنا، فمن الأعلى

21:33

إلى الأسفل، من

21:35

المرحلة الأولى إلى

21:36

الثالثة، تزداد

21:38

العملية حدة بشكل

21:39

متزايد. و نبدأ

21:45

بالمرحلة الأولى. لذا،

21:47

المرحلة الأولى هي في

21:49

الواقع الأكثر تكلفة

21:50

والأبطأ في التقدم.

21:53

ونحن نستهدف عمداً تلك

21:55

الفئات النادرة جداً،

21:57

التي قد يكون معدل

21:59

انتشارها في البداية

22:01

أقل من 10%. أيضاً، نحن

22:06

نعطي الأولوية

22:07

للملاحظات التي تحتوي

22:09

على أكثر من ثلاث فئات

22:11

من مؤشرات العدوى

22:12

لجعلها غنية جداً

22:13

بالمعلومات. وبعد ذلك،

22:20

ننتقل إلى المرحلة

22:21

الثانية. إذاً،

22:25

المرحلة الثانية تسمى

22:27

تحوير السياق. وقد تم

22:30

توظيف نموذج Llama 70B

22:32

فيها. تحوير السياق

22:37

يعني أننا سنقوم

22:38

بإعادة صياغة السياق

22:40

المحيط بالنصوص

22:41

الرئيسية التي نركز

22:43

عليها. هذا لأننا نريد

22:50

الحفاظ على نوع من

22:52

سياق العالم الحقيقي،

22:53

لكننا نريد أيضاً بعض

22:55

المعلومات الجديدة.

23:01

وبالنسبة لتحوير

23:03

السياق هذا، نختار

23:05

إعادة صياغة 20 كلمة

23:06

على جانبي النصوص

23:08

الرئيسية، وهو ما

23:10

يعادل تقريباً نصف طول

23:12

الملاحظات. وفي

23:18

المرحلتين الأولى

23:20

والثانية، لا يوجد خطر

23:22

من تسريب سجلات الصحة

23:24

الشخصية (PHR) لأننا

23:25

نستخدم إما التصنيف

23:27

اليدوي أو النماذج

23:29

مفتوحة المصدر. وعندما

23:34

نصل إلى المرحلة

23:35

الثالثة، تصبح الأمور

23:37

أكثر جرأة. وفي

23:41

المرحلة الثالثة، لا

23:43

نزال نستهدف عمداً تلك

23:45

الفئات التي تظل نادرة

23:47

حتى بعد زيادة

23:48

البيانات في

23:49

المرحلتين الأولى

23:51

والثانية. إذاً، في

23:54

المرحلة الثالثة،

23:56

لدينا جولتان من زيادة

23:58

البيانات. ونحن نستخدم

24:00

عمداً النموذج مفتوح

24:01

المصدر في الجولة

24:03

الأولى. لأننا نريد

24:06

استخدامه لتوليد بعض

24:07

البذور الأساسية.

24:11

ونقوم بإجراء فحص

24:12

مزدوج لهذه البذور

24:14

المولدة. أحدها هو

24:18

التحقق من التكرار

24:20

ودقة هذه الحالات

24:21

المولدة. هل هي مطابقة

24:25

تماماً للمرجع؟ وهل

24:28

النص المستخرج موجود

24:30

بالفعل في الملاحظة؟

24:37

ومع ذلك، خلال التجارب

24:39

الأولية التي

24:41

أجريناها، وجدنا أن

24:43

نموذج Llama 70B الأكبر

24:44

ليس جيداً بما يكفي في

24:46

توليد حالات كافية

24:48

وغنية بالمعلومات.

24:56

وننتقل إلى الجولة

24:57

الثانية. لذا، نريد

25:01

الاستفادة من قدرة

25:02

النماذج التجارية

25:04

الأقوى، ولكننا نريد

25:06

أيضاً الحفاظ على

25:07

سلامة معلومات الصحة

25:09

الشخصية (PHI). لذا، قمنا

25:12

بإجراء فحص يدوي بشري

25:14

لاستبعاد جميع

25:15

الملاحظات التي تحتوي

25:17

على...آه، لقد تأكدنا

25:22

من أنها لا تحتوي على

25:24

معلومات صحية محمية (PHI

25:26

) أو أي معلومات حساسة.

25:28

لذا، يمكنهم الانتقال

25:30

إلى المرحلة التالية

25:31

للقيام بتوليد

25:33

البيانات الاصطناعية.

25:36

أم، بعد اكتمال جميع

25:38

مراحل زيادة البيانات

25:40

الثلاث، أصبح لدينا

25:42

الآن حالات إيجابية

25:44

كافية. لكن المشكلة هي

25:47

أن لدينا الكثير من

25:49

الحالات السلبية. لذا،

25:52

لكي نجعل النموذج يركز

25:54

على ما يحتاجه حقاً،

25:56

قمنا ببعض عمليات أخذ

25:57

العينات الناقصة

25:59

لاستبعاد بعض

26:00

الملاحظات السريرية

26:02

التي لم تذكر أي مؤشر

26:04

إيجابي للعدوى على

26:05

الإطلاق. فقط ملاحظة

26:10

واحدة هنا. بالنسبة

26:15

لجميع الخطوات ضمن

26:17

عملية زيادة البيانات

26:19

هذه، لم نقم فعلياً

26:20

بإجراء دراسة

26:22

استئصالية لإثبات أن

26:23

النسب المختلفة في كل

26:25

خطوة هي الخيارات

26:27

الأمثل. لذا، قد يكون

26:31

هذا موضوعاً للنقاش

26:32

المفتوح. بعد ذلك،

26:39

وبمجرد تجهيز بيانات

26:41

التدريب النهائية،

26:43

ننتقل إلى مرحلة ضبط

26:45

التعليمات. أعتقد أن

26:49

هذا الجزء أقل تعقيداً

26:51

من زيادة البيانات.

26:57

بشكل أساسي، نحن

26:59

نستفيد من منصة Onslaughts،

27:01

وتحديداً إطار العمل

27:03

الخاص بها لاستخدام

27:04

النموذج الأساسي

27:06

المكمم ديناميكياً

27:08

مباشرة من Onslaughts.

27:12

وأيضاً، نستخدم QLoRA

27:14

بدلاً من LoRA نظراً

27:16

لمحدودية الموارد

27:17

الحسابية. جميع بيانات

27:22

التدريب اتبعت تنسيق

27:24

Alpaca. وفي الواقع،

27:28

اخترنا نموذجين

27:30

لغويين كبيرين متوسطي

27:32

الحجم فقط للتجربة

27:33

النهائية. لقد بدأنا

27:37

باختبار المزيد. على

27:41

سبيل المثال، اختبرنا

27:43

نموذج phi واختبرنا

27:44

نماذج lambda الأصغر.

27:49

لكننا استبعدناها

27:50

بسبب ضعف قدرتها على

27:52

اتباع التعليمات.

27:56

لإنشاء خطوط أساسية

27:58

لإثبات فرضيتنا، قمنا

28:00

بتضمين حلين مختلفين.

28:03

الأول هو النماذج

28:05

اللغوية الكبيرة ذات

28:06

الحجم الأكبر مثل lambda

28:08

70B، لكننا استخدمنا

28:10

التلقين فقط. والآخر

28:12

هو اختيار نماذج أصغر،

28:14

لكن قمنا بضبطها

28:16

دقيقاً بشكل كامل.

28:23

فيما يتعلق

28:24

باستراتيجية التقييم،

28:26

كانت الاستراتيجية

28:28

الرئيسية التي قدمتها

28:30

تدور حول نماذج killer.

28:36

كما قد تلاحظ، لم

28:37

أستخدم إعداداً

28:38

حتمياً جداً هنا،

28:40

لأننا وجدنا أنه خلال

28:42

عملية استخراج

28:43

المعلومات قد تحدث بعض

28:45

أخطاء الحدود البسيطة

28:47

عندما يحاول النموذج

28:48

اللغوي الكبير تنفيذ

28:50

هذه المهمة. هذه

28:56

الأخطاء في الحدود قد

28:58

تؤدي في بعض الأحيان

28:59

إلى حدوث أخطاء سريرية

29:01

ذات دلالة. وفي أحيان

29:04

أخرى لا تؤدي لذلك. نحن

29:09

نحاول ضبط درجة حرارة

29:11

منخفضة جداً، ولكن مع

29:13

منحها بعض التباين

29:15

للاستفادة من ذلك،

29:17

ونقوم بتشغيل كل

29:18

استنتاج خمس مرات بشكل

29:20

مستقل، ثم نستخدم

29:22

تصويت الأغلبية

29:24

لتحقيق استقرار

29:25

المخرجات النهائية.

29:31

كما نقوم بحساب

29:32

المقاييس الأساسية

29:34

باستخدام مقياس F1

29:36

الجزئي بمتوسط ميكرو.

29:40

السبب كما ذكرنا

29:41

سابقاً هو أن الحدود

29:43

البسيطة أحياناً لا

29:45

تكون ذات دلالة سريرية

29:47

كبيرة لاعتبارها خطأً

29:49

مؤكداً. ونستخدم متوسط

29:54

الميكرو لأننا نرغب في

29:56

إضافة بعض الأوزان عبر

29:58

التكرارات المختلفة

29:59

لفئات العدوى

30:01

المتنوعة. بالإضافة

30:06

إلى دقة الاستخراج،

30:08

أضفنا أيضاً موثوقية

30:10

المخرجات كأحد

30:11

مقاييسنا الثانوية.

30:16

الموثوقية تعني مدى

30:18

اتباع المخرجات

30:19

للتنسيق المطلوب

30:20

المكون من مؤشر

30:21

بالإضافة إلى سياق.

30:27

وكذلك مدى اتساق

30:28

المخرجات المختلفة

30:30

عبر الجولات الخمس.

30:34

وهو أمر قد يكون بالغ

30:36

الأهمية عند الانتقال

30:38

إلى النشر السريري

30:39

العملي الفعلي. والآن،

30:43

يمكننا الانتقال إلى

30:45

الأداء العام. في هذه

30:50

الدراسة، ولأن تقنية

30:52

QLoRA طُبقت فقط على

30:54

نموذجين متوسطي الحجم.

31:00

على الجانب الأيسر،

31:02

مجموعتا الأشرطة

31:04

باللون الأزرق هما

31:06

لنموذجي Gemma بـ 12 مليار

31:08

و Human بـ 14 مليار معامل.

31:13

لقد عرضت نتائج تصويت

31:15

الأغلبية جنباً إلى

31:17

جنب مع المتوسط

31:22

والانحراف المعياري

31:23

للتشغيلات المستقلة.

31:26

يمكننا أن نرى أن

31:28

الأداء النهائي يقترب

31:31

من 0.88. أود أن أقول إن

31:38

هذا الأداء لا يزال

31:39

بعيداً نوعاً ما عن

31:41

الأداء الذي سجلته

31:42

النماذج الأخرى التي

31:44

تم ضبطها دقيقاً

31:46

باستخدام LoRA أو QLoRA

31:47

لاستخراج الكيانات.

31:54

ومع ذلك، نعتقد أنه لا

31:56

يزال واعداً جداً لأن

31:58

ذلك النوع من المهام

32:00

يركز على كيانات طبية

32:02

حيوية أوسع. على سبيل

32:06

المثال، يسمونها فقط

32:07

أمراضاً أو جينات أو

32:09

أدوية. وقد قارنا ذلك

32:13

أيضاً بالنماذج

32:14

الأساسية. يمكننا

32:19

بوضوح رؤية القوة

32:21

الكبيرة لنماذجنا

32:22

الأولية مقارنة بتلك

32:24

النماذج الأكبر حجماً

32:26

التي تعتمد على

32:27

التوجيه، وكذلك

32:29

النماذج الأصغر التي

32:31

تم ضبطها بدقة كاملة.

32:37

والفرق يقع بين 0.3 و 0.4.

32:45

يمكننا أيضاً إلقاء

32:46

نظرة على البصمة

32:48

الحسابية. بالنسبة

32:51

لتقنية QLoRA لمثل هذه

32:53

النماذج، يمكننا

32:54

إكمالها على وحدة

32:56

معالجة رسومات واحدة

32:57

من فئة المستهلك، وهو

32:59

أمر سيكون ميسور

33:01

التكلفة لمعظم وكالات

33:03

الرعاية الصحية

33:04

المنزلية. أوه، لقد

33:08

رأيت يداً مرفوعة.

33:13

>> نعم. نعم. لدي سؤال حول

33:18

تجربتكم لنماذج مثل "

33:20

جيرما" و "كوين" هنا، هل

33:22

فكرتم في دمجها معاً؟

33:27

فقد ذكرتم أنكم قمتم

33:29

بالاستدلال خمس مرات

33:31

وأخذتم تصويت

33:32

الأغلبية. وهل قارنتم

33:37

بين تصويت أغلبية

33:39

النموذج نفسه أو تصويت

33:41

أغلبية نماذج مختلفة

33:43

هنا؟

33:46

>> أجل، أعتقد أنها فكرة

33:48

جيدة. تقصد أننا

33:50

يمكننا اعتبارها

33:51

خبراء مختلفين.

33:52

>> نعم، نعم، نعم.

33:54

>> كل خبير يمكنه الإدلاء

33:56

بصوته.

33:58

>> أجل. نعم.

34:00

>> أجل، أعتقد أنها فكرة

34:02

جيدة جداً. لكن في ذلك

34:05

الوقت لم نفكر في هذا

34:07

الأمر بعمق. لكن أعتقد

34:11

أنه بعد ذلك، وبعد

34:13

انتشار نمط "ضبط

34:15

التعليمات"، أصبحت

34:17

نماذج خليط الخبراء (MOE

34:19

)

34:20

>> حسناً.

34:21

>> أكثر شيوعاً. أجل.

34:23

>> حسناً. شكراً لك.

34:27

>> حسناً، يمكننا

34:28

المتابعة مع هذا الجزء

34:30

المتعلق بالحوسبة. أود

34:38

الإشارة إلى أمر هنا،

34:40

رغم أن أبرز ما في هذه

34:42

الدراسة هو كفاءة

34:44

الموارد الحسابية،

34:46

إلا أننا إذا أخذنا

34:47

الوقت في الاعتبار،

34:49

فلا أعتقد أنه سيء

34:51

للغاية. لقد أجريت

35:00

الاختبار، وبناءً على

35:02

ذاكرتي، نحتاج عادةً

35:04

من 10 إلى 15 ثانية

35:06

لإتمام الاستدلال. لذا

35:12

أعتقد أنه في حال

35:14

طبقنا هذا في بيئة

35:15

سريرية، فقد لا يكون

35:17

وقت الانتظار مقبولاً

35:19

تماماً. هذه مجرد

35:24

ملاحظة جانبية. حسناً،

35:32

بعد ذلك يمكننا إلقاء

35:34

نظرة على الأداء

35:35

التفصيلي. في هذه

35:41

الدراسة، أردنا تضمين

35:43

كافة تشخيصات العدوى

35:45

الشائعة في بيئات

35:46

الرعاية الصحية

35:47

المنزلية بدلاً من

35:49

التركيز فقط على عدوى

35:51

المسالك البولية أو

35:52

الجروح. لقد قمنا

35:58

ببناء مخطط يضم 26 فئة

36:00

من فئات العدوى. وإذا

36:06

ألقينا نظرة فاحصة على

36:08

كيفية أداء كل فئة،

36:10

سنجد تبايناً كبيراً

36:12

في الواقع. قد يصل

36:17

الفرق بين أفضل وأسوأ

36:19

أداء من حيث مقياس F1

36:21

الجزئي الصغير إلى 0.25.

36:27

لذا قمنا أيضاً بإجراء

36:29

تحليل نوعي متعمق لرصد

36:31

أنماط الخطأ. وقد

36:35

وجدنا بعض الأنماط ضمن

36:37

الفئات ذات الأداء

36:38

الجيد وتلك ذات الأداء

36:40

الضعيف. عادةً، إذا

36:45

كانت فئة العدوى ذات

36:47

نمط نموذجي جداً أو

36:49

تحتوي على كلمات

36:50

مفتاحية مميزة، فإنه

36:52

يسهل اكتشافها حتى وإن

36:54

كانت نادرة جداً. على

36:59

سبيل المثال، أم، نوع

37:01

ما ينتمي إلى المحددات

37:03

الاجتماعية للصحة. على

37:09

سبيل المثال، شيء مثل

37:11

حواجز اللغة، طالما

37:13

ذكر المريض مترجماً أو

37:15

ترجمة فورية أو ذُكر

37:17

ذلك في الملاحظات

37:18

السريرية مثل

37:20

الإيطالية أو غيرها.

37:25

من السهل جداً تحديد

37:27

أن هذا شيء يتعلق

37:28

بحواجز اللغة. وهناك

37:33

أيضاً تشخيصات أخرى

37:35

نموذجية جداً لأنواع

37:37

معينة من العدوى. على

37:40

سبيل المثال، عدوى

37:42

الجهاز التنفسي. أتذكر

37:44

أن حوالي 30%إلى 80%

37:46

يذكرون إما الالتهاب

37:49

الرئوي أو اختصاراً له

37:51

. وهو ما قد يكون أحد

37:55

أكثر التشخيصات

37:56

شيوعاً بين فئة المرضى

37:58

هذه. ومع ذلك، بالنسبة

38:04

لبعض فئات مؤشرات

38:06

العدوى، قد يكون هناك

38:08

نطاق أوسع بكثير من

38:10

التعبيرات، حتى لو

38:11

كانت ذات تكرار عالٍ

38:13

جداً. على سبيل المثال

38:18

، علاج عدوى الجروح،

38:20

قد يكون هناك الآلاف

38:22

من العلاجات المختلفة

38:23

لعدوى الجروح. يمكن أن

38:28

يكون دواءً يؤخذ بالفم

38:30

أو شيئاً يوضع على

38:32

الجلد أو أحياناً يكون

38:34

مجرد تغيير لوضعية

38:35

المريض. لذا، وجدنا

38:41

أنه ليس من السهل على

38:42

النماذج حفظها جميعاً.

38:47

مثال مشابه يتعلق

38:48

بحواجز الوصول إلى

38:50

الرعاية الصحية. لذا،

38:57

ليس من السهل على

38:59

النماذج اللغوية

39:00

الكبيرة فهم اختصارات

39:02

بعض برامج المساعدة

39:04

الحكومية، أو أحياناً

39:06

قد يتعلق الأمر

39:07

بإعاقتهم. وأحياناً قد

39:13

يتعلق الأمر بوضعهم

39:14

الاجتماعي والاقتصادي

39:16

. وبالعودة إلى السبب،

39:21

ما زلنا نعزوه إلى عدم

39:23

كفاية تمثيل البيانات

39:25

أثناء التدريب. الجزء

39:37

التالي هو أننا أوضحنا

39:38

بالفعل أن ضبط

39:40

التعليمات عبر مسار

39:41

QLoRA يمكنه استخراج

39:43

معلومات مؤشرات

39:44

العدوى بنجاح من

39:46

ملاحظات الرعاية

39:47

الصحية المنزلية.

39:54

الهدف الثاني المتبقي

39:56

لنا هو كيفية رؤية

39:57

تأثير الزيادة. لذا،

40:03

قمت بإدراج دلتا، وهي

40:06

فروقات درجات F1

40:07

الجزئية بعد الزيادة.

40:14

وإذا كان اللون أحمر،

40:15

فهذا يعني أنها زادت

40:17

أكثر. وإذا كان أزرق،

40:20

فهذا يعني أنها انخفضت

40:22

. وكما نرى، على الرغم

40:25

من أن نموذج Gemma بـ 12

40:27

مليار بارامتر يحقق

40:29

أفضل أداء عام، إلا

40:30

أنه في الواقع لا

40:32

يستفيد كثيراً مقارنة

40:33

بـ Qwen بـ 14 مليار

40:35

بارامتر. لذا، تحققنا

40:40

أيضاً مما إذا كانت

40:42

زيادة البيانات

40:43

ستساعد نموذج T5 الذي

40:45

تم ضبطه بالكامل، وكان

40:48

التحسن طفيفاً. لقد

40:54

ألقينا نظرة فاحصة

40:56

أيضًا على فئات العدوى

40:58

التي ستستفيد من ذلك.

41:01

الأمر في الواقع

41:03

متشابه تمامًا.

41:06

بالنسبة للفئات

41:08

النادرة جدًا مثل

41:09

أنواع العدوى الأخرى

41:11

وعوائق القراءة

41:12

والكتابة اللغوية،

41:13

فقد تحسنت كثيرًا في

41:15

الواقع. أعتقد أنه من

41:20

السهل جدًا فهم السبب،

41:22

لأنها تحصل على المزيد

41:24

من الأمثلة للتعلم

41:25

منها. ولمعرفة المزيد

41:28

من الأنماط. وبالنسبة

41:32

لبعض الأمثلة التي

41:34

ذكرتها والتي شهدت

41:35

تحسنًا طفيفًا أو حتى

41:37

تراجعًا في الأداء،

41:39

فهي في الواقع ذات

41:40

معدلات انتشار متوسطة.

41:47

لقد عدنا للتحقق منها،

41:49

لكن ليس من السهل

41:51

تفسير ذلك من وجهة

41:52

نظري. لقد قمنا أيضًا

41:59

بفحص الأنماط اللغوية

42:00

التي يسهل عليها

42:02

الاستفادة من هذه

42:03

الزيادة في البيانات.

42:09

كما قمنا بفحصها من

42:11

منظور تكرار

42:12

المصطلحات. على سبيل

42:15

المثال، إذا استخدمنا

42:17

زيادة البيانات،

42:18

فيمكننا تجنب المزيد

42:20

من أخطاء النفي بدلًا

42:22

من اعتبارها نتائج

42:24

إيجابية كاذبة. كما

42:27

أنها تؤدي أداءً أفضل

42:29

في المفاهيم السريرية

42:30

الدقيقة للغاية حتى

42:32

وإن بدت متشابهة جدًا

42:33

في الكتابة.

42:41

>> إليكم هنا النتائج

42:43

النهائية لموثوقية

42:44

المخرجات. هناك شيء

42:50

واحد يستحق الملاحظة

42:52

وهو أنه على الرغم من

42:54

أن النموذج الأفضل

42:56

أداءً "جيمما 12 مليار"

42:58

يحقق أعلى دقة في

42:59

الاستخراج. إذا نظرنا

43:04

إلى الاتساق، فهو في

43:05

الواقع ليس قابلًا

43:07

للمقارنة مع النماذج

43:09

الصغيرة التي تم ضبطها

43:11

بالكامل. وهو في

43:14

المنتصف نوعًا ما.

43:15

وإذا اكتفينا

43:17

باستخدام التلقين فقط

43:18

، يمكنك رؤية أن نموذج

43:20

"لاما 70 مليار" هو

43:21

الأسوأ أداءً. ومع ذلك

43:23

، يمكننا أن نرى أنه

43:25

إذا أضفنا بعض أمثلة

43:27

التعلم القليل، فهذا

43:29

هو الأكثر فائدة

43:30

للنماذج الأكبر حجمًا

43:32

مثل 70 مليار. ولكن

43:34

بالنسبة للنماذج

43:35

المضبوطة وفقًا

43:36

للتعليمات، فإن ذلك

43:38

سيؤدي إلى تراجع

43:39

أدائها. وهو ما

43:42

سنناقشه بعد قليل. كما

43:47

يمكننا أن نجد أن

43:48

الضبط وفقًا

43:49

للتعليمات يساعد

43:50

بالفعل في تحسين معدل

43:52

النجاح في تمرير

43:53

مخرجات النموذج. إليكم

44:05

بعض التأملات حول

44:06

النتائج؛ أولًا، كنا

44:08

نبحث في سبب مساعدة

44:10

هذا الضبط وفقًا

44:11

للتعليمات. لذا، نبدأ

44:17

من الدافع الأولي

44:19

وتعريف التعليمات.

44:23

إنها توفر التعليمات

44:24

وثلاثية المدخلات

44:26

والمخرجات. لذا، نعتقد

44:29

أنها ستكون طريقة

44:31

مباشرة جدًا لتعليم

44:33

النموذج ما يجب

44:34

استخراجه وكيفية

44:35

اتباع هذه التعليمات

44:37

وما يجب أن تكون عليه

44:39

المخرجات. وهو ما يتضح

44:45

جيدًا من خلال معدل

44:46

الالتزام العالي

44:47

بالتنسيق بالإضافة

44:49

إلى دقة الاستخراج

44:50

العالية. ومع ذلك،

44:55

لاحظنا أيضًا بعض

44:57

النتائج غير البديهية

44:59

حيث أدى التلقين

45:00

ببيانات قليلة (few-shot

45:02

prompting) إلى تراجع

45:04

الأداء. لذا، إذا عدت

45:08

إلى تعريف ضبط

45:09

التعليمات (instruction tuning)

45:11

، يبدو أنه طُوِّر في

45:13

الأصل للمهام ذات

45:15

الصفر من الأمثلة (

45:17

zero-shot). ربما يكون هذا

45:23

هو السبب في أن ضبط

45:25

التعليمات المتخصص

45:27

كافٍ جدًا لتبسيط

45:28

النشر وتجنب أعباء

45:30

إنشاء أمثلة جيدة

45:31

للتعلم ببضع لقطات.

45:36

وإذا أضفنا أمثلة

45:38

جديدة للتعلم ببضع

45:39

لقطات، فسيؤدي ذلك إلى

45:41

الكثير من الضجيج.

45:43

ويصبح الأمر فائضًا عن

45:45

الحاجة. لكن يظل هذا

45:48

مجرد تخمين. وينبغي

45:52

علينا إجراء المزيد من

45:54

دراسات الاستئصال

45:55

التفصيلية حول هذا

45:57

الموضوع. وفيما يتعلق

46:06

بزيادة البيانات،

46:07

نعلم أنها قد تعالج

46:09

بعض الأخطاء مثل النفي

46:11

والمفاهيم السريرية

46:12

الدقيقة، كما يمكنها

46:14

تعزيز دقة استخراج

46:16

المعلومات وقابليتها

46:18

للتكرار. ولم نلاحظ أي

46:23

هلاوس (hallucination) أثناء

46:24

عمليات الاستدلال

46:26

التي أجريناها. ومع

46:29

ذلك، لا تزال هناك بعض

46:31

المشكلات العالقة في

46:32

استخراج المعلومات

46:34

هذا. أولاً، لم نمنح

46:38

النماذج مجموعة

46:39

بيانات كافية للتعلم

46:41

منها. على سبيل المثال

46:44

، لا تزال بعض

46:45

الاختصارات غير

46:47

الشائعة لا تُحدد بشكل

46:49

صحيح. وهناك بعض

46:53

المشكلات المتعلقة

46:55

بقدرة النماذج على

46:57

الفهم. على سبيل

47:02

المثال، لا يمكنها

47:03

تحديد الحدود

47:04

المناسبة للحدث

47:06

بأكمله أو التعبيرات

47:08

الكاملة لهذا المؤشر.

47:12

ومن الصعب على النماذج

47:13

استخراج جميع

47:15

الكيانات المتميزة

47:16

داخل نفس الملاحظات،

47:18

حتى لو كانت تندرج تحت

47:20

نفس الفئات. وفيما

47:25

يتعلق بهذه القضايا

47:27

المتبقية، من وجهة

47:29

نظري، بدلاً من زيادة

47:31

أحجام النماذج، وهو ما

47:33

قد يكون بديلاً

47:34

مطروحًا. لكن إذا

47:40

استمررت في هذا،

47:41

فسأبدأ أولاً بمعالجة

47:43

قضايا البيانات. إليكم

47:51

بعض الأفكار التأملية

47:53

حول الترجمات

47:54

السريرية. الهدف من

47:57

تطوير أداة استخراج

47:59

المعلومات السريرية

48:00

هذه هو توفير دعم أكثر

48:02

مرونة وقائم على

48:04

الأدلة لأطباء

48:05

الرعاية الصحية

48:06

المنزلية. تتمثل

48:10

المساهمة الأساسية

48:12

لأداتنا في المجال

48:13

السريري في قدرتها على

48:15

توفير ثلاثة مستويات

48:17

مختلفة من الأدلة.

48:24

فعندما يلاحظ الأطباء

48:26

شيئًا غير طبيعي،

48:27

يمكنهم إجراء مراجعة

48:29

سريعة على مستوى

48:30

المجموعة، أو فحص

48:32

المؤشرات الدقيقة مع

48:34

المصدر، أو مراجعة

48:36

النص المصدري للتأمل

48:37

والتدخل المتعمق. امم.

48:49

وأيضاً، أود فقط أن

48:51

أذكر أن أداة استخراج

48:53

المعلومات هذه عملت

48:54

لاحقاً كخلفية لنظام

48:56

مراقبة العدوى والكشف

48:58

عنها، وهي أشبه بنماذج

49:01

تنبؤية. الهدف النهائي

49:07

هو أن نتمكن من

49:09

الاستفادة من النطاق

49:10

الكامل لبيانات مرضى

49:12

الرعاية الصحية

49:13

المنزلية لتحديد

49:14

حالات الاستشفاء

49:16

المرتبطة بالعدوى

49:17

مسبقاً. لذا، هناك بعض

49:22

القيود المتعلقة

49:24

ببياناتنا. أولاً، نحن

49:26

مقيدون جداً بمنطقة

49:28

واحدة. لذا، قد تحتاج

49:32

المصطلحات المستخدمة

49:34

داخل نظام الرعاية

49:35

الصحية هذا إلى

49:37

توحيدها وفق هيكل

49:38

بيانات مشترك، لتكون

49:40

قابلة للاستخدام عبر

49:42

أنظمة السجلات الصحية

49:44

الإلكترونية المختلفة

49:46

. وأيضاً، البيانات

49:50

تعتبر قديمة بعض الشيء

49:52

. لذا، قد نحتاج إلى

49:54

المزيد من التقييم

49:56

المستقبلي والتحسين،

49:57

حتى تتناسب مع سير عمل

49:59

الرعاية الصحية

50:00

المنزلية الحالي.

50:05

وأيضاً، هناك بعض

50:07

الأعمال المستقبلية

50:09

الأخرى التي لا تزال

50:10

بحاجة إلى إنجاز. مثل

50:15

تعزيز البيانات الذي

50:17

ذكرته سابقاً. و...

50:29

نعتقد أيضاً أنه يمكن

50:30

النظر في إجراء دراسات

50:32

استئصال أكثر صرامة

50:34

لمعرفة حجم النموذج

50:35

مفتوح المصدر الذي

50:37

نحتاجه للقيام بهذا

50:39

الضبط الدقيق والفعال

50:40

لتحقيق الأداء

50:41

المتوقع، لكن الحجم

50:43

الأمثل الدقيق لا يزال

50:45

قيد التحديد. ربما إذا

50:54

قمنا بتغيير النموذج

50:56

من 12 مليار إلى 20 مليار

50:58

معامِل، فإن الأداء

51:00

سيتحسن بشكل أكبر

51:02

بكثير. وأخيراً، أحتاج

51:13

إلى التعبير عن بعض

51:14

عبارات الشكر

51:15

والتقدير. هذه الدراسة

51:18

جزء من أطروحتي لنيل

51:20

درجة الدكتوراه.

51:22

وبالتأكيد، أحتاج إلى

51:24

التعبير عن امتناني

51:25

لمشرفي الدكتوراه. كما

51:28

حصلنا على البيانات من

51:30

وكالة "في إن إس"(VNS)

51:32

للرعاية الصحية

51:34

المنزلية. ونود أن

51:37

نعرب عن شكرنا لجميع

51:39

جهات التمويل التي

51:40

قدمت الدعم لاسترجاع

51:42

هذه البيانات والحصول

51:44

عليها.

51:51

>> شكراً لكم. شكراً لكم

51:53

على الحضور هنا. دعونا

51:56

نعرب عن شكرنا لهذا

51:58

العرض التقديمي. لدي

52:04

سؤال واحد حول

Interactive Summary

Ask follow-up questions or revisit key timestamps.

يتناول هذا العرض التقديمي أطروحة دكتوراه تركز على تحسين الكشف عن العدوى في بيئة الرعاية الصحية المنزلية بالولايات المتحدة. يواجه هذا القطاع تحديات فريدة تتمثل في نقص الموارد وضعف البيانات المهيكلة، مما دفع الباحثين لاستخدام الملاحظات السريرية السردية كمصدر غني للمعلومات. استخدم الباحثون تقنيات معالجة اللغات الطبيعية (NLP) لا سيما ضبط التعليمات (Instruction Tuning) عبر نماذج مثل QLoRA لتجاوز قيود البيانات ومحدودية الموارد الحسابية في الوكالات المحلية، مع التركيز على استراتيجيات تعزيز البيانات (Data Augmentation) وتصميم نظام لاستخراج مؤشرات العدوى يوفر للأطباء أدلة مدعومة بالسياق.