KDD 2024: حديث مع أمازون

راشيل هو تقدم في مؤتمر KDD 2024

في مؤتمر KDD 2024، قدمت راشيل هو، المؤسس المشارك والرئيس التنفيذي لشركة CambioML، دورة شاملة حول تحسين نماذج اللغة الكبيرة (LLMs) للتطبيقات المتخصصة، إلى جانب المشاركين خوسيه كاسيو دوس سانتوس جونيور (أمازون)، ريتشارد سونغ (Epsilla)، و يونفي باي (أمازون). قدمت الجلسة رؤى عميقة حول تقنيتين حاسمتين: التوليد المعزز بالاسترجاع (RAG) وتعديل LLM. تعتبر هذه الطرق ضرورية لتحسين أداء LLMs في المجالات المتخصصة، مما يسمح للمطورين بإنشاء نماذج أكثر فعالية ودقة مصممة لمهام محددة.

فهم RAG: توسيع قدرات LLM

التوليد المعزز بالاسترجاع (RAG) هو نهج قوي يوسع قدرات LLMs من خلال دمج قواعد المعرفة الخارجية. تتيح هذه التقنية لـ LLMs توليد استجابات استنادًا إلى معرفة محددة في المجال دون الحاجة إلى إعادة تدريب شاملة. يعتبر RAG مفيدًا بشكل خاص للمنظمات التي تحتاج إلى الاستفادة من قواعد المعرفة الداخلية أو موارد متخصصة أخرى، مما يوفر وسيلة لتعزيز أداء LLM بطريقة فعالة من حيث التكلفة والوقت.

التعديل: تخصيص النماذج للدقة

يتضمن تعديل LLM ضبط أوزان النموذج باستخدام بيانات متخصصة، مما يسمح للنموذج بتعلم معرفة جديدة وشاملة لم تكن مدرجة خلال مرحلة التدريب المسبق. هذه الطريقة ضرورية للمهام التي تتطلب درجة عالية من الدقة وتكون فعالة بشكل خاص في المجالات التي تفشل فيها النماذج العامة. يمكن أن يحول التعديل LLM إلى أداة متخصصة للغاية، قادرة على أداء مهام معقدة ومتخصصة بدقة.

دمج RAG والتعديل لتحقيق أفضل النتائج

استكشفت الدورة كيفية دمج RAG والتعديل لإنشاء بنية قوية لتطبيقات LLM. من خلال دمج هذين النهجين، يمكن للمطورين بناء نماذج لا تصل فقط إلى المعلومات الخارجية الأكثر صلة ولكن أيضًا تتعلم من البيانات المتخصصة. يسمح هذا النهج الهجين بإنشاء نماذج متعددة الاستخدامات ودقيقة للغاية، قادرة على التعامل مع مجموعة واسعة من المهام المتخصصة، من توليد النصوص إلى سيناريوهات الأسئلة والأجوبة المعقدة.

مختبرات عملية: التطبيقات العملية لـ RAG والتعديل

كان جزء كبير من دورة راشيل مخصصًا لمختبرات عملية، حيث استكشف المشاركون تقنيات متقدمة لتحسين بنى RAG وLLM المعدلة. تناولت المختبرات مجموعة متنوعة من المواضيع، بما في ذلك:

• تقنيات RAG المتقدمة: تم عرض استراتيجيات تحسين متعددة المراحل لتعزيز دقة وملاءمة مخرجات RAG. شمل ذلك تحسين ما قبل الاسترجاع، الاسترجاع، وما بعد الاسترجاع، بالإضافة إلى الاستخدام المبتكر للرسوم البيانية المعرفية وتحليل المستندات المتعددة لتحقيق استدلال أكثر دقة.

• تعديل LLMs: شارك المشاركون في تعديل LLM صغير باستخدام مجموعات بيانات متخصصة. سلط المختبر الضوء على عملية التعديل المستمرة، التي تدمج كل من التغذية الراجعة البشرية والذكاء الاصطناعي لتحقيق أداء متفوق في المهام المتخصصة.

• التقييم والمعايير: ركز المختبر النهائي على مقارنة أداء RAG، والتعديل، ونهجهم المشترك عبر مهام متنوعة. شمل ذلك تحليل ROI مفصل لمساعدة المطورين في اختيار الطريقة الأكثر فعالية من حيث التكلفة وكفاءة لاحتياجاتهم المحددة.

أفضل الممارسات لتطوير LLM المتخصص

اختتمت الدورة بمجموعة من أفضل الممارسات لتنفيذ RAG والتعديل في التطبيقات الواقعية. مع التأكيد على أهمية فهم التوازن بين مرونة RAG ودقة التعديل، تم تشجيع المشاركين على الانخراط في التجارب المستمرة والتقييم. يضمن هذا النهج تلبية معايير الأداء وفعالية التكلفة، مما يسمح للمطورين بتحسين بنية LLM الخاصة بهم لمهام متخصصة بشكل فعال.

للحصول على نظرة أكثر تفصيلًا حول محتوى الدورة والمختبرات العملية، يرجى الرجوع إلى هذه الورقة وهذه العرض التقديمي.