مختبر الخوارزميات
تفكيك المحركات الرياضية للحوسبة الحديثة. استكشافات تفاعلية للخوارزميات الأساسية، مجردة من التجريد.
المجلد الأول — الجذور والتقارب
ظهرت الخوارزميات بشكل طبيعي من الحاجة التاريخية لحل مشاكل ملموسة. نبدأ بأقدم طريقة عددية معروفة — صُممت ببساطة لتقريب الجذر — ونتتبع تطورها الرياضي وصولاً إلى تكرار النقطة الثابتة. هذه هي المحركات الأساسية وراء الاستدلال والتحسين؛ نفس الرياضيات بالضبط، بغض النظر عن الاسم الذي تطلقه على التخصص.
الطريقة البابلية
إيجاد جذور هيرون
أقدم خوارزمية عددية معروفة في العالم. تحسب الجذور التربيعية عن طريق حساب المتوسط التكراري لتخمين مع متممه، مما يوضح التقارب التربيعي.
نيوتن-رافسون
إيجاد الجذور بالتفاضل
طريقة عددية قوية تجد الجذور تكرارياً باستخدام المشتقة الأولى (خطوط المماس). تُظهر تقارباً تربيعياً سريعاً للدوال حسنة السلوك.
طريقة القاطع
جذور الفروق المحدودة
خوارزمية لإيجاد الجذور تستخدم سلسلة من جذور خطوط القاطع لتقريب جذر الدالة f بشكل أفضل.
طريقة التنصيف
إيجاد الجذور وتنصيف الفترات
طريقة عددية أساسية لإيجاد جذور الدوال المتصلة. السلف المفاهيمي للبحث الثنائي والانحدار الاشتقاقي.
تكرار النقطة الثابتة
تقارب مخطط نسيج العنكبوت
طريقة تعيد كتابة f(x)=0 كـ x=g(x). بتطبيق g بشكل متكرر، يتم إنشاء تسلسل يمكن أن يتقارب إلى نقطة ثابتة، ويتم تصويره من خلال مخططات نسيج العنكبوت.
المجلد الثاني — التحسين والتعلم
استمرار مباشر للمجلد الأول. هنا، نسد الفجوة بين إيجاد الجذور والانحدار الاشتقاقي، مع تحويل هدفنا من إيجاد الصفر إلى إيجاد الحد الأدنى. نتتبع التطور عبر العشوائية، معدلات التعلم التكيفية، والزخم، لنصل في النهاية إلى آدم — العمود الفقري لتعلم الآلة الحديث.
الانحدار الاشتقاقي
التحسين من الدرجة الأولى
العمود الفقري لتعلم الآلة. خوارزمية تحسين من الدرجة الأولى تتخذ خطوات تتناسب مع سالب تدرج الدالة عند النقطة الحالية.
الانحدار الاشتقاقي العشوائي
التحسين الصاخب
طريقة تكرارية لتحسين دالة موضوعية بخصائص نعومة مناسبة (مثل قابلية التفاضل).
أداغراد
التدرجات التكيفية
خوارزمية تحسين بمعدلات تعلم خاصة بالمعلمات، تتكيف مع هندسة البيانات. مثالية للميزات المتناثرة، لكنها تعاني من التجمد المبكر.
آر إم إس بروب
انتشار متوسط الجذر التربيعي
خوارزمية تحسين تحل مشكلة تناقص معدلات التعلم الجذرية في AdaGrad باستخدام متوسط متحرك للتدرجات المربعة.
مُحسِّن آدم
تقدير العزم التكيفي
خوارزمية تحسين تجمع بين أفضل خصائص خوارزميتي AdaGrad و RMSProp لتوفير مسار تحسين للتدرجات الصاخبة والمتناثرة.