کتاب Optimization Algorithms for Distributed Machine Learning اثر Gauri Joshi انتشارات مؤلفین طلایی

درباره کتاب Optimization Algorithms for Distributed Machine Learning

کتاب Optimization Algorithms for Distributed Machine Learning اثربخش، به مباحث پیشرفته‌ای در حوزه الگوریتم‌های بهینه‌سازی تصادفی برای یادگیری ماشینی توزیع شده می‌پردازد. این اثر به تحلیل سرعت همگرایی این الگوریتم‌ها می‌پردازد.

مفاهیم کلیدی در کتاب Optimization Algorithms for Distributed Machine Learning

این کتاب با معرفی الگوریتم شیب نزولی تصادفی (SGD) و نسخه توزیع شده آن، یعنی SGD سنکرون، آغاز می‌شود، که در آن محاسبه گرادیان‌ها بین چندین گره کارگر تقسیم می‌شود.

بررسی الگوریتم‌ها در Optimization Algorithms for Distributed Machine Learning

نویسنده در این کتاب به بررسی چندین الگوریتم می‌پردازد که می‌توانند مقیاس‌پذیری و کارایی ارتباط SGD سنکرون را ارتقا دهند، از جمله:

• SGD ناهمزمان
• SGD به‌روزرسانی محلی
• SGD کوانتیزه‌شده و کم‌رنگ
• SGD غیرمتمرکز

تحلیل و بررسی نتایج در Optimization Algorithms for Distributed Machine Learning

کتاب به تحلیل خطای هر یک از این الگوریتم‌ها در ارتباط با همگرایی تکرارها و زمان صرف‌شده در هر تکرار می‌پردازد. نویسنده به‌وضوح نشان می‌دهد که هر یک از این استراتژی‌ها برای کاهش تأخیرهای ارتباطی یا همگام‌سازی، با یک مبادله اساسی بین خطا و زمان اجرا روبه‌رو هستند.