"ذخیره‌سازی و تحلیل در سطح اینترنت" از مجموعه کتب "راهنمای کامل هدوپ"(بخش دهم)
این بخش به توضیح چگونگی تنظیم هدوپ روی کلاستر ماشین‌ها می‌پردازد. اجرای فایل‌سیستم توزیع‌یافته هدوپ، نگاشت کاهشی و یارن بر روی یک ماشین برای یادگیری این سیستم‌ها بسیار عالی است اما برای سودمند بودن، لازم است که بر روی نودهای چدگانه اجرا شوند.
مشخصات یک کلاستر
هدوپ برای اجرا بر روی سخت‌افزار کمدیتی طراحی شده است. این بدان معنی است که ما در اجرای هدوپ به سخت‌افزارهای گران‌قیمت و پیشرفته‌ای که منحصر به وندورهای مشخص باشد وابسته نیستیم. در عوض، می‌توانیم هر سخت‌افزار استاندارد قابل دسترس و رایجی از هر وندوری را برای ساخت کلاستر استفاده نماییم.
- سایزدهی به کلاستر
کلاستر ما باید چه سایزی داشته باشد؟ پاسخ دقیقی به این سوال وجود ندارد اما زیبایی هدوپ به این است که می‌توانیم با یک کلاستر کوچک(مثلا شامل 10 نود) آغاز کنیم و به تدریج با افزایش نیازهای ذخیره‌سازی و محاسباتی، اندازه کلاستر را افزایش داد. در واقع سوال بهتر این است که کلاستر شما قرار است با چه سرعتی رشد پیدا کند؟ که می‌توانید با ملاحظه ظرفیت ذخیره‌سازی به پاسخ این سوال دست یابید.
- توپولوژی شبکه
یک معماری رایج هدوپ شامل یک توپولوژی شبکه دو سطحی می‌باشد. همانطور که در شکل به نمایش درآمده، برای هر رک به طور رایج 30 تا 40 سرور وجود دارند و یک سوییچ 10 گیگابایتی برای رک‌ها نیاز می‌باشد.
تنظیم و نصب کلاستر
این قسمت شامل توضیح چگونگی نصب و تنظیم یک کلاستر هدوپ پایه از صفر با استفاده از توزیع آپاچی هدوپ بر روی سیستم عامل یونیکس می‌باشد. پیش‌زمینه اطلاعاتی در خصوص چیزهایی که برای نصب هدوپ باید به آن‌ها بیاندیشید در این قسمت ارائه می‌شود.
- نصب جاوا: هدوپ هم بر روی سیستم عامل یونیکسی و هم بر روی ویندوز قابل اجرا است اما برای اجرا نیاز به جاوا دارد.
- ایجاد کاربران یونیکسی: فرآیندهای مختلف هدوپ به کاربران مجزا از هم اختصاص دارد و فایل‌سیستم توزیع یافته هدوپ، نگاشت کاهشی و یارن سرویس‌هایی هستند که معمولا توسط کاربران مجزا اجرا می‌شوند.
- نصب هدوپ: از وبسایت رسمی آپاچی هدوپ، می‌توان هدوپ را دانلود کرده و محتویات آن را به یک دایرکتوری مشخص انتقال داده و عملیات نصب را آغاز کرد.
- تنظیم ارتباط SSH: اسکریپت‌های کنترل هدوپ برای انجام عملیات‌ها در سطح کلاستر به ارتباط SSH وابسته هستند.
- تنظیم هدوپ: مجموعه تنظیمات هدوپ باید به درستی انجام شود تا در حالت توزیع یافته بتواند به درستی روی کلاستر اجرا گردد.
- فرمت فایل‌سیستم توزیع‌یافته هدوپ: قبل از استفاده از هدوپ، نصب فایل‌سیستم توزیع‌یافته هدوپ ضروری است. فرآیند فرمت، یک فایل‌سیستم خالی با ایجاد دایرکتوری‌ها و نخستین نسخه‌های ساختار نودهای نام (Namenode) صورت می‌پذیرد.
- آغاز و خاتمه بخشیدن به فرآیندها: هدوپ با اسکریپت‌های برای آغاز و خاتمه به عملکرد فرآیندها در سطح کل کلاستر کار می‌کند.
- ایجاد دایرکتوری‌های کاربران: پس از نصب و راه‌اندازی هدوپ، نیاز به ایجاد کاربر و تعیین سطح دسترسی آن به هدوپ می‌باشد.
سوال: آیا کلاستر به درستی تنظیم شده است؟
بهترین راه برای پاسخ به این سوال از ظریق آزمون و خطا می‌باشد. بعضی از جاب‌ها را روی هدوپ اجرا کنید و اطمینان حاصل نمایید که به نتایج مورد انتظار دست می‌یابید. این آزمایش‌ها محک خوبی برای میزان کارامدی کلاستر است و می‌توان از نتایج همین آزمایش‌ها برای تنظیم عملکرد هدوپ استفاده کرد. قبل از راه‌اندازی سرورها و فعالیت کاربران زمان انجام این آزمایش‌ها می‌باشد و پس از شروع جاب‌ها و یا سرویس‌ها دیگر این امکان وجود ندارد.