امروزه ابزارهای عظیم داده (Big Data) در بازار موجود است و این ابزارها، با بهره‌وری در هزینه سبب مدیریت زمان بهتر در وظایف تحلیلی می‌شوند. سیستم کلاستر محاسباتی با کارایی بالا (HPCC) یکی از ابزارهای عظیم داده بوده که توسط LexisNexis  ایجاد شده است. این ابزار بر روی یک سکوی واحد، یک معماری واحد و یک زبان برنامه‌نویسی واحد برای پردازش داده‌ها ارائه می‌گردد.

 

سیستم کلاستر محاسباتی با کارایی بالا (HPCC)، سکویی محاسباتی متن باز متمرکز داده‌ها را توزیع نموده و سرویس‌های مدیریتی جریان کار عظیم داده را فراهم می‌کند. بر خلاف Hadoop، مدل داده‌ای HPCC به وسیله کاربر تعریف می‌گردد و تضمین می‌­کند که ECL در حداکثر زمان سپری شده انجام می‌گردد و گره‌ها (نودها) به شکل موازی پردازش شوند. همچنین سکوی HPCC به ابزارهای بخش ثالث نظیر GreenPulm ، Cassandra ، RDBMS ، Oozie و غیره نیازی ندارد.

مؤلفه های اصلی HPCC

 THOR(پالایشگاه داده HPCC): یک موتور ETL موازی به شکل انبوه بوده که ادغام داده‌ها براساس یک مقیاس را انجام داده و دستکاری داده‌ها را به شکل دسته‌ای فراهم می‌کند.

 ROXIE(موتور تحلیل داده HPCC): یک موتور موازی انبوه، با توان عملیاتی بالا، فوق‌العاده سریع، با زمان تأخیر کم که اجازه بازیابی چند کاربره مؤثر داده و موتور پاسخ جستجوی ساخت یافته را می‌دهد.

ECL) Enterprise Control Language): یک جریان کاری توزیع شده بین گره‌ها به صورت خودکار بوده که الگوریتم‌هایی همگام و خودکار داشته و ماشین توسعه پذیر کتابخانه یادگیری را توسعه می­دهد. در ضمن زبان برنامه‌نویسی مفید و ساده‌ای داشته که برای عملگرهای عظیم داده و تراکنش­های جستجو، بهینه‌سازی شده است.

امکانات

  • بسیار کارآمد جهت انجام کارهای عظیم داده با کدنویسی بسیار کمتر.
  • ارائه افزونگی و دسترسی بالا.
  • قابل استفاده در پردازش داده‌های پیچیده در کلاستر Thor .
  • دارای محیط توسعه یکپارچه  گرافیکی (Graphical IDE) به منظور سهولت توسعه، آزمایش و اشکال زدایی.
  • بهینه‌سازی خودکار کد جهت پردازش موازی.
  • افزایش مقیاس‌پذیری و عملکرد.
  • تبدیل کد ECL به ++C بهینه.
  • امکان گسترش با استفاده از کتابخانه‌های  ++C.

تفاوت بین سکوی سیستم­های HPCC و Hadoop

کلاسترهای HPCC می­توانند در Thor و Roxie اعمال شوند. کلاسترهای Hadoop با پرداز­ش MapReduce اجرا می­شوند.

در محیط HPCC ، ECL زبان برنامه‌نویسی اولیه است در حالیکه پردازش MapReduce در Hadoop بر مبنای زبان جاوا است.

سکوی HPCC ، شاخص چند متغیره و چند کلیده بر روی سیستم فایل توزیع شده می­سازد. HBase درHadoop، پایگاه‌داده ستون‌گرا را فراهم می‌آورد.

قابلیت­های انبار داده (data warehouse) در HPCC جهت جستجوهای ساخت‌یافته و برنامه‌های کاربردی تحلیل کننده استفاده می­شود و از طرف دیگر Hive در Hadoop قابلیت­های انبار داده را فراهم نموده و اجازه می­دهد داده‌ها در HDFS هدوپ، Load شوند.

بر روی پیکر بندی سخت افزاری مشابه یک سیستم با 400 گره، موفقیت HPCC در 6 دقیقه و 27 ثانیه است در حالی که موفقیت Hadoop در 25 دقیقه و 28 ثانیه است. این نتایج نشان می‌دهد که در این مقایسه HPCC سریعتر از Hadoop است.

جهت دسترسی به نسخه آزمایشی این ابزار به لینک زیر مراجعه نمایید:

 https://hpccsystems.com/try-now