دسته بندی:معرفی ابزار

معرفی ابزار اسپلانک (Splunk)

اسپلانک(Splunk) یک سکوی(پلتفرم) نرم‌افزاری برای جستجو، تحلیل و مصوررسازی داده‌های تولید شده توسط ماشین‌هاست که از وبسایت‌ها، اپلیکیشن‌ها، سنسورها و دستگاه‌ها داده دریافت میکند.

معرفی ابزار آپاچی دریل (Apache Drill)

از ابزار آپاچی دریل برای ورود و تحلیل انواع داده استفاده می‌شود و برنامه‌ای متن ‌باز بوده که با یک محیط توزیع شده، برای تجزیه و تحلیل عظیم‌داده کاربرد دارد. در واقع این محصول یک پیاده‌سازی متن ‌باز از Google Dremel است.

معرفی ابزار Apache zookeeper

آپاچی زوکیپر از ابزارهای عظیم داده(Big Data) برای ذخیره سازی می باشد.‏ZooKeeper توسط شرکت‌هایی مانند Rackspace ،Yahoo، Odnoklassniki، Reddit، NetApp SolidFire و eBay و همچنین سیستم‌های جستجوی سازمانی منبع باز مانند Solr استفاده می‌شود.

معرفی ابزار آپاچی ساموا(Apache Samoa)

ساموا ، پلتفرمی جهت استخراج جریان عظیم‌داده است و مجموعه ای از الگوریتم‌های جریان توزیع شده را برای مرسوم‌ترین شیوه‌های داده‌کاوی و وظایف یادگیری ماشین مانند طبقه‌بندی، خوشه‌بندی و رگرسیون، و همچنین مفاهیم برنامه‌نویسی برای توسعه الگوریتم‌های جدید، را فراهم می‌کند.

معرفی ابزار Hortonworks Data Platform

پلتفرم داده هورتون ورکس یک توزیع آپاچی هدوپ مبتنی بر معماری متمرکز YARN است که منبع باز، با امنیت بالا و آماده برای سازمان‌ها می‌باشد. HDP در جهت نیازهای مرتبط با داده‌‌های ذخیره شده و همچنین بر اساس توانمندسازی اپلیکیشن‌های بلادرنگ عمل می‌کند و قدرت تحلیلی ارائه شده توسط آن می‌تواند تصمیم‌گیری و نوآوری را شتاب بخشد.

معرفی ابزار آپاچی هایو (Apache Hive)

آپاچی هایو یک پروژۀ نرم افزاری انبار داده است که بر روی ساختار آپاچی هدوپ ایجاد شده و برای خلاصه سازی داده ها، پرس و جو و تجزیه و تحلیل آنها بکار می رود. هایو یک رابط کاربری شبه SQL دارد که برای پرس و جوی داده های ذخیره شده در پایگاه داده ها وفایل سیستم های مختلف بکار می رود.

معرفی ابزار آپاچی کافکا (Apache Kafka)

آپاچی کافکا(Apache Kafka) در ابتدا توسط لینکدین توسعه یافت و در اوایل سال 2011 بصورت نرم افزار متن باز در آمد. در نوامبر ۲۰۱۴ ، چندین مهندس که در لینکدین بر روی کافکا کار می‌کردند یک شرکت جدید به نام Confluent ایجاد کرده و به صورت انحصاری بر روی توسعه کافکا کار کردند. بر اساس یک پست در سال 2014 به نظر می رسد که جی کربس نام این برنامه را از نام فرانتس کافکا نویسنده آلمانی برداشت کرده است.

معرفی ابزار آپاچی استورم (Apache Storm)

آپاچی استورم یک چارچوب پردازشی توزیعی برای پردازش داده های در جریان می باشد که به زبان برنامه نویسی clojure نوشته شده است. این برنامه در ابتدا توسط ناتان مارتس و همکارانش در موسسه بکتایپ ایجاد شده و بعد از تصاحب آن توسط تویتر به صورت نرم افزاری منبع باز درآمد.

معرفی ابزار آپاچی اسپارک (Apache Spark)

اسپارک یک موتور پردازش داده است که اولین بار در سال 2009 به عنوان یک پروژه در آزمایشگاه ای ام پی دانشگاه کالیفرنیا، برکلی طراحی شد. سپس در سال 2013 به یک پروژه انحصاری از بنیاد نرم‌افزاری آپاچی تبدیل شده و در اوایل سال 2014 میلادی به یکی از پروژه‌های برتر بنیاد ارتقا یافت.

معرفی ابزار مونگودی‌بی(MongoDB)

با افزایش میزان داده‌ها در سراسر جهان، موجی از گرایش‌ها به سوی پایگاه‌های داده غیررابطه‌ای که اصطلاحا به آنها "NoSQL" می‌گویند بوجود آمده است. شرکت‌ها و سازمان‌ها به دنبال روش‌های جدید برای مدیریت سیلی از داده‌ها و ابزارها و سیستم‌های مدیریت پایگاه داده که جایگزین ومتمایز از سیستم‌های پایگاه داده سنتی هستند. در اینجا می‌خواهیم یکی از این پایگاه‌های داده به نام مونگو دی بی((MongoDb را توصیف کنیم.

معرفی ابزارهای آپاچی اسکوپ و آپاچی فلوم

همچنان که تعداد سازمان‌های کسب‌وکاری در حال به کارگیری هدوپ برای تحلیل حجم انبوه داده‌ها افزایش می‌یابد، نیاز آنها برای انتقال حجم حدود پتابایت یا اگزابایت از داده‌های پایگاه داده های رابطه‌ای یا انباره‌های داده‌ای و یا  سایر منابع داده‌ای موجود در سازمان‌ها به محیط هدوپ اجتناب ناپذیر است. در نوشتار حاضر برآنیم تا به طور اجمالی به معرفی مهمترین ابزارهای ETL  برای عظیم داده یعنی آپاچی اسکوپ و آپاچی فلوم بپردازیم.

معرفی ابزار Apache Solr

 Apache Solr یک پلتفرم جستجوی منبع باز است که بر روی یک کتابخانه جاوا به نام Lucene ساخته شده است.  Solr  یک بستر جستجوی محبوب برای وب‌سایت‌ها است زیرا می‌تواند چندین سایت را فهرست‌بندی و جستجو کند و توصیه‌های مربوط به مطالب مرتبط را بر اساس طبقه‌بندی جستجو بازگرداند. این ابزار همچنین یک بستر جستجوی محبوب برای سازمان‌ها است زیرا می‌توان از آن برای فهرست و جستجوی اسناد و پیوست‌های ایمیل استفاده کرد.

طراحی توسط ب.علی‌میرزایی