در این قسمت به بخش چهارم کتاب عظیم داده به زبان ساده می پردازیم

تحلیل کاربردهای عظیم داده(big data) در شرکت تنفلیکس در این قسمت شرح داده شده است

معرفی معتبرترین مجلات حوزه عظیم‌داده

آپاچی استورم یک چارچوب پردازشی توزیعی برای پردازش داده های در جریان می باشد که به زبان برنامه نویسی clojure نوشته شده است. این برنامه در ابتدا توسط ناتان مارتس و همکارانش در موسسه بکتایپ ایجاد شده و بعد از تصاحب آن توسط تویتر به صورت نرم افزاری منبع باز درآمد.

در این قسمت خلاصه بخش سوم کتاب عظیم داده به زبان ساده آورده شده است

اسپارک یک موتور پردازش داده است که اولین بار در سال 2009 به عنوان یک پروژه در آزمایشگاه ای ام پی دانشگاه کالیفرنیا، برکلی طراحی شد. سپس در سال 2013 به یک پروژه انحصاری از بنیاد نرم‌افزاری آپاچی تبدیل شده و در اوایل سال 2014 میلادی به یکی از پروژه‌های برتر بنیاد ارتقا یافت.

عناصر مهم عظیم داده(Big Data)مانند معماری عظیم داده،مجازی سازی و رایانش ابری اشاره دارد.

گروه ING (International Netherlands Group) یک شرکت چندملیتی در عرصه بانکداری و خدمات مالی است که با حدود 50هزار کارمند در بیش از 40 کشور جهان فعالیت می‌کند و در رتبه‌بندی معتبر DJSI جزو رهبران و پیشتازان این صنعت به حساب می‌آید

عظیم داده(Big Data) حداقل در سه خصوصیت حجم زیاد،نرخ رشد زیادو سرعت بالا مشترک هستند.

آپاچی HBase یک سیستم مدیریت پایگاه داده ستونی می باشد که بر روی فایل سیستم هدوپ کار می کند.

این کتاب به ما می‌گوید که عظیم‌داده(Big Data) چیست و چگونه سازمان‌ها می‌توانند از عظیم‌داده به‌عنوان اهرمی برای اتخاذ تصمیمات بزرگتر و کاراتر (نسبت به قبل) استفاده کنند.

در این فصل، در مورد نحوه کارکرد Map Reduce Job در Hadoop بحث می‌شود و پایه خوبی را جهت نوشتن برنامه‌های پیشرفته‌تر Map Reduce را فراهم می‌کند. شما می‌توانید یک Map Reduce Job را با یک روش واحد اجرا کنید . این بخش گام‌هایی را که Hadoop برای اجرای یک job انجام می‌دهد را مشخص می‌کند و پوشش می‌دهد .

الگوریتم‌های یادگیری ماشین با هدف یادگیری روابط و ویژگی‌های بین داده‌ها و به منظور پیش‌بینی استفاده می‌شوند. در زمینه عظیم داده، پیاده‌سازی الگوریتم‌های یادگیری ماشین به استفاده از پردازش موازی و روش‌های آماری در مقایسه با روش‌های قانون محور وابسته است.

با افزایش میزان داده‌ها در سراسر جهان، موجی از گرایش‌ها به سوی پایگاه‌های داده غیررابطه‌ای که اصطلاحا به آنها "NoSQL" می‌گویند بوجود آمده است. شرکت‌ها و سازمان‌ها به دنبال روش‌های جدید برای مدیریت سیلی از داده‌ها و ابزارها و سیستم‌های مدیریت پایگاه داده که جایگزین ومتمایز از سیستم‌های پایگاه داده سنتی هستند. در اینجا می‌خواهیم یکی از این پایگاه‌های داده به نام مونگو دی بی((MongoDb را توصیف کنیم.

این کتاب قصد دارد یک میز گرد مجازی از چندین محقق برجسته باشد که ممکن است دعوت به شرکت در یک کنفرانس در سیستم‌های محاسباتی عظیم‌داده شوند. البته، لیست موضوعات مورد بررسی در اینجا به هیچ وجه دقیق نیست، اما بسیاری از نتایج ارائه شده در اینجا می تواند به سایر پلتفرم‌های محاسباتی که در اینجا پوشش داده نمی‌شوند، گسترش یابد.

فصل چهارم: ورودی/ خروجی‌های هدوپ (Hadoop I/O) هدوپ قابلیت‌های اولیه برای ورودی/خروجی داده‌ها دارد. بعضی از آنها تکنیک‌های عمومی تری از هدوپ هستند مثل یکپارچگی داده‌ها و فشرده‌سازی اما کارکرد ویژه‌ای در قبال دیتاست های چندترابایتی ایفا می‌کنند. برخی از آنها نیز ابزارها یا API هایی هستند که ساختار یک سیستم توزیع شده (Distributed System) را تشکیل می‌دهند مثل سریال سازی (Serialization) یا ساختارهای روی-دیسک.

یکی از بخش‌های تحلیلی عظیم داده که در لایه‌ی بالاتری نسبت به تحلیل‌های توصیفی قرار دارد؛ به کارگیری مدل‌های پیش بینی می‌باشد. در فصل پنجم کتاب “تحلیل عظیم‌داده، سیستم‌ها، الگوریتم‌ها و کاربردها” ؛ کاربرد انواع مدل‌های پیش‌بینی در تحلیل عظیم داده برای داده‌های غیر ساختار یافته شامل پردازش زبان طبیعی، بینایی ماشین، بازیابی اطلاعات و تشخیص صدا مورد بررسی قرار می‌گیرند.

آپاچی ماهوت  ابزار پرکاربرد دیگر اکوسیستم هدوپ، آپاچی ماهوت می‌باشد. ماهوت واسط‌هایی برای ایجاد برنامه‌های مقیاس‌پذیر یادگیری ماشین را فراهم می‌کند

آپاچی هدوپ یک چارچوب نرم افزاری منبع باز است که برای ذخیره‌سازی و پردازش توزیع شده مجموعه داده‌های عظیم با استفاده از مدل برنامه ریزی MapReduce استفاده می‌شود.

در صنعت تبليغات، کريتئو يک کسب‌وکار نوپای اينترنتي است که اخيرا موفقيت‌هاي زيادي را تجربه کرده است. اين شرکت با استفاده از ابزار تحليل داده‌ها به صورت بلادرنگ به ميلياردها پرس‌وجو براي توليد تبليغات شخصي پاسخ مي‌دهد. براي ارائه بهترين تبليغ، کريتئو حجم زيادي از داده‌ها را با زمان پاسخگويي کم، مديريت مي‌کند و اين شرکت پيشگامي براي هدف‌گذاري مجدد تبليغات است.