SlideShare a Scribd company logo
1 of 7
Download to read offline
‫چالش‬ ‫و‬ ‫کاربردها‬ ،‫داده‬ ‫کالن‬‫آن‬ ‫های‬
2‫خادمی‬ ‫مریم‬ ،1‫وامرزانی‬ ‫عزیزی‬ ‫حامد‬
1
‫نرم‬ ‫ارشد‬ ‫کارشناسی‬ ‫دانشجوی‬،‫افزار‬‫جنوب‬ ‫تهران‬ ‫واحد‬ ‫آزاد‬ ‫دانشگاه‬،st_h_azizi@azad.ac.ir
2
‫کاربردی‬ ‫ریاضی‬ ‫گروه‬ ‫استادیار‬،‫جنوب‬ ‫تهران‬ ‫واحد‬ ‫آزاد‬ ‫دانشگاه‬،khademi@azad.ac.ir
‫مکاتبات‬ ‫مسئول‬:‫وامرزانی‬ ‫عزیزی‬ ‫حامد‬
‫چکیده‬
‫مجازی‬ ‫فضای‬ ‫در‬ ‫اطالعات‬ ‫انتقال‬ ‫حجم‬ ‫روزافزون‬ ‫گسترش‬ ‫و‬ ‫افزایش‬ ‫به‬ ‫توجه‬ ‫با‬‫ذخیره‬ ‫و‬ ‫ورود‬ ،‫داده‬ ‫کالن‬ ‫مسأله‬ ،‫الکترونیکی‬ ‫تجارت‬ ‫و‬ ‫بانکداری‬ ‫حوزه‬ ‫در‬ ‫خصوص‬ ‫به‬ ‫اینترنت‬‫حجم‬ ‫سازی‬
‫داده‬ ‫اطالعاتی‬ ‫اقالم‬ ‫از‬ ‫زیادی‬‫پیش‬ ،‫آن‬ ‫مدیریت‬ ‫و‬ ‫ها‬‫پس‬ ‫و‬ ‫پردازش‬‫د‬ ‫متخصصین‬ ‫و‬ ‫محققان‬ ‫از‬ ‫بسیاری‬ ‫توجه‬ ‫و‬ ‫شده‬ ‫برخوردار‬ ‫زیادی‬ ‫بسیار‬ ‫اهمیت‬ ‫از‬ ‫اطالعات‬ ‫امنیت‬ ‫و‬ ‫دقت‬ ،‫سرعت‬ ،‫پردازش‬‫ر‬
‫موقعیت‬ ،‫داده‬ ‫کالن‬ ‫معرفی‬ ‫از‬ ‫پس‬ ‫مقاله‬ ‫این‬ ‫در‬ .‫است‬ ‫کرده‬ ‫معطوف‬ ‫خود‬ ‫به‬ ‫را‬ ‫اطالعات‬ ‫فناوری‬ ‫حوزه‬‫روش‬ ،‫فناوری‬ ‫در‬ ‫آن‬ ‫وکاربردهای‬ ‫ها‬‫چالش‬ ‫و‬ ‫ها‬‫بررسی‬ ‫مورد‬ ،‫را‬ ‫حوزه‬ ‫این‬ ‫در‬ ‫مطرح‬ ‫های‬
.‫داد‬ ‫خواهیم‬ ‫قرار‬
: ‫واژه‬ ‫کلید‬( ‫داده‬ ‫کالن‬big data‫شبکه‬ ،‫هادوپ‬ ،)‫ذخیره‬ ،‫اجتماعی‬ ‫های‬،‫سازی‬‫اطالعات‬ ‫امنیت‬
1-‫مقدمه‬
‫با‬‫گسترش‬‫روزافزون‬‫استفاده‬‫خدمات‬ ‫از‬‫فناوری‬،‫اطالعات‬‫و‬‫هم‬‫چنین‬‫فراگیر‬‫شدن‬‫ابزارهای‬،‫دیجیتالی‬‫داده‬ ‫از‬ ‫زیادی‬ ‫حجم‬ ‫تولید‬ ‫باعث‬ ‫مجازی‬ ‫فضای‬ ‫در‬ ‫خود‬ ‫حضور‬ ‫واسطه‬ ‫به‬ ‫فرد‬ ‫هر‬‫ها‬
‫می‬‫داده‬ ‫این‬ .‫شود‬‫می‬ ‫ها‬‫دسته‬ ‫دو‬ ‫در‬ ‫تواند‬‫قسمت‬ ‫یک‬ ،‫بگیرد‬ ‫قرار‬ ‫کلی‬ ‫بندی‬‫ماشین‬ ‫توسط‬ ‫که‬ ‫است‬ ‫اطالعاتی‬ ‫بعدی‬ ‫قسمت‬ ‫و‬ ‫کرده‬ ‫تولید‬ ‫را‬ ‫آن‬ ‫انسان‬ ‫که‬ ‫است‬ ‫اطالعاتی‬( ‫مختلف‬ ‫های‬‫همانند‬
‫مسیریاب‬‫دوربین‬ ،‫ها‬.‫است‬ ‫تولید‬ ‫حال‬ ‫در‬ )... ‫و‬ ‫مختلف‬ ‫حسگرهای‬ ،‫بسته‬ ‫مدار‬ ‫ها‬
‫داده‬ ‫کالن‬«‫به‬‫حجم‬1
‫داده‬ ‫از‬ ‫عظیمی‬‫ها‬‫اطالق‬‫آن‬ ‫پردازش‬ ‫که‬ ‫که‬ ‫شود‬ ‫می‬‫به‬ ‫ها‬‫داد‬ ‫پایگاه‬ ‫وسیله‬‫ه‬‫است‬ ‫انجام‬ ‫غیرقابل‬ ‫آن‬ ‫ابزارهای‬ ‫و‬ ‫سنتی‬ ‫های‬».‫اگزابایت‬ ‫چندین‬ ‫از‬ ‫بیش‬ ‫داده‬ ‫از‬ ‫حجم‬ ‫این‬2
(11
11‫داده‬ ‫از‬ ‫مختلفی‬ ‫انواع‬ ‫شامل‬ ‫و‬ ‫بوده‬ )‫چندرسانه‬ ‫های‬‫می‬ ... ‫و‬ ‫متن‬ ،‫ای‬.‫است‬ ‫افزایش‬ ‫حال‬ ‫در‬ ‫آن‬ ‫حجم‬ ‫تصوری‬ ‫غیرقابل‬ ‫شکل‬ ‫به‬ ‫که‬ ‫شود‬
‫را‬ ‫داده‬ ‫کالن‬ ‫از‬ ‫جنبه‬ ‫یک‬ ‫تنها‬ ‫اطالعات‬ ‫عظیم‬ ‫حجم‬‫می‬ ‫نشان‬‫گوناگونی‬ ،‫دهد‬3
‫ذخیره‬ ‫اطالعات‬،‫شده‬ ‫سازی‬‫سرعت‬4
،‫سیستم‬ ‫به‬ ‫جدید‬ ‫اطالعات‬ ‫ورود‬‫مقادیر‬5
،‫اطالعات‬‫و‬‫پیچیدگی‬6
‫آن‬‫ها‬
‫ویژگی‬ ‫از‬ ‫همگی‬‫می‬ ‫نمایان‬ ‫را‬ ‫داده‬ ‫کالن‬ ‫مفهوم‬ ‫که‬ ‫بوده‬ ‫فناوری‬ ‫از‬ ‫حوزه‬ ‫این‬ ‫های‬‫چالش‬ .‫سازد‬ً‫ا‬‫صرف‬ ‫حوزه‬ ‫این‬ ‫های‬‫نمی‬ ‫آن‬ ‫مدیریت‬ ‫و‬ ‫سازی‬ ‫ذخیره‬ ‫به‬ ‫منوط‬‫شود‬‫پردازش‬ ‫و‬ ‫تحلیل‬ ‫مبحث‬ ‫بلکه‬ ،
‫به‬ ‫و‬ ‫داده‬ ‫کالن‬‫مهم‬ ‫از‬ ‫ارزشمند‬ ‫دانش‬ ‫آوردن‬ ‫دست‬.‫است‬ ‫آن‬ ‫مسائل‬ ‫ترین‬
‫سال‬ ‫تا‬2113‫میالدی‬5( ‫اگزابایت‬11
11‫می‬ ‫تولید‬ ‫انسان‬ ‫توسط‬ ‫روز‬ ‫دو‬ ‫در‬ ‫تنها‬ ‫داده‬ ‫از‬ ‫حجم‬ ‫این‬ ‫امروزه‬ ‫اما‬ ‫بود‬ ‫تولیدشده‬ ‫انسان‬ ‫توسط‬ ‫اطالعات‬ )‫بایت‬‫شود‬.‫ش‬‫رکت‬IBM‫خو‬ ‫گزارش‬ ‫در‬‫د‬
‫روز‬ ‫هر‬ ‫کرد‬ ‫اعالم‬5/2‫داده‬ ‫به‬ ‫اطالعات‬ ‫اگزابایت‬‫می‬ ‫افزوده‬ ‫دنیا‬ ‫های‬‫که‬ ‫شود‬01‫است‬ ‫تولیدشده‬ ‫گذشته‬ ‫سال‬ ‫دو‬ ‫در‬ ‫فقط‬ ‫داریم‬ ‫دست‬ ‫در‬ ‫حاضر‬ ‫حال‬ ‫در‬ ‫که‬ ‫اطالعاتی‬ ‫مقدار‬ ‫درصد‬(Singh
2012).
‫شبکه‬ ‫از‬ ‫یکی‬ ‫مثال‬ ‫برای‬‫از‬ ‫بیش‬ ‫روزانه‬ ‫که‬ ‫دارد‬ ‫کاربر‬ ‫میلیارد‬ ‫یک‬ ‫از‬ ‫بیش‬ ‫دنیا‬ ‫در‬ ‫محبوب‬ ‫اجتماعی‬ ‫های‬311‫میلیون‬‫تصویر‬‫می‬ ‫اشتراک‬ ‫به‬ ‫یکدیگر‬ ‫با‬ ‫اجتماعی‬ ‫شبکه‬ ‫این‬ ‫در‬ ‫را‬‫تا‬ ،‫گذارند‬
‫از‬ ‫بیش‬ ‫تصاویر‬ ‫این‬ ‫تعداد‬ ‫کنون‬241‫به‬ ‫و‬ ‫است‬ ‫شده‬ ‫گزارش‬ ‫میلیارد‬‫روزانه‬ ‫میانگین‬ ‫طور‬511‫ترابا‬‫می‬ ‫افزوده‬ ‫اجتماعی‬ ‫شبکه‬ ‫این‬ ‫اطالعات‬ ‫حجم‬ ‫به‬ ‫یت‬.‫شود‬(Tam 2012)
1
volumes
2
exabytes
3
variety
4
velocity
5
value
6
complexity
‫کالن‬ ‫امروزه‬‫توا‬ ‫داده‬ ‫از‬ ‫عظیم‬ ‫از‬ ‫حجم‬ ‫این‬ ‫تحلیل‬ ‫کمک‬ ‫به‬ ‫بشر‬ ‫و‬ ‫رسیده‬ ‫اثبات‬ ‫به‬ ... ‫و‬ ‫پزشکی‬ ،‫امنیت‬ ،‫صنعت‬ ‫و‬ ‫بازار‬ ،‫فناوری‬ ‫در‬ ‫آن‬ ‫کاربردهای‬ ‫و‬ ‫داده‬‫مدیریت‬ ‫در‬ ‫کارآمدی‬ ‫دانش‬ ‫به‬ ‫نسته‬
.‫کند‬ ‫پیدا‬ ‫دست‬ ‫خود‬ ‫کار‬ ‫و‬ ‫کسب‬ ‫مؤثرتر‬ ‫و‬ ‫بهتر‬
‫شرکت‬ ‫تمامی‬ ‫برای‬ ‫همواره‬ ‫اطالعات‬ ‫آنالیز‬ ‫و‬ ‫مدیریت‬‫حی‬ ‫هر‬ ‫در‬ ‫ها‬‫بر‬ ‫خاصی‬ ‫اهمیت‬ ‫از‬ ‫کاری‬ ‫طه‬‫آن‬ .‫است‬ ‫خوردار‬‫راه‬ ‫دارند‬ ‫تالش‬ ‫همواره‬ ‫ها‬‫کار‬‫به‬ ‫جهت‬ ‫در‬ ‫عملی‬ ‫های‬‫از‬ ‫اطالعات‬ ‫آوردن‬ ‫دست‬
.‫دهند‬ ‫انجام‬ ‫خود‬ ‫خدمات‬ ‫یا‬ ‫و‬ ‫محصوالت‬ ،‫مشتریان‬
‫زما‬ ‫طول‬ ‫در‬ ‫اما‬ ‫نیست‬ ‫سختی‬ ‫کار‬ ‫اطالعات‬ ‫این‬ ‫تحلیل‬ ،‫دارد‬ ‫خاص‬ ‫محصول‬ ‫یک‬ ‫و‬ ‫مشتری‬ ‫محدودی‬ ‫تعداد‬ ‫شرکت‬ ‫یک‬ ‫که‬ ‫زمانی‬... ‫و‬ ‫مشتری‬ ‫سلیقه‬ ،‫بازار‬ ‫فروش‬ ‫از‬ ‫زیادی‬ ‫اطالعات‬ ً‫ا‬‫مسلم‬ ‫ن‬
‫داده‬ ‫از‬ ‫ابتدایی‬ ‫حجم‬ ‫آن‬ ‫با‬ ‫دیگر‬ ‫و‬ ‫شد‬ ‫خواهد‬ ‫تولید‬.‫نیستیم‬ ‫مواجه‬ ‫ها‬
‫به‬ ‫مدیران‬ ،‫رقابتی‬ ‫بازار‬ ‫در‬‫کاربران‬ ‫یا‬ ‫و‬ ‫مشتری‬ ‫سالیق‬ ‫و‬ ‫عالیق‬ ‫با‬ ‫دارند‬ ‫نیاز‬ ‫متداوم‬ ‫طور‬‫سیاست‬ ‫و‬ ‫شوند‬ ‫آشنا‬ ‫شان‬‫حتی‬ .‫کنند‬ ‫طراحی‬ ‫را‬ ‫جدید‬ ‫های‬‫مح‬ ‫کار‬ ‫بازار‬ ‫مسائل‬ ‫به‬ ‫داده‬ ‫کالن‬ ‫کاربرد‬‫دود‬
‫نمی‬‫شبکه‬ ‫اطالعات‬ ‫تحلیل‬ ‫از‬ ‫استفاده‬ ‫با‬ ‫امروزه‬ ‫بلکه‬ ‫شود‬‫می‬ ‫اجتماعی‬ ‫های‬‫پیش‬ ‫پایین‬ ‫بسیار‬ ‫خطای‬ ‫درصد‬ ‫با‬ ‫را‬ ‫کشور‬ ‫یک‬ ‫انتخابات‬ ‫توانند‬‫نموده‬ ‫بینی‬(Mahmood, Iqbal et al. 2013)
‫دهند‬ ‫سو‬ ‫و‬ ‫سمت‬ ‫وی‬ ‫محبوبیت‬ ‫باالرفتن‬ ‫و‬ ‫مردم‬ ‫افکار‬ ‫جهت‬ ‫در‬ ‫را‬ ‫انتخاباتی‬ ‫نامزدهای‬ ‫تبلیغات‬ ‫یا‬ ‫و‬(Bensrhir 2013).
‫در‬ ‫اطالعات‬ ‫از‬ ‫بخشی‬ ،‫است‬ ‫باال‬ ‫بسیار‬ ‫اطالعات‬ ‫پیچیدگی‬ ‫و‬ ‫حجم‬‫پایگاه‬‫ذخیره‬ ‫سنتی‬ ‫داده‬ ‫های‬‫سرویس‬ ‫مجموعه‬ ، ‫اسناد‬ ‫شکل‬ ‫به‬ ‫دیگر‬ ‫برخی‬ ،‫شده‬ ‫سازی‬‫داده‬ ‫کاربر‬ ‫یا‬ ‫مشتری‬ ‫به‬ ‫که‬ ‫هایی‬
.‫است‬ ‫نگرفته‬ ‫صورت‬ ‫آن‬ ‫روی‬ ‫بندی‬ ‫طبقه‬ ‫هیچ‬ ‫که‬ ‫مرتبط‬ ‫ویدئوهای‬ ‫و‬ ‫تصاویر‬ ‫حتی‬ ،‫شده‬
‫کالن‬ ‫ابتدا‬ ‫مقاله‬ ‫این‬ ‫در‬‫چالش‬ ‫و‬ ‫کاربردها‬ ،‫داده‬‫آن‬ ‫های‬‫قسم‬ ‫در‬ ‫و‬ ‫نموده‬ ‫معرفی‬ ‫را‬،‫بعدی‬ ‫ت‬‫نگه‬ ‫قدرتمند‬ ‫ابزارهای‬ ‫از‬ ‫یکی‬‫می‬ ‫معرفی‬ ‫حوزه‬ ‫این‬ ‫در‬ ‫اطالعات‬ ‫پردازش‬ ‫و‬ ‫داری‬‫گردد‬‫پایان‬ ‫در‬ ‫و‬
.‫شد‬ ‫خواهد‬ ‫بیان‬ ‫دارند‬ ‫داده‬ ‫کالن‬ ‫زمینه‬ ‫در‬ ‫مناسبی‬ ‫پژوهشی‬ ‫فرصت‬ ‫آینده‬ ‫در‬ ‫که‬ ‫موضوعاتی‬
2-‫داده‬ ‫کالن‬7
‫برای‬ ‫فارسی‬ ‫معادلی‬ ‫بخواهیم‬ ‫اگر‬“Big Data”‫می‬ ‫بگیریم‬ ‫نظر‬ ‫در‬‫به‬ ‫توان‬"‫داده‬ ‫کالن‬"،"‫داده‬ ‫بزرگ‬"‫یا‬"‫داده‬ ‫حجیم‬"‫کالن‬ .‫ندارند‬ ‫یکدیگر‬ ‫با‬ ‫اختالفی‬ ‫هیچ‬ ‫مفهوم‬ ‫در‬ ‫که‬ ‫نمود‬ ‫اشاره‬
‫داده‬ ‫از‬ ‫عظیمی‬ ‫مجموعه‬ ‫معنی‬ ‫به‬ ‫داده‬‫می‬ ‫ها‬‫آن‬ ‫پردازش‬ ‫که‬ ‫باشد‬‫به‬ ‫ها‬‫داده‬ ‫پایگاه‬ ‫وسیله‬‫است‬ ‫انجام‬ ‫غیرقابل‬ ‫آن‬ ‫ابزارهای‬ ‫و‬ ‫سنتی‬ ‫های‬(Kaisler, Armour et al. 2013).
‫بیش‬ ‫در‬‫مقاالت‬ ‫و‬ ‫منابع‬ ‫تر‬(Gartner 2014,Sagiroglu and Sinanc 2013,Singh 2012,B.Gerhardt 2012)‫اند‬ ‫نموده‬ ‫بیان‬ ‫اصلی‬ ‫ویژگی‬ ‫سه‬ ‫داده‬ ‫کالن‬ ‫برای‬1-‫حجم‬1
2-‫گوناگونی‬0
3-‫سرعت‬11
‫آن‬ ‫به‬ ً‫ا‬‫اصطالح‬ ‫که‬3Vs‫می‬ ‫نیز‬‫دیگر‬ ‫منابعی‬ ‫در‬ ‫البته‬ .‫گویند‬(Sagiroglu and,et al. 2013Katal, Wazid,Kaisler, Armour et al. 2013
Sinanc 2013)‫ِیژگی‬‫و‬ ‫به‬ ‫نیز‬ ‫را‬ ‫داده‬ ‫پیچیدگی‬ ‫و‬ ‫داده‬ ‫مقدار‬ ‫شده‬ ‫گفته‬ ‫اصلی‬ ‫ویژگی‬ ‫سه‬ ‫بر‬ ‫عالوه‬‫اضافه‬ ‫آن‬ ‫های‬‫کرده‬‫اما‬ .‫اند‬‫یک‬ ‫یا‬ ‫اطالعاتی‬ ‫جریان‬ ‫محیط‬ ‫یک‬ ‫که‬ ‫صورتی‬ ‫در‬ ‫است‬ ‫واضح‬
‫می‬ ‫گفته‬ ‫داده‬ ‫کالن‬ ‫مجموعه‬ ‫آن‬ ‫به‬ ‫کند‬ ‫احراز‬ ‫را‬ ‫شده‬ ‫برده‬ ‫نام‬ ‫مورد‬ ‫سه‬ ‫هر‬ ‫بتواند‬ ‫شبکه‬.‫شود‬
‫نام‬ ‫داده‬ ‫کالن‬ ‫را‬ ‫آن‬ ‫که‬ ‫اطالعاتی‬ ‫مجموعه‬ ‫یک‬ ‫تمایز‬ ‫وجه‬ ‫تشخیص‬ ‫البته‬‫می‬ ‫گذاری‬‫آ‬ ‫شرایط‬ ً‫ا‬‫ظاهر‬ ‫که‬ ‫حجیم‬ ‫اطالعاتی‬ ‫سیستم‬ ‫یک‬ ‫و‬ ‫کنیم‬‫سامانه‬ ‫یک‬ ‫مثال‬ ‫برای‬ .‫است‬ ‫مهم‬ ‫بسیار‬ ‫دارد‬ ‫را‬ ‫ن‬
‫داده‬‫می‬ ‫ذخیره‬ ‫خود‬ ‫در‬ ‫را‬ ‫ایران‬ ‫مردم‬ ‫اطالعات‬ ‫تمامی‬ ‫که‬ ‫ای‬‫نمی‬ )... ‫و‬ ‫ملی‬ ‫شماره‬ ،‫خانوادگی‬ ‫نام‬ ،‫(نام‬ ‫کند‬‫توان‬‫د‬‫به‬ ‫داده‬ ‫کالن‬‫دل‬ ‫در‬ ‫را‬ ‫اطالعات‬ ‫از‬ ‫باالیی‬ ‫حجم‬ ً‫ا‬‫ظاهر‬ ‫که‬ ‫صورتی‬ ‫در‬ ‫آید‬ ‫شمار‬
.‫دارد‬ ‫خود‬
7
Big data
8
Volume
9
Variety
10
Velocity
‫شکل‬1-‫سه‬‫ویژگی‬‫اصلی‬‫کالن‬‫داده‬
2-1-‫داده‬ ‫حجم‬
‫مهم‬ ‫شاید‬‫شرکت‬ ‫امروزه‬ ،‫برشمرد‬ ‫داده‬ ‫عظیم‬ ‫حجم‬ ‫بتوان‬ ‫را‬ ‫داده‬ ‫کالن‬ ‫ویژگی‬ ‫ترین‬‫شبکه‬ ً‫ا‬‫خصوص‬ ‫اطالعات‬ ‫فناوری‬ ‫عرصه‬ ‫در‬ ‫نام‬ ‫صاحب‬ ‫های‬‫می‬ ‫تنهایی‬ ‫به‬ ‫اجتماعی‬ ‫های‬‫روزانه‬ ‫توانند‬511
‫وید‬ ‫اشتراک‬ ‫سرویس‬ ‫مثال‬ ‫عنوان‬ ‫به‬ ،‫کنند‬ ‫تولید‬ ‫جدید‬ ‫اطالعات‬ ‫ترابایت‬‫ئو‬‫از‬ ‫بیش‬ ‫دقیقه‬ ‫هر‬ ‫در‬ ‫گوگل‬ ‫ی‬111‫و‬ ‫ساعت‬‫یدئو‬‫را‬ ‫خود‬ ‫کاربران‬ ‫توسط‬ ‫شده‬ ‫بارگذاری‬‫مدیریت‬ ‫و‬ ‫دریافت‬
‫می‬.‫کند‬(Tam 2012 , smith 2014)
2-2-‫داده‬ ‫گوناگونی‬
‫حسگر‬ ‫به‬ ‫مربوط‬ ‫اطالعات‬‫تلفن‬ ،‫مختلف‬ ‫های‬‫شبکه‬ ‫در‬ ‫ارتباطات‬ ،‫هوشمند‬ ‫های‬‫ساختار‬ ‫بدون‬ ‫و‬ ‫ساختاری‬ ‫صورت‬ ‫به‬ ‫که‬ ‫اطالعاتی‬ ‫گوناگونی‬ ،‫اجتماعی‬ ‫های‬‫می‬ ‫ذخیره‬‫ا‬ ‫پیچیده‬ ‫بسیار‬ ‫شوند‬،‫ست‬
‫داده‬ ‫پایگاه‬ ‫در‬ ‫اطالعات‬ ‫این‬ ‫تمام‬ ‫زیرا‬‫رابطه‬ ‫های‬‫داده‬ ‫این‬ ‫بر‬ ‫عالوه‬ ،‫است‬ ‫نشده‬ ‫ذخیره‬ ‫سنتی‬ ‫ای‬‫نیمه‬ ،‫خام‬ ‫ها‬‫ساختاری‬11
‫و‬ ،‫مانند‬ ‫است‬ ‫ساختار‬ ‫بدون‬ ً‫ال‬‫کام‬ ‫یا‬‫ایمیل‬،‫دریافتی‬ ‫و‬ ‫ارسالی‬ ‫های‬
‫شبکه‬ ‫اطالعات‬‫نمونه‬ ‫از‬ ‫همگی‬ ... ‫و‬ ‫اجتماعی‬ ‫های‬‫ا‬ ‫های‬‫هیچ‬ ‫زیرا‬ ‫است‬ ‫ساختار‬ ‫بدون‬ ‫طالعات‬‫قالب‬‫شده‬ ‫تعیین‬ ‫پیش‬ ‫از‬‫ندارند‬ ‫اطالعات‬ ‫ورود‬ ‫برای‬ ‫ای‬(Zikopoulos 2012, Katal,
Wazid et al. 2013).
2-3-‫داده‬ ‫سرعت‬
‫داده‬ ‫که‬ ‫است‬ ‫معنی‬ ‫به‬ ‫داده‬ ‫سرعت‬‫می‬ ‫منتقل‬ ‫و‬ ‫تولید‬ ‫سرعتی‬ ‫چه‬ ‫با‬ ‫مختلف‬ ‫اطالعاتی‬ ‫منابع‬ ‫طریق‬ ‫از‬ ‫ها‬‫داده‬ ‫مثال‬ ‫برای‬ ،‫شوند‬‫حسگرهای‬ ‫یک‬ ‫توسط‬ ‫که‬ ‫هایی‬RFID12
‫مجموعه‬ ‫یک‬ ‫در‬
‫می‬ ‫تولید‬‫ذخیره‬ ‫بر‬ ‫عالوه‬ ‫که‬ ‫بوده‬ ‫باال‬ ‫بسیار‬ ‫شود‬‫سیستم‬ ‫است‬ ‫واضح‬ ،‫بگیرند‬ ‫قرار‬ ‫نیز‬ ‫تحلیل‬ ‫و‬ ‫تجزیه‬ ‫مورد‬ ‫اطالعات‬ ‫باید‬ ،‫لحظه‬ ‫در‬ ‫اطالعات‬ ‫این‬ ‫سازی‬‫ذخیره‬ ‫سنتی‬ ‫های‬‫و‬ ‫سازی‬‫تحلیل‬
‫نمی‬ ‫سادگی‬ ‫به‬ ‫اطالعات‬‫نمای‬ ‫و‬ ‫بررسی‬ ‫مورد‬ ‫لحظه‬ ‫در‬ ‫را‬ ‫اطالعات‬ ‫از‬ ‫جریان‬ ‫این‬ ‫توانند‬‫دهند‬ ‫قرار‬ ‫ش‬(Zikopoulos 2012, Katal, Wazid et al. 2013).
3-‫داده‬ ‫کالن‬ ‫کاربرد‬ ‫و‬ ‫اهمیت‬
‫سال‬ ‫تا‬ ‫نمود‬ ‫اعالم‬ ‫آمریکا‬ ‫دولت‬2112‫زمینه‬ ‫روی‬ ‫بر‬ ،‫فعالیت‬ ‫و‬ ‫انرژی‬ ،‫دفاعی‬ ‫و‬ ‫نظامی‬ ،‫مجازی‬ ‫فضای‬ ‫امنیت‬ ،‫سالمت‬ ‫حوزه‬ ‫در‬ ‫داده‬ ‫کالن‬ ‫کاربردی‬ ‫های‬‫از‬ ‫بیش‬ ‫مرتبط‬ ‫تحقیقاتی‬ ‫های‬211
‫نموده‬ ‫هزینه‬ ‫دالر‬ ‫میلیون‬(Kaisler, Armour et al. 2013)‫تصمیم‬ ‫بهبود‬ ‫جهت‬ ‫در‬ ‫را‬ ‫آن‬ ‫نتایج‬ ‫و‬‫سیاست‬ ‫و‬ ‫گیری‬‫زمینه‬ ‫در‬ ‫گذاری‬‫به‬ ‫شده‬ ‫برده‬ ‫نام‬ ‫های‬‫هدف‬ ‫واقع‬ ‫در‬ .‫است‬ ‫گرفته‬ ‫کار‬
‫سرمایه‬ ‫اصلی‬‫سازمان‬ ‫و‬ ‫گذاران‬‫آن‬ ‫کاربردهای‬ ‫و‬ ‫داده‬ ‫کالن‬ ‫زمینه‬ ‫در‬ ‫ها‬‫تصمیم‬‫بیش‬ ‫حجم‬ ‫تحلیل‬ ‫طریق‬ ‫از‬ ‫صحیح‬ ‫و‬ ‫دقیق‬ ‫گیری‬‫داده‬ ‫تر‬.‫است‬ ‫ها‬
‫روش‬‫الگوریتم‬ ‫به‬ ‫نسبت‬ ‫را‬ ‫خود‬ ‫قدرت‬ ‫زمانی‬ ‫داده‬ ‫کالن‬ ‫تحلیل‬ ‫تجزیه‬ ‫های‬‫داده‬ ‫های‬‫سیستم‬ ‫یا‬ ‫و‬ ‫کاوی‬‫پرس‬ ‫های‬‫پایگاه‬ ‫در‬ ‫پیشرفته‬ ‫وجو‬‫داده‬‫رابطه‬ ‫های‬‫می‬ ‫نمایان‬ ‫سنتی‬ ‫ای‬‫مج‬ ‫که‬ ‫سازد‬‫موعه‬‫ای‬
‫داده‬ ‫از‬‫نیم‬ ،‫ساختاری‬ ‫های‬‫اقت‬ ،‫کار‬ ‫و‬ ‫کسب‬ ‫در‬ ‫داده‬ ‫کالن‬ ‫کاربردهای‬ ‫از‬ ‫مورد‬ ‫چند‬ ‫با‬ ‫ادامه‬ ‫در‬ .‫شود‬ ‫سیستم‬ ‫وارد‬ ‫اطالعاتی‬ ‫مختلف‬ ‫منابع‬ ‫از‬ ‫ساختار‬ ‫بدون‬ ‫و‬ ‫ساختاری‬ ‫ه‬‫بیش‬ .. ‫و‬ ‫صاد‬‫آشنا‬ ‫تر‬
‫می‬.‫شویم‬
3-1-‫اطالعات‬ ‫فناوری‬
‫مهم‬ ‫از‬‫موقعیت‬ ‫ترین‬‫می‬ ‫اطالعات‬ ‫فناوری‬ ‫عرصه‬ ‫در‬ ‫داده‬ ‫کالن‬ ‫کاربردی‬ ‫های‬‫تجزیه‬ ‫به‬ ‫توان‬‫وقایع‬ ‫تحلیل‬ ‫و‬13
‫شبکه‬‫کاربردها‬ ‫دیگر‬ ‫از‬ .‫نمود‬ ‫اشاره‬ ‫شبکه‬ ‫به‬ ‫نفوذ‬ ‫کشف‬ ‫یا‬ ‫و‬ ‫خطا‬ ‫کشف‬ ‫جهت‬ ‫در‬
‫دست‬ ،‫شبکه‬ ‫در‬ ‫نوشتن‬ ‫عملکرد‬ ‫بردن‬ ‫باال‬‫کلید‬ ‫سریع‬ ‫یابی‬-‫داده‬ ‫به‬ ‫مقدار‬‫قابل‬ ‫شماتیک‬ ،‫ها‬‫داده‬ ‫انعطاف‬‫است‬ ‫اطالعات‬ ‫فناوری‬ ‫عرصه‬ ‫در‬ ‫ای‬(Katal, Wazid et al. 2013, Soumendra
Mohanty 2013).
3-2-‫کسب‬ ‫و‬ ‫اقتصاد‬‫وکار‬
‫ارزش‬ ‫با‬ ‫شاید‬‫تراکنش‬ ‫و‬ ‫مشتریان‬ ‫اطالعات‬ ‫از‬ ‫عظیمی‬ ‫حجم‬ ‫با‬ ‫که‬ ‫جایی‬ ‫در‬ ،‫باشد‬ ‫کار‬ ‫و‬ ‫کسب‬ ‫حوزه‬ ‫در‬ ‫اقتصادی‬ ‫نظر‬ ‫از‬ ‫داده‬ ‫کالن‬ ‫تحلیل‬ ‫کاربرد‬ ‫ترین‬‫آن‬ ‫خرید‬ ‫های‬‫با‬ ‫و‬ ‫هستیم‬ ‫مواجه‬ ‫ها‬
‫داده‬ ‫مناسب‬ ‫تحلیل‬ ‫و‬ ‫تجزیه‬‫های‬‫می‬ ‫مشتریان‬‫سیاست‬ ‫توان‬.‫برد‬ ‫کار‬ ‫به‬ ‫را‬ ‫دقیق‬ ‫بازاریابی‬ ‫و‬ ‫فروش‬ ‫افزایش‬ ‫جهت‬ ‫مناسب‬ ‫راهکارهای‬ ‫و‬ ‫ها‬
‫می‬ ‫مثال‬ ‫برای‬‫بیش‬ ‫فروش‬ ‫جهت‬ ‫در‬ ‫محصول‬ ‫صحیح‬ ‫قیمت‬ ‫تنظیم‬ ،‫مشتریان‬ ‫خرید‬ ‫سبد‬ ‫به‬ ‫مربوط‬ ‫اطالعات‬ ‫تحلیل‬ ‫و‬ ‫تجزیه‬ ‫با‬ ‫توان‬‫توجه‬ ‫با‬ ‫فروشگاه‬ ‫در‬ ‫محصوالت‬ ‫قرارگیری‬ ‫محل‬ ‫طراحی‬ ،‫تر‬
‫اطال‬ ‫به‬‫راه‬ ‫کشف‬ ،‫خریداران‬ ‫حرکت‬ ‫آماری‬ ‫عات‬‫عرضه‬ ‫زنجیره‬ ‫مدیریت‬ ،‫فروشگاه‬ ‫از‬ ‫مجدد‬ ‫خرید‬ ‫در‬ ‫مشتری‬ ‫ترغیب‬ ‫کارهای‬14
‫تقسیم‬ ،‫مشتریان‬ ‫بندی‬15
‫به‬ ‫مناسب‬ ‫زمان‬ ‫در‬ ‫کاال‬ ‫دقیق‬ ‫پیشنهاد‬ ،
‫نمود‬ ‫اشاره‬ ... ‫و‬ ‫مشتری‬(Marjanovic, Ariyachandra et al. 2014).
‫زمینه‬ ‫در‬‫فعالیت‬ ‫و‬ ‫اقتصاد‬‫می‬ ‫نیز‬ ‫بانکی‬ ‫های‬‫داده‬ ‫آنالیز‬ ‫با‬ ‫توان‬‫پیش‬ ‫را‬ ‫طرح‬ ‫یک‬ ‫با‬ ‫مرتبط‬ ‫ریسک‬ ‫میزان‬ ‫ها‬‫کارت‬ ‫از‬ ‫استفاده‬ ‫سوء‬ ‫بانکی‬ ‫زمینه‬ ‫در‬ ‫یا‬ ‫و‬ ‫نمود‬ ‫بینی‬‫مش‬ ‫اعتباری‬ ‫های‬‫شکل‬ ‫به‬ ‫تریان‬
‫شک‬ ‫الگوی‬ ‫تشخیص‬‫کاله‬ ،‫تقلب‬ ‫یا‬ ‫و‬ ‫نفوذ‬ ‫کشف‬ .‫برد‬ ‫نام‬ ‫اعتباری‬ ‫کارت‬ ‫از‬ ‫استفاده‬ ‫در‬ ‫برانگیز‬‫بردا‬‫پول‬ ‫یا‬ ‫و‬ ‫ری‬‫تراکنش‬ ‫تحلیل‬ ‫و‬ ‫تجزیه‬ ‫از‬ ‫استفاده‬ ‫با‬ ‫شویی‬‫مشتریان‬ ‫مالی‬ ‫های‬‫منابع‬ ‫دیگر‬ ‫با‬
‫است‬ ‫شده‬ ‫کاربردی‬ ‫بسیار‬ ‫امروزه‬ ،‫نیز‬ ‫اطالعاتی‬(Soumendra Mohanty 2013).
11
Semistructured
12
Radio-Frequency IDentification
13
Log
14
Supply-chain
15
Consumer segmentations
3-3-‫سالمت‬ ‫و‬ ‫زندگی‬
‫می‬ ‫سالمت‬ ‫و‬ ‫بیمه‬ ‫زمینه‬ ‫در‬ ‫داده‬ ‫کالن‬ ‫تحلیل‬ ‫کاربردهای‬ ‫از‬‫کیفیت‬ ‫بردن‬ ‫باال‬ ‫به‬ ‫توان‬‫نگه‬‫نگه‬ ‫برنامه‬ ‫بهبود‬ ‫و‬ ‫بیماران‬ ‫از‬ ‫داری‬.‫نمود‬ ‫اشاره‬ ‫آنان‬ ‫داری‬‫پیش‬ ‫و‬ ‫بیماران‬ ‫با‬ ‫رفتار‬ ‫نوع‬ ‫تعیین‬‫گویی‬
‫م‬ ‫میزان‬‫ؤ‬‫جراحی‬ ‫اعمال‬ ‫فقیت‬،‫تعیین‬‫میزان‬‫مؤفقیت‬‫روش‬‫های‬‫درمانی‬‫در‬‫برخورد‬‫با‬‫بیماری‬‫های‬،‫سخت‬‫تشخیص‬‫بیماری‬‫ها‬‫براساس‬‫انواع‬‫اطالعات‬(‫تصاویر‬،‫پزشکی‬‫مشخصات‬‫بیمار‬
‫احتمالی‬)‫برد‬ ‫نام‬ ... ‫و‬ ‫افراد‬ ‫در‬ ‫امراض‬ ‫ایجادکننده‬ ‫مختلف‬ ‫الگوهای‬ ‫بررسی‬ ‫و‬ ‫بیماران‬ ‫بهبودی‬ ‫روند‬ ‫بر‬ ‫داروها‬ ‫تأثیر‬ ،(Sagiroglu and Sinanc 2013, Liu and Park 2014).
3-4-‫اجتم‬ ‫شبکه‬‫اعی‬
‫کاربردی‬ ‫از‬ ‫یکی‬‫زمینه‬ ‫ترین‬‫شبکه‬ ‫در‬ ‫آن‬ ‫تحلیل‬ ‫و‬ ‫داده‬ ‫کالن‬ ‫های‬‫می‬ ‫نمایان‬ ‫اجتماعی‬ ‫های‬‫بهینه‬ ‫و‬ ‫محصول‬ ‫یک‬ ‫مورد‬ ‫در‬ ‫افراد‬ ‫نظرات‬ ‫بررسی‬ .‫شود‬،‫باالتر‬ ‫فروش‬ ‫به‬ ‫رسیدن‬ ‫جهت‬ ‫در‬ ‫آن‬ ‫سازی‬
‫بهینه‬‫عالقه‬ ‫لیست‬ ‫به‬ ‫توجه‬ ‫با‬ ‫جستجو‬ ‫موتورهای‬ ‫در‬ ‫پیشنهادی‬ ‫کاالی‬ ‫سازی‬‫مندی‬‫پیش‬ ،‫وی‬ ‫اجتماعی‬ ‫شبکه‬ ‫در‬ ‫فرد‬ ‫های‬‫کاربران‬ ‫نظرات‬ ‫تحلیل‬ ‫و‬ ‫تجزیه‬ ‫از‬ ‫استفاده‬ ‫با‬ ‫انتخابات‬ ‫برنده‬ ‫بینی‬
(Mahmood, Iqbal et al. 2013)‫مهم‬ ‫از‬.‫است‬ ‫اجتماعی‬ ‫شبکه‬ ‫در‬ ‫داده‬ ‫کالن‬ ‫کاربردهای‬ ‫ترین‬
4-‫روش‬ ‫و‬ ‫ابزارها‬‫موجود‬ ‫های‬
4-1-No SQL
‫اگر‬ ‫گذشته‬ ‫در‬‫سازمان‬‫داده‬ ‫از‬ ‫عظیمی‬ ‫حجم‬ ‫با‬ ‫ها‬‫داده‬ ‫پایگاه‬ ‫روی‬ ‫بر‬ ‫ها‬‫رابطه‬‫ای‬16
‫می‬ ‫مواجه‬ ‫خود‬‫منظور‬ ‫به‬ ،‫گشتند‬‫نگه‬‫تحلیل‬ ‫و‬ ‫داری‬‫رایانه‬ ‫َر‬‫ب‬‫ا‬ ‫یک‬ ‫از‬ ‫بودند‬ ‫مجبور‬ ‫اطالعات‬17
‫داده‬ ‫انباره‬ ‫یا‬ ‫و‬‫ای‬
‫داده‬ ‫پایگاه‬ ‫ضعف‬ .‫کند‬ ‫استفاده‬‫رابطه‬ ‫های‬‫نگه‬ ‫در‬ ‫ای‬‫داده‬ ‫از‬ ‫عظیمی‬ ‫حجم‬ ‫تحلیل‬ ‫و‬ ‫تجزیه‬ ‫و‬ ‫داری‬‫نیمه‬ ‫های‬‫جدیدی‬ ‫فناوری‬ ‫کردن‬ ‫مطرح‬ ‫با‬ ‫دانشمندان‬ ‫و‬ ‫گشت‬ ‫نمایان‬ ‫ساختار‬ ‫بدون‬ ‫و‬ ‫ساختاری‬
‫نام‬ ‫به‬NoSQL11
‫پایگاه‬ ‫از‬ ‫جدیدی‬ ‫نسل‬ ‫ساخت‬ ‫به‬ ‫اقدام‬‫داده‬ ‫های‬‫می‬ ‫که‬ ‫ای‬‫نگه‬ ‫را‬ ‫اطالعات‬ ‫از‬ ‫عظیمی‬ ‫حجم‬ ‫تواند‬‫کند‬ ‫پردازش‬ ‫و‬ ‫داری‬،.‫نمودند‬
4-2-Apache Hadoop
‫قوی‬ ‫از‬ ‫یکی‬ ‫هادوپ‬‫پایگاه‬ ‫ترین‬‫داده‬‫متن‬ ‫های‬‫جنبش‬ ‫در‬ ‫باز‬NoSQL‫ذخیره‬ ‫منظور‬ ‫به‬ ‫آپاچی‬ ‫بنیاد‬ ‫توسط‬ ‫که‬ ‫است‬‫داده‬ ‫از‬ ‫عظیمی‬ ‫حجم‬ ‫پردازش‬ ‫و‬ ‫سازی‬‫غیررابطه‬ ‫های‬‫مدل‬ ‫یک‬ ‫طریق‬ ‫از‬ ‫ای‬
‫توزیع‬‫مقیاس‬ ‫با‬ ‫شده‬‫پذیری‬10
‫شرکت‬ .‫است‬ ‫شده‬ ‫ساخته‬ ،‫باال‬‫آن‬ ‫بودن‬ ‫باز‬ ‫متن‬ ‫ماهیت‬ ‫به‬ ‫توجه‬ ‫با‬ ‫زیادی‬ ‫های‬‫مدل‬ ‫توزیع‬ ‫و‬ ‫ساخت‬ ‫به‬ ‫اقدام‬‫نموده‬ ‫هادوپ‬ ‫کاربردی‬ ‫های‬‫مشهورترین‬ ‫از‬ ‫که‬ ‫اند‬
‫آن‬‫می‬ ‫ها‬‫به‬ ‫توان‬Hortonworks‫و‬Cloudera.‫نمود‬ ‫اشاره‬‫ذخیره‬ ‫سیستم‬ ‫از‬ ‫الهام‬ ‫با‬ ‫هادوپ‬‫سازی‬BigTable‫فایل‬ ‫سیستم‬ ،GFS21
‫نگاشت‬ ‫تکنیک‬ ‫و‬-‫کاهش‬21
‫پیش‬ ‫که‬‫توسط‬ ‫تر‬
،‫بود‬ ‫شده‬ ‫کاربردی‬ ‫و‬ ‫طراحی‬ ‫گوگل‬ ‫شرکت‬‫داده‬ ‫پایگاه‬ ‫با‬ ‫جایگزینی‬ ‫هادوپ‬ ‫توزیع‬ ‫از‬ ‫هدف‬ ‫واقع‬ ‫در‬ .‫شد‬ ‫ساخته‬‫انباره‬ ‫یا‬ ‫و‬ ‫سنتی‬ ‫های‬‫داده‬ ‫های‬‫می‬ ‫هادوپ‬ ‫بلکه‬ ‫نیست‬ ‫ای‬‫ا‬ ‫استفاده‬ ‫با‬ ‫تواند‬‫ز‬
‫داده‬ ‫تحلیل‬ ‫و‬ ‫تجزیه‬ ‫و‬ ‫داری‬ ‫نگه‬ ،‫شده‬ ‫توزیع‬ ‫سیستم‬ ‫فایل‬ ‫مدیریت‬ ‫ابزار‬ ‫مانند‬ ‫خود‬ ‫کاربردی‬ ‫ابزارهای‬‫درخواست‬ ،‫ها‬‫مقیاس‬ ‫با‬ ‫را‬ ‫ها‬‫پذیر‬.‫نماید‬ ‫پردازش‬ ‫و‬ ‫اجرا‬ ‫موازی‬ ‫شکل‬ ‫به‬ ‫باال‬ ‫ی‬
‫شکل‬2-‫ساختار‬‫هادوپ‬ ‫ارتباطی‬
16
RDBMS
17
Main-frame
18
Not Only SQL
19
Scalability
20
Google File System
21
Map-Reduce
HDFS22
:‫توزیع‬ ‫فایل‬ ‫سیستم‬ ‫یک‬‫مقیاس‬ ،‫شده‬‫داده‬ ،‫اطمینان‬ ‫قابلیت‬ ‫افزایش‬ ‫برای‬ ‫فایل‬ ‫سیستم‬ ‫این‬ .‫است‬ ‫شده‬ ‫نوشته‬ ‫جاوا‬ ‫زبان‬ ‫از‬ ‫استفاده‬ ‫با‬ ‫که‬ ‫بوده‬ ‫اطمینان‬ ‫قابل‬ ‫و‬ ‫پذیر‬‫در‬ ‫را‬ ‫ها‬
‫میزبان‬‫می‬ ‫تکثیر‬ ‫مختلف‬ ‫های‬‫قابلیت‬ ‫به‬ ‫دلیل‬ ‫همین‬ ‫به‬ ‫و‬ ‫کند‬RAID‫میزبان‬ ‫روی‬.‫ندارد‬ ‫احتیاجی‬ ‫ها‬
HBase:‫غیررابطه‬ ،‫شده‬ ‫توزیع‬ ‫داده‬ ‫پایگاه‬‫ای‬‫می‬ ‫ایجاد‬ ‫هادوپ‬ ‫برای‬ ‫را‬ ‫تصادفی‬ ‫نوشتن‬ ‫و‬ ‫خواندن‬ ‫دسترسی‬ ‫که‬ ‫است‬ ‫باز‬ ‫متن‬ ‫و‬.‫کند‬
‫نگاشت‬ ‫چارچوب‬-:‫کاهش‬‫نرم‬ ‫چارچوب‬‫توزیع‬ ‫محاسبات‬ ‫اجرای‬ ‫جهت‬ ‫افزاری‬‫داده‬ ‫از‬ ‫عظیمی‬ ‫مجموعه‬ ‫روی‬ ‫شده‬‫ذخیره‬ ‫های‬‫خوشه‬ ‫روی‬ ‫شده‬‫های‬23
‫شبکه‬‫سال‬ ‫در‬ ‫که‬ ‫است‬ ‫ای‬2114
.‫شد‬ ‫معرفی‬ ‫و‬ ‫ساخته‬ ‫گوگل‬ ‫توسط‬ ‫میالدی‬
‫در‬‫کوچک‬ ‫مجموعه‬ ‫سری‬ ‫یک‬ ‫به‬ ‫ورودی‬ ‫اطالعات‬ ،‫نگاشت‬ ‫مرحله‬‫دسته‬ ‫تر‬‫می‬ ‫تقسیم‬ ‫شده‬ ‫بندی‬‫(کلید‬ ‫زوج‬ ‫از‬ ‫شده‬ ‫مرتب‬ ‫لیست‬ ‫یک‬ ‫نگاشت‬ ‫مرحله‬ ‫خروجی‬ ‫و‬ ‫شود‬-‫مقدار‬24
.‫بود‬ ‫خواهد‬ )
‫مرتب‬ ‫اطالعات‬ ‫دارد‬ ‫نام‬ ‫کاهش‬ ‫گام‬ ‫که‬ ‫بعد‬ ‫درمرحله‬‫دسته‬ ‫در‬ ،‫شده‬‫می‬ ‫تولید‬ ‫نهایی‬ ‫خرجی‬ ‫و‬ ‫شده‬ ‫ادغام‬ ‫کوچکتر‬ ‫های‬‫شود‬(Bakshi 2012).
‫می‬ ‫موازی‬ ‫اجرای‬ ‫برای‬ ‫چارچوب‬ ‫این‬ ‫از‬ ‫استفاده‬ ‫مزایای‬ ‫از‬:‫نمود‬ ‫اشاره‬ ‫زیر‬ ‫موارد‬ ‫به‬ ‫توان‬
o‫مقیاس‬‫باال‬ ‫پذیری‬
o‫محاسباتی‬ ‫بار‬ ‫پخش‬25
‫به‬‫گره‬ ‫روی‬ ‫بر‬ ‫متعادل‬ ‫صورت‬‫ها‬
o‫بهینه‬‫شبکه‬ ‫و‬ ‫دیسک‬ ‫بین‬ ‫اطالعات‬ ‫انتقال‬ ‫سازی‬
o‫تداخل‬ ‫بدون‬ ‫موازی‬ ‫اجرای‬
o‫باال‬ ‫خطای‬ ‫مقاومت‬
Hive:‫داده‬ ‫از‬ ‫عظیمی‬ ‫مجموعه‬ ‫تحلیل‬ ‫و‬ ‫تجزیه‬ ‫امکان‬‫به‬ ‫شبیه‬ ‫زبانی‬ ‫ارائه‬ ‫با‬ ‫را‬ ‫دارد‬ ‫قرار‬ ‫هادوپ‬ ‫با‬ ‫سازگار‬ ‫سیستم‬ ‫فایل‬ ‫روی‬ ‫بر‬ ‫که‬ ‫ها‬SQL‫می‬ ‫کاربران‬ ‫اختیار‬ ‫در‬.‫گذارد‬
Pig:‫سال‬ ‫در‬2116‫نگاشت‬ ‫عملیات‬ ‫اجرای‬ ‫و‬ ‫ایجاد‬ ‫جهت‬ ‫ساده‬ ‫روشی‬ ،‫یاهو‬ ‫تحقیقاتی‬ ‫مراکز‬ ‫توسط‬-‫ا‬ ‫عظیمی‬ ‫مجموعه‬ ‫روی‬ ‫کاهش‬‫داده‬ ‫ز‬‫که‬ ‫شد‬ ‫ساخته‬ ‫ها‬Pig.‫گرفت‬ ‫نام‬
Mahout:‫دسته‬ ‫جهت‬ ‫ابزاری‬‫طبقه‬ ‫و‬ ‫بندی‬‫داده‬ ‫بندی‬‫الگوریتم‬ ‫از‬ ‫استفاده‬ ‫با‬ ‫ها‬.‫است‬ ‫ماشین‬ ‫یادگیری‬ ‫های‬
Oozie:‫مختصات‬ ‫سرویس‬.‫دارد‬ ‫عهده‬ ‫بر‬ ‫را‬ ‫داده‬ ‫پردازش‬ ‫مختلف‬ ‫عملیات‬ ‫مدیریت‬ ‫که‬ ‫است‬ ‫کار‬ ‫گردش‬ ‫و‬ ‫دهی‬
5-‫در‬ ‫اطالعات‬ ‫تحلیل‬ ‫حوزه‬ ‫مسائل‬‫داده‬ ‫کالن‬
5-1-‫روش‬ ‫کاربرد‬ ‫عدم‬‫داده‬ ‫کالن‬ ‫در‬ ‫اطالعات‬ ‫تحلیل‬ ‫سنتی‬ ‫های‬
‫داده‬ ‫سنتی‬ ‫تحلیل‬ ‫و‬ ‫تجزیه‬ ‫علم‬ ‫در‬‫(داده‬ ‫ها‬‫داده‬ ،)‫کاوی‬‫انباره‬ ‫در‬ ‫معمول‬ ‫طور‬ ‫به‬ ‫اولیه‬ ‫های‬‫داده‬ ‫های‬‫داده‬ ‫انباره‬ ‫هر‬ ‫و‬ ‫گرفته‬ ‫قرار‬ ‫ای‬‫می‬ ‫نیز‬ ‫ای‬‫برای‬ ‫شده‬ ‫تعریف‬ ‫پیش‬ ‫از‬ ‫قالب‬ ‫یک‬ ‫از‬ ‫بایست‬
‫مدیریت‬ ‫و‬ ‫نگهداری‬‫داده‬‫می‬ ‫استفاده‬ ‫خود‬ ‫های‬‫داده‬ ‫انباره‬ ‫از‬ ‫استفاده‬ ‫نماید‬ ‫اجرایی‬ ‫اطالعات‬ ‫روی‬ ‫بر‬ ‫را‬ ‫خود‬ ‫تحلیل‬ ‫و‬ ‫تجزیه‬ ،‫کاربرد‬ ‫و‬ ‫نیاز‬ ‫براساس‬ ‫بتواند‬ ‫تا‬ ‫کرد‬‫معایب‬ ‫اطالعات‬ ‫تحلیل‬ ‫در‬ ‫ای‬‫ی‬
‫تصمیم‬ ‫در‬ ‫فناوری‬ ‫امروز‬ ‫کاربردهای‬ ‫به‬ ‫توجه‬ ‫با‬ ‫را‬‫داده‬ ‫است‬ ‫این‬ ‫اول‬ ‫مشکل‬ .‫دارد‬ ‫گیری‬‫نبو‬ ‫روز‬ ‫به‬ ‫آن‬ ‫های‬‫می‬ ‫زیادی‬ ‫زمان‬ ‫مدت‬ ‫آن‬ ‫تولید‬ ‫عمر‬ ‫از‬ ‫و‬ ‫ده‬‫کاربرد‬ ‫از‬ ‫بعضی‬ ‫در‬ ‫و‬ ‫گذرد‬‫تحلیل‬ ‫های‬
‫داده‬ ‫به‬ ‫نیاز‬ ‫داده‬ ‫کالن‬‫انباره‬ ‫در‬ ‫اطالعات‬ ‫مدیریت‬ ‫به‬ ‫مربوط‬ ‫دوم‬ ‫مشکل‬ .‫داریم‬ ‫برخط‬ ‫و‬ ‫جدید‬ ‫های‬‫داده‬‫می‬ ‫کنترل‬ ‫و‬ ‫مدیریت‬ ‫تیم‬ ‫یک‬ ‫توسط‬ ‫و‬ ‫بوده‬ ‫متمرکز‬ ‫شکل‬ ‫به‬ ‫که‬ ‫است‬ ‫ای‬‫ام‬ ‫شود‬‫در‬ ‫ا‬
‫حج‬ ‫با‬ ‫داده‬ ‫کالن‬‫داده‬ ‫از‬ ‫عظیمی‬ ‫م‬‫مو‬ ‫اجرای‬ ‫قابلیت‬ ‫باید‬ ‫داده‬ ‫از‬ ‫حجم‬ ‫این‬ ‫روی‬ ‫تحلیلی‬ ‫و‬ ‫پردازشی‬ ‫عمل‬ ‫هر‬ ‫که‬ ‫داریم‬ ‫برخورد‬ ‫دارد‬ ‫قرار‬ ‫شده‬ ‫توزیع‬ ‫و‬ ‫غیرمتمرکز‬ ‫شکل‬ ‫به‬ ‫که‬ ‫ها‬‫روی‬ ‫بر‬ ‫ازی‬
‫خوشه‬ ‫زیادی‬ ‫تعداد‬.‫باشد‬ ‫داشته‬ ‫را‬ ‫شبکه‬ ‫در‬ ‫ها‬
5-2-‫چالش‬‫داده‬ ‫تحلیل‬ ‫های‬
‫چالش‬ ‫همواره‬ ‫حوزه‬ ‫این‬ ‫در‬‫به‬ ‫زیادی‬ ‫های‬‫ویژگی‬ ‫و‬ ‫داده‬ ‫کالن‬ ‫ماهیت‬ ‫دلیل‬‫چالش‬ ‫از‬ .‫هست‬ ‫و‬ ‫بوده‬ ‫مطرح‬ ‫آن‬ ‫های‬‫می‬ ‫آن‬ ‫روز‬ ‫های‬‫نیمه‬ ‫اطالعات‬ ‫تحلیل‬ ‫به‬ ‫توان‬‫اشاره‬ ‫ساختار‬ ‫بدون‬ ‫و‬ ‫ساختاری‬
‫روش‬ ‫از‬ ‫یکی‬ .‫نمود‬‫داده‬ ‫در‬ ‫اطالعات‬ ‫تحلیل‬ ‫های‬‫فراداده‬ ‫از‬ ‫استفاده‬ ‫متنی‬ ‫ساختار‬ ‫بدون‬ ‫های‬26
‫پیامی‬ ‫اجتماعی‬ ‫شبکه‬ ‫در‬ ‫فردی‬ ‫مثال‬ ‫برای‬ ‫است‬‫می‬ ‫شکل‬ ‫این‬ ‫به‬‫نویسد‬"‫پوشش‬ ‫وضعیت‬ ‫از‬ ‫من‬
‫سرویس‬ ‫است‬ ‫بهتر‬ ،‫دارد‬ ‫را‬ ‫شبکه‬ ‫پوشش‬ ‫بهترین‬ ‫بود‬ ‫شده‬ ‫گفته‬ ‫تبلیغات‬ ‫در‬ ‫که‬ ‫صورتی‬ ‫در‬ ‫نیستم‬ ‫راضی‬ ‫خود‬ ‫همراه‬ ‫تلفن‬ ‫شبکه‬!‫کنم‬ ‫عوض‬ ‫را‬ ‫خود‬ ‫دهنده‬"‫مشتری‬ ‫قصد‬ ‫از‬ ‫شدن‬ ‫آگاه‬ ‫برای‬
‫شبکه‬‫فراداده‬ ‫خود‬ ‫استنتاج‬ ‫موتور‬ ‫از‬ ‫استفاده‬ ‫با‬ ‫اجتماعی‬ ‫های‬‫ه‬‫مانند‬ ‫کلیدی‬ ‫ای‬"‫سرویس‬‫دهنده‬"،"‫نیستم‬ ‫راضی‬"،"‫رضایت‬"،"‫قصد‬"‫نشانه‬ ‫را‬‫می‬ ‫لحظه‬ ‫در‬ ‫و‬ ‫کرده‬ ‫گذاری‬‫داده‬ ‫توانند‬‫را‬ ‫ها‬
‫ف‬ ‫مدیریت‬ ‫مبحث‬ ‫همواره‬ ‫و‬ ‫است‬ ‫نیز‬ ‫ویدئو‬ ‫و‬ ‫صداها‬ ،‫تصاویر‬ ‫از‬ ‫عظیمی‬ ‫حجم‬ ‫شامل‬ ‫و‬ ‫نبوده‬ ‫متن‬ ‫به‬ ‫محدود‬ ‫داده‬ ‫کالن‬ ‫که‬ ‫است‬ ‫مشخص‬ .‫کنند‬ ‫تحلیل‬‫راداده‬‫ی‬ ‫عنوان‬ ‫به‬ ‫ها‬‫روش‬ ‫از‬ ‫کی‬‫های‬
‫بیش‬ ‫پژوهش‬ ‫به‬ ‫نیاز‬ ‫که‬ ‫است‬ ‫جذاب‬ ‫موضوعی‬ ‫داده‬ ‫کالن‬ ‫در‬ ‫اطالعات‬ ‫تحلیل‬.‫دارد‬ ‫تری‬
22
Hadoop Distributed File System
23
Cluster
24
(Key,Value)
25
Load Balancing
26
Metadata
‫مقاله‬ ‫این‬ ‫در‬(Kaisler, Espinosa et al. 2014)16‫طبقه‬‫پاک‬ ‫مباحث‬ ‫از‬ ‫و‬ ‫شده‬ ‫آورده‬ ‫داده‬ ‫کالن‬ ‫در‬ ‫اطالعات‬ ‫تحلیل‬ ‫مختلف‬ ‫انواع‬ ‫از‬ ‫بندی‬‫آماده‬ ‫و‬ ‫سازی‬‫داده‬ ‫سازی‬‫غنی‬ ،‫ها‬‫سازی‬27
‫داده‬‫نامتعادل‬ ‫جمعیت‬ ،‫خام‬ ‫های‬21
‫چالش‬ ‫عنوان‬ ‫به‬‫داده‬ ‫تحلیل‬ ‫های‬‫می‬ ‫نام‬ ‫ها‬.‫برد‬
5-3-‫چالش‬‫شخصی‬ ‫حریم‬ ‫و‬ ‫امنیت‬ ‫های‬
‫چالش‬ ‫از‬‫شبکه‬ ‫در‬ ً‫ا‬‫خصوص‬ ‫داده‬ ‫کالن‬ ‫در‬ ‫خصوصی‬ ‫حریم‬ ‫های‬‫فرد‬ ‫برای‬ ‫که‬ ‫شود‬ ‫منجر‬ ‫دانشی‬ ‫کشف‬ ‫به‬ ‫است‬ ‫ممکن‬ ‫تحلیل‬ ‫از‬ ‫پس‬ ‫که‬ ‫است‬ ‫افراد‬ ‫حساس‬ ‫اطالعات‬ ،‫اجتماعی‬ ‫های‬
.‫باشد‬ ‫داشته‬ ‫اطالع‬ ‫آن‬ ‫از‬ ‫دیگری‬ ‫شخص‬ ‫هر‬ ‫یا‬ ‫و‬ ‫اطالعات‬ ‫دارنده‬ ‫ندارد‬ ‫تمایل‬ ‫و‬ ‫بوده‬ ‫خصوصی‬
‫ا‬‫افراد‬ ‫خصوصی‬ ‫حریم‬ ‫اطالعات‬ ‫از‬ ‫دولت‬ ‫یا‬ ‫و‬ ‫قانون‬ ‫مجری‬ ‫ستفاده‬
‫شبکه‬ ،‫جستجو‬ ‫موتورهای‬ ‫مؤثر‬ ‫تبلیغات‬ ‫در‬ ‫افراد‬ ‫شخصی‬ ‫اطالعات‬ ‫از‬ ‫استفاده‬... ‫و‬ ‫الکترونیکی‬ ‫پست‬ ،‫اجتماعی‬ ‫های‬
5-4-‫چالش‬‫پردازشی‬ ‫و‬ ‫فنی‬ ‫های‬
‫راه‬ ‫و‬ ‫ابری‬ ‫رایانش‬ ‫مفهوم‬ ‫کنار‬ ‫در‬‫مقیاس‬ ‫رفتن‬ ‫باال‬ ‫در‬ ‫آن‬ ‫کارهای‬‫الگوریتم‬ ‫از‬ ‫بعضی‬ ،‫شبکه‬ ‫در‬ ‫پذیری‬‫فناوری‬ ‫و‬ ‫ها‬‫داده‬ ‫تحلیل‬ ‫های‬‫داده‬ ‫نشان‬ ‫خود‬ ‫از‬ ‫را‬ ‫مناسبی‬ ‫عملکرد‬ ‫پایین‬ ‫مقیاس‬ ‫در‬ ‫ها‬‫اند‬
‫مقاله‬ ‫این‬ ‫در‬ ‫اما‬(Armour et al. 2013Kaisler,)‫می‬ ‫گفته‬‫الگوریتم‬ ‫از‬ ‫بعضی‬ ‫شود‬‫فناوری‬ ‫و‬ ‫ها‬‫مقیاس‬ ‫است‬ ‫آمده‬ ‫ادامه‬ ‫در‬ ‫که‬ ‫حاضر‬ ‫حال‬ ‫های‬‫زتابایت‬ ‫حجم‬ ‫اندازه‬ ‫به‬ ‫پذیری‬20
‫نداشته‬ ‫را‬
.‫باشند‬
‫تکنیک‬‫ماشین‬ ‫یادگیری‬ ‫های‬
‫متنی‬ ‫اطالعات‬ ‫تحلیل‬-‫ویدئویی‬-‫ساختار‬ ‫بدون‬ ‫صوتی‬
‫داده‬ ‫تصویرسازی‬‫ها‬31
‫ابری‬ ‫رایانش‬
‫داده‬‫کاوی‬
‫الگوریتم‬‫مش‬ ‫و‬ ‫گراف‬ ‫های‬
‫داده‬ ‫شدن‬ ‫اضافه‬‫الگوریتم‬ ‫به‬ ‫ساختاری‬ ‫های‬‫موجود‬ ‫های‬
6-‫نتیجه‬‫آینده‬ ‫کارهای‬ ‫و‬ ‫گیری‬
‫ویژگی‬ ‫و‬ ‫داده‬ ‫کالن‬ ‫معرفی‬ ‫از‬ ‫پس‬ ‫مقاله‬ ‫این‬ ‫در‬‫چالش‬ ‫و‬ ‫کاربردها‬ ،‫آن‬ ‫های‬‫قوی‬ ‫عنوان‬ ‫به‬ ‫هادوپ‬ ‫ساختار‬ ‫و‬ ‫گرفت‬ ‫قرار‬ ‫بررسی‬ ‫مورد‬ ‫آن‬ ‫های‬‫ابزار‬ ‫ترین‬ ‫مطرح‬ ‫و‬ ‫ترین‬‫کالن‬ ‫تحلیل‬ ‫و‬ ‫مدیریت‬
‫تصمیم‬ ‫به‬ ‫کمک‬ .‫گشت‬ ‫تبیین‬ ‫داده‬‫می‬ ‫را‬ ‫تجاری‬ ‫هوش‬ ‫رفتن‬ ‫باال‬ ‫و‬ ‫صحیح‬ ‫و‬ ‫دقیق‬ ‫گیری‬‫مهم‬ ‫از‬ ‫توان‬‫شرکت‬ ‫که‬ ‫نمود‬ ‫عنوان‬ ‫داده‬ ‫کالن‬ ‫دستاوردهای‬ ‫ترین‬‫سازمان‬ ‫و‬ ‫ها‬‫سالی‬ ‫چند‬ ‫بزرگ‬ ‫های‬
‫توانسته‬ ‫آن‬ ‫کمک‬ ‫به‬ ‫است‬‫عرصه‬ ‫اند‬.‫کنند‬ ‫تعریف‬ ‫مدیریت‬ ‫و‬ ‫فناوری‬ ‫در‬ ‫جدید‬ ‫ای‬
‫مباح‬‫می‬ ‫آینده‬ ‫در‬ ‫که‬ ‫است‬ ‫کاربردهایی‬ ‫از‬ ‫مورد‬ ‫چند‬ ‫فقط‬ ‫زیر‬ ‫ث‬‫بیش‬ ‫تواند‬‫به‬ ‫و‬ ‫گیرد‬ ‫صورت‬ ‫پژوهش‬ ‫آن‬ ‫روی‬ ‫بر‬ ‫تر‬.‫است‬ ‫مطرح‬ ‫آن‬ ‫در‬ ‫متعددی‬ ‫مسائل‬ ‫همواره‬ ،‫عرصه‬ ‫این‬ ‫بودن‬ ‫نوظهور‬ ‫دلیل‬
‫می‬ ‫فعالیت‬ ‫ابری‬ ‫رایانش‬ ‫زمینه‬ ‫در‬ ‫که‬ ‫افرادی‬‫می‬ ‫کنند‬‫عنوان‬ ‫به‬ ‫داده‬ ‫کالن‬ ‫همانند‬ ‫مسائلی‬ ‫روی‬ ‫بر‬ ‫توانند‬‫سرویس‬31
‫سرویس‬ ‫عنوان‬ ‫به‬ ‫تحلیل‬ ‫سکوی‬ ‫یا‬ ‫و‬32
‫پژوهش‬ ‫ابری‬ ‫رایانش‬ ‫بستر‬ ‫در‬
‫مدل‬ ‫ارائه‬ ،‫نمایند‬‫راه‬ ‫برای‬ ‫متنوع‬ ‫تجاری‬ ‫های‬‫کسب‬ ‫یک‬ ‫اندازی‬‫و‬‫سازمان‬ ‫دیگر‬ ‫به‬ ‫داده‬ ‫تحلیل‬ ‫سرویس‬ ‫ارائه‬ ‫خواستار‬ ‫که‬ ،‫کار‬‫نرم‬ ‫کوچک‬ ‫شرکت‬ ‫یک‬ ً‫ال‬‫مث‬ .‫است‬ ‫ها‬‫دارای‬ ‫که‬ ‫افزاری‬
‫داده‬ ‫متخصصین‬‫می‬ ‫است‬ ‫کاوی‬‫تواند‬‫داده‬ ،‫اعتمادسازی‬ ‫فرآیند‬ ‫یک‬ ‫طی‬ ‫با‬ ‫سپس‬ ،‫کرده‬ ‫استفاده‬ ‫سرویس‬ ‫عنوان‬ ‫به‬ ‫زیرساخت‬ ‫از‬‫سازمان‬ ‫های‬‫استفاده‬ ‫با‬ ‫و‬ ‫گرفته‬ ‫اختیار‬ ‫در‬ ‫را‬ ‫مختلف‬ ‫های‬
‫روش‬ ‫از‬.‫دهد‬ ‫قرار‬ ‫مدیران‬ ‫اختیار‬ ‫در‬ ‫سرویس‬ ‫عنوان‬ ‫به‬ ‫را‬ ‫نتایج‬ ‫سپس‬ ‫و‬ ‫کند‬ ‫سازمان‬ ‫نیاز‬ ‫مورد‬ ‫دانش‬ ‫استخراج‬ ‫به‬ ‫شروع‬ ‫اطالعات‬ ‫تحلیل‬ ‫های‬
‫در‬‫نگاشت‬ ‫چارچوب‬-‫می‬ ‫اجرا‬ ‫ابری‬ ‫درمحیط‬ ‫الگوریتم‬ ‫یک‬ ‫که‬ ‫زمانی‬ ‫کاهش‬‫گره‬ ‫بین‬ ‫را‬ ‫کار‬ ‫دارد‬ ‫وظیفه‬ ‫نگاشت‬ ‫تابع‬ ‫شود‬‫بخش‬ ‫به‬ ‫کار‬ ‫تقسیم‬ .‫کند‬ ‫تقسیم‬ ‫کارگر‬ ‫های‬‫مسا‬ ‫های‬‫همیشه‬ ‫وی‬
‫بیش‬ ‫تقسیمات‬ ‫تعداد‬ ‫چه‬ ‫هر‬ ،‫باشد‬ ‫قواعد‬ ‫استخراج‬ ‫هدف‬ ‫اگر‬ ‫مثال‬ ‫عنوان‬ ‫به‬ .‫نیست‬ ‫راحت‬ ‫و‬ ‫آسان‬‫قا‬ ‫استخراج‬ ‫شود‬ ‫تر‬‫مشکل‬ ‫عده‬‫نگاشت‬ ‫از‬ ‫مناسبی‬ ‫تعداد‬ ‫تعیین‬ ‫بنابراین‬ .‫بود‬ ‫خواهد‬ ‫تر‬‫ها‬
‫گره‬ ‫تعداد‬ ‫یا‬‫زمینه‬ ‫از‬ ‫یکی‬ ‫ها‬‫می‬ ‫تحقیقاتی‬ ‫های‬.‫باشد‬ ‫تواند‬
‫نگاشت‬ ‫همانند‬ ‫موازی‬ ‫چارچوب‬ ‫یک‬ ‫اساس‬ ‫بر‬ ‫دارد‬ ‫نیاز‬ ‫ابری‬ ‫محیط‬ ‫یک‬ ‫در‬ ‫موازی‬ ‫اجرای‬ ‫برای‬ ‫اطالعات‬ ‫پردازش‬ ‫و‬ ‫تحلیل‬ ‫الگوریتم‬ ‫هر‬-‫بسیار‬ ،‫شود‬ ‫نوشته‬ ‫کاهش‬‫الگوریتم‬ ‫از‬ ‫ی‬‫های‬
‫داده‬‫می‬ ‫مبحث‬ ‫این‬ ‫و‬ ‫نشده‬ ‫نوشته‬ ‫آن‬ ‫موازی‬ ‫اجرای‬ ‫مدل‬ ‫حال‬ ‫به‬ ‫تا‬ ‫که‬ ‫دارد‬ ‫وجود‬ ‫کاوی‬.‫باشد‬ ‫حوزه‬ ‫این‬ ‫در‬ ‫مناسب‬ ‫پژوهشی‬ ‫زمینه‬ ‫تواند‬
27
Enrichment
28
Population Imbalance
29
Zettabytes ( 1021
bytes)
30
Visualization
31
Big Data as a Service (BDaas)
32
Analytical platform as a service (APaas)
‫مقیاس‬‫برنامه‬ ‫سطح‬ ‫در‬ ‫چه‬ ‫پذیری‬‫ابر‬ ‫بستر‬ ‫در‬ ‫کاربران‬ ‫به‬ ‫سرویس‬ ‫ارائه‬ ‫در‬ ‫اساسی‬ ‫مسائل‬ ‫از‬ ‫یکی‬ ‫داده‬ ‫پایگاه‬ ‫سطح‬ ‫در‬ ‫چه‬ ‫و‬ ‫کاربردی‬‫پایگاه‬ ‫پذیری‬ ‫مقیاس‬ ‫افزایش‬ ‫بنابراین‬ .‫است‬‫داده‬‫های‬
NoSQL‫پژوهش‬ ‫از‬ ‫هادوپ‬ ‫خصوصا‬ ‫و‬.‫دارد‬ ‫بسیار‬ ‫کار‬ ‫جای‬ ‫که‬ ‫است‬ ‫هایی‬
‫همان‬‫شد‬ ‫گفته‬ ‫طورکه‬Mahout‫دسته‬ ‫ابزارهای‬ ‫از‬ ‫یکی‬‫خوشه‬ ‫و‬ ‫بندی‬‫الگوریتم‬ ‫مجموعه‬ ‫از‬ ‫استفاده‬ ‫با‬ ‫ابزار‬ ‫این‬ .‫است‬ ‫هادوپ‬ ‫در‬ ‫اطالعات‬ ‫بندی‬‫نگاشت‬ ‫مدل‬ ‫در‬ ‫که‬ ‫هایی‬-‫کاهش‬
‫پیاده‬‫می‬ ‫شده‬ ‫سازی‬‫دسته‬ ‫تواند‬‫خوشه‬ ‫و‬ ‫بندی‬‫داده‬ ‫روی‬ ‫بر‬ ‫را‬ ‫بندی‬‫می‬ ‫آتی‬ ‫کارهای‬ ‫عنوان‬ ‫به‬ ،‫دهد‬ ‫انجام‬ ‫ها‬‫الگوریتم‬ ‫توان‬‫نگاشت‬ ‫مدل‬ ‫تحت‬ ‫کتابخانه‬ ‫این‬ ‫به‬ ‫را‬ ‫جدیدی‬ ‫های‬-‫کاهش‬‫اضافه‬
.‫نمود‬
‫منابع‬‫استفاده‬ ‫مورد‬:
B.Gerhardt, K. G. a. R. K. (2012). "Unlocking Value in the Fragmented World of Big Data Analytics." Cisco Internet
Business
Solutions Group.
Bakshi, K. (2012). Considerations for big data: Architecture and approach. Aerospace Conference, 2012 IEEE.
Bensrhir, A. (2013). Big data for geo-political analysis: Application on Barack Obama's remarks and speeches. Computer
Systems and Applications (AICCSA), 2013 ACS International Conference on.
Gartner. (2014). "big data definition." from https://www.gartner.com/it-glossary/big-data./
Kaisler, S., F. Armour and A. Espinosa (2013). Introduction to Big Data: Scalable Representation and Analytics for Data
Science Minitrack. System Sciences (HICSS), 2013 46th Hawaii International Conference on.
Kaisler, S .H., J. A. Espinosa, F. Armour and W. H. Money (2014). Advanced Analytics -- Issues and Challenges in a Global
Environment. System Sciences (HICSS), 2014 47th Hawaii International Conference on.
Katal, A., M. Wazid and R. H. Goudar (2013). Big data: Issues, challenges, tools and Good practices. Contemporary
Computing (IC3), 2013 Sixth International Conference on.
Liu, W. and E. K. Park (2014). Big Data as an e-Health Service. Computing, Networking and Communications (ICNC), 2014
International Conference on.
Mahmood, T., T. Iqbal, F. Amin, W. Lohanna and A. Mustafa (2013). Mining Twitter big data to predict 2013 Pakistan
election winner. Multi Topic Conference (INMIC), 2013 16th International.
Marjanovic, O., T. Ariyachandra and B. Dinter (2014). Introduction to Business Analytics, Business Intelligence, and Big Data
Minitrack. System Sciences (HICSS), 2014 47th Hawaii International Conference on.
Sagiroglu, S. and D. Sinanc (2013). Big data: A review. Collaboration Technologies and Systems (CTS), 2013 International
Conference on.
Singh, S. (2012). Big Data analytics. Communication, Information & Computing Technology (ICCICT), 2012 International
Conference on.
smith, c. (2014). "amazing youtube statistics." from http://expandedramblings.com/index.php/youtube-statistics/#.U2c-
79ySzJV.
Soumendra Mohanty, M. J., Harsha Srivatsa (2013). Big Data Imperatives: Enterprise ‘Big Data’ Warehouse, ‘BI’
Implementations and Analytics.
Tam, D. (2012 ). "Facebook processes more than 500 TB of data daily." from http://www.cnet.com/news/facebook-
processes-more-than-500-tb-of-data-daily./
Zikopoulos, P. (2012). Understanding big data : analytics for enterprise class Hadoop and streaming data. New York,
McGraw-Hill.

More Related Content

What's hot

What is big data and how use that
What is big data and how use thatWhat is big data and how use that
What is big data and how use thatshohreh deldari
 
داده های عظیم چگونه دنیا را تغییر خواهند داد
داده های عظیم چگونه دنیا را تغییر خواهند داد داده های عظیم چگونه دنیا را تغییر خواهند داد
داده های عظیم چگونه دنیا را تغییر خواهند داد Farzad Khandan
 
Opendata and business - داده های باز و کسب و کار
Opendata and business - داده های باز و کسب و کار Opendata and business - داده های باز و کسب و کار
Opendata and business - داده های باز و کسب و کار efazati
 
تشخیص انجمن در مقیاس کلان داده
تشخیص انجمن در مقیاس کلان دادهتشخیص انجمن در مقیاس کلان داده
تشخیص انجمن در مقیاس کلان دادهNavid Sedighpour
 
داده کاوی
داده کاویداده کاوی
داده کاویTaha Mokfi
 
Big data related to BI
Big data related to BIBig data related to BI
Big data related to BIdata scientist
 
بررسی کاربردها و چالش های کلان داده در تحلیل عقاید
بررسی کاربردها و چالش های کلان داده در تحلیل عقایدبررسی کاربردها و چالش های کلان داده در تحلیل عقاید
بررسی کاربردها و چالش های کلان داده در تحلیل عقایدHamed Azizi
 
مقدمه ای بر جمع آوری اطلاعات
مقدمه ای بر جمع آوری اطلاعاتمقدمه ای بر جمع آوری اطلاعات
مقدمه ای بر جمع آوری اطلاعاتiuvmtech
 
Hadoop Case Studies in the Real World in Persian - کاربردهای هدوپ در دنیای واقعی
Hadoop Case Studies in the Real World in Persian - کاربردهای هدوپ در دنیای واقعیHadoop Case Studies in the Real World in Persian - کاربردهای هدوپ در دنیای واقعی
Hadoop Case Studies in the Real World in Persian - کاربردهای هدوپ در دنیای واقعیMobin Ranjbar
 
جعبه ابزار پژوهشگران || Toolbox for researchers
جعبه ابزار پژوهشگران || Toolbox for researchersجعبه ابزار پژوهشگران || Toolbox for researchers
جعبه ابزار پژوهشگران || Toolbox for researchersYaBeSH KelassUp
 
Introduction to Apache Hadoop in Persian - آشنایی با هدوپ
Introduction to Apache Hadoop in Persian - آشنایی با هدوپIntroduction to Apache Hadoop in Persian - آشنایی با هدوپ
Introduction to Apache Hadoop in Persian - آشنایی با هدوپMobin Ranjbar
 
Bi and data mining with Oracle
Bi and data mining with OracleBi and data mining with Oracle
Bi and data mining with Oracleghanadbashi
 
BI (Business Intelligence)
BI (Business Intelligence)BI (Business Intelligence)
BI (Business Intelligence)poorya davachi
 
طراحی سیستم های اطلاعاتی بر مبنای قابلیت های Nosql بانک های اطلاعاتی
طراحی سیستم های اطلاعاتی بر مبنای قابلیت های Nosql بانک های اطلاعاتی طراحی سیستم های اطلاعاتی بر مبنای قابلیت های Nosql بانک های اطلاعاتی
طراحی سیستم های اطلاعاتی بر مبنای قابلیت های Nosql بانک های اطلاعاتی عباس بني اسدي مقدم
 

What's hot (18)

What is big data and how use that
What is big data and how use thatWhat is big data and how use that
What is big data and how use that
 
داده های عظیم چگونه دنیا را تغییر خواهند داد
داده های عظیم چگونه دنیا را تغییر خواهند داد داده های عظیم چگونه دنیا را تغییر خواهند داد
داده های عظیم چگونه دنیا را تغییر خواهند داد
 
Opendata and business - داده های باز و کسب و کار
Opendata and business - داده های باز و کسب و کار Opendata and business - داده های باز و کسب و کار
Opendata and business - داده های باز و کسب و کار
 
(داده های زمینه ای) Contextual data
  (داده های زمینه ای) Contextual data  (داده های زمینه ای) Contextual data
(داده های زمینه ای) Contextual data
 
تشخیص انجمن در مقیاس کلان داده
تشخیص انجمن در مقیاس کلان دادهتشخیص انجمن در مقیاس کلان داده
تشخیص انجمن در مقیاس کلان داده
 
داده کاوی
داده کاویداده کاوی
داده کاوی
 
Big data related to BI
Big data related to BIBig data related to BI
Big data related to BI
 
Text mining
Text miningText mining
Text mining
 
Big data ppt
Big data  pptBig data  ppt
Big data ppt
 
بررسی کاربردها و چالش های کلان داده در تحلیل عقاید
بررسی کاربردها و چالش های کلان داده در تحلیل عقایدبررسی کاربردها و چالش های کلان داده در تحلیل عقاید
بررسی کاربردها و چالش های کلان داده در تحلیل عقاید
 
مقدمه ای بر جمع آوری اطلاعات
مقدمه ای بر جمع آوری اطلاعاتمقدمه ای بر جمع آوری اطلاعات
مقدمه ای بر جمع آوری اطلاعات
 
Hadoop Case Studies in the Real World in Persian - کاربردهای هدوپ در دنیای واقعی
Hadoop Case Studies in the Real World in Persian - کاربردهای هدوپ در دنیای واقعیHadoop Case Studies in the Real World in Persian - کاربردهای هدوپ در دنیای واقعی
Hadoop Case Studies in the Real World in Persian - کاربردهای هدوپ در دنیای واقعی
 
Librarian2.0-v05
Librarian2.0-v05Librarian2.0-v05
Librarian2.0-v05
 
جعبه ابزار پژوهشگران || Toolbox for researchers
جعبه ابزار پژوهشگران || Toolbox for researchersجعبه ابزار پژوهشگران || Toolbox for researchers
جعبه ابزار پژوهشگران || Toolbox for researchers
 
Introduction to Apache Hadoop in Persian - آشنایی با هدوپ
Introduction to Apache Hadoop in Persian - آشنایی با هدوپIntroduction to Apache Hadoop in Persian - آشنایی با هدوپ
Introduction to Apache Hadoop in Persian - آشنایی با هدوپ
 
Bi and data mining with Oracle
Bi and data mining with OracleBi and data mining with Oracle
Bi and data mining with Oracle
 
BI (Business Intelligence)
BI (Business Intelligence)BI (Business Intelligence)
BI (Business Intelligence)
 
طراحی سیستم های اطلاعاتی بر مبنای قابلیت های Nosql بانک های اطلاعاتی
طراحی سیستم های اطلاعاتی بر مبنای قابلیت های Nosql بانک های اطلاعاتی طراحی سیستم های اطلاعاتی بر مبنای قابلیت های Nosql بانک های اطلاعاتی
طراحی سیستم های اطلاعاتی بر مبنای قابلیت های Nosql بانک های اطلاعاتی
 

Viewers also liked

عظيم داده چيست؟
عظيم داده چيست؟عظيم داده چيست؟
عظيم داده چيست؟digidanesh
 
تحلیل احساسات شبکه اجتماعی متن کاوی نظرکاوی حامد عزیزی تهران جنوب
تحلیل احساسات شبکه اجتماعی متن کاوی نظرکاوی حامد عزیزی تهران جنوبتحلیل احساسات شبکه اجتماعی متن کاوی نظرکاوی حامد عزیزی تهران جنوب
تحلیل احساسات شبکه اجتماعی متن کاوی نظرکاوی حامد عزیزی تهران جنوبHamed Azizi
 
A Story of Big Data:Introduction
A Story of Big Data:IntroductionA Story of Big Data:Introduction
A Story of Big Data:IntroductionMobin Ranjbar
 
تحلیل احساسات در شبکه های اجتماعی
تحلیل احساسات در شبکه های اجتماعیتحلیل احساسات در شبکه های اجتماعی
تحلیل احساسات در شبکه های اجتماعیHamed Azizi
 
آشنایی با داده‌های بزرگ و تکنیک‌های برنامه‌سازی برای پردازش داده‌های بزرگ
آشنایی با داده‌های بزرگ و تکنیک‌های برنامه‌سازی برای پردازش داده‌های بزرگآشنایی با داده‌های بزرگ و تکنیک‌های برنامه‌سازی برای پردازش داده‌های بزرگ
آشنایی با داده‌های بزرگ و تکنیک‌های برنامه‌سازی برای پردازش داده‌های بزرگAmir Sedighi
 
فناوری‌های حوزه‌ی کلان داده - Introduction to Big Data Technologies
 فناوری‌های حوزه‌ی کلان داده - Introduction to Big Data Technologies فناوری‌های حوزه‌ی کلان داده - Introduction to Big Data Technologies
فناوری‌های حوزه‌ی کلان داده - Introduction to Big Data TechnologiesEhsan Asgarian
 
(3) تحلیل با رویکرد یادگیری ژرف بر بستر کلان‌داده
 (3) تحلیل با رویکرد یادگیری ژرف بر بستر کلان‌داده (3) تحلیل با رویکرد یادگیری ژرف بر بستر کلان‌داده
(3) تحلیل با رویکرد یادگیری ژرف بر بستر کلان‌دادهMohsen Fayyaz
 
Software Cost Estimation Methods:A Review - Persian
Software Cost Estimation Methods:A Review - PersianSoftware Cost Estimation Methods:A Review - Persian
Software Cost Estimation Methods:A Review - PersianMobin Ranjbar
 
راهنمای ایجاد شهر هوشمند در ایران
راهنمای ایجاد شهر هوشمند در ایرانراهنمای ایجاد شهر هوشمند در ایران
راهنمای ایجاد شهر هوشمند در ایرانN K
 
Text Mining - Techniques & Limitations (A Pharmaceutical Industry Viewpoint)
Text Mining - Techniques & Limitations (A Pharmaceutical Industry Viewpoint)Text Mining - Techniques & Limitations (A Pharmaceutical Industry Viewpoint)
Text Mining - Techniques & Limitations (A Pharmaceutical Industry Viewpoint)Frank Oellien
 
Internet of Things Security Challlenges
Internet of Things Security ChalllengesInternet of Things Security Challlenges
Internet of Things Security Challlengesquickheal_co_ir
 
SEO Ranking Factors
SEO Ranking FactorsSEO Ranking Factors
SEO Ranking FactorsAnetwork
 
معرفی روش‌های تحقیق در شبکه های اجتماعی
معرفی روش‌های تحقیق در شبکه های اجتماعیمعرفی روش‌های تحقیق در شبکه های اجتماعی
معرفی روش‌های تحقیق در شبکه های اجتماعیEbrahim Eskandari
 
عصر کلان داده، چرا و چگونه؟
عصر کلان داده، چرا و چگونه؟عصر کلان داده، چرا و چگونه؟
عصر کلان داده، چرا و چگونه؟datastack
 
اینترنت اشیا در 10 دقیقه
اینترنت اشیا در 10 دقیقهاینترنت اشیا در 10 دقیقه
اینترنت اشیا در 10 دقیقهMahmood Neshati (PhD)
 
OUTDATED Text Mining 1/5: Introduction
OUTDATED Text Mining 1/5: IntroductionOUTDATED Text Mining 1/5: Introduction
OUTDATED Text Mining 1/5: IntroductionFlorian Leitner
 

Viewers also liked (19)

عظيم داده چيست؟
عظيم داده چيست؟عظيم داده چيست؟
عظيم داده چيست؟
 
تحلیل احساسات شبکه اجتماعی متن کاوی نظرکاوی حامد عزیزی تهران جنوب
تحلیل احساسات شبکه اجتماعی متن کاوی نظرکاوی حامد عزیزی تهران جنوبتحلیل احساسات شبکه اجتماعی متن کاوی نظرکاوی حامد عزیزی تهران جنوب
تحلیل احساسات شبکه اجتماعی متن کاوی نظرکاوی حامد عزیزی تهران جنوب
 
A Story of Big Data:Introduction
A Story of Big Data:IntroductionA Story of Big Data:Introduction
A Story of Big Data:Introduction
 
تحلیل احساسات در شبکه های اجتماعی
تحلیل احساسات در شبکه های اجتماعیتحلیل احساسات در شبکه های اجتماعی
تحلیل احساسات در شبکه های اجتماعی
 
آشنایی با داده‌های بزرگ و تکنیک‌های برنامه‌سازی برای پردازش داده‌های بزرگ
آشنایی با داده‌های بزرگ و تکنیک‌های برنامه‌سازی برای پردازش داده‌های بزرگآشنایی با داده‌های بزرگ و تکنیک‌های برنامه‌سازی برای پردازش داده‌های بزرگ
آشنایی با داده‌های بزرگ و تکنیک‌های برنامه‌سازی برای پردازش داده‌های بزرگ
 
فناوری‌های حوزه‌ی کلان داده - Introduction to Big Data Technologies
 فناوری‌های حوزه‌ی کلان داده - Introduction to Big Data Technologies فناوری‌های حوزه‌ی کلان داده - Introduction to Big Data Technologies
فناوری‌های حوزه‌ی کلان داده - Introduction to Big Data Technologies
 
(3) تحلیل با رویکرد یادگیری ژرف بر بستر کلان‌داده
 (3) تحلیل با رویکرد یادگیری ژرف بر بستر کلان‌داده (3) تحلیل با رویکرد یادگیری ژرف بر بستر کلان‌داده
(3) تحلیل با رویکرد یادگیری ژرف بر بستر کلان‌داده
 
Software Cost Estimation Methods:A Review - Persian
Software Cost Estimation Methods:A Review - PersianSoftware Cost Estimation Methods:A Review - Persian
Software Cost Estimation Methods:A Review - Persian
 
91353111 datamining
91353111 datamining91353111 datamining
91353111 datamining
 
راهنمای ایجاد شهر هوشمند در ایران
راهنمای ایجاد شهر هوشمند در ایرانراهنمای ایجاد شهر هوشمند در ایران
راهنمای ایجاد شهر هوشمند در ایران
 
Text Mining - Techniques & Limitations (A Pharmaceutical Industry Viewpoint)
Text Mining - Techniques & Limitations (A Pharmaceutical Industry Viewpoint)Text Mining - Techniques & Limitations (A Pharmaceutical Industry Viewpoint)
Text Mining - Techniques & Limitations (A Pharmaceutical Industry Viewpoint)
 
Internet of Things Security Challlenges
Internet of Things Security ChalllengesInternet of Things Security Challlenges
Internet of Things Security Challlenges
 
Object Based Databases
Object Based DatabasesObject Based Databases
Object Based Databases
 
داده های جریانی streaming data
داده های جریانی streaming dataداده های جریانی streaming data
داده های جریانی streaming data
 
SEO Ranking Factors
SEO Ranking FactorsSEO Ranking Factors
SEO Ranking Factors
 
معرفی روش‌های تحقیق در شبکه های اجتماعی
معرفی روش‌های تحقیق در شبکه های اجتماعیمعرفی روش‌های تحقیق در شبکه های اجتماعی
معرفی روش‌های تحقیق در شبکه های اجتماعی
 
عصر کلان داده، چرا و چگونه؟
عصر کلان داده، چرا و چگونه؟عصر کلان داده، چرا و چگونه؟
عصر کلان داده، چرا و چگونه؟
 
اینترنت اشیا در 10 دقیقه
اینترنت اشیا در 10 دقیقهاینترنت اشیا در 10 دقیقه
اینترنت اشیا در 10 دقیقه
 
OUTDATED Text Mining 1/5: Introduction
OUTDATED Text Mining 1/5: IntroductionOUTDATED Text Mining 1/5: Introduction
OUTDATED Text Mining 1/5: Introduction
 

Similar to کلان داده کاربردها و چالش های آن

معرفي فايروال پايگاه داده
معرفي فايروال پايگاه دادهمعرفي فايروال پايگاه داده
معرفي فايروال پايگاه دادهHamid Torkashvand
 
مقدمه ای بر هوش تجاری
مقدمه ای بر هوش تجاریمقدمه ای بر هوش تجاری
مقدمه ای بر هوش تجاریZahra Mansoori
 
تاثیر کلان داده بر سامانه های تصمیم یار
تاثیر کلان داده بر سامانه های تصمیم یارتاثیر کلان داده بر سامانه های تصمیم یار
تاثیر کلان داده بر سامانه های تصمیم یارHanieh Kashfi
 
Instructions for Big data analysis and modelling
Instructions for Big data analysis and modellingInstructions for Big data analysis and modelling
Instructions for Big data analysis and modellingkeivan mahdavi
 
Ordbms پایگاه داده شی گرا-رابطه ای
Ordbms پایگاه داده شی گرا-رابطه ایOrdbms پایگاه داده شی گرا-رابطه ای
Ordbms پایگاه داده شی گرا-رابطه ایAli Moradi
 
1393 itrc-ارائه-مدل-مفهومی-روندها-و-حوزه-های-تحقیقاتی-داده-های-عظیم
1393 itrc-ارائه-مدل-مفهومی-روندها-و-حوزه-های-تحقیقاتی-داده-های-عظیم1393 itrc-ارائه-مدل-مفهومی-روندها-و-حوزه-های-تحقیقاتی-داده-های-عظیم
1393 itrc-ارائه-مدل-مفهومی-روندها-و-حوزه-های-تحقیقاتی-داده-های-عظیمEbrahim S. Barazandeh
 
داده کاوی علمی
داده کاوی علمیداده کاوی علمی
داده کاوی علمیsgilasi
 
Data streaming & kafka
Data streaming & kafkaData streaming & kafka
Data streaming & kafkamohadesedashti
 
روش تحقیق و تحقیقات فاوا
روش تحقیق و تحقیقات فاواروش تحقیق و تحقیقات فاوا
روش تحقیق و تحقیقات فاواAli Reza Hashemi Nekoo
 
چارچوب متن باز جهت توسعه سیستم های نرم افزاری
چارچوب متن باز جهت توسعه سیستم های نرم افزاریچارچوب متن باز جهت توسعه سیستم های نرم افزاری
چارچوب متن باز جهت توسعه سیستم های نرم افزاریعباس بني اسدي مقدم
 
سمینار کاربردهای تحلیل عظیم داده
سمینار کاربردهای تحلیل عظیم دادهسمینار کاربردهای تحلیل عظیم داده
سمینار کاربردهای تحلیل عظیم دادهMeisam Asgari
 
Neu ir data mining ghavidel 10 08 1398
Neu ir   data mining ghavidel 10 08 1398Neu ir   data mining ghavidel 10 08 1398
Neu ir data mining ghavidel 10 08 1398Somayeh GhaviDel
 

Similar to کلان داده کاربردها و چالش های آن (20)

DATA
DATADATA
DATA
 
معرفي فايروال پايگاه داده
معرفي فايروال پايگاه دادهمعرفي فايروال پايگاه داده
معرفي فايروال پايگاه داده
 
Altmetrics
AltmetricsAltmetrics
Altmetrics
 
Altmetrics
AltmetricsAltmetrics
Altmetrics
 
مقدمه ای بر هوش تجاری
مقدمه ای بر هوش تجاریمقدمه ای بر هوش تجاری
مقدمه ای بر هوش تجاری
 
grid
gridgrid
grid
 
تاثیر کلان داده بر سامانه های تصمیم یار
تاثیر کلان داده بر سامانه های تصمیم یارتاثیر کلان داده بر سامانه های تصمیم یار
تاثیر کلان داده بر سامانه های تصمیم یار
 
Open access workshop
Open access workshopOpen access workshop
Open access workshop
 
Instructions for Big data analysis and modelling
Instructions for Big data analysis and modellingInstructions for Big data analysis and modelling
Instructions for Big data analysis and modelling
 
Ordbms پایگاه داده شی گرا-رابطه ای
Ordbms پایگاه داده شی گرا-رابطه ایOrdbms پایگاه داده شی گرا-رابطه ای
Ordbms پایگاه داده شی گرا-رابطه ای
 
Data integrity
Data integrityData integrity
Data integrity
 
1393 itrc-ارائه-مدل-مفهومی-روندها-و-حوزه-های-تحقیقاتی-داده-های-عظیم
1393 itrc-ارائه-مدل-مفهومی-روندها-و-حوزه-های-تحقیقاتی-داده-های-عظیم1393 itrc-ارائه-مدل-مفهومی-روندها-و-حوزه-های-تحقیقاتی-داده-های-عظیم
1393 itrc-ارائه-مدل-مفهومی-روندها-و-حوزه-های-تحقیقاتی-داده-های-عظیم
 
داده کاوی علمی
داده کاوی علمیداده کاوی علمی
داده کاوی علمی
 
Internet engineering
Internet engineeringInternet engineering
Internet engineering
 
Data streaming & kafka
Data streaming & kafkaData streaming & kafka
Data streaming & kafka
 
روش تحقیق و تحقیقات فاوا
روش تحقیق و تحقیقات فاواروش تحقیق و تحقیقات فاوا
روش تحقیق و تحقیقات فاوا
 
Power
PowerPower
Power
 
چارچوب متن باز جهت توسعه سیستم های نرم افزاری
چارچوب متن باز جهت توسعه سیستم های نرم افزاریچارچوب متن باز جهت توسعه سیستم های نرم افزاری
چارچوب متن باز جهت توسعه سیستم های نرم افزاری
 
سمینار کاربردهای تحلیل عظیم داده
سمینار کاربردهای تحلیل عظیم دادهسمینار کاربردهای تحلیل عظیم داده
سمینار کاربردهای تحلیل عظیم داده
 
Neu ir data mining ghavidel 10 08 1398
Neu ir   data mining ghavidel 10 08 1398Neu ir   data mining ghavidel 10 08 1398
Neu ir data mining ghavidel 10 08 1398
 

کلان داده کاربردها و چالش های آن

  • 1. ‫چالش‬ ‫و‬ ‫کاربردها‬ ،‫داده‬ ‫کالن‬‫آن‬ ‫های‬ 2‫خادمی‬ ‫مریم‬ ،1‫وامرزانی‬ ‫عزیزی‬ ‫حامد‬ 1 ‫نرم‬ ‫ارشد‬ ‫کارشناسی‬ ‫دانشجوی‬،‫افزار‬‫جنوب‬ ‫تهران‬ ‫واحد‬ ‫آزاد‬ ‫دانشگاه‬،st_h_azizi@azad.ac.ir 2 ‫کاربردی‬ ‫ریاضی‬ ‫گروه‬ ‫استادیار‬،‫جنوب‬ ‫تهران‬ ‫واحد‬ ‫آزاد‬ ‫دانشگاه‬،khademi@azad.ac.ir ‫مکاتبات‬ ‫مسئول‬:‫وامرزانی‬ ‫عزیزی‬ ‫حامد‬ ‫چکیده‬ ‫مجازی‬ ‫فضای‬ ‫در‬ ‫اطالعات‬ ‫انتقال‬ ‫حجم‬ ‫روزافزون‬ ‫گسترش‬ ‫و‬ ‫افزایش‬ ‫به‬ ‫توجه‬ ‫با‬‫ذخیره‬ ‫و‬ ‫ورود‬ ،‫داده‬ ‫کالن‬ ‫مسأله‬ ،‫الکترونیکی‬ ‫تجارت‬ ‫و‬ ‫بانکداری‬ ‫حوزه‬ ‫در‬ ‫خصوص‬ ‫به‬ ‫اینترنت‬‫حجم‬ ‫سازی‬ ‫داده‬ ‫اطالعاتی‬ ‫اقالم‬ ‫از‬ ‫زیادی‬‫پیش‬ ،‫آن‬ ‫مدیریت‬ ‫و‬ ‫ها‬‫پس‬ ‫و‬ ‫پردازش‬‫د‬ ‫متخصصین‬ ‫و‬ ‫محققان‬ ‫از‬ ‫بسیاری‬ ‫توجه‬ ‫و‬ ‫شده‬ ‫برخوردار‬ ‫زیادی‬ ‫بسیار‬ ‫اهمیت‬ ‫از‬ ‫اطالعات‬ ‫امنیت‬ ‫و‬ ‫دقت‬ ،‫سرعت‬ ،‫پردازش‬‫ر‬ ‫موقعیت‬ ،‫داده‬ ‫کالن‬ ‫معرفی‬ ‫از‬ ‫پس‬ ‫مقاله‬ ‫این‬ ‫در‬ .‫است‬ ‫کرده‬ ‫معطوف‬ ‫خود‬ ‫به‬ ‫را‬ ‫اطالعات‬ ‫فناوری‬ ‫حوزه‬‫روش‬ ،‫فناوری‬ ‫در‬ ‫آن‬ ‫وکاربردهای‬ ‫ها‬‫چالش‬ ‫و‬ ‫ها‬‫بررسی‬ ‫مورد‬ ،‫را‬ ‫حوزه‬ ‫این‬ ‫در‬ ‫مطرح‬ ‫های‬ .‫داد‬ ‫خواهیم‬ ‫قرار‬ : ‫واژه‬ ‫کلید‬( ‫داده‬ ‫کالن‬big data‫شبکه‬ ،‫هادوپ‬ ،)‫ذخیره‬ ،‫اجتماعی‬ ‫های‬،‫سازی‬‫اطالعات‬ ‫امنیت‬ 1-‫مقدمه‬ ‫با‬‫گسترش‬‫روزافزون‬‫استفاده‬‫خدمات‬ ‫از‬‫فناوری‬،‫اطالعات‬‫و‬‫هم‬‫چنین‬‫فراگیر‬‫شدن‬‫ابزارهای‬،‫دیجیتالی‬‫داده‬ ‫از‬ ‫زیادی‬ ‫حجم‬ ‫تولید‬ ‫باعث‬ ‫مجازی‬ ‫فضای‬ ‫در‬ ‫خود‬ ‫حضور‬ ‫واسطه‬ ‫به‬ ‫فرد‬ ‫هر‬‫ها‬ ‫می‬‫داده‬ ‫این‬ .‫شود‬‫می‬ ‫ها‬‫دسته‬ ‫دو‬ ‫در‬ ‫تواند‬‫قسمت‬ ‫یک‬ ،‫بگیرد‬ ‫قرار‬ ‫کلی‬ ‫بندی‬‫ماشین‬ ‫توسط‬ ‫که‬ ‫است‬ ‫اطالعاتی‬ ‫بعدی‬ ‫قسمت‬ ‫و‬ ‫کرده‬ ‫تولید‬ ‫را‬ ‫آن‬ ‫انسان‬ ‫که‬ ‫است‬ ‫اطالعاتی‬( ‫مختلف‬ ‫های‬‫همانند‬ ‫مسیریاب‬‫دوربین‬ ،‫ها‬.‫است‬ ‫تولید‬ ‫حال‬ ‫در‬ )... ‫و‬ ‫مختلف‬ ‫حسگرهای‬ ،‫بسته‬ ‫مدار‬ ‫ها‬ ‫داده‬ ‫کالن‬«‫به‬‫حجم‬1 ‫داده‬ ‫از‬ ‫عظیمی‬‫ها‬‫اطالق‬‫آن‬ ‫پردازش‬ ‫که‬ ‫که‬ ‫شود‬ ‫می‬‫به‬ ‫ها‬‫داد‬ ‫پایگاه‬ ‫وسیله‬‫ه‬‫است‬ ‫انجام‬ ‫غیرقابل‬ ‫آن‬ ‫ابزارهای‬ ‫و‬ ‫سنتی‬ ‫های‬».‫اگزابایت‬ ‫چندین‬ ‫از‬ ‫بیش‬ ‫داده‬ ‫از‬ ‫حجم‬ ‫این‬2 (11 11‫داده‬ ‫از‬ ‫مختلفی‬ ‫انواع‬ ‫شامل‬ ‫و‬ ‫بوده‬ )‫چندرسانه‬ ‫های‬‫می‬ ... ‫و‬ ‫متن‬ ،‫ای‬.‫است‬ ‫افزایش‬ ‫حال‬ ‫در‬ ‫آن‬ ‫حجم‬ ‫تصوری‬ ‫غیرقابل‬ ‫شکل‬ ‫به‬ ‫که‬ ‫شود‬ ‫را‬ ‫داده‬ ‫کالن‬ ‫از‬ ‫جنبه‬ ‫یک‬ ‫تنها‬ ‫اطالعات‬ ‫عظیم‬ ‫حجم‬‫می‬ ‫نشان‬‫گوناگونی‬ ،‫دهد‬3 ‫ذخیره‬ ‫اطالعات‬،‫شده‬ ‫سازی‬‫سرعت‬4 ،‫سیستم‬ ‫به‬ ‫جدید‬ ‫اطالعات‬ ‫ورود‬‫مقادیر‬5 ،‫اطالعات‬‫و‬‫پیچیدگی‬6 ‫آن‬‫ها‬ ‫ویژگی‬ ‫از‬ ‫همگی‬‫می‬ ‫نمایان‬ ‫را‬ ‫داده‬ ‫کالن‬ ‫مفهوم‬ ‫که‬ ‫بوده‬ ‫فناوری‬ ‫از‬ ‫حوزه‬ ‫این‬ ‫های‬‫چالش‬ .‫سازد‬ً‫ا‬‫صرف‬ ‫حوزه‬ ‫این‬ ‫های‬‫نمی‬ ‫آن‬ ‫مدیریت‬ ‫و‬ ‫سازی‬ ‫ذخیره‬ ‫به‬ ‫منوط‬‫شود‬‫پردازش‬ ‫و‬ ‫تحلیل‬ ‫مبحث‬ ‫بلکه‬ ، ‫به‬ ‫و‬ ‫داده‬ ‫کالن‬‫مهم‬ ‫از‬ ‫ارزشمند‬ ‫دانش‬ ‫آوردن‬ ‫دست‬.‫است‬ ‫آن‬ ‫مسائل‬ ‫ترین‬ ‫سال‬ ‫تا‬2113‫میالدی‬5( ‫اگزابایت‬11 11‫می‬ ‫تولید‬ ‫انسان‬ ‫توسط‬ ‫روز‬ ‫دو‬ ‫در‬ ‫تنها‬ ‫داده‬ ‫از‬ ‫حجم‬ ‫این‬ ‫امروزه‬ ‫اما‬ ‫بود‬ ‫تولیدشده‬ ‫انسان‬ ‫توسط‬ ‫اطالعات‬ )‫بایت‬‫شود‬.‫ش‬‫رکت‬IBM‫خو‬ ‫گزارش‬ ‫در‬‫د‬ ‫روز‬ ‫هر‬ ‫کرد‬ ‫اعالم‬5/2‫داده‬ ‫به‬ ‫اطالعات‬ ‫اگزابایت‬‫می‬ ‫افزوده‬ ‫دنیا‬ ‫های‬‫که‬ ‫شود‬01‫است‬ ‫تولیدشده‬ ‫گذشته‬ ‫سال‬ ‫دو‬ ‫در‬ ‫فقط‬ ‫داریم‬ ‫دست‬ ‫در‬ ‫حاضر‬ ‫حال‬ ‫در‬ ‫که‬ ‫اطالعاتی‬ ‫مقدار‬ ‫درصد‬(Singh 2012). ‫شبکه‬ ‫از‬ ‫یکی‬ ‫مثال‬ ‫برای‬‫از‬ ‫بیش‬ ‫روزانه‬ ‫که‬ ‫دارد‬ ‫کاربر‬ ‫میلیارد‬ ‫یک‬ ‫از‬ ‫بیش‬ ‫دنیا‬ ‫در‬ ‫محبوب‬ ‫اجتماعی‬ ‫های‬311‫میلیون‬‫تصویر‬‫می‬ ‫اشتراک‬ ‫به‬ ‫یکدیگر‬ ‫با‬ ‫اجتماعی‬ ‫شبکه‬ ‫این‬ ‫در‬ ‫را‬‫تا‬ ،‫گذارند‬ ‫از‬ ‫بیش‬ ‫تصاویر‬ ‫این‬ ‫تعداد‬ ‫کنون‬241‫به‬ ‫و‬ ‫است‬ ‫شده‬ ‫گزارش‬ ‫میلیارد‬‫روزانه‬ ‫میانگین‬ ‫طور‬511‫ترابا‬‫می‬ ‫افزوده‬ ‫اجتماعی‬ ‫شبکه‬ ‫این‬ ‫اطالعات‬ ‫حجم‬ ‫به‬ ‫یت‬.‫شود‬(Tam 2012) 1 volumes 2 exabytes 3 variety 4 velocity 5 value 6 complexity
  • 2. ‫کالن‬ ‫امروزه‬‫توا‬ ‫داده‬ ‫از‬ ‫عظیم‬ ‫از‬ ‫حجم‬ ‫این‬ ‫تحلیل‬ ‫کمک‬ ‫به‬ ‫بشر‬ ‫و‬ ‫رسیده‬ ‫اثبات‬ ‫به‬ ... ‫و‬ ‫پزشکی‬ ،‫امنیت‬ ،‫صنعت‬ ‫و‬ ‫بازار‬ ،‫فناوری‬ ‫در‬ ‫آن‬ ‫کاربردهای‬ ‫و‬ ‫داده‬‫مدیریت‬ ‫در‬ ‫کارآمدی‬ ‫دانش‬ ‫به‬ ‫نسته‬ .‫کند‬ ‫پیدا‬ ‫دست‬ ‫خود‬ ‫کار‬ ‫و‬ ‫کسب‬ ‫مؤثرتر‬ ‫و‬ ‫بهتر‬ ‫شرکت‬ ‫تمامی‬ ‫برای‬ ‫همواره‬ ‫اطالعات‬ ‫آنالیز‬ ‫و‬ ‫مدیریت‬‫حی‬ ‫هر‬ ‫در‬ ‫ها‬‫بر‬ ‫خاصی‬ ‫اهمیت‬ ‫از‬ ‫کاری‬ ‫طه‬‫آن‬ .‫است‬ ‫خوردار‬‫راه‬ ‫دارند‬ ‫تالش‬ ‫همواره‬ ‫ها‬‫کار‬‫به‬ ‫جهت‬ ‫در‬ ‫عملی‬ ‫های‬‫از‬ ‫اطالعات‬ ‫آوردن‬ ‫دست‬ .‫دهند‬ ‫انجام‬ ‫خود‬ ‫خدمات‬ ‫یا‬ ‫و‬ ‫محصوالت‬ ،‫مشتریان‬ ‫زما‬ ‫طول‬ ‫در‬ ‫اما‬ ‫نیست‬ ‫سختی‬ ‫کار‬ ‫اطالعات‬ ‫این‬ ‫تحلیل‬ ،‫دارد‬ ‫خاص‬ ‫محصول‬ ‫یک‬ ‫و‬ ‫مشتری‬ ‫محدودی‬ ‫تعداد‬ ‫شرکت‬ ‫یک‬ ‫که‬ ‫زمانی‬... ‫و‬ ‫مشتری‬ ‫سلیقه‬ ،‫بازار‬ ‫فروش‬ ‫از‬ ‫زیادی‬ ‫اطالعات‬ ً‫ا‬‫مسلم‬ ‫ن‬ ‫داده‬ ‫از‬ ‫ابتدایی‬ ‫حجم‬ ‫آن‬ ‫با‬ ‫دیگر‬ ‫و‬ ‫شد‬ ‫خواهد‬ ‫تولید‬.‫نیستیم‬ ‫مواجه‬ ‫ها‬ ‫به‬ ‫مدیران‬ ،‫رقابتی‬ ‫بازار‬ ‫در‬‫کاربران‬ ‫یا‬ ‫و‬ ‫مشتری‬ ‫سالیق‬ ‫و‬ ‫عالیق‬ ‫با‬ ‫دارند‬ ‫نیاز‬ ‫متداوم‬ ‫طور‬‫سیاست‬ ‫و‬ ‫شوند‬ ‫آشنا‬ ‫شان‬‫حتی‬ .‫کنند‬ ‫طراحی‬ ‫را‬ ‫جدید‬ ‫های‬‫مح‬ ‫کار‬ ‫بازار‬ ‫مسائل‬ ‫به‬ ‫داده‬ ‫کالن‬ ‫کاربرد‬‫دود‬ ‫نمی‬‫شبکه‬ ‫اطالعات‬ ‫تحلیل‬ ‫از‬ ‫استفاده‬ ‫با‬ ‫امروزه‬ ‫بلکه‬ ‫شود‬‫می‬ ‫اجتماعی‬ ‫های‬‫پیش‬ ‫پایین‬ ‫بسیار‬ ‫خطای‬ ‫درصد‬ ‫با‬ ‫را‬ ‫کشور‬ ‫یک‬ ‫انتخابات‬ ‫توانند‬‫نموده‬ ‫بینی‬(Mahmood, Iqbal et al. 2013) ‫دهند‬ ‫سو‬ ‫و‬ ‫سمت‬ ‫وی‬ ‫محبوبیت‬ ‫باالرفتن‬ ‫و‬ ‫مردم‬ ‫افکار‬ ‫جهت‬ ‫در‬ ‫را‬ ‫انتخاباتی‬ ‫نامزدهای‬ ‫تبلیغات‬ ‫یا‬ ‫و‬(Bensrhir 2013). ‫در‬ ‫اطالعات‬ ‫از‬ ‫بخشی‬ ،‫است‬ ‫باال‬ ‫بسیار‬ ‫اطالعات‬ ‫پیچیدگی‬ ‫و‬ ‫حجم‬‫پایگاه‬‫ذخیره‬ ‫سنتی‬ ‫داده‬ ‫های‬‫سرویس‬ ‫مجموعه‬ ، ‫اسناد‬ ‫شکل‬ ‫به‬ ‫دیگر‬ ‫برخی‬ ،‫شده‬ ‫سازی‬‫داده‬ ‫کاربر‬ ‫یا‬ ‫مشتری‬ ‫به‬ ‫که‬ ‫هایی‬ .‫است‬ ‫نگرفته‬ ‫صورت‬ ‫آن‬ ‫روی‬ ‫بندی‬ ‫طبقه‬ ‫هیچ‬ ‫که‬ ‫مرتبط‬ ‫ویدئوهای‬ ‫و‬ ‫تصاویر‬ ‫حتی‬ ،‫شده‬ ‫کالن‬ ‫ابتدا‬ ‫مقاله‬ ‫این‬ ‫در‬‫چالش‬ ‫و‬ ‫کاربردها‬ ،‫داده‬‫آن‬ ‫های‬‫قسم‬ ‫در‬ ‫و‬ ‫نموده‬ ‫معرفی‬ ‫را‬،‫بعدی‬ ‫ت‬‫نگه‬ ‫قدرتمند‬ ‫ابزارهای‬ ‫از‬ ‫یکی‬‫می‬ ‫معرفی‬ ‫حوزه‬ ‫این‬ ‫در‬ ‫اطالعات‬ ‫پردازش‬ ‫و‬ ‫داری‬‫گردد‬‫پایان‬ ‫در‬ ‫و‬ .‫شد‬ ‫خواهد‬ ‫بیان‬ ‫دارند‬ ‫داده‬ ‫کالن‬ ‫زمینه‬ ‫در‬ ‫مناسبی‬ ‫پژوهشی‬ ‫فرصت‬ ‫آینده‬ ‫در‬ ‫که‬ ‫موضوعاتی‬ 2-‫داده‬ ‫کالن‬7 ‫برای‬ ‫فارسی‬ ‫معادلی‬ ‫بخواهیم‬ ‫اگر‬“Big Data”‫می‬ ‫بگیریم‬ ‫نظر‬ ‫در‬‫به‬ ‫توان‬"‫داده‬ ‫کالن‬"،"‫داده‬ ‫بزرگ‬"‫یا‬"‫داده‬ ‫حجیم‬"‫کالن‬ .‫ندارند‬ ‫یکدیگر‬ ‫با‬ ‫اختالفی‬ ‫هیچ‬ ‫مفهوم‬ ‫در‬ ‫که‬ ‫نمود‬ ‫اشاره‬ ‫داده‬ ‫از‬ ‫عظیمی‬ ‫مجموعه‬ ‫معنی‬ ‫به‬ ‫داده‬‫می‬ ‫ها‬‫آن‬ ‫پردازش‬ ‫که‬ ‫باشد‬‫به‬ ‫ها‬‫داده‬ ‫پایگاه‬ ‫وسیله‬‫است‬ ‫انجام‬ ‫غیرقابل‬ ‫آن‬ ‫ابزارهای‬ ‫و‬ ‫سنتی‬ ‫های‬(Kaisler, Armour et al. 2013). ‫بیش‬ ‫در‬‫مقاالت‬ ‫و‬ ‫منابع‬ ‫تر‬(Gartner 2014,Sagiroglu and Sinanc 2013,Singh 2012,B.Gerhardt 2012)‫اند‬ ‫نموده‬ ‫بیان‬ ‫اصلی‬ ‫ویژگی‬ ‫سه‬ ‫داده‬ ‫کالن‬ ‫برای‬1-‫حجم‬1 2-‫گوناگونی‬0 3-‫سرعت‬11 ‫آن‬ ‫به‬ ً‫ا‬‫اصطالح‬ ‫که‬3Vs‫می‬ ‫نیز‬‫دیگر‬ ‫منابعی‬ ‫در‬ ‫البته‬ .‫گویند‬(Sagiroglu and,et al. 2013Katal, Wazid,Kaisler, Armour et al. 2013 Sinanc 2013)‫ِیژگی‬‫و‬ ‫به‬ ‫نیز‬ ‫را‬ ‫داده‬ ‫پیچیدگی‬ ‫و‬ ‫داده‬ ‫مقدار‬ ‫شده‬ ‫گفته‬ ‫اصلی‬ ‫ویژگی‬ ‫سه‬ ‫بر‬ ‫عالوه‬‫اضافه‬ ‫آن‬ ‫های‬‫کرده‬‫اما‬ .‫اند‬‫یک‬ ‫یا‬ ‫اطالعاتی‬ ‫جریان‬ ‫محیط‬ ‫یک‬ ‫که‬ ‫صورتی‬ ‫در‬ ‫است‬ ‫واضح‬ ‫می‬ ‫گفته‬ ‫داده‬ ‫کالن‬ ‫مجموعه‬ ‫آن‬ ‫به‬ ‫کند‬ ‫احراز‬ ‫را‬ ‫شده‬ ‫برده‬ ‫نام‬ ‫مورد‬ ‫سه‬ ‫هر‬ ‫بتواند‬ ‫شبکه‬.‫شود‬ ‫نام‬ ‫داده‬ ‫کالن‬ ‫را‬ ‫آن‬ ‫که‬ ‫اطالعاتی‬ ‫مجموعه‬ ‫یک‬ ‫تمایز‬ ‫وجه‬ ‫تشخیص‬ ‫البته‬‫می‬ ‫گذاری‬‫آ‬ ‫شرایط‬ ً‫ا‬‫ظاهر‬ ‫که‬ ‫حجیم‬ ‫اطالعاتی‬ ‫سیستم‬ ‫یک‬ ‫و‬ ‫کنیم‬‫سامانه‬ ‫یک‬ ‫مثال‬ ‫برای‬ .‫است‬ ‫مهم‬ ‫بسیار‬ ‫دارد‬ ‫را‬ ‫ن‬ ‫داده‬‫می‬ ‫ذخیره‬ ‫خود‬ ‫در‬ ‫را‬ ‫ایران‬ ‫مردم‬ ‫اطالعات‬ ‫تمامی‬ ‫که‬ ‫ای‬‫نمی‬ )... ‫و‬ ‫ملی‬ ‫شماره‬ ،‫خانوادگی‬ ‫نام‬ ،‫(نام‬ ‫کند‬‫توان‬‫د‬‫به‬ ‫داده‬ ‫کالن‬‫دل‬ ‫در‬ ‫را‬ ‫اطالعات‬ ‫از‬ ‫باالیی‬ ‫حجم‬ ً‫ا‬‫ظاهر‬ ‫که‬ ‫صورتی‬ ‫در‬ ‫آید‬ ‫شمار‬ .‫دارد‬ ‫خود‬ 7 Big data 8 Volume 9 Variety 10 Velocity ‫شکل‬1-‫سه‬‫ویژگی‬‫اصلی‬‫کالن‬‫داده‬
  • 3. 2-1-‫داده‬ ‫حجم‬ ‫مهم‬ ‫شاید‬‫شرکت‬ ‫امروزه‬ ،‫برشمرد‬ ‫داده‬ ‫عظیم‬ ‫حجم‬ ‫بتوان‬ ‫را‬ ‫داده‬ ‫کالن‬ ‫ویژگی‬ ‫ترین‬‫شبکه‬ ً‫ا‬‫خصوص‬ ‫اطالعات‬ ‫فناوری‬ ‫عرصه‬ ‫در‬ ‫نام‬ ‫صاحب‬ ‫های‬‫می‬ ‫تنهایی‬ ‫به‬ ‫اجتماعی‬ ‫های‬‫روزانه‬ ‫توانند‬511 ‫وید‬ ‫اشتراک‬ ‫سرویس‬ ‫مثال‬ ‫عنوان‬ ‫به‬ ،‫کنند‬ ‫تولید‬ ‫جدید‬ ‫اطالعات‬ ‫ترابایت‬‫ئو‬‫از‬ ‫بیش‬ ‫دقیقه‬ ‫هر‬ ‫در‬ ‫گوگل‬ ‫ی‬111‫و‬ ‫ساعت‬‫یدئو‬‫را‬ ‫خود‬ ‫کاربران‬ ‫توسط‬ ‫شده‬ ‫بارگذاری‬‫مدیریت‬ ‫و‬ ‫دریافت‬ ‫می‬.‫کند‬(Tam 2012 , smith 2014) 2-2-‫داده‬ ‫گوناگونی‬ ‫حسگر‬ ‫به‬ ‫مربوط‬ ‫اطالعات‬‫تلفن‬ ،‫مختلف‬ ‫های‬‫شبکه‬ ‫در‬ ‫ارتباطات‬ ،‫هوشمند‬ ‫های‬‫ساختار‬ ‫بدون‬ ‫و‬ ‫ساختاری‬ ‫صورت‬ ‫به‬ ‫که‬ ‫اطالعاتی‬ ‫گوناگونی‬ ،‫اجتماعی‬ ‫های‬‫می‬ ‫ذخیره‬‫ا‬ ‫پیچیده‬ ‫بسیار‬ ‫شوند‬،‫ست‬ ‫داده‬ ‫پایگاه‬ ‫در‬ ‫اطالعات‬ ‫این‬ ‫تمام‬ ‫زیرا‬‫رابطه‬ ‫های‬‫داده‬ ‫این‬ ‫بر‬ ‫عالوه‬ ،‫است‬ ‫نشده‬ ‫ذخیره‬ ‫سنتی‬ ‫ای‬‫نیمه‬ ،‫خام‬ ‫ها‬‫ساختاری‬11 ‫و‬ ،‫مانند‬ ‫است‬ ‫ساختار‬ ‫بدون‬ ً‫ال‬‫کام‬ ‫یا‬‫ایمیل‬،‫دریافتی‬ ‫و‬ ‫ارسالی‬ ‫های‬ ‫شبکه‬ ‫اطالعات‬‫نمونه‬ ‫از‬ ‫همگی‬ ... ‫و‬ ‫اجتماعی‬ ‫های‬‫ا‬ ‫های‬‫هیچ‬ ‫زیرا‬ ‫است‬ ‫ساختار‬ ‫بدون‬ ‫طالعات‬‫قالب‬‫شده‬ ‫تعیین‬ ‫پیش‬ ‫از‬‫ندارند‬ ‫اطالعات‬ ‫ورود‬ ‫برای‬ ‫ای‬(Zikopoulos 2012, Katal, Wazid et al. 2013). 2-3-‫داده‬ ‫سرعت‬ ‫داده‬ ‫که‬ ‫است‬ ‫معنی‬ ‫به‬ ‫داده‬ ‫سرعت‬‫می‬ ‫منتقل‬ ‫و‬ ‫تولید‬ ‫سرعتی‬ ‫چه‬ ‫با‬ ‫مختلف‬ ‫اطالعاتی‬ ‫منابع‬ ‫طریق‬ ‫از‬ ‫ها‬‫داده‬ ‫مثال‬ ‫برای‬ ،‫شوند‬‫حسگرهای‬ ‫یک‬ ‫توسط‬ ‫که‬ ‫هایی‬RFID12 ‫مجموعه‬ ‫یک‬ ‫در‬ ‫می‬ ‫تولید‬‫ذخیره‬ ‫بر‬ ‫عالوه‬ ‫که‬ ‫بوده‬ ‫باال‬ ‫بسیار‬ ‫شود‬‫سیستم‬ ‫است‬ ‫واضح‬ ،‫بگیرند‬ ‫قرار‬ ‫نیز‬ ‫تحلیل‬ ‫و‬ ‫تجزیه‬ ‫مورد‬ ‫اطالعات‬ ‫باید‬ ،‫لحظه‬ ‫در‬ ‫اطالعات‬ ‫این‬ ‫سازی‬‫ذخیره‬ ‫سنتی‬ ‫های‬‫و‬ ‫سازی‬‫تحلیل‬ ‫نمی‬ ‫سادگی‬ ‫به‬ ‫اطالعات‬‫نمای‬ ‫و‬ ‫بررسی‬ ‫مورد‬ ‫لحظه‬ ‫در‬ ‫را‬ ‫اطالعات‬ ‫از‬ ‫جریان‬ ‫این‬ ‫توانند‬‫دهند‬ ‫قرار‬ ‫ش‬(Zikopoulos 2012, Katal, Wazid et al. 2013). 3-‫داده‬ ‫کالن‬ ‫کاربرد‬ ‫و‬ ‫اهمیت‬ ‫سال‬ ‫تا‬ ‫نمود‬ ‫اعالم‬ ‫آمریکا‬ ‫دولت‬2112‫زمینه‬ ‫روی‬ ‫بر‬ ،‫فعالیت‬ ‫و‬ ‫انرژی‬ ،‫دفاعی‬ ‫و‬ ‫نظامی‬ ،‫مجازی‬ ‫فضای‬ ‫امنیت‬ ،‫سالمت‬ ‫حوزه‬ ‫در‬ ‫داده‬ ‫کالن‬ ‫کاربردی‬ ‫های‬‫از‬ ‫بیش‬ ‫مرتبط‬ ‫تحقیقاتی‬ ‫های‬211 ‫نموده‬ ‫هزینه‬ ‫دالر‬ ‫میلیون‬(Kaisler, Armour et al. 2013)‫تصمیم‬ ‫بهبود‬ ‫جهت‬ ‫در‬ ‫را‬ ‫آن‬ ‫نتایج‬ ‫و‬‫سیاست‬ ‫و‬ ‫گیری‬‫زمینه‬ ‫در‬ ‫گذاری‬‫به‬ ‫شده‬ ‫برده‬ ‫نام‬ ‫های‬‫هدف‬ ‫واقع‬ ‫در‬ .‫است‬ ‫گرفته‬ ‫کار‬ ‫سرمایه‬ ‫اصلی‬‫سازمان‬ ‫و‬ ‫گذاران‬‫آن‬ ‫کاربردهای‬ ‫و‬ ‫داده‬ ‫کالن‬ ‫زمینه‬ ‫در‬ ‫ها‬‫تصمیم‬‫بیش‬ ‫حجم‬ ‫تحلیل‬ ‫طریق‬ ‫از‬ ‫صحیح‬ ‫و‬ ‫دقیق‬ ‫گیری‬‫داده‬ ‫تر‬.‫است‬ ‫ها‬ ‫روش‬‫الگوریتم‬ ‫به‬ ‫نسبت‬ ‫را‬ ‫خود‬ ‫قدرت‬ ‫زمانی‬ ‫داده‬ ‫کالن‬ ‫تحلیل‬ ‫تجزیه‬ ‫های‬‫داده‬ ‫های‬‫سیستم‬ ‫یا‬ ‫و‬ ‫کاوی‬‫پرس‬ ‫های‬‫پایگاه‬ ‫در‬ ‫پیشرفته‬ ‫وجو‬‫داده‬‫رابطه‬ ‫های‬‫می‬ ‫نمایان‬ ‫سنتی‬ ‫ای‬‫مج‬ ‫که‬ ‫سازد‬‫موعه‬‫ای‬ ‫داده‬ ‫از‬‫نیم‬ ،‫ساختاری‬ ‫های‬‫اقت‬ ،‫کار‬ ‫و‬ ‫کسب‬ ‫در‬ ‫داده‬ ‫کالن‬ ‫کاربردهای‬ ‫از‬ ‫مورد‬ ‫چند‬ ‫با‬ ‫ادامه‬ ‫در‬ .‫شود‬ ‫سیستم‬ ‫وارد‬ ‫اطالعاتی‬ ‫مختلف‬ ‫منابع‬ ‫از‬ ‫ساختار‬ ‫بدون‬ ‫و‬ ‫ساختاری‬ ‫ه‬‫بیش‬ .. ‫و‬ ‫صاد‬‫آشنا‬ ‫تر‬ ‫می‬.‫شویم‬ 3-1-‫اطالعات‬ ‫فناوری‬ ‫مهم‬ ‫از‬‫موقعیت‬ ‫ترین‬‫می‬ ‫اطالعات‬ ‫فناوری‬ ‫عرصه‬ ‫در‬ ‫داده‬ ‫کالن‬ ‫کاربردی‬ ‫های‬‫تجزیه‬ ‫به‬ ‫توان‬‫وقایع‬ ‫تحلیل‬ ‫و‬13 ‫شبکه‬‫کاربردها‬ ‫دیگر‬ ‫از‬ .‫نمود‬ ‫اشاره‬ ‫شبکه‬ ‫به‬ ‫نفوذ‬ ‫کشف‬ ‫یا‬ ‫و‬ ‫خطا‬ ‫کشف‬ ‫جهت‬ ‫در‬ ‫دست‬ ،‫شبکه‬ ‫در‬ ‫نوشتن‬ ‫عملکرد‬ ‫بردن‬ ‫باال‬‫کلید‬ ‫سریع‬ ‫یابی‬-‫داده‬ ‫به‬ ‫مقدار‬‫قابل‬ ‫شماتیک‬ ،‫ها‬‫داده‬ ‫انعطاف‬‫است‬ ‫اطالعات‬ ‫فناوری‬ ‫عرصه‬ ‫در‬ ‫ای‬(Katal, Wazid et al. 2013, Soumendra Mohanty 2013). 3-2-‫کسب‬ ‫و‬ ‫اقتصاد‬‫وکار‬ ‫ارزش‬ ‫با‬ ‫شاید‬‫تراکنش‬ ‫و‬ ‫مشتریان‬ ‫اطالعات‬ ‫از‬ ‫عظیمی‬ ‫حجم‬ ‫با‬ ‫که‬ ‫جایی‬ ‫در‬ ،‫باشد‬ ‫کار‬ ‫و‬ ‫کسب‬ ‫حوزه‬ ‫در‬ ‫اقتصادی‬ ‫نظر‬ ‫از‬ ‫داده‬ ‫کالن‬ ‫تحلیل‬ ‫کاربرد‬ ‫ترین‬‫آن‬ ‫خرید‬ ‫های‬‫با‬ ‫و‬ ‫هستیم‬ ‫مواجه‬ ‫ها‬ ‫داده‬ ‫مناسب‬ ‫تحلیل‬ ‫و‬ ‫تجزیه‬‫های‬‫می‬ ‫مشتریان‬‫سیاست‬ ‫توان‬.‫برد‬ ‫کار‬ ‫به‬ ‫را‬ ‫دقیق‬ ‫بازاریابی‬ ‫و‬ ‫فروش‬ ‫افزایش‬ ‫جهت‬ ‫مناسب‬ ‫راهکارهای‬ ‫و‬ ‫ها‬ ‫می‬ ‫مثال‬ ‫برای‬‫بیش‬ ‫فروش‬ ‫جهت‬ ‫در‬ ‫محصول‬ ‫صحیح‬ ‫قیمت‬ ‫تنظیم‬ ،‫مشتریان‬ ‫خرید‬ ‫سبد‬ ‫به‬ ‫مربوط‬ ‫اطالعات‬ ‫تحلیل‬ ‫و‬ ‫تجزیه‬ ‫با‬ ‫توان‬‫توجه‬ ‫با‬ ‫فروشگاه‬ ‫در‬ ‫محصوالت‬ ‫قرارگیری‬ ‫محل‬ ‫طراحی‬ ،‫تر‬ ‫اطال‬ ‫به‬‫راه‬ ‫کشف‬ ،‫خریداران‬ ‫حرکت‬ ‫آماری‬ ‫عات‬‫عرضه‬ ‫زنجیره‬ ‫مدیریت‬ ،‫فروشگاه‬ ‫از‬ ‫مجدد‬ ‫خرید‬ ‫در‬ ‫مشتری‬ ‫ترغیب‬ ‫کارهای‬14 ‫تقسیم‬ ،‫مشتریان‬ ‫بندی‬15 ‫به‬ ‫مناسب‬ ‫زمان‬ ‫در‬ ‫کاال‬ ‫دقیق‬ ‫پیشنهاد‬ ، ‫نمود‬ ‫اشاره‬ ... ‫و‬ ‫مشتری‬(Marjanovic, Ariyachandra et al. 2014). ‫زمینه‬ ‫در‬‫فعالیت‬ ‫و‬ ‫اقتصاد‬‫می‬ ‫نیز‬ ‫بانکی‬ ‫های‬‫داده‬ ‫آنالیز‬ ‫با‬ ‫توان‬‫پیش‬ ‫را‬ ‫طرح‬ ‫یک‬ ‫با‬ ‫مرتبط‬ ‫ریسک‬ ‫میزان‬ ‫ها‬‫کارت‬ ‫از‬ ‫استفاده‬ ‫سوء‬ ‫بانکی‬ ‫زمینه‬ ‫در‬ ‫یا‬ ‫و‬ ‫نمود‬ ‫بینی‬‫مش‬ ‫اعتباری‬ ‫های‬‫شکل‬ ‫به‬ ‫تریان‬ ‫شک‬ ‫الگوی‬ ‫تشخیص‬‫کاله‬ ،‫تقلب‬ ‫یا‬ ‫و‬ ‫نفوذ‬ ‫کشف‬ .‫برد‬ ‫نام‬ ‫اعتباری‬ ‫کارت‬ ‫از‬ ‫استفاده‬ ‫در‬ ‫برانگیز‬‫بردا‬‫پول‬ ‫یا‬ ‫و‬ ‫ری‬‫تراکنش‬ ‫تحلیل‬ ‫و‬ ‫تجزیه‬ ‫از‬ ‫استفاده‬ ‫با‬ ‫شویی‬‫مشتریان‬ ‫مالی‬ ‫های‬‫منابع‬ ‫دیگر‬ ‫با‬ ‫است‬ ‫شده‬ ‫کاربردی‬ ‫بسیار‬ ‫امروزه‬ ،‫نیز‬ ‫اطالعاتی‬(Soumendra Mohanty 2013). 11 Semistructured 12 Radio-Frequency IDentification 13 Log 14 Supply-chain 15 Consumer segmentations
  • 4. 3-3-‫سالمت‬ ‫و‬ ‫زندگی‬ ‫می‬ ‫سالمت‬ ‫و‬ ‫بیمه‬ ‫زمینه‬ ‫در‬ ‫داده‬ ‫کالن‬ ‫تحلیل‬ ‫کاربردهای‬ ‫از‬‫کیفیت‬ ‫بردن‬ ‫باال‬ ‫به‬ ‫توان‬‫نگه‬‫نگه‬ ‫برنامه‬ ‫بهبود‬ ‫و‬ ‫بیماران‬ ‫از‬ ‫داری‬.‫نمود‬ ‫اشاره‬ ‫آنان‬ ‫داری‬‫پیش‬ ‫و‬ ‫بیماران‬ ‫با‬ ‫رفتار‬ ‫نوع‬ ‫تعیین‬‫گویی‬ ‫م‬ ‫میزان‬‫ؤ‬‫جراحی‬ ‫اعمال‬ ‫فقیت‬،‫تعیین‬‫میزان‬‫مؤفقیت‬‫روش‬‫های‬‫درمانی‬‫در‬‫برخورد‬‫با‬‫بیماری‬‫های‬،‫سخت‬‫تشخیص‬‫بیماری‬‫ها‬‫براساس‬‫انواع‬‫اطالعات‬(‫تصاویر‬،‫پزشکی‬‫مشخصات‬‫بیمار‬ ‫احتمالی‬)‫برد‬ ‫نام‬ ... ‫و‬ ‫افراد‬ ‫در‬ ‫امراض‬ ‫ایجادکننده‬ ‫مختلف‬ ‫الگوهای‬ ‫بررسی‬ ‫و‬ ‫بیماران‬ ‫بهبودی‬ ‫روند‬ ‫بر‬ ‫داروها‬ ‫تأثیر‬ ،(Sagiroglu and Sinanc 2013, Liu and Park 2014). 3-4-‫اجتم‬ ‫شبکه‬‫اعی‬ ‫کاربردی‬ ‫از‬ ‫یکی‬‫زمینه‬ ‫ترین‬‫شبکه‬ ‫در‬ ‫آن‬ ‫تحلیل‬ ‫و‬ ‫داده‬ ‫کالن‬ ‫های‬‫می‬ ‫نمایان‬ ‫اجتماعی‬ ‫های‬‫بهینه‬ ‫و‬ ‫محصول‬ ‫یک‬ ‫مورد‬ ‫در‬ ‫افراد‬ ‫نظرات‬ ‫بررسی‬ .‫شود‬،‫باالتر‬ ‫فروش‬ ‫به‬ ‫رسیدن‬ ‫جهت‬ ‫در‬ ‫آن‬ ‫سازی‬ ‫بهینه‬‫عالقه‬ ‫لیست‬ ‫به‬ ‫توجه‬ ‫با‬ ‫جستجو‬ ‫موتورهای‬ ‫در‬ ‫پیشنهادی‬ ‫کاالی‬ ‫سازی‬‫مندی‬‫پیش‬ ،‫وی‬ ‫اجتماعی‬ ‫شبکه‬ ‫در‬ ‫فرد‬ ‫های‬‫کاربران‬ ‫نظرات‬ ‫تحلیل‬ ‫و‬ ‫تجزیه‬ ‫از‬ ‫استفاده‬ ‫با‬ ‫انتخابات‬ ‫برنده‬ ‫بینی‬ (Mahmood, Iqbal et al. 2013)‫مهم‬ ‫از‬.‫است‬ ‫اجتماعی‬ ‫شبکه‬ ‫در‬ ‫داده‬ ‫کالن‬ ‫کاربردهای‬ ‫ترین‬ 4-‫روش‬ ‫و‬ ‫ابزارها‬‫موجود‬ ‫های‬ 4-1-No SQL ‫اگر‬ ‫گذشته‬ ‫در‬‫سازمان‬‫داده‬ ‫از‬ ‫عظیمی‬ ‫حجم‬ ‫با‬ ‫ها‬‫داده‬ ‫پایگاه‬ ‫روی‬ ‫بر‬ ‫ها‬‫رابطه‬‫ای‬16 ‫می‬ ‫مواجه‬ ‫خود‬‫منظور‬ ‫به‬ ،‫گشتند‬‫نگه‬‫تحلیل‬ ‫و‬ ‫داری‬‫رایانه‬ ‫َر‬‫ب‬‫ا‬ ‫یک‬ ‫از‬ ‫بودند‬ ‫مجبور‬ ‫اطالعات‬17 ‫داده‬ ‫انباره‬ ‫یا‬ ‫و‬‫ای‬ ‫داده‬ ‫پایگاه‬ ‫ضعف‬ .‫کند‬ ‫استفاده‬‫رابطه‬ ‫های‬‫نگه‬ ‫در‬ ‫ای‬‫داده‬ ‫از‬ ‫عظیمی‬ ‫حجم‬ ‫تحلیل‬ ‫و‬ ‫تجزیه‬ ‫و‬ ‫داری‬‫نیمه‬ ‫های‬‫جدیدی‬ ‫فناوری‬ ‫کردن‬ ‫مطرح‬ ‫با‬ ‫دانشمندان‬ ‫و‬ ‫گشت‬ ‫نمایان‬ ‫ساختار‬ ‫بدون‬ ‫و‬ ‫ساختاری‬ ‫نام‬ ‫به‬NoSQL11 ‫پایگاه‬ ‫از‬ ‫جدیدی‬ ‫نسل‬ ‫ساخت‬ ‫به‬ ‫اقدام‬‫داده‬ ‫های‬‫می‬ ‫که‬ ‫ای‬‫نگه‬ ‫را‬ ‫اطالعات‬ ‫از‬ ‫عظیمی‬ ‫حجم‬ ‫تواند‬‫کند‬ ‫پردازش‬ ‫و‬ ‫داری‬،.‫نمودند‬ 4-2-Apache Hadoop ‫قوی‬ ‫از‬ ‫یکی‬ ‫هادوپ‬‫پایگاه‬ ‫ترین‬‫داده‬‫متن‬ ‫های‬‫جنبش‬ ‫در‬ ‫باز‬NoSQL‫ذخیره‬ ‫منظور‬ ‫به‬ ‫آپاچی‬ ‫بنیاد‬ ‫توسط‬ ‫که‬ ‫است‬‫داده‬ ‫از‬ ‫عظیمی‬ ‫حجم‬ ‫پردازش‬ ‫و‬ ‫سازی‬‫غیررابطه‬ ‫های‬‫مدل‬ ‫یک‬ ‫طریق‬ ‫از‬ ‫ای‬ ‫توزیع‬‫مقیاس‬ ‫با‬ ‫شده‬‫پذیری‬10 ‫شرکت‬ .‫است‬ ‫شده‬ ‫ساخته‬ ،‫باال‬‫آن‬ ‫بودن‬ ‫باز‬ ‫متن‬ ‫ماهیت‬ ‫به‬ ‫توجه‬ ‫با‬ ‫زیادی‬ ‫های‬‫مدل‬ ‫توزیع‬ ‫و‬ ‫ساخت‬ ‫به‬ ‫اقدام‬‫نموده‬ ‫هادوپ‬ ‫کاربردی‬ ‫های‬‫مشهورترین‬ ‫از‬ ‫که‬ ‫اند‬ ‫آن‬‫می‬ ‫ها‬‫به‬ ‫توان‬Hortonworks‫و‬Cloudera.‫نمود‬ ‫اشاره‬‫ذخیره‬ ‫سیستم‬ ‫از‬ ‫الهام‬ ‫با‬ ‫هادوپ‬‫سازی‬BigTable‫فایل‬ ‫سیستم‬ ،GFS21 ‫نگاشت‬ ‫تکنیک‬ ‫و‬-‫کاهش‬21 ‫پیش‬ ‫که‬‫توسط‬ ‫تر‬ ،‫بود‬ ‫شده‬ ‫کاربردی‬ ‫و‬ ‫طراحی‬ ‫گوگل‬ ‫شرکت‬‫داده‬ ‫پایگاه‬ ‫با‬ ‫جایگزینی‬ ‫هادوپ‬ ‫توزیع‬ ‫از‬ ‫هدف‬ ‫واقع‬ ‫در‬ .‫شد‬ ‫ساخته‬‫انباره‬ ‫یا‬ ‫و‬ ‫سنتی‬ ‫های‬‫داده‬ ‫های‬‫می‬ ‫هادوپ‬ ‫بلکه‬ ‫نیست‬ ‫ای‬‫ا‬ ‫استفاده‬ ‫با‬ ‫تواند‬‫ز‬ ‫داده‬ ‫تحلیل‬ ‫و‬ ‫تجزیه‬ ‫و‬ ‫داری‬ ‫نگه‬ ،‫شده‬ ‫توزیع‬ ‫سیستم‬ ‫فایل‬ ‫مدیریت‬ ‫ابزار‬ ‫مانند‬ ‫خود‬ ‫کاربردی‬ ‫ابزارهای‬‫درخواست‬ ،‫ها‬‫مقیاس‬ ‫با‬ ‫را‬ ‫ها‬‫پذیر‬.‫نماید‬ ‫پردازش‬ ‫و‬ ‫اجرا‬ ‫موازی‬ ‫شکل‬ ‫به‬ ‫باال‬ ‫ی‬ ‫شکل‬2-‫ساختار‬‫هادوپ‬ ‫ارتباطی‬ 16 RDBMS 17 Main-frame 18 Not Only SQL 19 Scalability 20 Google File System 21 Map-Reduce
  • 5. HDFS22 :‫توزیع‬ ‫فایل‬ ‫سیستم‬ ‫یک‬‫مقیاس‬ ،‫شده‬‫داده‬ ،‫اطمینان‬ ‫قابلیت‬ ‫افزایش‬ ‫برای‬ ‫فایل‬ ‫سیستم‬ ‫این‬ .‫است‬ ‫شده‬ ‫نوشته‬ ‫جاوا‬ ‫زبان‬ ‫از‬ ‫استفاده‬ ‫با‬ ‫که‬ ‫بوده‬ ‫اطمینان‬ ‫قابل‬ ‫و‬ ‫پذیر‬‫در‬ ‫را‬ ‫ها‬ ‫میزبان‬‫می‬ ‫تکثیر‬ ‫مختلف‬ ‫های‬‫قابلیت‬ ‫به‬ ‫دلیل‬ ‫همین‬ ‫به‬ ‫و‬ ‫کند‬RAID‫میزبان‬ ‫روی‬.‫ندارد‬ ‫احتیاجی‬ ‫ها‬ HBase:‫غیررابطه‬ ،‫شده‬ ‫توزیع‬ ‫داده‬ ‫پایگاه‬‫ای‬‫می‬ ‫ایجاد‬ ‫هادوپ‬ ‫برای‬ ‫را‬ ‫تصادفی‬ ‫نوشتن‬ ‫و‬ ‫خواندن‬ ‫دسترسی‬ ‫که‬ ‫است‬ ‫باز‬ ‫متن‬ ‫و‬.‫کند‬ ‫نگاشت‬ ‫چارچوب‬-:‫کاهش‬‫نرم‬ ‫چارچوب‬‫توزیع‬ ‫محاسبات‬ ‫اجرای‬ ‫جهت‬ ‫افزاری‬‫داده‬ ‫از‬ ‫عظیمی‬ ‫مجموعه‬ ‫روی‬ ‫شده‬‫ذخیره‬ ‫های‬‫خوشه‬ ‫روی‬ ‫شده‬‫های‬23 ‫شبکه‬‫سال‬ ‫در‬ ‫که‬ ‫است‬ ‫ای‬2114 .‫شد‬ ‫معرفی‬ ‫و‬ ‫ساخته‬ ‫گوگل‬ ‫توسط‬ ‫میالدی‬ ‫در‬‫کوچک‬ ‫مجموعه‬ ‫سری‬ ‫یک‬ ‫به‬ ‫ورودی‬ ‫اطالعات‬ ،‫نگاشت‬ ‫مرحله‬‫دسته‬ ‫تر‬‫می‬ ‫تقسیم‬ ‫شده‬ ‫بندی‬‫(کلید‬ ‫زوج‬ ‫از‬ ‫شده‬ ‫مرتب‬ ‫لیست‬ ‫یک‬ ‫نگاشت‬ ‫مرحله‬ ‫خروجی‬ ‫و‬ ‫شود‬-‫مقدار‬24 .‫بود‬ ‫خواهد‬ ) ‫مرتب‬ ‫اطالعات‬ ‫دارد‬ ‫نام‬ ‫کاهش‬ ‫گام‬ ‫که‬ ‫بعد‬ ‫درمرحله‬‫دسته‬ ‫در‬ ،‫شده‬‫می‬ ‫تولید‬ ‫نهایی‬ ‫خرجی‬ ‫و‬ ‫شده‬ ‫ادغام‬ ‫کوچکتر‬ ‫های‬‫شود‬(Bakshi 2012). ‫می‬ ‫موازی‬ ‫اجرای‬ ‫برای‬ ‫چارچوب‬ ‫این‬ ‫از‬ ‫استفاده‬ ‫مزایای‬ ‫از‬:‫نمود‬ ‫اشاره‬ ‫زیر‬ ‫موارد‬ ‫به‬ ‫توان‬ o‫مقیاس‬‫باال‬ ‫پذیری‬ o‫محاسباتی‬ ‫بار‬ ‫پخش‬25 ‫به‬‫گره‬ ‫روی‬ ‫بر‬ ‫متعادل‬ ‫صورت‬‫ها‬ o‫بهینه‬‫شبکه‬ ‫و‬ ‫دیسک‬ ‫بین‬ ‫اطالعات‬ ‫انتقال‬ ‫سازی‬ o‫تداخل‬ ‫بدون‬ ‫موازی‬ ‫اجرای‬ o‫باال‬ ‫خطای‬ ‫مقاومت‬ Hive:‫داده‬ ‫از‬ ‫عظیمی‬ ‫مجموعه‬ ‫تحلیل‬ ‫و‬ ‫تجزیه‬ ‫امکان‬‫به‬ ‫شبیه‬ ‫زبانی‬ ‫ارائه‬ ‫با‬ ‫را‬ ‫دارد‬ ‫قرار‬ ‫هادوپ‬ ‫با‬ ‫سازگار‬ ‫سیستم‬ ‫فایل‬ ‫روی‬ ‫بر‬ ‫که‬ ‫ها‬SQL‫می‬ ‫کاربران‬ ‫اختیار‬ ‫در‬.‫گذارد‬ Pig:‫سال‬ ‫در‬2116‫نگاشت‬ ‫عملیات‬ ‫اجرای‬ ‫و‬ ‫ایجاد‬ ‫جهت‬ ‫ساده‬ ‫روشی‬ ،‫یاهو‬ ‫تحقیقاتی‬ ‫مراکز‬ ‫توسط‬-‫ا‬ ‫عظیمی‬ ‫مجموعه‬ ‫روی‬ ‫کاهش‬‫داده‬ ‫ز‬‫که‬ ‫شد‬ ‫ساخته‬ ‫ها‬Pig.‫گرفت‬ ‫نام‬ Mahout:‫دسته‬ ‫جهت‬ ‫ابزاری‬‫طبقه‬ ‫و‬ ‫بندی‬‫داده‬ ‫بندی‬‫الگوریتم‬ ‫از‬ ‫استفاده‬ ‫با‬ ‫ها‬.‫است‬ ‫ماشین‬ ‫یادگیری‬ ‫های‬ Oozie:‫مختصات‬ ‫سرویس‬.‫دارد‬ ‫عهده‬ ‫بر‬ ‫را‬ ‫داده‬ ‫پردازش‬ ‫مختلف‬ ‫عملیات‬ ‫مدیریت‬ ‫که‬ ‫است‬ ‫کار‬ ‫گردش‬ ‫و‬ ‫دهی‬ 5-‫در‬ ‫اطالعات‬ ‫تحلیل‬ ‫حوزه‬ ‫مسائل‬‫داده‬ ‫کالن‬ 5-1-‫روش‬ ‫کاربرد‬ ‫عدم‬‫داده‬ ‫کالن‬ ‫در‬ ‫اطالعات‬ ‫تحلیل‬ ‫سنتی‬ ‫های‬ ‫داده‬ ‫سنتی‬ ‫تحلیل‬ ‫و‬ ‫تجزیه‬ ‫علم‬ ‫در‬‫(داده‬ ‫ها‬‫داده‬ ،)‫کاوی‬‫انباره‬ ‫در‬ ‫معمول‬ ‫طور‬ ‫به‬ ‫اولیه‬ ‫های‬‫داده‬ ‫های‬‫داده‬ ‫انباره‬ ‫هر‬ ‫و‬ ‫گرفته‬ ‫قرار‬ ‫ای‬‫می‬ ‫نیز‬ ‫ای‬‫برای‬ ‫شده‬ ‫تعریف‬ ‫پیش‬ ‫از‬ ‫قالب‬ ‫یک‬ ‫از‬ ‫بایست‬ ‫مدیریت‬ ‫و‬ ‫نگهداری‬‫داده‬‫می‬ ‫استفاده‬ ‫خود‬ ‫های‬‫داده‬ ‫انباره‬ ‫از‬ ‫استفاده‬ ‫نماید‬ ‫اجرایی‬ ‫اطالعات‬ ‫روی‬ ‫بر‬ ‫را‬ ‫خود‬ ‫تحلیل‬ ‫و‬ ‫تجزیه‬ ،‫کاربرد‬ ‫و‬ ‫نیاز‬ ‫براساس‬ ‫بتواند‬ ‫تا‬ ‫کرد‬‫معایب‬ ‫اطالعات‬ ‫تحلیل‬ ‫در‬ ‫ای‬‫ی‬ ‫تصمیم‬ ‫در‬ ‫فناوری‬ ‫امروز‬ ‫کاربردهای‬ ‫به‬ ‫توجه‬ ‫با‬ ‫را‬‫داده‬ ‫است‬ ‫این‬ ‫اول‬ ‫مشکل‬ .‫دارد‬ ‫گیری‬‫نبو‬ ‫روز‬ ‫به‬ ‫آن‬ ‫های‬‫می‬ ‫زیادی‬ ‫زمان‬ ‫مدت‬ ‫آن‬ ‫تولید‬ ‫عمر‬ ‫از‬ ‫و‬ ‫ده‬‫کاربرد‬ ‫از‬ ‫بعضی‬ ‫در‬ ‫و‬ ‫گذرد‬‫تحلیل‬ ‫های‬ ‫داده‬ ‫به‬ ‫نیاز‬ ‫داده‬ ‫کالن‬‫انباره‬ ‫در‬ ‫اطالعات‬ ‫مدیریت‬ ‫به‬ ‫مربوط‬ ‫دوم‬ ‫مشکل‬ .‫داریم‬ ‫برخط‬ ‫و‬ ‫جدید‬ ‫های‬‫داده‬‫می‬ ‫کنترل‬ ‫و‬ ‫مدیریت‬ ‫تیم‬ ‫یک‬ ‫توسط‬ ‫و‬ ‫بوده‬ ‫متمرکز‬ ‫شکل‬ ‫به‬ ‫که‬ ‫است‬ ‫ای‬‫ام‬ ‫شود‬‫در‬ ‫ا‬ ‫حج‬ ‫با‬ ‫داده‬ ‫کالن‬‫داده‬ ‫از‬ ‫عظیمی‬ ‫م‬‫مو‬ ‫اجرای‬ ‫قابلیت‬ ‫باید‬ ‫داده‬ ‫از‬ ‫حجم‬ ‫این‬ ‫روی‬ ‫تحلیلی‬ ‫و‬ ‫پردازشی‬ ‫عمل‬ ‫هر‬ ‫که‬ ‫داریم‬ ‫برخورد‬ ‫دارد‬ ‫قرار‬ ‫شده‬ ‫توزیع‬ ‫و‬ ‫غیرمتمرکز‬ ‫شکل‬ ‫به‬ ‫که‬ ‫ها‬‫روی‬ ‫بر‬ ‫ازی‬ ‫خوشه‬ ‫زیادی‬ ‫تعداد‬.‫باشد‬ ‫داشته‬ ‫را‬ ‫شبکه‬ ‫در‬ ‫ها‬ 5-2-‫چالش‬‫داده‬ ‫تحلیل‬ ‫های‬ ‫چالش‬ ‫همواره‬ ‫حوزه‬ ‫این‬ ‫در‬‫به‬ ‫زیادی‬ ‫های‬‫ویژگی‬ ‫و‬ ‫داده‬ ‫کالن‬ ‫ماهیت‬ ‫دلیل‬‫چالش‬ ‫از‬ .‫هست‬ ‫و‬ ‫بوده‬ ‫مطرح‬ ‫آن‬ ‫های‬‫می‬ ‫آن‬ ‫روز‬ ‫های‬‫نیمه‬ ‫اطالعات‬ ‫تحلیل‬ ‫به‬ ‫توان‬‫اشاره‬ ‫ساختار‬ ‫بدون‬ ‫و‬ ‫ساختاری‬ ‫روش‬ ‫از‬ ‫یکی‬ .‫نمود‬‫داده‬ ‫در‬ ‫اطالعات‬ ‫تحلیل‬ ‫های‬‫فراداده‬ ‫از‬ ‫استفاده‬ ‫متنی‬ ‫ساختار‬ ‫بدون‬ ‫های‬26 ‫پیامی‬ ‫اجتماعی‬ ‫شبکه‬ ‫در‬ ‫فردی‬ ‫مثال‬ ‫برای‬ ‫است‬‫می‬ ‫شکل‬ ‫این‬ ‫به‬‫نویسد‬"‫پوشش‬ ‫وضعیت‬ ‫از‬ ‫من‬ ‫سرویس‬ ‫است‬ ‫بهتر‬ ،‫دارد‬ ‫را‬ ‫شبکه‬ ‫پوشش‬ ‫بهترین‬ ‫بود‬ ‫شده‬ ‫گفته‬ ‫تبلیغات‬ ‫در‬ ‫که‬ ‫صورتی‬ ‫در‬ ‫نیستم‬ ‫راضی‬ ‫خود‬ ‫همراه‬ ‫تلفن‬ ‫شبکه‬!‫کنم‬ ‫عوض‬ ‫را‬ ‫خود‬ ‫دهنده‬"‫مشتری‬ ‫قصد‬ ‫از‬ ‫شدن‬ ‫آگاه‬ ‫برای‬ ‫شبکه‬‫فراداده‬ ‫خود‬ ‫استنتاج‬ ‫موتور‬ ‫از‬ ‫استفاده‬ ‫با‬ ‫اجتماعی‬ ‫های‬‫ه‬‫مانند‬ ‫کلیدی‬ ‫ای‬"‫سرویس‬‫دهنده‬"،"‫نیستم‬ ‫راضی‬"،"‫رضایت‬"،"‫قصد‬"‫نشانه‬ ‫را‬‫می‬ ‫لحظه‬ ‫در‬ ‫و‬ ‫کرده‬ ‫گذاری‬‫داده‬ ‫توانند‬‫را‬ ‫ها‬ ‫ف‬ ‫مدیریت‬ ‫مبحث‬ ‫همواره‬ ‫و‬ ‫است‬ ‫نیز‬ ‫ویدئو‬ ‫و‬ ‫صداها‬ ،‫تصاویر‬ ‫از‬ ‫عظیمی‬ ‫حجم‬ ‫شامل‬ ‫و‬ ‫نبوده‬ ‫متن‬ ‫به‬ ‫محدود‬ ‫داده‬ ‫کالن‬ ‫که‬ ‫است‬ ‫مشخص‬ .‫کنند‬ ‫تحلیل‬‫راداده‬‫ی‬ ‫عنوان‬ ‫به‬ ‫ها‬‫روش‬ ‫از‬ ‫کی‬‫های‬ ‫بیش‬ ‫پژوهش‬ ‫به‬ ‫نیاز‬ ‫که‬ ‫است‬ ‫جذاب‬ ‫موضوعی‬ ‫داده‬ ‫کالن‬ ‫در‬ ‫اطالعات‬ ‫تحلیل‬.‫دارد‬ ‫تری‬ 22 Hadoop Distributed File System 23 Cluster 24 (Key,Value) 25 Load Balancing 26 Metadata
  • 6. ‫مقاله‬ ‫این‬ ‫در‬(Kaisler, Espinosa et al. 2014)16‫طبقه‬‫پاک‬ ‫مباحث‬ ‫از‬ ‫و‬ ‫شده‬ ‫آورده‬ ‫داده‬ ‫کالن‬ ‫در‬ ‫اطالعات‬ ‫تحلیل‬ ‫مختلف‬ ‫انواع‬ ‫از‬ ‫بندی‬‫آماده‬ ‫و‬ ‫سازی‬‫داده‬ ‫سازی‬‫غنی‬ ،‫ها‬‫سازی‬27 ‫داده‬‫نامتعادل‬ ‫جمعیت‬ ،‫خام‬ ‫های‬21 ‫چالش‬ ‫عنوان‬ ‫به‬‫داده‬ ‫تحلیل‬ ‫های‬‫می‬ ‫نام‬ ‫ها‬.‫برد‬ 5-3-‫چالش‬‫شخصی‬ ‫حریم‬ ‫و‬ ‫امنیت‬ ‫های‬ ‫چالش‬ ‫از‬‫شبکه‬ ‫در‬ ً‫ا‬‫خصوص‬ ‫داده‬ ‫کالن‬ ‫در‬ ‫خصوصی‬ ‫حریم‬ ‫های‬‫فرد‬ ‫برای‬ ‫که‬ ‫شود‬ ‫منجر‬ ‫دانشی‬ ‫کشف‬ ‫به‬ ‫است‬ ‫ممکن‬ ‫تحلیل‬ ‫از‬ ‫پس‬ ‫که‬ ‫است‬ ‫افراد‬ ‫حساس‬ ‫اطالعات‬ ،‫اجتماعی‬ ‫های‬ .‫باشد‬ ‫داشته‬ ‫اطالع‬ ‫آن‬ ‫از‬ ‫دیگری‬ ‫شخص‬ ‫هر‬ ‫یا‬ ‫و‬ ‫اطالعات‬ ‫دارنده‬ ‫ندارد‬ ‫تمایل‬ ‫و‬ ‫بوده‬ ‫خصوصی‬ ‫ا‬‫افراد‬ ‫خصوصی‬ ‫حریم‬ ‫اطالعات‬ ‫از‬ ‫دولت‬ ‫یا‬ ‫و‬ ‫قانون‬ ‫مجری‬ ‫ستفاده‬ ‫شبکه‬ ،‫جستجو‬ ‫موتورهای‬ ‫مؤثر‬ ‫تبلیغات‬ ‫در‬ ‫افراد‬ ‫شخصی‬ ‫اطالعات‬ ‫از‬ ‫استفاده‬... ‫و‬ ‫الکترونیکی‬ ‫پست‬ ،‫اجتماعی‬ ‫های‬ 5-4-‫چالش‬‫پردازشی‬ ‫و‬ ‫فنی‬ ‫های‬ ‫راه‬ ‫و‬ ‫ابری‬ ‫رایانش‬ ‫مفهوم‬ ‫کنار‬ ‫در‬‫مقیاس‬ ‫رفتن‬ ‫باال‬ ‫در‬ ‫آن‬ ‫کارهای‬‫الگوریتم‬ ‫از‬ ‫بعضی‬ ،‫شبکه‬ ‫در‬ ‫پذیری‬‫فناوری‬ ‫و‬ ‫ها‬‫داده‬ ‫تحلیل‬ ‫های‬‫داده‬ ‫نشان‬ ‫خود‬ ‫از‬ ‫را‬ ‫مناسبی‬ ‫عملکرد‬ ‫پایین‬ ‫مقیاس‬ ‫در‬ ‫ها‬‫اند‬ ‫مقاله‬ ‫این‬ ‫در‬ ‫اما‬(Armour et al. 2013Kaisler,)‫می‬ ‫گفته‬‫الگوریتم‬ ‫از‬ ‫بعضی‬ ‫شود‬‫فناوری‬ ‫و‬ ‫ها‬‫مقیاس‬ ‫است‬ ‫آمده‬ ‫ادامه‬ ‫در‬ ‫که‬ ‫حاضر‬ ‫حال‬ ‫های‬‫زتابایت‬ ‫حجم‬ ‫اندازه‬ ‫به‬ ‫پذیری‬20 ‫نداشته‬ ‫را‬ .‫باشند‬ ‫تکنیک‬‫ماشین‬ ‫یادگیری‬ ‫های‬ ‫متنی‬ ‫اطالعات‬ ‫تحلیل‬-‫ویدئویی‬-‫ساختار‬ ‫بدون‬ ‫صوتی‬ ‫داده‬ ‫تصویرسازی‬‫ها‬31 ‫ابری‬ ‫رایانش‬ ‫داده‬‫کاوی‬ ‫الگوریتم‬‫مش‬ ‫و‬ ‫گراف‬ ‫های‬ ‫داده‬ ‫شدن‬ ‫اضافه‬‫الگوریتم‬ ‫به‬ ‫ساختاری‬ ‫های‬‫موجود‬ ‫های‬ 6-‫نتیجه‬‫آینده‬ ‫کارهای‬ ‫و‬ ‫گیری‬ ‫ویژگی‬ ‫و‬ ‫داده‬ ‫کالن‬ ‫معرفی‬ ‫از‬ ‫پس‬ ‫مقاله‬ ‫این‬ ‫در‬‫چالش‬ ‫و‬ ‫کاربردها‬ ،‫آن‬ ‫های‬‫قوی‬ ‫عنوان‬ ‫به‬ ‫هادوپ‬ ‫ساختار‬ ‫و‬ ‫گرفت‬ ‫قرار‬ ‫بررسی‬ ‫مورد‬ ‫آن‬ ‫های‬‫ابزار‬ ‫ترین‬ ‫مطرح‬ ‫و‬ ‫ترین‬‫کالن‬ ‫تحلیل‬ ‫و‬ ‫مدیریت‬ ‫تصمیم‬ ‫به‬ ‫کمک‬ .‫گشت‬ ‫تبیین‬ ‫داده‬‫می‬ ‫را‬ ‫تجاری‬ ‫هوش‬ ‫رفتن‬ ‫باال‬ ‫و‬ ‫صحیح‬ ‫و‬ ‫دقیق‬ ‫گیری‬‫مهم‬ ‫از‬ ‫توان‬‫شرکت‬ ‫که‬ ‫نمود‬ ‫عنوان‬ ‫داده‬ ‫کالن‬ ‫دستاوردهای‬ ‫ترین‬‫سازمان‬ ‫و‬ ‫ها‬‫سالی‬ ‫چند‬ ‫بزرگ‬ ‫های‬ ‫توانسته‬ ‫آن‬ ‫کمک‬ ‫به‬ ‫است‬‫عرصه‬ ‫اند‬.‫کنند‬ ‫تعریف‬ ‫مدیریت‬ ‫و‬ ‫فناوری‬ ‫در‬ ‫جدید‬ ‫ای‬ ‫مباح‬‫می‬ ‫آینده‬ ‫در‬ ‫که‬ ‫است‬ ‫کاربردهایی‬ ‫از‬ ‫مورد‬ ‫چند‬ ‫فقط‬ ‫زیر‬ ‫ث‬‫بیش‬ ‫تواند‬‫به‬ ‫و‬ ‫گیرد‬ ‫صورت‬ ‫پژوهش‬ ‫آن‬ ‫روی‬ ‫بر‬ ‫تر‬.‫است‬ ‫مطرح‬ ‫آن‬ ‫در‬ ‫متعددی‬ ‫مسائل‬ ‫همواره‬ ،‫عرصه‬ ‫این‬ ‫بودن‬ ‫نوظهور‬ ‫دلیل‬ ‫می‬ ‫فعالیت‬ ‫ابری‬ ‫رایانش‬ ‫زمینه‬ ‫در‬ ‫که‬ ‫افرادی‬‫می‬ ‫کنند‬‫عنوان‬ ‫به‬ ‫داده‬ ‫کالن‬ ‫همانند‬ ‫مسائلی‬ ‫روی‬ ‫بر‬ ‫توانند‬‫سرویس‬31 ‫سرویس‬ ‫عنوان‬ ‫به‬ ‫تحلیل‬ ‫سکوی‬ ‫یا‬ ‫و‬32 ‫پژوهش‬ ‫ابری‬ ‫رایانش‬ ‫بستر‬ ‫در‬ ‫مدل‬ ‫ارائه‬ ،‫نمایند‬‫راه‬ ‫برای‬ ‫متنوع‬ ‫تجاری‬ ‫های‬‫کسب‬ ‫یک‬ ‫اندازی‬‫و‬‫سازمان‬ ‫دیگر‬ ‫به‬ ‫داده‬ ‫تحلیل‬ ‫سرویس‬ ‫ارائه‬ ‫خواستار‬ ‫که‬ ،‫کار‬‫نرم‬ ‫کوچک‬ ‫شرکت‬ ‫یک‬ ً‫ال‬‫مث‬ .‫است‬ ‫ها‬‫دارای‬ ‫که‬ ‫افزاری‬ ‫داده‬ ‫متخصصین‬‫می‬ ‫است‬ ‫کاوی‬‫تواند‬‫داده‬ ،‫اعتمادسازی‬ ‫فرآیند‬ ‫یک‬ ‫طی‬ ‫با‬ ‫سپس‬ ،‫کرده‬ ‫استفاده‬ ‫سرویس‬ ‫عنوان‬ ‫به‬ ‫زیرساخت‬ ‫از‬‫سازمان‬ ‫های‬‫استفاده‬ ‫با‬ ‫و‬ ‫گرفته‬ ‫اختیار‬ ‫در‬ ‫را‬ ‫مختلف‬ ‫های‬ ‫روش‬ ‫از‬.‫دهد‬ ‫قرار‬ ‫مدیران‬ ‫اختیار‬ ‫در‬ ‫سرویس‬ ‫عنوان‬ ‫به‬ ‫را‬ ‫نتایج‬ ‫سپس‬ ‫و‬ ‫کند‬ ‫سازمان‬ ‫نیاز‬ ‫مورد‬ ‫دانش‬ ‫استخراج‬ ‫به‬ ‫شروع‬ ‫اطالعات‬ ‫تحلیل‬ ‫های‬ ‫در‬‫نگاشت‬ ‫چارچوب‬-‫می‬ ‫اجرا‬ ‫ابری‬ ‫درمحیط‬ ‫الگوریتم‬ ‫یک‬ ‫که‬ ‫زمانی‬ ‫کاهش‬‫گره‬ ‫بین‬ ‫را‬ ‫کار‬ ‫دارد‬ ‫وظیفه‬ ‫نگاشت‬ ‫تابع‬ ‫شود‬‫بخش‬ ‫به‬ ‫کار‬ ‫تقسیم‬ .‫کند‬ ‫تقسیم‬ ‫کارگر‬ ‫های‬‫مسا‬ ‫های‬‫همیشه‬ ‫وی‬ ‫بیش‬ ‫تقسیمات‬ ‫تعداد‬ ‫چه‬ ‫هر‬ ،‫باشد‬ ‫قواعد‬ ‫استخراج‬ ‫هدف‬ ‫اگر‬ ‫مثال‬ ‫عنوان‬ ‫به‬ .‫نیست‬ ‫راحت‬ ‫و‬ ‫آسان‬‫قا‬ ‫استخراج‬ ‫شود‬ ‫تر‬‫مشکل‬ ‫عده‬‫نگاشت‬ ‫از‬ ‫مناسبی‬ ‫تعداد‬ ‫تعیین‬ ‫بنابراین‬ .‫بود‬ ‫خواهد‬ ‫تر‬‫ها‬ ‫گره‬ ‫تعداد‬ ‫یا‬‫زمینه‬ ‫از‬ ‫یکی‬ ‫ها‬‫می‬ ‫تحقیقاتی‬ ‫های‬.‫باشد‬ ‫تواند‬ ‫نگاشت‬ ‫همانند‬ ‫موازی‬ ‫چارچوب‬ ‫یک‬ ‫اساس‬ ‫بر‬ ‫دارد‬ ‫نیاز‬ ‫ابری‬ ‫محیط‬ ‫یک‬ ‫در‬ ‫موازی‬ ‫اجرای‬ ‫برای‬ ‫اطالعات‬ ‫پردازش‬ ‫و‬ ‫تحلیل‬ ‫الگوریتم‬ ‫هر‬-‫بسیار‬ ،‫شود‬ ‫نوشته‬ ‫کاهش‬‫الگوریتم‬ ‫از‬ ‫ی‬‫های‬ ‫داده‬‫می‬ ‫مبحث‬ ‫این‬ ‫و‬ ‫نشده‬ ‫نوشته‬ ‫آن‬ ‫موازی‬ ‫اجرای‬ ‫مدل‬ ‫حال‬ ‫به‬ ‫تا‬ ‫که‬ ‫دارد‬ ‫وجود‬ ‫کاوی‬.‫باشد‬ ‫حوزه‬ ‫این‬ ‫در‬ ‫مناسب‬ ‫پژوهشی‬ ‫زمینه‬ ‫تواند‬ 27 Enrichment 28 Population Imbalance 29 Zettabytes ( 1021 bytes) 30 Visualization 31 Big Data as a Service (BDaas) 32 Analytical platform as a service (APaas)
  • 7. ‫مقیاس‬‫برنامه‬ ‫سطح‬ ‫در‬ ‫چه‬ ‫پذیری‬‫ابر‬ ‫بستر‬ ‫در‬ ‫کاربران‬ ‫به‬ ‫سرویس‬ ‫ارائه‬ ‫در‬ ‫اساسی‬ ‫مسائل‬ ‫از‬ ‫یکی‬ ‫داده‬ ‫پایگاه‬ ‫سطح‬ ‫در‬ ‫چه‬ ‫و‬ ‫کاربردی‬‫پایگاه‬ ‫پذیری‬ ‫مقیاس‬ ‫افزایش‬ ‫بنابراین‬ .‫است‬‫داده‬‫های‬ NoSQL‫پژوهش‬ ‫از‬ ‫هادوپ‬ ‫خصوصا‬ ‫و‬.‫دارد‬ ‫بسیار‬ ‫کار‬ ‫جای‬ ‫که‬ ‫است‬ ‫هایی‬ ‫همان‬‫شد‬ ‫گفته‬ ‫طورکه‬Mahout‫دسته‬ ‫ابزارهای‬ ‫از‬ ‫یکی‬‫خوشه‬ ‫و‬ ‫بندی‬‫الگوریتم‬ ‫مجموعه‬ ‫از‬ ‫استفاده‬ ‫با‬ ‫ابزار‬ ‫این‬ .‫است‬ ‫هادوپ‬ ‫در‬ ‫اطالعات‬ ‫بندی‬‫نگاشت‬ ‫مدل‬ ‫در‬ ‫که‬ ‫هایی‬-‫کاهش‬ ‫پیاده‬‫می‬ ‫شده‬ ‫سازی‬‫دسته‬ ‫تواند‬‫خوشه‬ ‫و‬ ‫بندی‬‫داده‬ ‫روی‬ ‫بر‬ ‫را‬ ‫بندی‬‫می‬ ‫آتی‬ ‫کارهای‬ ‫عنوان‬ ‫به‬ ،‫دهد‬ ‫انجام‬ ‫ها‬‫الگوریتم‬ ‫توان‬‫نگاشت‬ ‫مدل‬ ‫تحت‬ ‫کتابخانه‬ ‫این‬ ‫به‬ ‫را‬ ‫جدیدی‬ ‫های‬-‫کاهش‬‫اضافه‬ .‫نمود‬ ‫منابع‬‫استفاده‬ ‫مورد‬: B.Gerhardt, K. G. a. R. K. (2012). "Unlocking Value in the Fragmented World of Big Data Analytics." Cisco Internet Business Solutions Group. Bakshi, K. (2012). Considerations for big data: Architecture and approach. Aerospace Conference, 2012 IEEE. Bensrhir, A. (2013). Big data for geo-political analysis: Application on Barack Obama's remarks and speeches. Computer Systems and Applications (AICCSA), 2013 ACS International Conference on. Gartner. (2014). "big data definition." from https://www.gartner.com/it-glossary/big-data./ Kaisler, S., F. Armour and A. Espinosa (2013). Introduction to Big Data: Scalable Representation and Analytics for Data Science Minitrack. System Sciences (HICSS), 2013 46th Hawaii International Conference on. Kaisler, S .H., J. A. Espinosa, F. Armour and W. H. Money (2014). Advanced Analytics -- Issues and Challenges in a Global Environment. System Sciences (HICSS), 2014 47th Hawaii International Conference on. Katal, A., M. Wazid and R. H. Goudar (2013). Big data: Issues, challenges, tools and Good practices. Contemporary Computing (IC3), 2013 Sixth International Conference on. Liu, W. and E. K. Park (2014). Big Data as an e-Health Service. Computing, Networking and Communications (ICNC), 2014 International Conference on. Mahmood, T., T. Iqbal, F. Amin, W. Lohanna and A. Mustafa (2013). Mining Twitter big data to predict 2013 Pakistan election winner. Multi Topic Conference (INMIC), 2013 16th International. Marjanovic, O., T. Ariyachandra and B. Dinter (2014). Introduction to Business Analytics, Business Intelligence, and Big Data Minitrack. System Sciences (HICSS), 2014 47th Hawaii International Conference on. Sagiroglu, S. and D. Sinanc (2013). Big data: A review. Collaboration Technologies and Systems (CTS), 2013 International Conference on. Singh, S. (2012). Big Data analytics. Communication, Information & Computing Technology (ICCICT), 2012 International Conference on. smith, c. (2014). "amazing youtube statistics." from http://expandedramblings.com/index.php/youtube-statistics/#.U2c- 79ySzJV. Soumendra Mohanty, M. J., Harsha Srivatsa (2013). Big Data Imperatives: Enterprise ‘Big Data’ Warehouse, ‘BI’ Implementations and Analytics. Tam, D. (2012 ). "Facebook processes more than 500 TB of data daily." from http://www.cnet.com/news/facebook- processes-more-than-500-tb-of-data-daily./ Zikopoulos, P. (2012). Understanding big data : analytics for enterprise class Hadoop and streaming data. New York, McGraw-Hill.