دادههای کلان را می‌توان داده‌هایی که پردازش آنها خارج از حدّ توان سیستم‌های کنونی است، تعریف نمود و یا دادههای کلان را افزایش حجم داده دانست؛ به گونه‌ای که ذخیره، پردازش و آنالیز آن از طریق فناوریهای قدیمی دیتابیس‌ها به سختی ممکن باشد. به زبان ساده مقیاس این کلان داده‌ها به قدری بزرگ است که ابزار‌های سنتی ذخیره سازی و تجزیه و تحلیل داده‌ها قادر به کارکردن با آنها نیستند.
فرارو- داده‌هایی که ما تولید می‌کنیم پایه و اساس اطلاعات بشر هستند. ولی این دادههای جزئی درباره موضوعات و حوزه‌های مختلف شاید به تنهایی دارای ارزش نباشند. بلکه تجمیع، سازماندهی و تجزیه و تحلیل آنها است که باعث ایجاد ارزش می‌شود. در دنیای دیجیتال، داده‌ها از منابع گوناگونی تولید می‌شوند و رشد سریع فناوریهای دیجیتال منجر به افزایش نرخ تولید و ایجاد حجم انبوهی از داده‌ها شده است. این داده‌ها از تراکنش‌های آنلاین، ایمیل ها، ویدیوها، صوت ها، متون، اسناد، تصاویر، کلیک بر روی لینک ها، پست‌ها و هزاران عمل دیگری که ما در طول شبانه روز انجام می‌دهیم تولید می‌شوند.
از این گفته به خوبی پیداست که ما تا چه حجم داده را در روز می‌توانیم تولید کنیم، اما نگرانی در این خصوص نیست و کامپیوتر‌های شخصی، توانایی مدیریت این حجم از اطلاعات را برای ما دارند. البته نکته اصلی آن جاست که برای ذخیره همه این اطلاعات تنها به یک هارد دیسک مناسب نیاز است. اما در سطح کلان این دادههای تولید بشر وقتی در کنار یک دیگر قرار می‌گیرد حجم غیر قابل باروی را به وجود می‌آورند که مدیریت آن با سیستم‌های سنتی کنترل داده‌ها ممکن نیست.
کلان داده ها (Big Data) چیست و چه اهمیتی دارد؟
برای روشن شدن موضوع به چند مثال در این خصوص اشاره می‌کنیم؛ حجم اطلاعاتی که تا سال ۲۰۰۳ توسط انسان ایجاد شد، تنها ۵ اگزابایت است؛ اما امروزه این حجم از اطلاعات، تنها در عرض دو روز ایجاد می‌شود. IBM در تحقیقی نشان داد هر روز ۵/۲ اگزابایت داده تولید می‌شود که حدود %۹۰ دادههای موجود، فقط در دو سال اخیر تولید شده است. شرکتی مانند گوگل، بیلیون‌ها سِروِر در سطح جهان دارد. حدود ۶ بیلیون مشترک تلفن همراه در جهان همه روزه ۱۰ میلیون پیام متنی ارسال و دریافت می‌کنند و تا سال ۲۰۲۰ حدود ۵۰ بیلیون وسیله متصل به اینترنت و شبکه وجود خواهد داشت.
در واقع همین حجم غیر قابل تصور داده‌ها است که به کلان داده ها، دادههای حجیم یا بزرگ داده‌ها (Big data) معروف شده است. نکته قابل توجه آن است که کلان‌داده ترجمه متداول و پرکاربرد عبارت Big Data محسوب می‌شود، در حالیکه معادل فارسی برگزیده شده توسط فرهنگستان زبان و ادب پارسی «مِه‌داده» است.
کلان داده (Big Data) چیست؟ تا امروز چه کاربرد‌هایی در جهان داشته است و آیا از آن، در ایران بهره‌برداری می‌شود؟ در پاسخ به این سئوالات، با آقای دکتر احسان آریانیان مدیر گروه پژوهشی سامانه‌های پردازش وب و رایا زبان در پژوهشگاه ارتباطات و فناوری اطلاعات گفتگو کرده‌ایم که در ادامه می‌خوانید.
Big Data در جهان بیشتر چه کاربرد‌هایی دارد؟ نمونه‌های بزرگ و شناخته‌ای شده‌ای از آن را نام ببرید.
امروزه، نقش و اهمیت"داده‌ها"، به عنوان منبعی ارزشمندتر از نفت در جهان، سرمایه ملی و یک عامل کلیدی برای ارتقای مزیت رقابتی و رشد کسب‌وکار‌های مختلف، بر کسی پوشیده نیست. در همین راستا، توسعه فناوری"کلاندادهها"، میتواند با تأثیرگذاری بر شئون مختلف اجتماعی و اقتصادی، به عنوان بستری جهت ارتقای نوآوری و موتور محرک اشتغالزایی و حرکت کشور در مسیر پیشرفت و توسعه باشد. کلان داده‌ها در حوزه‌های کاربردی و صنایع مختلف کاربرد‌های بسیار زیادی در جهان دارد که برخی از آنها عبارتند از:
حوزه ارتباطات
برخی از کاربرد‌هایی که در حوزه ارتباطات با استفاده از فناوری کلاندادهها، مطرح است عبارتند از:
بهینه‌سازی شبکه: با توجه به رشد روزافزون اطلاعات تولیدشده در مخابرات سیار، شرکت‌های فراهم‌کننده خدمات ارتباطی ناگزیر به انجام سرمایه‌گذاری‌های کلان برای بهبود شرایط شبکههای خود هستند و به عبارت دقیق‌تر، آمار‌ها نشان می‌دهند که حدود ۱۸ تا ۲۰ درصد درآمد خود را صرف انجام تغییراتی در زیرساخت‌های خود می‌کنند که به دارایی‌های سرمایه‌ای آنها اضافه نمی‌شود. ظرفیت شبکه، یکی از منابع بسیار ارزشمند شرکت‌های فراهم‌کننده خدمات ارتباطی بوده و این شرکت‌ها امروزه با استفاده از قابلیت‌های بالقوه استفاده از فناوری کلاندادهها سعی در کنترل و مدیریت کارآمد ظرفیت شبکه و طراحی مدل‌هایی با قابلیت پیشگویی ظرفیت موردنیاز را داشته تا با استفاده از این قابلیت‌ها بتوانند تصمیم‌گیری‌های مناسب‌تری در رابطه با اولویت‌بندی و برنامهریزی در رابطه با توسعه شبکههای خود داشته باشند.
صنعت پست: بر اساس مطالعات به‌عمل‌آمده، با استفاده از ترکیب کلاندادهها در دسترس، زیرساخت‌های موجود و توسعه روش‌های تحلیل کارآمد، افق‌های روشنی در رابطه با استفاده از فناوری کلاندادهها در صنعت پست وجود دارد که از آن به نام اینترنت اشیا پستی [۱]نام‌برده می‌شود. امکان تجهیز شبکه پستی (شامل خودروها، صندوق‌های پستی، مرسولات، مراکز پستی و ...) با حسگر‌های ارزان‌قیمت، امکان جمعآوری حجم عظیمی از دادههای ارزشمند را توسط اپراتور‌های پستی فراهم می‌کند. این منبع ارزشمند اطلاعات باعث بهبود کارایی عملیاتی، سرویس‌های ارائه‌شده به مشتریان، ابداع روش‌ها و خدمات نوین و حمایت از فرایند‌های تصمیم‌گیری کارآمدتر می‌گردد.
ضمناً شایان‌ذکر است که نتایج تحلیل‌های به‌عمل‌آمده بر این داده‌ها به حوزه‌های مرتبط با این صنعت نیز در جهت بهبود کارایی، یاری خواهد رساند. به‌عنوان‌مثال تجهیز ماشین‌های حمل مرسولات پستی به حسگر، میتواند باعث کاهش هزینه نگهداری مرسولات، بهینه‌سازی مسیر‌های طی شده، گزارش نقاط کور شبکه و کنترل شرایط محیطی مرتبط گردد.
علوم و ارتباطات فضایی: با توجه به اهمیت استفاده از ماهواره‌ها در ارسال اطلاعات و برقراری امکان ارتباط بلادرنگ بین نقاط مختلف دنیا، تمامی سازمانها و مراکز فعال در حوزه ارتباطات و فناوری اطلاعات در این حوزه سرمایه‌گذاری زیادی انجام داده‌اند. قابلیت‌های کلاندادهها امکان تحلیل دادههای دریافتی از ماهواره‌های ارتباطی را فراهم کرده و اطلاعات ارزشمندی را از دادههای موجود استخراج می‌کند. تحلیل داد‌های مرتبط با تصویربرداری از ستارگان و کهکشان‌ها نیز به دلیل حجم بسیار بالا با روش‌های سنتی قابل تحلیل نبوده و برای کسب نتایج مناسب باید از فناوریهای مرتبط با کلاندادهها استفاده نمود.
حوزه آموزش
استفاده از کلاندادهها باعث تحول شگرفی در حوزه آموزش‌وپرورش شده است. یکی از سیاستهای اصلی مؤثر بر تحصیلات دانشگاهی، استفاده از داده‌ها برای جهت‌دهی به دستورالعمل‌ها می‌باشد. استفاده از کلاندادهها قادر است به سامانه آموزش کلاسیک از طریق ارائه تحلیل‌هایی به مدرس، در مورد معلومات دانش‌آموزان و روش‌های مؤثر برای هر دانش‌آموز کمک‌رسانی کرده و حتی معلمان نیز قادر به یادگیری روش‌های جدید در مورد تدریس خود خواهند بود. همچنین فناوری‌هایی مانند داده‌کاوی و تحلیل داده قادرند تا در مورد بازدهی تحصیلی، بازخوردی سریع به دانش‌آموزان و معلمان ارائه نمایند.
این روش‌ها قادر به انجام تحلیلی دقیق از الگو‌های آموزشی و استخراج اطلاعات ارزشمند از آنها هستند؛ بنابراین می‌توانند دانش‌آموزانی که نیازمند کمک بیشتری هستند را تعیین کرده تا با توجه بیشتر به آنها شرایطی مهیا گردد که کیفیت تحصیلی آنها بهبود پیداکرده و از افت تحصیلی یا ترک تحصیل آنها جلوگیری به عمل آید و راهکارهای آموزشی که بیشترین تأثیر را بر روی هر دانش‌آموز، با نیاز‌های خاص دارد، مورداستفاده قرار گیرد.
علاوه بر شخصی‌سازی و عملیاتی کردن آموزش، استفاده از کلاندادهها به محققان کمک می‌کند تا به نکات جدیدی در این حوزه پی ببرند. تمامی این داده‌ها از دروس برگزارشده به‌صورت برخط و سایر ساختار‌های آموزشی مبتنی بر فناوری استخراج می‌گردند. در دسترس بودن نتایج تحلیل این داده‌ها به دانشجویان کمک خواهد کرد تا نتایج بسیار مؤثرتری نسبت به روش سنتی آموزش به دست آورند. کلاندادهها در این زمینه فرصت‌های بیشتری را برای یادگیری کودکان و جوانان فراهم کرده است. ازآنجاکه دانش‌آموزان قادر به اشتراک‌گذاری اطلاعات با مؤسسات آموزشی خود هستند، می‌توانند توانمندی‌ها و دانسته‌های خود را گسترش دهند. علاوه بر این مؤسسات آموزشی و دانشگاه‌ها نیز قادر به آماده‌سازی بهتر دانشجویان آینده خود خواهند بود.
حوزه سلامت
امروزه کاربرد کلاندادهها در حوزه بهداشت و درمان درحال‌توسعه بوده و خدمات ارائه‌شده در این حوزه با استفاده از قابلیت‌های این فناوری، هم ازنظر کمی و هم ازنظر کیفی پیشرفت بسزایی کرده است. در دهه اخیر دادههای پزشکی موجود در حال دیجیتالی شدن بوده و شرکت‌های داروسازی و پزشکی، بیمارستان‌ها و مراکز درمانی، داده‌ها و تحقیقاتی که در طی سال‌ها به دست آوردند را در پایگاه دادههای الکترونیکی گردآوری می‌نمایند. حکومت‌ها و سایر ذینفعان نیز با افزایش دسترسی‌پذیری، جستجوپذیری و حتی قابلیت پیگیری قضایی دادههای بخش بهداشت و درمان، حرکت به سمت شفافیت را سرعت می‌بخشند که این تغییرات به توسعه این حوزه کمک شایانی می‌کند.
ذینفعان بهداشت و درمان هم‌اکنون به دلیل استفاده از فناوری کلاندادهها به سود بیشتری دسترسی داشته و درنتیجه متخصصان صنعت داروسازی، پرداخت‌کنندگان و تأمین‌کنندگان منابع برای تضمین ادامه این روند سود ده، در مسائل مختلف شروع به تحلیل داده‌ها نموده‌اند. هرچند این تلاش‌ها در گام‌های اولیه قرار دارد، اما نتایج اولیه حاصل نیز به حل مشکلات گوناگون صنعت بهداشت و درمان در زمینه کیفیت و کاهش مخارج کمک شایانی کرده است. برای مثال محققان می‌توانند با تحلیل کلاندادهها، مناسب‌ترین درمان ممکن را انتخاب کرده و همچنین برای شناسایی الگو‌های مرتبط با تأثیرات جانبی دارو‌ها، اقدامات اولیه بیمارستانی را مورد کاوش قرار داده و با کسب اطلاعات مفید در این زمینه باعث کمک به بیماران و کاهش هزینه‌ها می‌گردند. خوشبختانه پیشرفت‌های اخیر سبب بهبود توانایی متخصصان این حوزه در به‌کارگیری کلاندادهها شده است.
در حوزه بهداشت و درمان، چندین شرکت نوآور در بخش خصوصی (به‌صورت رسمی یا داوطلبانه)، برنامه‌ها و ابزار‌های تحلیلی را توسعه می‌دهند که به بیماران، پزشکان و سایر ذینفعان بهداشت و درمان کمک می‌نماید تا ارزش‌ها و فرصت‌ها را شناسایی نمایند. ارزیابی اخیر از بازار نشان داده که از سال ۲۰۱۰ بیش از ۲۰۰ کسبوکار مرتبط با ایجاد ابزار‌های بدیع برای استفاده بهتر از اطلاعات مرتبط با حوزه بهداشت و درمان ایجاد گردیده است و با رشد درک و ظرفیت فناوری، انتظار می‌رود تا متخصصان ایده‌هایی جذاب‌تر برای بهره‌برداری از کلاندادهها بیابند تا با استفاده از نتایج حاصل از به‌کارگیری آنها، هزینه‌های این حوزه نیز کاهش یابد.
حوزه انرژی
امروزه به دلیل اهمیت استفاده بهینه از انرژی در راستای کاهش خطرات زیست‌محیطی، بررسی و تحلیل دادههای در دسترس کمک شایانی به توسعه راهکارهای بهینه در این حوزه می‌کند. در این راستا تحلیل دادههای در دسترس مرتبط با نحوه استفاده مصرف‌کنندگان، راه‌های ممکن برای کاهش مصرف، استفاده بهینه از منابع موجود، اتخاذ راهکارهای مناسب برای تشویق مصرف‌کنندگان به استفاده کمتر و کاهش هزینه‌های بخش تولید و توزیع، باعث توسعه راه‌کار‌ها و روش‌های نوینی در حوزه تولید، توزیع و مصرف انرژی شده و هزینه‌ها را کاهش داده است.
در ادامه به‌طور خلاصه به کاربرد‌های مطرح این فناوری در حوزه انرژی اشاره می‌گردد:
نگهداری پیشگویانه: با استفاده از کلاندادهها، دادههای مرتبط با حسگر‌های موجود در بخش‌های تولیدی و خطوط انتقال با اطلاعات حاصل از سامانه‌های کنترلی بصورت بلادرنگ مورد بررسی قرارگرفته و نحوه عملکرد کل سامانه مدل می‌گردد. با استفاده از این مدل، می‌توان اکثر خطا‌های قابل وقوع را حتی پیش از بروز آنها شناسایی کرد و برای حل آنها تدابیر مناسبی اندیشید.
ترکیب اطلاعات با مشخصات مکانی: قابلیت تحلیل دادههای کنترلی و خروجی حسگر‌ها به همراه اطلاعات زمانی و مکانی مرتبط با کل شبکه میتواند به مدل‌سازی بهتر کل فرایند تولید، توزیع و مصرف انرژی کمک کرده و علاوه بر بهبود کیفیت، هزینه‌ها را نیز کاهش دهد.
شبکههای هوشمند: شرکت‌های تولید انرژی با استفاده از شبکههای هوشمند، عرضه و تقاضا را بهینه می‌کنند. برای این منظور اطلاعات حاصل از سامانه‌های هوشمند موجود در شبکه انتقال و حتی دستگاه‌های مصرف‌کننده انرژی با یکدیگر ترکیب‌شده و موردبررسی و تحلیل قرارگرفته و بر اساس نتایج حاصل، سناریو‌های بهینه در کلیه قسمت‌های تولید، توزیع و مصرف پیاده‌سازی می‌گردد.
ارزیابی هوشمند: ارزیابی هوشمند کلیه منابع و کارایی سامانه‌های موجود در شبکه به همراه نحوه محاسبه مقدار مصرف استفاده‌کنندگان با توجه به پارامتر‌های مختلف از قبیل: شرایط زیست‌محیطی، الگوی مصرف در ساعات مختلف و ... با استفاده از فناوری کلاندادهها تحلیل گردیده و استفاده از نتایج حاصل به بهبود کارایی کلیه اجزا شبکه کمک شایانی می‌کند. با استفاده از این قابلیت، شرکت‌های تولیدکننده انرژی علاوه بر بهبود کیفیت خدماتشان، در هزینه‌ها و منابع نیز صرفه‌جویی خواهند کرد.
خدمات مالی
کلاندادهها در حوزه تجارت و تعاملات مالی کاربرد‌های فراوانی دارد. با استفاده از قابلیت‌های این فناوری، بازیگران این حوزه سود بیشتری کرده و با استفاده از اطلاعات در دسترس، روش‌ها و راهکارهای نتیجه‌بخش‌تری مورداستفاده قرار می‌گیرند. نمونه‌هایی از کاربرد‌های فناوری کلاندادهها در این حوزه عبارت است از:
بهبود رضایت مشتری: با استفاده از فناوری کلاندادهها، رضایت مشتری بهتر تأمین‌شده و همچنین تعامل بهتری بین تمامی بازیگران برقرار می‌گردد.
تشخیص تقلب: با بررسی دادههای موجود و تحلیل آنها، رفتار‌های غیرقانونی با دقت بالاتری قابل‌تشخیص بوده و با استفاده از کاربرد‌های مبتنی بر کلاندادهها با دقت بالاتری شناسایی می‌گردند.
مدیریت ریسک: با یکپارچه‌سازی فعالیت‌های مالی و بررسی نتایج حاصل از تحلیل کلاندادهها، بانک‌ها و بیمه‌ها، ریسک بروز مشکلات را کاهش می‌دهند.
شفاف‌سازی تعاملات: با افزایش تعاملات شفاف، امکان انجام تعاملات غیرقانونی به حداقل می‌رسد.
پیش‌بینی رفتار مشتری: با پیش‌بینی رفتار مشتری‌ها بر اساس تحلیل کلاندادهها، می‌توان راهکارهای مناسبی در راستای تشویق آنها به استفاده از خدمات موردنظر اتخاذ کرد.
ارتباط مؤثرتر بین بازیگران این حوزه: استفاده کارآمد از کلاندادهها باعث می‌شود ارتباط شفاف و ثمربخشی بین بازیگران و مشتری‌های این حوزه برقرارشده که باعث بهبود کمی و کیفی تعاملات انجام‌شده در این حوزه می‌گردد.
بورس: امروزه فناوری کلاندادهها در تجارت خصوصاً پیش‌بینی رفتار بازار بورس بر اساس حجم عظیم دادههای در دسترس، نقش بسیار مهمی ایفا می‌کند. با استفاده از روش‌های تحلیلی مناسب می‌توان عملکرد بازار را موردبررسی قرارداد و با استفاده از اطلاعات به‌دست‌آمده، در رابطه با چگونگی عملکرد این بازار در آینده اظهارنظر کرد. استفاده از این قبیل اطلاعات، باعث انجام معاملات سود ده شده و حاضران در این بازار می‌توانند معاملات موفق‌تری انجام دهند.
امنیت ملی
امروزه با توجه به اهمیت مقابله با تهدیدات خارجی، جرائم سازمان‌یافته، تهدید‌های امنیت ملی، فساد مالی در مقیاس بزرگ، تهدید‌های اقتصادی و یا جاسوسی، دولت‌ها با استفاده از منابع خود، همه‌ساله هزینه بسیار زیادی در راستای حل این مشکلات پرداخت می‌کنند. با افزایش نرخ تولید داده‌ها، امکان استفاده از روش‌های سنتی برای تحلیل آنها و شناسایی تهدید‌های محتمل امکان‌پذیر نمی‌باشد. درنتیجه کشور‌های پیشرفته با استفاده از فناوری کلاندادهها راهکارهای کارآمدی را برای حل مسائل مرتبط با امنیت ملی خود توسعه داده‌اند.
دادههای قابل‌دسترس از دوربین‌های امنیتی سطح شهر، اطلاعات هویتی افراد، پرونده‌های قضایی موجود و حتی تعاملات مشکوک بین افراد جامعه در شبکههای مجازی می‌توانند به‌عنوان منابع ارزشمندی برای شناسایی تهدید علیه امنیت ملی مورد استفاده قرار گیرند.
به‌طور خلاصه کاربرد‌های کلاندادهها را در مبحث امنیت ملی می‌توان به شرح زیر تقسیم‌بندی کرد:
تشخیص هویت افراد در مقیاس کلان: با جمعآوری اطلاعات بیومتریکی از تمامی افراد جامعه و طراحی سامانه‌هایی برای تحلیل این اطلاعات، می‌توان با کنترل هویت تمامی افراد جامعه از بروز مشکلات امنیتی جلوگیری کرد.
شناسایی افراد مظنون: بر اساس تحلیل اطلاعات قابل جمعآوری توسط دوربین‌های امنیتی، تعاملات روی شبکه، تراکنش‌های بانکی و ... می‌توان اکثر فعالیت‌های مشکوک را ردیابی کرد و قبل از وقوع حوادث جبران‌ناپذیر، از آنها جلوگیری به عمل آورد.
رصد اطلاعات شبکههای فضای مجازی: می‌توان حجم بسیار بالایی از اطلاعات منتشرشده بر توییتر، فیس‌بوک و دیگر رسانه‌های فعال در فضای مجازی را موردبررسی قرارداد و با تحلیل اطلاعات به‌دست‌آمده، فعالیت‌های احتمالی بر ضد امنیت ملی را شناسایی و خنثی کرد.
هواشناسی
به دلیل تأثیر پارامتر‌های مختلف بر تغییرات آب و هوایی، داده‌ها و اطلاعات موجود درزمینه هواشناسی بسیار جامع و پرحجم بوده و به‌صورت لحظه‌ای در حال تغییر می‌باشند. اصلی‌ترین بخش استفاده از این فناوری‌ها، مبحث پیش‌بینی وضعیت آبوهوایی بوده که نیازمند بررسی و تحلیل حجم بسیار بالایی از داده‌ها هست. در ادامه به دو کاربرد مهم فناوری کلاندادهها در این حوزه اشاره می‌گردد:
پیش‌بینی بلادرنگ شرایط آبوهوایی: با تحلیل دادههای به‌دست‌آمده از حسگر‌ها و همچنین نتایج مدل‌سازی‌های کامپیوتری می‌توان به‌صورت بلادرنگ تغییرات آبوهوایی را با دقت بالایی پیشگویی کرد. با استفاده از این فناوری، بسیاری از بلایای طبیعی را می‌توان قبل از وقوع شناسایی کرد و با اتخاذ تدابیر مناسب از بروز حوادث جبران‌ناپذیر جلوگیری نمود.
بررسی تغییرات ناشی از گرمایش جهانی: با تحلیل دادههای قابل‌دسترس، می‌توان تأثیر پارامتر‌های مختلف بر روی افزایش دمای جهانی را موردبررسی قرار داده و با اتخاذ سیاستهای مناسب از افزایش نرخ رشد دمای کره زمین جلوگیری به عمل آورد.
راهنمایی و رانندگی
امروزه درزمینه ترافیک و حمل‌و‌نقل، موضوع حمل‌و‌نقل هوشمند [۲]به یکی از موارد پراهمیت تبدیل‌شده است و به‌منظور اجرا و پیاده‌سازی طرح‌های این حوزه، حجم عظیمی از داده‌ها باید مورد تحلیل قرار گیرند. با توجه به قابلیت‌های بالای کلاندادهها، استفاده از کاربرد‌های مبتنی بر آن در این حوزه میتواند بسیار مثمر ثمر باشد.
در ادامه به تعدادی از کاربرد‌های مهم فناوری کلاندادهها در این حوزه اشاره می‌گردد:
بهینه‌سازی مدیریت ترافیک: با استفاده از دادههای مرتبط با ترافیک خودروها در سطح شهر، سرعت حرکت آنها، اطلاعات منتشرشده توسط کاربران بر روی فضای مجازی، اطلاعات مکانی به‌دست‌آمده از تلفن‌های هوشمند افراد در حال تردد در معابر و شرایط آبوهوایی می‌توان با کنترل بهینه چراغ‌های راهنمایی و همچنین اطلاع‌رسانی بلادرنگ به رانندگان، به کاهش ترافیک شهری کمک نمود.
ایجاد شهر هوشمند: با اتصال خودروها، علائم راهنمایی و رانندگی، خیابان‌ها و معابر و همچنین جاده‌های بین‌شهری به اینترنت می‌توان با تحلیل بلادرنگ اطلاعات به‌دست‌آمده، امکان تردد خودرو‌های بدون سرنشین که به‌طور خودکار حرکت می‌کنند را فراهم نمود.
مسائل انتظامی
یکی از کاربرد‌هایی که به‌تازگی توسط پلیس مورداستفاده قرارگرفته است، طراحی سامانهای است که با استفاده از دریافت اطلاعات ترافیکی و همچنین اطلاع‌رسانی سریع به شهروندان، کمک شایانی در دستگیری مجرمین می‌کند. مأموران پلیس با استفاده از این سامانه، حجم عظیمی از اطلاعات ترافیکی را تحلیل کرده و بر اساس نتایج حاصل، بهترین و کوتاه‌ترین مسیر را انتخاب می‌نمایند.
نمونه‌های دیگری از کاربرد‌های موفق فناوری کلاندادهها در این حوزه عبارت‌اند از:
حل سریع‌تر پرونده‌های قضایی: با تحلیل حجم بالایی از اطلاعات، می‌توان اطلاعات مفیدی را از دادههای موجود استخراج کرد که تحلیل دقیق آنها به حل سریع‌تر و دقیق‌تر پرونده‌های جنایی کمک شایانی می‌کند.
روش‌های پیشگیری از وقوع جرم: شرایط و موقعیت‌های جرمخیز را می‌توان با تحلیل بلادرنگ دادههای عظیم شناسایی کرد و با اتخاذ تدابیر مناسب از وقوع احتمالی اعمال خلاف قانون جلوگیری نمود.
شناسایی الگو‌های وقوع جرم: با تحلیل دادههای در دسترس مرتبط با پرونده‌های جنایی، رفتار‌ها و موقعیت مجرمان سابقه‌دار و دادههای تولیدشده توسط مأموران انتظامی، می‌توان الگو‌های وقوع جرم را تعیین کرد و با توجه به این الگوها، سیاستهای مناسبی جهت مقابله با مجرمان اتخاذ نمود.
مسائل زیست‌محیطی
فناوری کلاندادهها کاربرد‌های زیادی در ارتباط با مسائل مرتبط با محیط‌زیست دارد. به‌عنوان‌مثال یکی از مسائل و موضوعات پراهمیت در حفظ محیط‌زیست، تحلیل و بررسی میزان تأثیر استفاده از مواد شیمیایی در بازه‌های زمانی متفاوت می‌باشد. محققین می‌توانند با تحلیل دقیق پارامتر‌های مرتبط، تأثیرات این مواد را پیش‌بینی نمایند. مثالی دیگر استفاده از این فناوری برای کاهش آلودگی هوای کلان‌شهر‌ها می‌باشد. برای این منظور با استفاده از اطلاعات به‌دست‌آمده مرتبط با شرایط ترافیکی، اطلاعات وضعیت آبوهوایی و میزان آلاینده‌های موجود در هوا، حجم تولیدی آلاینده‌ها توسط صنایع و میزان بارش‌های قابل پیش‌بینی، راهکاری مناسب برای تنظیم نحوه عملکرد صنایع، استاندارد‌های مورداستفاده و اعمال محدودیت‌های ترافیکی مناسب را در پیش گرفت. علاوه بر مثال‌های ذکرشده، کاربرد‌های متعددی در این حوزه پیاده‌سازی گردیده است که در ادامه این قسمت به تعدادی از آنها اشاره می‌گردد:
کاهش میزان آلودگی کلان‌شهر‌ها
کنترل و ارزیابی زیستبوم جنگل‌های مناطق حاره‌ای
نظارت بر روند کاهش جنگل‌های جهانی
کنترل تأثیر گرمایش جهانی بر آب شدن یخ‌های قطبی
تأثیر استفاده از سوخت‌های فسیلی بر گرمایش جهانی
کنترل لایه ازن و تأثیرات مواد آلاینده بر آن
بهبود شرایط آب و هوایی کلان‌شهر‌ها
حوزه کشاورزی
با توجه به افزایش جمعیت کره زمین و تقاضای بیشتر برای محصولات کشاورزی و همچنین کمبود آب و منابع طبیعی، استفاده بهینه از منابع و معرفی راهکارهای نوین در جهت بهبود کارایی مراحل مختلف تولید محصولات، نقش بسیار مهمی در برآورده کردن نیاز‌های رو به رشد کشور‌ها ایفا می‌کنند. برای نیل به این اهداف کاربرد‌های مختلفی معرفی گردیده‌اند که در ادامه این بخش به مهمترین آنها اشاره می‌گردد:
بهبود کمی و کیفی تولیدات: با تحلیل دادههای اخذشده مرتبط با شرایط آبوهوایی، اقلیمی، میزان آبیاری، کیفیت خاک، سموم استفاده‌شده و ... می‌توان بهترین سناریو‌های ممکن را با توجه به شرایط موجود طراحی کرد که با استفاده از آنها، تولیدات کشاورزی هم از نظر کمی و هم ازنظر کیفی پیشرفت فراوانی خواهند داشت.
کاهش میزان آب مصرفی: با بررسی دقیق دادههای اخذ شده از پارامتر‌های مرتبط و استفاده از روش‌های تحلیل کلاندادهها می‌توان با بهینه‌سازی مراحل کاشت، داشت و برداشت، در میزان آب مصرفی صرفه‌جویی کرد.
بهبود کارایی از دید کلان: با تحلیل اطلاعات مرتبط با شرایط اقلیمی، تغییرات آب و هوایی، میزان تقاضا، قابلیت کشاورزان و سرمایه‌گذاری‌های به‌عمل‌آمده، می‌توان سیاستهای کلان کارآمدی در حوزه کشاورزی اتخاذ کرد که باعث افزایش بهره‌وری این حوزه گردد. به‌عنوان‌مثال انتخاب نوع محصولات قابل کاشت، زمان برداشت مناسب و نحوه توزیع آنها درصورتی‌که متناسب با نیاز‌های جامعه انتخاب گردند، می‌توانند هم به سوددهی بیشتر کشاورزان کمک کرده و هم باعث بهبود کیفیت محصولات تولیدشده گردد.
نمونه‌های دیگری از کاربرد‌های فناوری کلاندادهها در این حوزه عبارت‌اند از:
تعیین قیمت مناسب برای تضمین فروش بالاتر
تقسیم‌بندی مشتریان با توجه به سلایق، شرایط اقتصادی و نیاز‌ها
تعیین محل قرارگیری محصولات در فروشگاه‌ها با توجه به الگوی حرکتی خریداران
مدیریت بهینه زنجیره عرضه
مسائل فرهنگی و اجتماعی
با افزایش حجم استفاده از اینترنت و همچنین بررسی میزان ضریب نفوذ آن در جوامع مختلف، امروزه استفاده از کلاندادهها تولیدشده و تحلیل آنها، به یکی از موارد پرکاربرد و مهم در مسائل اجتماعی تبدیل‌شده است. به‌عنوان‌مثال جامعه شناسان با استفاده از دادههای به‌دست‌آمده از نحوه استفاده کاربران از اینترنت، می‌توانند شرایط روحی افراد جامعه را شناسایی کرده و بر اساس نتایج حاصل، سیاستهای مناسبی را در جهت بهبود شرایط جامعه اتخاذ کنند. نمونه‌های دیگری از کاربرد‌های کلاندادهها در این حوزه به شرح زیر می‌باشند:
تحلیل شبکههای اجتماعی: با تحلیل دادههای مرتبط با شبکههای اجتماعی و اطلاعات منتشرشده در آنها (با رعایت حریم خصوصی شهروندان)، می‌توان میزان رضایت عمومی شهروندان را ارزیابی کرد و با برنامهریزی صحیح در راستای بهبود آن گام برداشت.
بهبود شرایط اجتماعی: با تحلیل دادههای مرتبط با بررسی نرخ وقوع جرم، سطح رضایت شهروندان، میزان مشارکت شهروندان در فعالیت‌های عمومی و اجتماعی، می‌توان با وضع قوانین کارآمدتر در جهت بهبود شرایط اجتماعی شهروندان گام برداشت.
در ایران چطور می‌توانیم از «کلان داده»ها استفاده کنیم؟
براساس آمار موسسات بین‌المللی پیش‌بینی می‌شود میزان درآمد صنعت کلاندادهها از مقدار ۷.۶ میلیارد دلار در سال ۲۰۱۱ به میزان ۱۰۳ میلیارد دلار در سال ۲۰۲۷ برسد؛ براساس این پیش‌بینی، در سال ۲۰۱۹ درآمد این صنعت به مقدار ۴۹ میلیارد دلار می‌باشد. یکی از دلایل چنین رشد سریعی را می‌توان پی بردن کسب‌وکار‌های ارائه‌دهنده خدمات کلاندادهها (پردازشگرها) به اهمیت داده و توسعه فناوری‌ها و خدمات مناسب برای ذخیره‌سازی و تحلیل داده‌ها دانست.
از این رو وزارت ارتباطات و فناوری اطلاعات به عنوان متولی صنعت ICT در کشور و نیز در راستای اجرای سند راهبردی برنامه ششم توسعه کشور و به‌منظور تحقق هدف کمی "رصد و ارتقاء دانش داخلی در کشور"، فناوری کلاندادهها را به‌عنوان یکی از فناوریهای نوین و موضوعات محوری برای توسعه کسب‌وکار‌های مرتبط با فاوا شناسایی کرده است. پژوهشگاه ارتباطات و فناوری اطلاعات نیز به‌عنوان قدیمی‌ترین نهاد پژوهشی حاکمیتی در حوزه فاوا، پروژههای «تدوین نقشه راه کلاندادهها» به کارفرمایی وزارت ارتباطات و فناوری اطلاعات و «رگولاتوری کلاندادهها» به کارفرمایی سازمان تنظیم مقررات و ارتباطات رادیویی را به اجرا گذارده است.
در جریان اجرای دو پروژه فوق و در ادامه نخستین پیمایش کلاندادهها در ایران در سال ۱۳۹۶، دومین پیمایش شرکت‌های فراهم‌کننده سرویس‌های کلاندادهها (پردازشگران) و همچنین اولین پیمایش حوزه فراهم‌کنندگان داده‌ها و کلان داده‌ها (کنترل‌کننده‌ها) در ایران در سال ۱۳۹۷ در پژوهشگاه ارتباطات و فناوری اطلاعات به مرحله اجرا گذاشته شد. گزارش کامل و خلاصه مدیریتی پیمایش‌های مذکور در سایت طرح کلان‌داده‌های پژوهشگاه ارتباطات و فناوری اطلاعات به آدرس bigdata.itrc.ac.ir منتشر شده است و در اختیار عموم قرار گرفته است.
هدف پیمایش پردازشگران، شناسایی وضعیت موجود زیستبوم کلاندادهها و چالشهای توسعه آن و بررسی روند تغییرات در سال‌های متوالی در کشور به‌منظور برنامهریزی برای تعیین راهبرد‌های صحیح و توانمندساز در راستای ایجاد و ارتقای زیستبوم و صنعت کلاندادهها و تدوین چارچوب رگولاتوری و نظارت بر ارائه سرویس‌های مربوط به این فناوری در کشور بوده است. مراحل پیمایش‌های سال‌های ۹۶ و ۹۷ عبارتند از:
پیمایش در نمایشگاه الکامپ ۹۶ (۳۰ تیر تا ۲ مرداد ۱۳۹۶)
پیمایش به صورت برخط در سایت "طرح کلاندادهها" [۳]در شهریورماه سال ۱۳۹۶
پیمایش در نمایشگاه تلکام ۹۶ (۲۴ مهر تا ۲۷ مهر ۱۳۹۶)
پیمایش در نمایشگاه الکامپ ۹۷ (۶ تا ۹ مرداد ۱۳۹۷)
در این پیمایش‌ها درمجموع به ۱۴۵۰ شرکت مراجعه شده و از میان آنها اطلاعات و پرسشنامه‌های ۱۳۰ شرکت ارائه‌دهنده خدمات کلاندادهها (پردازشگرها) مورد تحلیل نهایی قرار گرفته است.
براساس نتایج بدست آمده پیمایش‌های فوق می‌توان گفت: پتانسیل قابل توجهی برای بازار کلاندادهها در کشور ایران وجود دارد. هرچند این بازار در ایران نوپا محسوب می‌شود و چالش‌هایی در آن وجود دارد، اما در آینده نه‌چندان دور با رفع موانع موجود می‌توان بازار مناسبی برای کلان داده‌ها در تمامی کاربرد‌هایی که در حوزه‌های کاربردی مختلف در پاسخ به سوال قبلی مطرح شد، پیش‌بینی نمود.
مفیدترین کاربرد‌های استفاده از کلان داده در ایران کدام ابعاد آن میتواند باشد؟
به صورت کلی استفاده از کلان داده‌ها دارای تأثیرات مهمی نظیر کاهش هزینه، افزایش درآمد، افزایش بهره‌وری و نیز زمینه سازی جهت ارائه نوآوری‌های جدید در سازمانها می‌باشد. تأثیرات فوق در تمامی حوزه‌های کابردی و صنایع ایران که در پاسخ به سوال اول مطرح شد، نیز میتواند وجود داشته باشد.
آیا تا امروز از کلان داده‌ها بهره مفیدی برده‌ایم؟ مثلا در شرکت‌ها و سازمان‌هایمان؟
در کشور ما بسیاری از سازمانهای فراهم‌کننده داده- هم در بخش دولتی و هم بخش خصوصی- در حال درک اهمیت و ضرورت بهره‌برداری از کلان داده‌ها می‌باشند و اقدامات پراکنده‌ای در این زمینه انجام داده‌اند.
بر اساس پیمایش انجام شده در پژوهشگاه ارتباطات و فناوری اطلاعات، برخی از کاربرد‌هایی که در ایران در حوزه کلاندادهها توسط شرکت‌ها و سازمانهای ایرانی برای اجرای آنها برنامه ریزی شده است شامل کشف تقلب، تشخیص ناهنجاریها و مغایرتها، هوشمندی کسبوکار، آنالیز شبکههای اجتماعی، جمعآوری دادههای مشتری و تحلیل اینترنت اشیا است. شکل ۱ وضعیت موضوعات مذکور را نشان میدهد که میتواند در یکی از مراحل بدون استفاده، جستوجو و تحقیق اولیه، برنامهریزی، انجام پروژههای پایلوت و استفاده موثر و کارا باشد. شکل ۲ نیز فراوانی بهره برداری از کلان داده‌ها در قالب پروژههای پایلوت داده‌ها و یا کلان‌داده‌های انجام شده توسط سازمانها را نشان میدهد.
پروژه‌هایی که در مرحله استفاده مؤثر و کارآ قرار دارد، به‌منزله بلوغ بیشتر سازمانها در آنها است. پروژههای انجام شده توسط سازمانهای فراهم کننده داده‌ها که در مرحله استفاده مؤثر و کارا قرار دارند شامل تشخیص ناهنجاری/مغایرت، جمع آوری دادههای مشتری، کشف تقلب و هوشمندی کسب و کار است. عمده سازمان ها در آنالیز شبکه های اجتماعی و تحلیل اینترنت اشیا در مرحله بدون استفاده قرار دارند. این امر نشان میدهد که در حال حاضر عمده سازمانها قادر به تحلیل دادههای غیرساختاریافته موجود در شبکههای اجتماعی و همچنین داده های حاصل از سنسور‌ها نیستند. از طرف دیگر، با توجه به این که سازمانها در دنیا به سمت تحلیل متن‌های غیرساختار یافته نیز حرکت کرده‌اند، درنتیجه این حوزه تا چندسال آینده به‌عنوان فرصتی برای سازمانها در کشور خواهد بود.
شکل ۱. وضعیت حوزه‌های کاربردی داده‌ها/کلاندادهها در پروژههای پایلوت سازمانها
شکل ۲. فراوانی پروژههای پایلوت داده/کلاندادهها در سازمانهای مورد بررسی
چالشهای Big Data در ایران چیست؟
بر اساس پیمایش انجام شده در پژوهشگاه ارتباطات و فناوری اطلاعات، برخی از مهمترین چالشهای حوزه کلان داده‌ها در ایران در حوزه‌های فرهنگی و اجتماعی، حاکمیتی، حقوقی، کسب و کار و فناوری عبارتند از:
فرهنگی و اجتماعی:
فرهنگ پایین سازمانهای کشور در شناخت و درک اهمیت کلان داده‌ها (فرهنگ نوآوری، فرهنگ تصمیم گیری داده محور، پشتیبانی مدیریت ارشد)
مقاومت سازمانها در انتشار و در اختیار گذاشتن داده‌ها
نبود دانش کافی از مفاهیم و فناوریهای کلان داده‌ها
فرهنگ پایین به اشتراک گذاری دانش کلان داده‌ها میان متخصصین حوزه
حاکمیتی:
عدم امکان دسترسی به داده‌ها و باز نبودن دادههای دولتی
حقوقی:
چالش حقوقی در خصوص مالکیت داده‌ها و دعوا‌های حقوقی در این حوزه
نبود قانونی جامع در خصوص صیانت و حمایت از دادههای شخصی در کشور و مشخص نبودن نهاد پاسخگو در این خصوص
کسب و کار:
سرمایه گذاری پایین سازمانهای کشور در حوزه کلان داده‌ها
مشخص نبودن نحوه ارزش گذاری داده‌ها و نهاد متولی آن
فناوری:
کمبود نیروی انسانی و تخصص‌های مورد نیاز
پایین بودن کیفیت داده‌ها
تحریم‌ها و محدودیت همکاری با شرکت‌های خارجی فعال در حوزه کلان داده‌ها
[۱]Internet of Postal Things
[۲]Smart Transport
[۳]www.bigdata.itrc.ac.ir
