داده‌ کاوی (Data Mining) چیست؟

داده کاوی، که به عنوان “کشف دانش از داده” (KDD) نیز شناخته می شود، فرآیند استخراج اطلاعات مفید و دانش از حجم عظیمی از داده ها است. این علم به دنبال کشف الگوها، روندها و روابط پنهان در داده ها است که به طور معمول با چشم غیر مسلح قابل مشاهده نیستند.

اهداف داده کاوی:

• پیش‌بینی: پیش‌بینی رفتار آینده با استفاده از الگوهای کشف شده در داده‌های گذشته.
• طبقه‌بندی: دسته‌بندی داده‌ها به گروه‌های مختلف بر اساس ویژگی‌های مشترک.
• تشخیص ناهنجاری: شناسایی داده‌های غیرمعمول که ممکن است نشان‌دهنده تقلب، خطا یا موارد نادر باشد.
• استخراج وابستگی: کشف روابط بین متغیرهای مختلف در داده ها.
• کاهش ابعاد: کاهش تعداد ویژگی‌های داده‌ها بدون از دست دادن اطلاعات مهم.

کاربردهای داده کاوی:

• بازاریابی: شناسایی مشتریان بالقوه، پیش‌بینی رفتار خرید، و بهینه‌سازی کمپین‌های بازاریابی.
• مالی: تشخیص تقلب، پیش‌بینی ریسک اعتباری، و مدیریت سبد سرمایه‌گذاری.
• بهداشت و درمان: تشخیص بیماری، پیش‌بینی عوارض، و توسعه داروهای جدید.
• تولید: بهینه‌سازی فرآیندهای تولید، پیش‌بینی خرابی تجهیزات، و کنترل کیفیت.
• دولت: جلوگیری از جرم و جنایت، شناسایی فعالیت‌های تروریستی، و بهینه‌سازی خدمات عمومی.

مراحل داده کاوی:

1. پیش پردازش داده: آماده سازی داده ها برای تجزیه و تحلیل، شامل پاکسازی داده ها، حذف مقادیر گمشده، و رمزگذاری داده های دسته‌ای.
2. انتخاب الگوریتم: انتخاب الگوریتم داده کاوی مناسب بر اساس نوع داده ها و هدف از تجزیه و تحلیل.
3. استخراج الگو: اجرای الگوریتم داده کاوی بر روی داده ها برای کشف الگوها و دانش.
4. ارزیابی مدل: ارزیابی دقت و اعتبار الگوهای کشف شده.
5. تفسیر نتایج: تفسیر الگوهای کشف شده و تبدیل آنها به دانش قابل فهم برای انسان.

ابزارهای داده کاوی:

• نرم افزارهای تخصصی داده کاوی: مانند SAS Enterprise Miner، IBM SPSS Modeler، و RapidMiner.
• کتابخانه های برنامه نویسی: مانند scikit-learn، TensorFlow، و PyTorch.
• خدمات ابری داده کاوی: مانند Amazon SageMaker و Microsoft Azure Machine Learning.

مزایای داده کاوی:

• کشف دانش پنهان: شناسایی الگوها و روندهایی که در داده های خام قابل مشاهده نیستند.
• بهبود تصمیم گیری: ارائه اطلاعات و شواهد برای تصمیم گیری بهتر.
• افزایش راندمان: بهینه‌سازی فرآیندها و افزایش بهره وری.
• کاهش هزینه ها: شناسایی و حذف ضایعات و ناکارآمدی ها.
• کشف فرصت های جدید: شناسایی فرصت های جدید برای کسب و کار.

چالش های داده کاوی:

• حجم عظیم داده ها: تجزیه و تحلیل حجم عظیمی از داده ها نیازمند منابع محاسباتی قدرتمند است.
• پیچیدگی الگوریتم ها: انتخاب و استفاده از الگوریتم های داده کاوی مناسب می تواند دشوار باشد.
• کیفیت داده ها: داده های نامرغوب می تواند منجر به نتایج نادرست و گمراه کننده شود.
• تفسیر نتایج: تفسیر الگوهای کشف شده و تبدیل آنها به دانش قابل فهم برای انسان می تواند دشوار باشد.

نتیجه:

داده کاوی ابزاری قدرتمند برای استخراج اطلاعات مفید و دانش از حجم عظیمی از داده ها است. این علم کاربردهای گسترده ای در berbagaisharemore_vert

فرایند داده کاوی:

• مرحله 1: پیش پردازش داده:
  • پاکسازی داده ها: حذف داده های تکراری، ناقص، نادرست و نامعتبر.
  • تبدیل داده ها: تبدیل داده ها به فرمتی مناسب برای تجزیه و تحلیل.
  • استانداردسازی داده ها: مقیاس بندی داده ها برای مقایسه آسانتر.
• مرحله 2: انتخاب الگوریتم:
  • الگوریتم های طبقه بندی: برای دسته بندی داده ها به گروه های مختلف.
  • الگوریتم های خوشه بندی: برای گروه بندی داده ها بر اساس شباهت.
  • الگوریتم های رگرسیون: برای پیش بینی مقادیر عددی.
  • الگوریتم های تشخیص ناهنجاری: برای شناسایی داده های غیرمعمول.
• مرحله 3: استخراج الگو:
  • اجرای الگوریتم انتخاب شده بر روی داده ها.
  • تجزیه و تحلیل نتایج الگوریتم.
• مرحله 4: ارزیابی مدل:
  • بررسی دقت و اعتبار الگوهای کشف شده.
  • مقایسه الگوهای مختلف با یکدیگر.
• مرحله 5: تفسیر نتایج:
  • تبدیل الگوهای کشف شده به دانش قابل فهم برای انسان.
  • ارائه نتایج به ذینفعان.

الگوریتم های رایج داده کاوی:

• طبقه بندی:
  • K-نزدیک ترین همسایه (KNN)
  • درخت تصمیم
  • ماشین های بردار پشتیبان (SVM)
• خوشه بندی:
  • K-means
  • خوشه بندی سلسله مراتبی
  • الگوریتم EM
• رگرسیون:
  • رگرسیون خطی
  • رگرسیون لجستیک
  • درخت های رگرسیون
• تشخیص ناهنجاری:
  • KNN
  • تشخیص ناهنجاری مبتنی بر فاصله
  • تشخیص ناهنجاری مبتنی بر چگالی

ابزارهای رایج داده کاوی:

• نرم افزارهای تخصصی:
  • SAS Enterprise Miner
  • IBM SPSS Modeler
  • RapidMiner
• کتابخانه های برنامه نویسی:
  • scikit-learn
  • TensorFlow
  • PyTorch
• خدمات ابری:
  • Amazon SageMaker
  • Microsoft Azure Machine Learning

کاربردهای داده کاوی:

• بازاریابی:
  • شناسایی مشتریان بالقوه
  • پیش بینی رفتار خرید
  • بهینه سازی کمپین های بازاریابی
• مالی:
  • تشخیص تقلب
  • پیش بینی ریسک اعتباری
  • مدیریت سبد سرمایه گذاری
• بهداشت و درمان:
  • تشخیص بیماری
  • پیش بینی عوارض
  • توسعه داروهای جدید
• تولید:
  • بهینه سازی فرآیندهای تولید
  • پیش بینی خرابی تجهیزات
  • کنترل کیفیت
• دولت:
  • جلوگیری از جرم و جنایت
  • شناسایی فعالیت های تروریستی
  • بهینه سازی خدمات عمومی

مزایای داده کاوی:

• کشف دانش پنهان:
  • شناسایی الگوها و روندهایی که در داده های خام قابل مشاهده نیستند.
• بهبود تصمیم گیری:
  • ارائه اطلاعات و شواهد برای تصمیم گیری بهتر.
• افزایش راندمان:
  • بهینه سازی فرآیندها و افزایش بهره وری.
• کاهش هزینه ها:
  • شناسایی و حذف ضایعات و ناکارآمدی ها.
• کشف فرصت های جدید:
  • شناسایی فرصت های جدید برای کسب و کار.

چالش های داده کاوی:

• حجم عظیم داده ها:
  • تجزیه و تحلیل حجم عظیمی از داده ها نیازمند منابع محاسباتی قدرتمند است.
• پیچیدگی الگوریتم ها:
  • انتخاب و استفاده از الگوریتم های داده کاوی مناسب می تواند دشوار باشد.
• کیفیت داده ها:
  • داده های نامرغوب می تواند منجر به نتایج نادرست و گمراه کننده شود.

تفاوت داده (Data) و اطلاعات (Information) چیست؟

داده (Data) که بعضا از آن با عنوان داده‌ی خام نیز یاد می‌شود، گونه‌ای از اطلاعات به صورت خام و دست نخورده است که میتواند بسیار درهم و حتی به صورت عادی غیر قابل استفاده باشد، مجموعه‌ای از اعداد و ارقام درهم و شاید بدون معنای خاص می‌توانند به عنوان داده در نظر گرفته شوند، اما نتایج حاصل از پردازش و تجزیه و تحلیل این داده‌ها به عنوان اطلاعات تلقی می‌شوند، حتما متوجه شده‌اید که اطلاعات نیز می‌توانند مجددا به عنوان داده‌ی ورودی سیستم مورد استفاده قرار گیرند.

بنابراین با توجه به توضیحات بالا در حالت کلی اطلاعات و ورودی‌های خام را داده (Data) و نتایج حاصل از پردازش داده‌های خام را اطلاعات (Information) می‌نامیم.

به عنوان مثال نمرات دانشجویان یک کلاس، داده و نتایج حاصل از پردازش روی این نمرات، شامل میانگین، میزان افزایش یا کاهش نمرات، نمودارها و… می‌توانند به عنوان اطلاعات در نظر گرفته شوند.

داده کاوی چیست؟

به فرایند استخراج و کشف همبستگی‌ها و الگوهای مفید از میان حجم زیادی از داده‌های خام که با استفاده از الگوریتم و سازوکارهای هوشمند انجام می‌گیرد دیتاماینینگ یا داده کاوی می‌گویند، به زبان ساده‌تر، استخراج دانش از میان‌ مجموعه‌ای از داده‌ها را داده‌کاوی می‌نامند.

به نقل از ویکی‌پدیا، داده‌کاوی، به مفهوم استخراج اطلاعات نهان یا الگوها و روابط مشخص در حجم زیادی از داده‌ها در یک یا چند بانک اطلاعاتی بزرگ گفته می‌شود.

البته لازم به ذکر است، برای اینکه این الگوریتم بتواند دانش را به خوبی استخراج کند نیاز به یک‌سری پیش‌پردازش بر روی داده‌های اولیه و همچنین یک‌سری پس‌پردازش بر روی اطلاعات خروجی خواهد داشت.

یک مثال عملی و جالب از فرایند داده‌کاوی!

اگر از سایت اشتراک ویدئوی یوتیوب استفاده کرده باشید حتما می‌دانید که قبل از نمایش ویدئوی اصلی یک تبلیغ چند ثانیه‌ای به شما نمایش داده می‌شود، اما آیا تا به حال به محتوای این تبلیغ دقت کرده‌اید؟ می‌دانستید اگر وارد حساب کاربری گوگل خود شده باشید، به‌طور صد درصد یک تبلیغ مرتبط با علاقه‌ی خود را مشاهده خواهید کرد؟!

به نظر شما گوگل چگونه می‌تواند متوجه علاقه‌ی شما شود؟ پاسخ این سوال بسیار ساده است، گوگل شما را از خودتان نیز بهتر می‌شناسد!

گوگل به واسطه‌ی موتور جستجوی خود و تاریخچه‌ی جستجوی‌های شما (در صورتی که وارد حساب کاربری خود شده باشید) می‌تواند به سایت‌هایی که معمولا به آن‌ها سر می‌زنید دسترسی داشته باشد، بدین ترتیب پس از گذشت مدت زمانی به علایق شما پی خواهد برد، این‌ موارد داده‌های خام و به ظاهر نامرتبطی هستند که شاید از نظر ما چندان مفید و کاربری نباشند.

اما این غول جستجو، با کمک الگوریتم‌های پیشرفته‌ی داده کاوی خود می‌تواند اطلاعات بسیار با ارزشی را از انبوه داده‌هایی که از شما در اختیار دارد به دست آورد.

بدین ترتیب به راحتی به علایق شما پی برده و از این اطلاعات در شخصی‌سازی تبلیغات نمایش داده‌شده به شما استفاده کند، این کار علاوه‌بر اینکه می‌تواند شما را به مشاهده‌ی ادامه‌ی تبلیغات ترغیب کند، به طرز حیرت‌انگیزی به افزایش درآمد گوگل از نمایش تبلیغات و افزایش نرخ تبدیل آن نیز کمک خواهد کرد، این مورد به ظاهر ساده یکی از ابتدایی‌ترین کاربردهای داده کاوی بود، اما در ادامه برخی کاربردهای دیگر فرایند داده کاوی را با هم مرور می‌کنیم.

کاربردهای اصلی داده کاوی

همانطور که گفتیم، داده‌کاوی یعنی استخراج اطلاعات مفید از مجموعه‌ی داده‌های خام و نامفهوم که این اطلاعات شامل اجزای مختلفی هستند، از جمله کاربردهای دیگر داده‌کاوی عبارتند از:

• کشف الگوی میان داده‌ها
• پیش‌بینی حدودی نتایج
• به‌دست آوردن اطلاعات کاربردی
• تمرکز بر روی داده‌های بزرگ

به‌طور کلی فرایند داده‌کاوی علاوه‌بر اینکه به ما کمک می‌کند داده‌های نامرتبط و بلااستفاده را از مجموعه‌ی خود حذف کنیم، از طرفی اطلاعات بسیار مفید و کاربردی را در اختیار ما (سازمان) قرار می‌دهد و همچنین به فرایندهای تصمیم‌گیری سرعت می‌بخشد.

فرایند انجام Data Mining

همانگونه که در نمودار پایین مشاهده می‌کنید، داده‌کاوی به صورت کلی و عمومی در 6 مرحله‌ی اصلی انجام می‌شود، در ابتدا داده‌های مورد نیاز (داده‌های هدف) جمع‌آوری می‌شوند و مورد پردازش و پاکسازی قرار می‌گیرند، یعنی داده‌های اضافه حذف شده و تنها داده‌های مورد نیاز وارد سیستم می‌شوند.

در مرحله‌ی بعدالگوی میان داده‌ها کشف و ارزیابی و سپس الگوریتم و متد‌های Data Mining بر روی داده‌ها انجام خواهد شد.

در نهایت نیز اطلاعات به‌دست آمده از فرایند داده‌کاوی در قالب فرمت‌های قابل درک برای انسان مانند نمودار، تصویر، گزارش و… ارائه شده و دانش مورد نظر که از میان انبوه داده‌های خام استخراج شده‌است در اختیار سازمان قرار خواهد گرفت.

مشکلات اساسی که بر سر راه دیتاماینینگ وجود دارند

به طور کلی اکثر سیستم‌های داده‌کاوی با دو مشکل اساسی دست‌و‌پنجه نرم می‌کنند، این مشکلات عبارتند از:

• حجم بالای داده‌های موجود در ورودی
• عدم اطمینان کامل به اطلاعات خروجی

برای حل مشکل اول یعنی حجم بالای داده‌ها می‌توان از الگوریتم‌های سریع‌تر، روش‌های کاهش پیچیدگی زمانی، بهینه‌سازی، پردازش موازی و… استفاده کرد، همچنین می‌توانیم با استفاده از روش‌هایی مانند نمونه گیری، گسسته‌سازی، کاهش ابعاد و… حجم داده‌های ورودی را با توجه به نیاز داده‌کاوی کاهش دهیم و یا اینکه در نهایت با استفاده از قابلیت‌های ذخیره و بازیابی اطلاعات موجود در دیتابیس‌ها از روش‌های ارائه‌ی رابطه‌ای استفاده کنیم.

برای حل مشکل دوم یعنی عدم اطمینان کامل به اطلاعات خروجی باید ورودی خود را کنترل کنیم، در صورتی که در داده‌های ورودی اطلاعات کامل نباشند، یعنی در داده‌ها مشخصه‌هایی وجود داشته باشد که مقدار معتبری برای آن‌ها درج نشده است و یا اینکه اطلاعات ناسازگار باشند (داده‌ها با تداخل رو به رو شده باشند) و در نتیجه مقادیر ثبت‌شده با مقادیر واقعی یکسان نباشند، می‌تواند باعث ایجاد عدم اطمینان (عدم قطعیت) در اطلاعات خروجی گردد، که راه برطرف کردن آن بررسی صحت داده‌های ورودی می‌باشد.

برخی از پلتفرم‌های مورد استفاده در فرایند داده‌کاوی

داده‌کاوی معمولا در سازمان‌هایی مانند ادارات بیمه، مراکز آموزشی بزرگ، تولید کنندگان، بانک‌ها و سازمان‌های مالی، خرده فروشی‌ها و… کاربردهای بسیاری دارد، اکثر سازمان‌های از ابزارهای زیر برای انجام فرایند داده‌کاوی استفاده می‌کنند:

• زبان برنامه‌نویسی آر (R)
• زبان برنامه‌نویسی پایتون
• زبان برنامه‌نویسی متلب
• نرم‌افزار SPSS
• نرم‌افزار Weka
• نرم‌افزار RapidMiner

معرفی الگوریتم CRISP (کریسپ) در داده‌کاوی

واژه‌ی CRISP (کریسپ) از سرواژه‌های عبارت CRoss Industry Standard Process for Data Mining و به معنی فرایندهای استاندارد صنعت متقابل برای داده‌کاوی در اصل یکی از روش‌های تحلیلی متفاوت برای فرایند داده‌کاوی است، همانگونه که در نمودار زیر مشاهده می‌کنید متدلوژی CRISP شامل 6 مرحله‌ی اصلی می‌شود که عبارتند از:

• فهم تجاری (Business Understanding)
• درک داده (Data Understanding)
• آماده‌سازی داده (Data Preparation)
• مدل‌سازی (Modeling)
• ارزیابی (Evaluation)
• توسعه (Development)

فهم تجاری: شامل گردآوری موارد مورد نیاز و گفتگو با مدیران ارشد برای تعیین اهداف.

درک داده: نگاه نزدیک و بررسی دسترسی به داده‌ها برای فرایند دیتاماینینگ که شامل گردآوری، توصیف، کشف و تغییر کیفیت داده‌ها می‌شود.

آماده سازی داده: این مرحله یکی از مهم ترین و همچنین زمان‌برترین بخش‌های داده‌کاوی است که شامل انتخاب، پاک‌سازی، ساختاربندی، و ادغام داده‌ها می‌شود.

مدل سازی: هم‌اکنون داده‌ها آماده‌ی فرایند داده‌کاوی‌اند و نتایج راه حل‌هایی را برای مشکل تجاری مطرح شده نشان می‌دهند، تکنیک‌های انتخاب مدل‌سازی، ایجاد یک طراحی آزمون، ساخت مدل‌ها، و ارزیابی مدل این مرحله را می‌سازند.

ارزیابی: در این مرحله نتایج ارزیابی شده، فرایند انجام کار بازبینی و مراحل بعدی انجام می‌شوند.

توسعه: نتایج به‌دست آمده توسعه یافته و برای بهبود عملکرد سازمان به کار گرفته می‌شوند.