انباره داده، پردازش تحلیلی آنلاین و دادههای ارتباطی
انباره داده ، قلب محیط هوش تجاری (BI) ، یک مخزن مرکزی از دادههاست که از چندین منبع داده متفاوت جمعآوری شده است و به نوبهی خود برای تامین پردازش تجزیه و تحلیل استفاده میشود که ارزش تجاری از آن استخراج میشود. مدیران رده بالا آگاه به تجزیه وتحلیل، ابتدا باید از تفاوتهای انبار داده با مدلهای ساختاری معمولی، موجودیت-ارتباطی و مدلسازی براساس ابعاد دادهها آگاه شوند.
اهمیت مدلسازی داده در یک متن تجزیه و تحلیلی، به همراه مدیریت دادههای ارتباطی مرتبط با آن داده، به عنوان یک مؤلفه بحرانی در محیط هوش تجاری بروز پیدا کرده است. در ادامه، ما به مدلسازی داده، پردازش تحلیلی آنلاین (OLAP) و مدیریت دادههای ارتباطی خواهیم پرداخت، که همگی به شیوههایی برای نمایش اطلاعات به منظور اهداف هوش تجاری مجهز هستند.
مدل تجاری
تفاوت قابل ملاحظهای بین استفاده سنتی از پایگاههای داده برای اهداف تجاری و استفاده از پایگاههای داده برای اهداف تجزیه و تحلیل وجود دارد. استفاده سنتی در ارتباط با پردازش تراکنش به عنوان وسیلهای برای مدلسازی عملکرد یک کسبوکار است. فرآیندهایی که در اطراف تبدیل یک عملکرد کسبوکار به یک سیستم عملیاتی وجود دارد، بر دو ایده تمرکز دارند:
- نیازهای تجاری تعاملات و ارتباطات بین موجودیتهای مدلسازی شده را نمایش میدهند؛
- هر فعالیت تجاری قابل تشخیص میتواند به عنوان یک دنباله از معاملات توصیف شود که به عنوان یک عمل مجازی تکمیلی گروهبندی میشوند تا تأثیرات آن فعالیت را در مدل ثبت کنند.
تکامل سیستمهای پایگاهداده تابع سازمان مدل موجودیت-ارتباطی به منظور ادغام این نوع فعالیتهای تجاری بود. از سوی دیگر، نمایش اطلاعات در این چارچوب مناسب اهداف تحلیلی نیست. اولاً، مدل داده به منظور فرآیند تراکنش بهینهسازی شده است، اما عملکرد تحلیلی به شدت ضرر میکند، و ثانیاً، انعطافاتی که تحلیلگران پایگاه داده به مدلهای خود اعمال میکنند، منجر به ترتیب داده میشود که احتمالاً برای یک تحلیلگر تجاری گیجکننده خواهد بود.
به این منظور، جامعه BI مدل دادهای متفاوت به نام مدل ابعادی (dimensional model) را توسعه داده است که اطلاعاتی که برای اجرای برنامههای تحلیلی و پشتیبانی از تصمیمگیری لازم است را به طریقی موثرتر نمایش میدهد. با استفاده از این نوع مدل داده و ایجاد یک مخزن مرکزی اطلاعات با استفاده از این نوع مدل داده و جمعآوری مجموعههای داده از تمام حوزههای شرکت در این مخزن، میتوان یک انبار داده ایجاد کرد که سپس میتواند اطلاعات را به برنامههای تحلیلی فردی تأمین کند.
دلیل اقتصادی در اینجا ساده است: بدون توانایی جداسازی و فرمولهکردن دادهها برای تجزیه و تحلیل، برنامه BI وجود ندارد، ساخت انبار داده یا فرهنگ دادهها و یک انبار داده نیز نمیتواند بدون درک همه جوانب دادهها ساخته شود.
مدل داده
مدل داده یک نمایش یکسانسازی شده و ساختار یافته از دادهها برای نمایش یک مجموعه از موجودیتهای جهان واقعی است که با یکدیگر ارتباط دارند. در طول زمان، درک ما از بهترین روش نمایش مدل مشاهدهشده ما تغییر کردهاست تا نمایانگر روشهایی شود که ما درک اطلاعات را به همراه روشهایی که میخواهیم برای پردازش آن اطلاعات استفاده کنیم، از این زمینه بهرهبرداری کنیم. تفاوت قابل توجهی بین نحوه استفاده از داده در یک شیوه عملی/تاکتیکی (به عبارت دیگر برای “مدیریت کسب و کار”) و نحوه استفاده از داده در یک شیوه استراتژیک (به عبارت دیگر برای “بهبود کسب و کار”) وجود دارد.
تکنیک مدلسازی سنتی برای سیستمهای عملیاتی مربوط به مدل موجودیت-ارتباط است. متأسفانه، برنامههای تحلیلی مرتبط با BI کمتر قابلیت بهرهبرداری از دادهها را در موقعیت موجودیت-ارتباطی دارند؛ به عبارت دیگر، تغییر همان اطلاعات به یک ساختار بُعدی قابلیت استفاده آسان از دادهها را برای اهداف استراتژیک به شدت سادهتر میکند.
مدلهای موجودیت-ارتباط (Entity – Relationship Models)
در اوایل دوران پایگاههای داده، تمام جنبههای یک شیء دادهای یا تراکنش (مانند حساب بانکی یا خرید در یک فروشگاه) احتمالاً در یک ورودی واحد در یک جدول پایگاه داده ذخیره میشد، به گونهای که تمام جنبههای نمونه داده داخل آن رکورد تکی قرار میگرفتند. به عنوان مثال، یک رکورد فروش ممکن بود نام خریدار، آدرس، زمان تراکنش و سپس یک لیست (شاید با کاماها جدا شده) از موارد و تعداد هر محصولی که خریداری شده بود را ثبت کند. از نظر مدیریت کسب و کار، این ممکن بود کافی باشد، اما مدیریت آن دشوار بود؛ کد برنامهنویسی برای انجام هر نوع تغییر دادهای لازم برای استخراج هر نوع اطلاعات از این سیستمها نوشته میشد (شکل زیر). به علاوه، از آنجایی که اطلاعات خریدار برای هر تراکنش جمعآوری میشد، مقدار قابل توجهی از دادههای تکراری و تکمیلی بدون دلیل ذخیره میشد و امکان ورود خطاهای بسیاری به سیستم وجود داشت.
در دهه 1980 میلادی، تعدادی از افراد عملی و پژوهشگران مفهوم پایگاه داده رابطهای را بررسی کردند، در آن رویکرد مدلسازی اطلاعات به عنوان نمایندهها در جداول مختلف مورد نظر قرار گرفت و این نمایندهها در سیاق فرآیندهای تجاری میان جداول با استفاده از نوعی پیوند متقاطع در جداول به هم مرتبط میشدند. در دیدگاه ما (سادهشده) درباره پایگاه داده فروش، جدول خود را به جدول مشتری، جدول محصول، جدول فروش و جدول جزئیات فروش تقسیم میکردیم، به طوری که هر رکورد در جدول فروش نمایندهای از یک تراکنش خرید توسط مشتری مرتبط را نشان میدهد و هر مورد و تعداد خریداری شده در یک رکورد مرتبط در جدول جزئیات فروش وجود داشت (شکل زیر).
یکی از اهداف اساسی مدل موجودیت-ارتباط تسهیل توسعه پردازش تراکنشی است، این کار با ارائه یک طرح منطقی برای تطبیق یک فرآیند تجاری با یک دنباله گروهی از عملیات جدولی به عنوان یک واحد کاری انجام میشود. نتیجه اجرای گروه عملیات، بازتاب اثرات تراکنش تجاری درون مدل داده است. هدف اساسی دیگر مدل رابطهای شناسایی و حذف تکرار در دیتابیس است. این فرآیند که با نام نرمالسازی شناخته میشود، جداول را برای یافتن نمونههای تکراری از داده در یک جدول (مانند نامها و آدرسها در جدول فروش قدیمی ما در شکل زیر) که میتوانند به یک جدول جداگانه که از طریق یک کلید خارجی به صورت روابطی ارتباط برقرار کنند، تجزیه و تحلیل میکند.
اگرچه مدل موجودیت-ارتباط به طراحی سیستمهای عملیاتی به شدت کمک میکند، انتشار اطلاعات به انتسابهای رابطهای تا حدی گیجکننده است (به عنوان مثال، نمودارهای موجودیت-ارتباطی به طول راهرو که دیوارهای دپارتمان مدیریت پایگاه داده [DBA] را تزئین میکنند را در نظر بگیرید). علاوه بر این، انواع استخراجهای تحلیلی که برای برنامههای BI مفید هستند، به تمثیل داده در مدل رابطهای خالص محدود میشوند، تبدیل به درخواستهای با عملکرد ضعیف میشوند که شخص ممکن است فکر کند استخراجی به شکل یک عملیات مفهومی خواهد بود.
مدل ابعادی
عدم موفقیت آشکار مدل رابطهای در ارائه به بهرهبرداران دانش بهطور عمده به پیچیدگی مدلهای داده و سختی در بازسازی نمای طبیعی اطلاعات که میتواند در سیاق تحلیلی مورد استفاده قرار گیرد، برمیگردد. به عکس، یک تکنیک جایگزین برای مدلسازی دادهها وجود دارد که امکان نمایش اطلاعات به یک شکل مناسب برای دسترسی با عملکرد بالا را فراهم میکند. این تکنیک، مدلسازی بُعدی(ابعادی) نامیده میشود و واحد اساسی نمایش را به عنوان یک ورودی تککلیدی در یک جدول حقیقت نازک در نظر میگیرد، که هر کلید از مدل رابطهای برای ارتباط با ابعاد مختلف مرتبط با آن حقایق استفاده میکند. جدول واقعیتهای تحت نظر که هر کدام به مجموعهای از ابعاد مرتبط با آنها مرتبط هستند، نمایش کارآمدتری برای دادهها در یک انبار داده فراهم میکند. این به علت قابلیت ایجاد بهصورت کارآمد تجمیعات و استخراج دادههای خاص به محدودیتهای ابعادی خاص، سریع است و به امکان تجمع اطلاعات میپردازد.
جدول واقعیت و طرح ستاره
نمایش یک مدل بعدی به سادگی انجام میشود. جدول واقعیت شامل رکوردهایی است که به اشیاء قابل مشاهده اشاره دارد، معمولاً در یک سیاق تجاری. یک مثال ساده، در شکل زیر مشاهده میشود که دارای یک جدول واقعیت است که شامل یک کلید با مؤلفههایی است که کلیدهای جداول ابعاد فردی هستند، همراه با برخی اطلاعات خاص مرتبط با واقعیت است. این دادهها به طور معمول عددی هستند تا قابلیت استفاده از توابع تجمیعی (مجموع، بیشینه، کمینه و غیره) را داشته باشند. هر واقعیت مقدار کلی محصولی که به یک مشتری خاص در مکان خاص نقاط فروش در زمان خاصی فروخته شده را نمایان میکند.
این مدل شامل چهار بُعد است: محصول، مشتری، مکان نقاط فروش و زمان. زمانی که به تصویر مدل در شکل بالا نگاه میکنید، میبینید که ارتباطات بین جدول واقعیت و ابعاد شبیه به یک ستاره است، به همین دلیل این ساختار مدل به عنوان یک طرح ستارهای یا یک طرح ستاره نامیده میشود. با نگاه به این مدل، به راحتی میتوانید ببینید که چگونه مجموعههای مستقیم میتوانند با جمعآوری اطلاعات از طریق جدول واقعیت تشکیل شوند. به عنوان مثال، برای استخراج اطلاعات در مورد فروش هر محصول خاص بر اساس مکانهای فروش، شما باید رکوردهای جدول واقعیت را بر اساس مکان فروش و سپس بر اساس محصول گروهبندی کنید.
جدول واقعیت با ابعاد در یک طرح ستارهای مرتبط است. هر ورودی در یک بُعد نمایانگر توصیف ساختارهای فردی درون آن بُعد است. به عنوان مثال، در مثال فروش ما، بُعد محصول حاوی اطلاعات مرتبط با محصولات است، با توصیفهای متنی که هر محصول را به دقت توصیف میکنند، مانند گروه محصول، توضیحات، شماره SKU، نوع بستهبندی و اندازه بسته.
مزایای مدل ابعادی برای هوش تجاری
استفاده از یک مدل بُعدی برای مدیریت دادهها در یک انبار داده مجموعهای از مزایا را داراست:
- ساختار آن ساده و قابل پیشبینی است که فرآیند استخراج داده را ساده میکند، از طریق ابزارهای پرس و جوی مشتری، رابطهای کاربری یا ابزارهای گزارشدهی عمومی. در واقع، یک فرآیند عمومی برای استخراج اطلاعات وجود دارد که بر مدل ستارهای تکیه دارد: یک اتصال بین جدول واقعیت و ابعاد مورد نظر ایجاد کنید و سپس بر اساس بُعد گروهبندی کنید. به لحاظ ارتباط کلیدی بین جدول واقعیت و ابعاد، این اتصال در واقعیت تنها یک عبور از جدول واقعیت است.
- بدون توجه به اینکه دادهها به چه شکلی بر حسب ابعاد مختلف تقسیم میشوند، هیچ توجه ویژهای به هیچ بعدی واگذار نمیشود. این بدان معناست که هنگامی که مصرفکنندگان داده تغییر فعالیت یا رفتار خود را در تحلیلها یا گزارشهای خود تغییر دهند، نیازی به انجام عمل خاصی برای بازترازی دادهها به منظور بهبود عملکرد وجود ندارد. به عبارت دیگر، ویژگیهای عملکرد به ساختار داده مرتبط نیستند.
- به دلیل امکان گسترش آسان مدل ابعادی، تغییرات در مدل میتواند به آرامی و بدون ایجاد اختلال در عملکرد انبار داده مدیریت شود. به عنوان مثال، افزودن مقادیر جدید به یک بعد به معنای افزودن ردیفهای جدید به آن بعد است؛ افزودن یک بعد جدید با ایجاد جدول بعد جدید و اصلاح مقادیر کلیدی در جدول واقعیت برای شامل کردن ارجاعات به بعد جدید انجام میشود. افزودن ویژگیهای جدید به مقادیر بعدی با تغییر جداول و افزودن مقادیر ویژگیهای جدید انجام میشود.
تغییراتی در طرح ستاره وجود دارد که شامل جداسازی اطلاعات بُعدی از یک بُعد پیشفرض (که به آن snowflaking میگویند) است، اما طرح ستاره کلی یک تجسم نمایشی قدرتمند است که در ساخت انبار دادهها شایع است. مدلسازی بُعدی به یک انبار داده محدود نمیشود؛ میتوان به راحتی تصور کرد که از همین رویکرد برای نمایش انواع مختلفی از فعالیتهای تجاری استفاده شود، مانند مدلهای زنجیره تأمین، ادعاهای بیمه، پروندههای پزشکی و جزئیات تماسهای تلفنی.
شرکت داده های هوشمند ساویس با هدف کمک به طراحی، توسعه و رشد محصول و کسب و کار خدمات متفاوتی ارائه میکند. با توجه به اینکه مجموعه شما چه ابعاد و نیازهایی دارد، برنامه همکاری و سرویسدهی به شما بطور منحصر بفرد طراحی و بصورت پروپوزال به شما ارائه میشود. با توجه به اهداف هوش تجاری و موارد مطرح شده در این مطلب میتوانید با استفاده از داشبوردهای هوش تجاری، کسب و کار خود را ارتقاء دهید.
ما در مطالب بعدی، در رابطه با انبارهی داده، دیتا مارت،متاداده و اهمیت آن به مواردی اشاره خواهیم کرد؛ امید است که ارائه این مطالب شما را به شناخت بهتر هوش تجاری نزدیک کند و بتواند موفقیتی برای کسب و کار شما باشد.