انبارهی داده چیست؟
به طور اساسی، انبارهی داده (Data Warehouse) منبع اصلی اطلاعاتی است که تغذیه پردازش تحلیلی در یک سازمان را انجام میدهد. در مطالب گذشته، در مورد چندین برنامه تحلیلی مختلف که توسط نیازهای تجاری تعیین میشوند، صحبت کردیم، اما بیشتر این برنامهها، حتی شاید همگی آنها، توسط دادههایی که به یک انبار داده منتقل شدهاند، تعیین میشوند.
جالب است بدانید در مورد اینکه چه چیزی به عنوان یک انبار داده محسوب میشود، توافق عمومی وجود دارد. اگر از چندین کارشناس بپرسید، احتمالاً جوابهای مختلفی خواهید شنید، اما آنها به مفاهیم زیر تمرکز خواهند کرد.
- انبارهی داده یک مخزن مرکزی از اطلاعات است.
- انبارهی داده بر اساس حوزههای موضوعی مرتبط با کل شرکت تنظیم شده است.
- انبارهی داده منبعی قابل پرسوجو برای یک شرکت است.
- انبارهی داده برای تجزیه و تحلیل و نه برای پردازش تراکنشی استفاده میشود.
- دادهها در انبار داده ثابت هستند (غیرقابل تغییر).
- انبارهی داده مکان هدف برای ادغام دادهها از منابع متعدد، هم داخلی و هم خارجی از یک شرکت است.
یک انبارهی داده معمولاً با استفاده از یک مدل بُعدی(ابعادی) ساخته میشود. اطلاعات پس از چندین مرحله پیشپردازش به انبارهی داده منتقل میشوند، این مراحل شامل استخراج داده از منابع دادههای مختلف، تجزیه و تحلیل داده ، تصفیه داده و یک سری تبدیلات است (در آینده به این موضوعات خواهیم پرداخت)، که ممکن است شامل اعمال قوانین تجاری باشد. سپس داده به شکل بُعدی بازنمایی میشود و به انبارهی داده هدف منتقل میشود. این فرآیندها تشکیل دهنده بخش پشتیبانی انبار داده به نام پشته دادههای انبارهی داده است.
با ورود داده به انبارهی داده، ممکن است برای اهداف مورد تقسیم بندی قرار گیرد: برای گزارشهای از پیش تهیهشده استفاده شود ، مورد پرسوجوهای آزاد قرار گیرد یا برای ایجاد دیتامارتها (یا برعکس، ممکن است به صورت مجازی با اتحاد مجموعهای از دیتامارتها ساخته شود). ابزارهای OLAP مشخصی ممکن است ورودی خود را مستقیماً از انبارهی داده یا از دیتامارتهای استخراج شده بگیرند.
دیتا مارت (Data Mart)
دیتامارت یک مخزن داده متمرکز بر روی یک موضوع است، به ساختار انبار داده ی سازمانی شباهت دارد، اما دادههای مورد نیاز برای پشتیبانی تصمیمگیری و نیازهای هوش تجاری یک بخش خاص یا گروه در سازمان را نگه میدارد. یک دیتامارت ممکن است به صورت کامل برای اهداف تحلیلی گروه خاصی ساخته شود یا از یک انبار داده ی موجود ایجاد شود. دیتامارتها نیز با استفاده از ساختار اتصال ستارهای ساخته میشوند.
بهطور عمده به دلیل ماهیتهای مختلف نتایج مورد نظر ، تفاوتهایی بین یک دیتامارت و یک انبار داده وجود دارد. مدرسهای وجود دارد که باور دارد انبار دادهها برای تحلیلهای با ساختار گشوده و اکتشافی مناسب هستند، در حالی که دیتامارتها برای گزارشدهی بیشتر به صورت رسمی و برای حفرهکنی هدایتشده مناسب هستند. چرا که دیتامارتها بر اهداف خاص و نیازهای پشتیبانی تصمیمگیری بخصوص یک بخش خاص در شرکت متمرکز هستند، مقدار داده نسبت به انبارهای داده بسیار کمتر است، اما تمرکز بر روی دادههای مرتبط با عملکرد آن بخش است. این به معنای این است که بخشهای مختلف با نیازهای تحلیلی یا گزارشدهی متفاوت ممکن است نیاز به ساختارهای دیتامارت مختلفی داشته باشند (که ممکن است عامل تنوع محصولات دیتامارت در بازار باشد)
پردازش تحلیلی آنلاین (OLAP)
پردازش تحلیلی آنلاین (OLAP) با پردازش تراکنشهای آنلاین عملیاتی (OLTP) متفاوت است. قطعا تعاریف مختلفی از OLAP دیدهایم، بیشتر آنها توصیف میکنند که OLAP برای چه چیزی استفاده میشود. اما اصطلاحاتی که بیشترین استفاده را دارند عبارتهای “چندبعدی” و “برش و ترتیب” هستند. ابزارهای پردازش تحلیلی آنلاین به وسیله ارائه دادههای منبع گرفته شده از یک انبار داده یا دیتامارت به گونهای ارائه میدهند که به مصرفکننده داده اجازه میدهند تا معیارهای مقایسهای را در ازای ابعاد متعدد مشاهده کنند. علاوه بر این، این معیارها به گونهای خلاصه شدهاند که به مصرفکننده داده اجازه میدهند تا بر روی هر مقدار یا ابعاد خاصی عمق بیافزایند (یعنی نمایش جزئیات بیشتر).
ابعاد دادههایی که در محیط OLAP تجزیه و تحلیل میشوند، در یک ساختار مکعبی (در واقع، مکعب هایپر) ترتیب داده شدهاند، جایی که خلاصههای هر ابعاد میتوانند در زمینه سایر ابعاد دیده شوند. به طور معمول، مقادیر به طور خلاصه در سلسله مراتب طبیعی هر ابعاد جمعآوری میشوند. به عنوان مثال، فرض کنید یک پایگاه داده اطلاعات فروش داریم که هر معامله فروش را ثبت میکند، از جمله تاریخ، زمان، مکان، مشتری، محصول، تعداد، قیمت هر محصول، و فروش کلی. ممکن است یک مکعب OLAP را با این ابعاد پیکربندی کنیم:
- مشتری
- مکان فروش
- محصول
- زمان
در این ابعاد یک ساختار سلسله مراتبی وجود دارد، مانند دورههای زمانی (ساعت، روز، هفته، ماه، سهماهه، سال)، مکانهای فروش (نقطهی فروش، فروشگاه، شهر، شهرستان، ایالت، منطقه)، و کلاسهای محصول (شامل محصولات ویژه مانند شامپو که در داخل کلاس محصولات مراقبت از مو است، که در داخل کلاس محصولات افزایش زیبایی قرار دارد). محیط OLAP یک نمای کلی از متغیرهای داده را در سراسر ابعاد و سلسله مراتب هر بعد فراهم میکند. این ممکن است به معنای اعمال یک تابع جمعآوری به هر ستون فردی در سراسر تمام دادههای مرتبط با هر بعد باشد (مانند “کل فروش دلاری بر اساس دوره زمانی” یا “میانگین قیمت بر اساس منطقه”). به عنوان مثال، تحلیلگر داده میتواند مجموع فروش محصولات افزایش زیبایی در یک منطقه را بررسی کند و سپس در دیگر ابعادی مانند بعد محصول (مجموع فروش محصولات مراقبت از مو در یک منطقه) یا بعد منطقه (مجموع فروش محصولات افزایش زیبایی در یک شهر) تجزیه و تحلیل کند.
به دلیل ساختار مکعبی، امکان چرخش داده به منظر مختلف برای ارائه نمای مختلف به داده با استفاده از ابعاد پایه متفاوت وجود دارد. این توانایی مفهومی برای چرخش یا چرخاندن داده ارائه میدهد (قسمت “برش”)؛ توانایی تجزیه و تحلیل جزئیات بیشتر در هر جمعآوری خاصی (قسمت “خرد کردن”) ارائه میدهد.
ارزش یک ابزار OLAP از توانایی تجزیه و تحلیل سریع داده از چند نقطه دید مختلف ناشی میشود، بنابراین ابزارهای OLAP برای پیشمحاسبه جمعآوریها و ذخیرهسازی آنها در پایگاههای داده OLAP طراحی شدهاند. اگرچه این طراحی دسترسی سریع را فراهم میکند، این به این معناست که باید مقدار قابل توجهی از آمادهسازی داده برای ارائه OLAP و همچنین فضای ذخیرهسازی بزرگی وجود داشته باشد، زیرا تعداد سلولها در مکعب توسط تعداد ابعاد و اندازه هر بعد مشخص میشود.
به عنوان مثال، یک مکعب OLAP با دو بعد، مشتری (1000 مقدار) و مکانهای فروش (100 ورودی) به 100،000 سلول نیاز دارد. اگر سومین بعد را، محصول (با 200 مقدار) اضافه کنید، ناگهان به 20 میلیون سلول نیاز دارید. افزودن چهارمین بعد، زمان (52 هفته)، نیاز به 1.04 تریلیون سلول دارد! همچنین، نیازهای محاسباتی به همین نحو افزایش مییابند، زیرا این جمعآوریها باید محاسبه و ذخیره شوند. این همان دلیل است که بسیاری از فروشندگان بر معماری ماشینهای موازی بزرگ برای پشتیبانی از محیط دادههای OLAP اعتماد میکنند.
متادیتا (Metadata)
تعریف استاندارد متاداده به عنوان “داده درباره دادهها” است که متاسفانه توضیح واضحی نیست. بهتر است به متاداده به عنوان فهرستی از سرمایه فکری فراگیری نگاه کنیم که ایجاد، مدیریت و استفاده از مجموعهای از اطلاعات را شامل میشود. این میتواند از مشاهدات ساده درباره تعداد ستونها در یک جدول پایگاه داده تا توصیفهای پیچیده درباره نحوه جریان داده از منابع متعدد به پایگاه داده هدف متغیر باشد.
در آغاز به صورت نسبتاً ساده به عنوان دیکشنری داده مرتبط با جداول پایگاه داده مرکزی مینفریم(mainframe) تعریف شده است، مفهوم متاداده به مرور زمان به عنوان یک جزء اصلی از یک برنامه BI تکامل یافته است. به طور اساسی، متاداده یک کلید مشترک با قابلیت اشتراکگذاری به تمام اطلاعاتی است که به تجزیه و تحلیل کسبوکار تغذیه میکند، از استخراج و پر کردن مخزن مرکزی تا تهیه داده از انبار و نمایش آن در صفحات مشتریان کسبوکار.
اهمیت متادیتا (Metadata)
مدیریت متاداده احتمالاً یکی از مهمترین وظایف مرتبط با یک برنامه BI موفق است، به دلایل زیر:
- متاداده همچنین دانش منطقی و فیزیکی مورد نیاز برای تبدیل مجموعههای داده متفاوت به یک انباره متمرکز را در بر میگیرد.
- متاداده ساختار و معنی دادههایی را که به انبار داده تغذیه میشود، ثبت میکند.
- ثبت متاداده عاملی برای استخراج مسیری برای مشتق کردن مسیر حسابرسی اطلاعات فراهم میکند.
- میتوان تفاوتهای مرتبط با نحوه کنترل داده در طول زمان (و همچنین قوانین تجاری مرتبط) را ثبت کرد که با توجه به انبارههای داده که دادههای تاریخی آنها دورههای زمانی بزرگی را در بر میگیرد، بسیار حیاتی است.
- متاداده وسیلهای برای ردیابی تکامل اطلاعات به عنوان یک راه برای تأیید و تصدیق نتایج مشتق شده از یک فرآیند تحلیلی فراهم میکند.
متاداده به دو حوزه تقسیم میشود:
- متاداده فنی که مکانیک دادهها را توصیف میکند؛
- متاداده تجاری که درک تجاری از همان اطلاعات را توصیف میکند.
شرکت داده های هوشمند ساویس با هدف کمک به طراحی، توسعه و رشد محصول و کسب و کار خدمات متفاوتی ارائه میکند. با توجه به اینکه مجموعه شما چه ابعاد و نیازهایی دارد، برنامه همکاری و سرویسدهی به شما بطور منحصر بفرد طراحی و بصورت پروپوزال به شما ارائه میشود. با توجه به اهداف هوش تجاری و موارد مطرح شده در این مطلب میتوانید با استفاده از داشبوردهای هوش تجاری، کسب و کار خود را ارتقاء دهید.
ما در مطالب بعدی، در رابطه با اطلاعات فنی،متاداده و کسبوکار،مخزن متاداده و مطالب مرتبط به مواردی اشاره خواهیم کرد؛ امید است که ارائه این مطالب شما را به شناخت بهتر هوش تجاری نزدیک کند و بتواند موفقیتی برای کسب و کار شما باشد.