الملخص

حديثا أصبحت تكنولوجيا المعلومات توظف أدواتها لتحليل ومعالجة البيانات الضخمة والتي تهدف الى استرجاعها من الانظمة المختلفة في العديد من المجالات وفي المجال الصناعي بشكل خاص كجزء من نظام ذكاء الأعمال . تتم عملية استرجاع البيانات ومعالجتها واستخدامها بغرض تطوير المنتجات او استحداث منتج جديد، بالاضافة الى استخدام هذه البيانات في خفض تكاليف الانتاج والأخطاء التي تحدث أثناء عملية الانتاج للمنتج الواحد, وتوفير المعلومات اللازمة لمساعدة متخذي القرار للمنتج في مراحل الانتاج والتطوير في إدارة سلسلة الإمداد . تستعرض الدراسة اطار تصميم يعمل على تحليل البيانات الضخمة من خلال استخدام البيانات والتقارير من مصادر مختلفة من الأنظمة,وتحليل البيانات من آلات التصنيع للمنتجات من أجل تحديد الأخطاء الناتجة في عمليات التصنيع وتكلفة هذا الخطأ في عملية الإنتاج, كما يوفر اقتراحات لتجنب هذا الخطأ, كما يوضح عملية الإنتاج من البداية الى النهاية وكيفية تطوير عملية الانتاج. التصميم المقترح لديه الأدوات اللازمة لتحليل البيانات الكبيرة وإيجاد العلاقة بين المنتجات لكافة العمليات في مرحلة الانتاج.

المقـدمــة

مصدر البيانات الكبيرة هي عباره عن ناتج من عمليات الأفراد الذين يتواصلون مع تكنولوجيا المعلومات بطرق مختلفة معا للأدوات وهي مصادرعديدة مثل سجلات المستخدمين من المواقع الالكترونية والانترنت, مواقع التواصل الاجتماعي, البريدالالكتروني, خوادم الويب، وبيانات الإنترنت والمحتوى من وسائل الاتصالات الاجتماعية والبيانات الخاصة لمعدات التصنيع والتقاريرالناتجة عنها, والأبحاث العملية بكافة المجالات. البيانات الكبيرة أصبحت تتصارع بكبرحجمها ونموها بشكل ملحوظ في الآونة الأخيرة وصعوبة التعامل معها لعدة أسباب وهي تعتمدعلى مصدرالبيانات ونوعها.


نتيجة لذلك أصبحت البيانات الكبيرة هي الجيل القادم من الحوسبة واستخدام أدوات تكنولوجيا المعلومات لخلق قيمة لها من خلال تحليلها والحصول على نتائج.ومن الأمثلة على ذلك شركةIBM تنتج 2.5 كوينتيليون بايت من البيانات كل يوم، هذه البيانات مستخرجة من مصادر مختلفة مثل المعلومات عن المناخ والتعليقات التي نشرت على مواقع التواصل الاجتماعي، والصور الرقمية وأشرطة الفيديو ومعاملات البيع والشراءجـ. تايلور، نظم إدارة القرارات دليل عملي لاستخدام قواعد العمل والتحليلات التنبؤية. بيرسون التعليم،

تمت أول دراسة في عام 1995 من قبل ريدمان تي.سي.ريدمان، تحسين جودة البيانات لميزة تنافسية، معهد ماساتشوستس للتكنولوجيا سلون المراجعة الادارية، المجلد. 36، الرقم. 2، ص. 99، 1995 والتي كانت تناقش اهمية البيانات وجودتها للشركات المصنعة للمنتجات واتخاذ القرارات, وركزت الدراسة على كيفية الحد من الأخطاء بالبيانات وتحسين الميزة التنافسية للشركة، وأوضحت الدراسة أهمية البيانات لتحقيق ميزة تنافسية في السوق للعملاء والمنتجات، وخلاصة الدراسة بينت أن البيانات الجيدة وتحليلها يؤدي الى اتخاذ قرار سليم من قبل أصحاب القرار والذي يتطلب اتخاذ قرار سليم و واضح وسريع.








بدأت العديد من الدراسات والأبحاث التوصل الى تقنيات جديدة للتعامل مع البيانات الكبيرة مثل هادووب أ.ب. باتيل، م. بيرلا، ي. ناير. معالجة مشكلة البيانات الكبيرة باستخدام هادووب وخريطة تقلل، في الهندسة (NUiCONE)، المؤتمر الدولي بجامعة نيرما ، ص 1-5، IEEE، .



وأدوات نظام ذكاء الأعمال لإيجاد علاقات أكثر تفصيلا بين هذه البيانات وجعل المعلومات متاحة لأكبر عدد ممكن من الأجهزة المتصلة بالأنظمة.








توفر تكنولوجيا المعلومات الأدوات الازمة لتحليل البيانات الكبيرة لتحقيق أفضل إنتاجية وتحديد التكاليف اللازمة لتحويل المواد الخام إلى منتجات ذات جودة عالية، وأدوات أخرى تتعلق بعملية الانتاج والفحص والأنظمة المستخدمة للتحقق من هذه المنتجات.


قدم ريتشارد دراسة بما يتعلق بالبيانات الكبيرة مستخدما طريقة الإجابة على السؤال التالي ما هي، ولماذا يجب أن نهتمرل. فيلار، سو اوفلسون، وم.إيستوود، البيانات الكبيرة ما هي وماذا يجب عليك أن تهتم، ورقة بيضاء، اي د سي، ..
حيث أوضحت الدراسة آلية عمل المنشئة والتطبيقات للتواصل معا من خلال

1. جمع وتخزين البيانات ليتم تحليلها لاحقا لتعود بقيمة بما يتعلق بالمنتجات، والأشخاص والعمليات .


2. الاعتماد على البريد الإلكتروني، والأجهزة المحمولة للتواصل مع العملاء وشركاء الأعمال.


3. جمع البيانات من سجلات أجهزة الاستشعار. وعملية اتخاذ وصنع القرار تعتمد على هذه البيانات أثناء عملية الانتاج.

وأوضحت الدراسة أيضا كيف أصبحت البيانات الكبيرة مصدر من مصادر الصناعات المختلفة مثل

1. الإعلام/الترفيه من خلال جمع كميات كبيرة من البيانات لسلوكيات المستخدم في المشاهدة.


2. الرعاية الصحية استخدام السجلات الإلكترونية الطبية والصور لبرامج البحوث الوبائية طويلة الأمد لمراقبة الصحة العامة وأيضا على المدى القصير.


3. علوم الحياة استخدام البيانات لتحليل الاختلافات الجينية.


4. انظمة المراقبة تحليل للأنماط السلوكية (الأمن وتحسين الخدمة).


5. النقل يستخدم لتحسين عمليات النقل المختلفة.

ملخص الدراسة كان يركز على القدرة على تحليل البيانات الكبيرة لزيادة المعلومات التي قد يتم الاستفادة منها. وتحسين وقت الاستجابة في حال الحاجة اليها.

تحليل البيانات الكبيرة

تتم عملية تحليل البيانات بالمجال الصناعي من خلال استخدام الانظمة القائمة لعمليات الانتاج للشركات المصنعة والبيانات الناتجة عن انظمتها مثل بيانات المخزون، والمعاملات المالية وانظمة التشغيل مثل أجهزة الإنذار والاستشعار، وانظمة عمليات التصنيع، والانظمة التي تسجل جودة المنتجات والاحداث التي يتعرض لها المنتج خلال مرحلة الانتاج، وتكون هذه البيانات ناتجة من مصادر مختلفة اما من خلال الانظمة والمعدات الداخلية للمنشئة او خارجية تكون غير منسقة ومختلفة من قبل العملاء، الموردين، شبكة الإنترنت. يتم العمل على كمية البيانات التي تم توفيرها واستخدام ادوات متقدمة لتحليل البيانات المتعلقة بعمليات التصنيع لايجاد علاقة بينها.


اغلبية القطاعات الصناعية اشارت الى اهمية نتائج تحليل البيانات والذي تحققه من فعالية كبيرة لعمليات التسويق للمنتجات, وهي فرصة لدخل جديد , ايجاد حلول جديدة, زيادة الفرص بالسوق وبذلك هو فرصة لدخل جديدة للمنشئة, خدمة أفضل للعملاء, تحسين الكفاءة في عملية التشغيل, مزايا أكثر تنافسية, قرارات واضحة نتيجة ان البيانات اصبحت واضحة ولا يوجد غموض وزيادة قدرة الشركة على التنبؤ.


SAS هي احدى الشركات الرائدة في تحليل البياناتSAS، التحديات الخمسة للبيانات الضخمة وكيفية التغلب عليها مع تحليلات البصرية , SAS. تحليلات سمعية، . [اون لاين]. متاحة https //www.sas. com/resources/asset/five-big-data-challenges-article.pdf, عملت على تحديد أهمية البيانات الكبيرة وما هي التحديات الخمس الكبرى للبيانات الكبيرة في هذا المجال وذلك من خلال

• فهم البيانات عملية تحليل البيانات يجب أن تكون مفهومة و واضحة للمستخدم النهائي, حيث يجب ان تكون البيانات التي تم معالجتها واضحة عند عرضها. ولتحقيق ذلك يجب توضيح محتوى البيانات وما تعبر عنها, وتحديد ونطاقها للمستخدم بالاضافة الى توفير نتائج البيانات.


• معالجة جودة البيانات يجب أن تكون البيانات دقيقة وفي الوقت المناسب. وضمان جودةالبيانات عند التعامل مع البيانات كبيرة، لتحقيق ذلك تحتاج الشركة إلى استخدام عملية إدارة النظم.


• عرض نتائج ذات معنى بعد ان يتم عرض نتائج مجدية من البيانات الكبيرة باستخدام التمثيل البياني للتحليل، فكان لا بد من تقسيمها إلى مجموعات مصغرة خلال عرضها والى مستوى أعلى يجعل التصور أكثر فعالية.


• التعامل مع القيم المتطرفة ان عملية استرجاع المعلومات من بيانات تمثيلة أسرع بكثير من استرجاعها من النص أو الجداول والتي تحتوي على الأرقام ونصوص. عند تقديم كمية كبيرة من البيانات عملية ليست سهلة عندما يتم عرض بيانات من 1 الى 5 , ولحل هذه المشكلة يجب ان يتم إزالة هذه البيانات المتطرفة من البيانات أو انشاء تخطيط منفصل للقيم المتطرفة.

عملت الشركة على توضيح التحديات التي تواجه المنشئات المصنعة عند التعامل مع البيانات الكبيرة

• عدم توفر مهارات التحليل الداخلية للمنشئة المصنعة.


• ارتفاع تكاليف توظيف المهنيين ذوي الخبرة في التحليل.


• كمية المعلومات التي عادة ما تكون متوفرة ليس من السهل التعامل معها.


• تنوع البيانات الضخمة وهي بيانات غير منسقة.


• سرعة البيانات تؤثرعلى اتخاذ القرارات في الوقت الحقيقي بسبب الوقت المستغرق لمعالجتها.


• معالجة جودة البيانات يجب أن تكون البيانات دقيقة وفي الوقت المناسب. كما يجب ضمان جودة البيانات عند التعامل مع البيانات كبيرة، ولعمل ذلك تحتاج الشركة إلى استخدام عملية إدارة النظم.


• عرض نتائج ذات معنى بعد ان يتم عرض نتائج مجدية من البيانات الكبيرة باستخدام التمثيل البياني للتحليل، يجب ان يتم تقسمها إلى مجموعات أصغر في العرض الى مستوى أعلى يجعل التصور أكثر فعالية.


• التعامل مع القيم المتطرفة عملية استرجاع معلومات مفيدة من بيانات تمثيلة أسرع بكثير من استرجاعها من النص أو الجداول التي تحتوي على الأرقام والنص، ولكن عند تقديم كمية كبيرة من البيانات وهي عملية ليست سهلة عند عرض البيانات من 1 الى 5 , لحل هذه الاشكالية يجب إزالة هذا البيانات المتطرفة من البيانات أو انشاء تخطيط منفصل للقيم المتطرفة.

واوضحت الشركة تحديات أخرى عند التعامل مع البيانات الكبيرة

• عدم وجود مهارات التحليل الداخلية للمنشة المصنعة.


• ارتفاع تكاليف توظيف المهنيين ذوي الخبرة في التحليل.


• كمية المعلومات التي عادة ما تكون متوفرة وليس من السهل التعامل معها.


• تنوع في البيانات الكبرى وهي بيانات غير منسقة.


• سرعة البيانات تؤثرعلى اتخاذ القرارات في الوقت الحقيقي.

انظمة المعلومات الذكية (ذكاء الاعمال)

ذكاءالأعمال م.نيسز، الذكاء الأعمال 2.0 كتقنية دعم عملية صنع القرار في مؤسسة حديثة، في مؤتمر إدارة المعرفة وقائع محكم 26-28 ، ، ص. 13، , هو مجموعة من التقنيات والأدوات المسؤولة عن تحويل البيانات بمختلف اشكالها ونسقها إلى معلومات ذات قيمة لأغراض تحليل بيانات الأعمال. توفر تقنيات استقصاء المعلومات القدرة على استخراج كميات كبيرة من البيانات غير المهيكلة والمنسقة لتحديد وتطوير وخلق فرص لعمل استراتيجية جديدة في السوق. كما يهدف BI الى سهولة تفسير الكميات الكبيرة من البيانات وتحديد الفرص الجديدة للمنشئة لتنفيذ استراتيجية فعالة تقوم على رؤى متوفرة للشركات مع وجود ميزة تنافسية طويلة الأمد في السوق .

تحليلات البيانات الكبيرة في عمليات التصنيع

Mtconnect أ. فياجيراغفان متكونكت لرصد الوقت الحقيقي، وتحليل المشاريع الصناعية في وقائع المؤتمر الدولي حول التكنولوجيا المشاريع الرقمية، هونغ كونغ، , هي شركة تجارية كان الغرض من انشائها هو استخراج البيانات في مجال التصنيع من الملفات المتاحة لمعدات التصنيع وأجهزة الاستشعار، والانظمة المستخدمة من قبل الشركة في الإنتاج مع التطبيقات العملية. تحقق نتائج ايجابية مثل توفير كفاءة العمل، تحسين عملية الإنتاج وزيادة الإنتاجية.


لويس كولومبوس قام بعمل دراسة التحديات العشرة للبيانات الضخمة في التصنيع, وركزت الدراسة على نظام ماكينزي , وتركزت على منشئتين مصنعة تقوم باستخدام البيانات في التحليل لزيادة الانتاجية وتخفيض التكاليف ل.كولومبوس، الطرق العشر للبيانات الضخمة وهو ثورة التصنيع، . [اون لاين]. متاحة http //www.forbes.com/sites/louiscolumbus/ /11/28/ten-ways-big-data-is-revolutionizing-manufacturing/.


كانت نتائج الدراسة بعد ان قام بتحليل بيانات الدراسة

• زيادة دقة وجودة الإنتاج .


• الاسراع في تكامل تكنولوجيا المعلومات مع البيانات الكبيرة والانظمة .


• عمليات التنبؤ اصبحت أفضل بنسبة تتعدى (46 ) للمنتجات من خلال البيانات التي تم توفيرها مثل العرض والطلب.


• اصبحت خدمة ودعم العملاء اسرع بمعدل أكثر من ( 39).


• وضع مستويات الجودة للموردين ودقة في توقع أداء الموردين مع مرور الوقت.


• القدرة على تتبع الانظمة والاجهزة والأخطاء الناتجة عنها.


• انتاج وبيع المنتجات التي تحقق أكثر ربحية. اضافه الى تقديم الخدمة بشكل استراتيجي.

ماكينزي عملت مع العديد من المنظمات لمساعدتها في تحسين الأداء وتحقيق الأهداف الهامة عن طريق بناء تطبيق الإحصاءات مع الأدوات الرياضية (EXHIBIT)ي.اسوزجتييكزي، ك.هامر, ا.راجاجوبيول. كيف يمكن للبيانات الكبيرة تحسين الصناعات التحويلية، ماكينزي و شركات، ., يعمل التطبيق من خلال الوصول إلى البيانات الكبيرة والعثور على نمط للعلاقات بينها وباستخدام خطوات عملية منفصلة ومدخلات الأعمال من أجل تقييم وتحسين اجراءات العمل وتعيينها لتصبح متاحة وبذلك يمكن قياسها ومقارنة تاثيرها النسبي لمدخلات الإنتاج المختلفة
يعمل نظام (EXHIBIT) مع انظمة البيانات الكبيرة بشكل متزايد. ويقوم بتحسين العمليات الحالية للانظمة والمعلومات المتاحة عن طريق مركزة وفهرسة البيانات من مصادر متعددة وانشاء تقارير للأنشطة عمليات التصنيع وسلسلة التوريد في مراحل الانتاج، ويطبق تحليل متطورة كجزء من التحسينات العملية وتبسيط المراحل المعقدة بشكل افضل, وابراز نقاط القوة للشركة على المنافسة والنجاح والاستناد الى هذه المعلومات لتصبح احد المنافسين بالسوق.


File Structure Exhibit process 400 Structure Exhibit process



عمل ستيف ستيف.ديرتين . تعريف البنية التحتية للتحليلات البيانات الضخمة ، . [اون لاين]. متاحة http //blogs.ptc.com/ /05/22/ defining-the-infrastructure-for-big-data-analytics/. على بناء نظام جديد يدعم البنية التحتية لتحليل البيانات, وقام بشرح البنية التحتية واهميتها، وكانت النتيجة هي اداة بحث تقوم بدورها بتحليل ومنطق الأعمال، والقدرة على تحليل البيانات الكبيرة وخلق قيمة من هذه البيانات، وكانت بمثابة النقطة الرئيسية للتعبير عن شروط وضوابط واقعية ينبغي اتخاذ القرارات من خلالها مثل اختيار متطلب تحليل البيانات.



قامت شركة هيتاشي لأنظمة المعلومات بتقديم منتجات وخدمات مثل Pentaho لتحليل الأعمال وPentaho لتكامل البيانات. وقامت الشركة بإنشاء أداة تدعى(EDO) لتحسين التعامل مع البيانات المخزنة والموجودة وذلك لزيادة ولاء واستهداف العملاء للمنتجات ر. بومان وJ. فان دونغن حلول بنتاهو، ذكاء الأعمال وتخزين البيانات مع بنتاهو والجمل الاستعلام لقواعد البيانات . ..

قدمت الشركة (EDO) كدراسة خاصة لحل المشاكل القائمة. وتركزت الدراسة على تحليل البيانات المتوفرة لديها والتي كانت احدى مشاكلها والتي تمثلت بتقليل الوقت المستغرق لعملية تحليل البيانات من خلال عملية تشغيل (extract, transform and load)ETL والتي كانت بحاجة الى وقت ما يقارب 30 ساعة. وكان الهدف الاخر من تقديم هذه الاداة هو تحسين كفاءة معالجة البيانات، وايجاد احد الحلول للتعامل مع البيانات كبيرة بشكل يومي، إضافة الى زيادة كفاة الانظمة في عملية استخراج البيانات، وتحويل تلك البيانات وتوفيرها لانظمة الاستعلام.



يتم التعامل مع البيانات من خلال استخراج وتكامل البيانات وتحليلها من مصادر بيانات متعددة للمساعدة في توحيد, يتم معالجتها بعد ذلك عبر MapReduce ج.دين, س.جيموات. تبسيط معالجة البيانات في مجموعات كبيرة، الاتصالات في ا س م ، المجلد. 51، رقم. 1، ص 107-113، ., أو أباتشي لتشغيل التحليلات عليها واستخراج التقارير. يتم تسليم البيانات المجهزة والبحث العميق في بيانات العملاء والعثور على العرض الأكثر استهدافا لوضعها في السوق. وتوفير البيانات كخدمة للعملاء، مما يمكن المستخدمين النهائيين النظر الى المقاييس التجارية، مثل التكاليف العامة، والإيرادات، وموقع العميل.


نتائج الدراسة التي قدمتها شركة Pentaho

• تم تقليل من الوقت المستغرق لعملية تشغيل ETL لتكامل البيانات بنسبة 70 .


• الاستعلام عن البيانات اصبحت متاحة، مما يسمح للمحللين والمدراء اتخاذ قرارات مستنيرة بشأن الاستراتيجية بشكل أسرع.


• القدرة على انشاء تقارير جديدة ومخصصة بالوقت المناسب, تحسين جودة البيانات وتحسين في اداء التكاليف التي يتم تحمليها خلال عملية الانتاج.


• تقليل الوقت المستغرق لإصلاح الأخطاء الموجودة في البيانات.

PLEX هي شركة في مجال تحليل البيانات الكبرى في التصنيع توفر الشركة العديد الانظمة التي تدعم التصنيع في مجال التكنولوجيا. من خلال انظمتهاا.ف.فوجداني, أدوات في الوقت الحقيقي للتكامل الأعمال والتعاون ، نظم الطاقة، المعاملات على اي تربل ييي ، المجلد. 18، رقم. 2، ص 555-562، 2003., تقوم بربط الموردين والمواد والآلات والعملاء تحقيق ميزة الابتكار، وتحسين الإنتاجية لتخرج بنظام للمستخدم النهائي وتحقيق مستويات جديدة من الجودة والكفاءة بعد ان تم ربطهم.


جيري فوستر هو المدير التنفيذي للشركة يقوم بوضع استراتيجية التكنولوجيا في أنظمة PLEX, وقال بان السوق هو تجربة مستمرة من الأدوات والتقنيات لاحتضان بيانات كبيرة جديدة, وقال ان الشركة نشأت نتيجة وجود 55 من عملائها يستخدمون الأدوات والآلات المربوطة الكترونيا، ويتم ضبط هذه الادوات والبيانات الكبيرة الناتجة آليا لتلبية مواصفات المنتج وملاحظاتهم الغنية في الوقت الحقيقي.



أوضح جيمس موين في دراسته كيفية نقل البيانات الكبيرة والتحليلات التنبؤية في تصنيع s iconductors حيث البيانات الكبيرة اصحبت حلول رئيسية لتوسيع نطاق التحكم في العمليات نظم(ASMC)ج.اسكندر، ج.موين، ك.سوبراهمانيام،ا هوكينز،و م.ارماكوست، الصيانة التنبؤية في تصنيع أشباه الموصلات ، في مؤتمر تصنيع أشباه الموصلات المتقدمة (ASMC)، العدد 26 سنة نصف سنوية، ص. 384-389، IEEE ، ..






حددت الدراسة أبعاد ومشاكل البيانات الكبيرة في s iconductors على النحو التالي حجم البيانات، سرعة البيانات بالنمو، تنوع البيانات، صحة وقيمة (التحليل) ولحل هذه التحديات هذه وضعت حلول مختلفة

1. تحليل البيانات لحظة تجميعها لزيادة السرعة بعمليات التحليل لدعم عملية اتخاذ القرار في الوقت الحقيقي.


2. استخدام Hadoop اثناء التعامل مع البيانات الكبيرة ومعالجتها بشكل موازي (الانظمة الموزعة)، لتصبح جاهزة ومتوفرة.


3. MapReduce هو نموذج لمعالجة البيانات واسعة النطاق.


4. مستودع البيانات يوفر القدرة على التخزين وازالة القيود المفروضة على حجم البيانات.


5. تحليلات عنونة المكونات ذات القيمة من البيانات الكبيرة، والتحليلات التنبؤية.لتنظيم وتحليل كميات كبيرة من البيانات بسرعة.

في حال تم تطبيق الخطواط السابقة على البيانات الكبيرة تعود النتائج الى تحسين أداء تحليل البيانات الكبيبرة, تخزين البيانات يصبح أكثر كفاءة والية التعامل معها, انخفاض تكلفة تحليل البيانات وتوفير تحليلات تنبؤية دقيقة.



اقترح رويشيرو نموذج تحليل للبيانات الكبيرة لشركة IBM، كما هو موضح بالشكل(2)


رويشيرو، البيانات الكبيرة والتحليل لأشباه الموصلات التصنيع. شركة IBM ذكاء التحليل ، . [اون لاين]. متاحة http //blogs.ptc.com/ /05/ 22/defining-the-infrastructure-for-big-data-analytics/, يوضح من خلاله بداية نوع بيانات ومصادرها. من خلال ترحيل البيانات لمنطقة نظام التشغيل واستخدام نتائج عملية البيانات ليتم تحليلها وعرضها لتشكل تحليل تنبؤي ونموذجي للمستخدم النهائي.


File Framework for big data and analytics for s iconductors manufacturing 400 Framework for big data and analytics for s iconductors manufacturing

الاطار المصمم للتعامل مع البيانات الضخمة

من خلال دراستنا للأنظمة التي تمت في مجال البيانات الكبيرة والتصنيع تم استنتاج مكونات يمكن تلخيصها في اطار نظام جديد والذي يتكون من ثلاثة أقسام رئيسية


1- مصدر البيانات من خلاله يمكن تحديد مصادر البيانات التي تكون بدورها البيانات الكبيرة مثل بيانات المنشئة الداخلية أو من المنشئات الخارجية وهي تكون بتنسيقات مختلفة (XML,TXT ) ويتم تقسيم هذه البيانات الى

• سجلات الآلات في المصنع هي سجلات تحتوي على بيانات المنتجات وسير عملية الانتاج في سلسلة الانتاج والتي يتم استخدامها لتحديد الفشل أو الخطأ من هذه الآلات للمنتج في عملية الإنتاج.


• أنظمة ألآلات والمعدات وهي أنظمه تحتوي على البيانات المتعلقة بالمواد الخام والجودة لكل منتج.


• نظام ERP الداخلي هو نظام يحتوي على بيانات التكاليف العامة وجميع الموردين بما في ذلك تكاليف المواد.


• ملفات بصيغها المختلفة تحمل مكونات وتكاليف كل منتج والمعلومات حول نوعية المنتج والعملاء مع القليل من المعلومات عن شراء المنتجات كالعرض والطلب.


• اعادة تنسيق وصياغة البيانات باستخدام ادوات تكنولوجيا المعلومات لتنسيق جميع مدخلات البيانات والحد من أخطاء المدخلات لتتناسب مع بنية قاعدة البيانات استنادا إلى معايير محددة مسبقا لهذه الأدوات.

2- استخدام تقنية Hadoop مع قواعد البيانات وخوادم متعددة لتوفير المعلومات لنظام BI لاستخدامها بغرض التحليل لاحقا

• MapReducing يتم استلام البيانات بقواعد بيانات خاصه بشكل منسق من المرحلة السابقة, ويتم ترحيلها الى قاعدة بيانات واحدة من خلال تحديد معايير لتحليل كل مصدر وتحسين البيانات باستخدام هذه المعلمات لحفظ جميع نتائج البيانات في خادم إدارة قواعد البيانات والتي تحمل أنواع البيانات .


• حفظ نتيجة البيانات من مرحلةMapReducing في خوادم مختلفة لنظام قاعدة البيانات الخاصة بنظام ذكاء الأعمال.

3- نظام تطبيق ذكاء الأعمال يحتوي التطبيق عمليات متعددة الخطوات باستخدام قاعدة بيانات واحدة والإعداد وهو يتكون من

• قاعدة بيانات التصنيع التي تم توفيرها من نتائج عملية Hadoop السابقة عند استرجاع البيانات.


• خادم الشركة يتم تعيين نظام وتحليل أدوات استقصاء المعلومات حتى على هذا الخادم. يتم إنشاء اتصال مع النظام لتعريف المتغيرات لتحليل البيانات النظام وعلاقات التصميم لنظام ذكاء الاعمال ليتم عرضها للمستخدم النهائي.

النتائج المتوقعة من تصميم هذا الاطار خلال عملية التعامل والتحليل للبيانات الضخمة في مجال التصنيع النظام هي

• تقليل وقت معالجة البيانات لأن البيانات تصبح منظمة ومنسقة.


• وتقليل الوقت في اكتشاف الأخطاء والتعجيل في اتخاذ صنع القرار وتعزيز جودة المنتجات.


• اختيار أفضل الموردين والمواد لكل منتج بالاضافه الى توفير حلول لزيادة أو نقصان خطوط الإنتاج .


• تحديد المنتجات التي تعطي نتائج تنافسية اكبر وتحقيق هدف الإنتاج.

File IT and Analytics (Big Data) in Manufacturing 400 IT and Analytics (Big Data) in Manufacturing

ملخص الدراسة

بعد الأطلاع على الدراسات السابقه ودراسة أهمية البيانات الكبيره في عمليات التصنيع والأدوات المستخدمة لتوفير معلومات مفيدة، والنظر الى أهمية البحث والتطوير في ايجاد حلول جديدة للتحديات في هذا المجال، تم تأسيس العديد من الشركات لتقديم حلول أفضل للمشاكل خلال عملية التعامل مع تحليل البيانات الكبيرة في مجال التصنيع ولتحقيق أهداف المنشئات المصنعة كما تم توضيحه سابقا.


التصميم الذي تم شرحه في هذه الدراسة، يقدم العديد من الخطوات العملية بدءا من مصادر البيانات حتى استخراج التقارير للمستخدم النهائي من خلال هذه البيانات والتي سوف تعطي مزيدا من التفاصيل للبيانات والمعلومات حول المنتجات وتكلفة الأخطاء بعد تحليل البيانات في نظام ذكاء الأعمال ويساعد في اتخاذ القرارات بشكل أفضل لعمليات الإنتاج. والأهم من ذلك أنه يحلل سجلات الأخطاء لتحديد أي عملية يجب تغييرها أو ابقائها على حالها في سلسلة الانتاج.