كيف يعمل Apache Kafka على تشحيم العجلات للبيانات الكبيرة

يتم وصف التحليلات غالبًا كأحد أكبر التحديات المرتبطة بالبيانات الضخمة ، ولكن حتى قبل حدوث هذه الخطوة ، يجب أن يتم استيعاب البيانات وإتاحتها لمستخدمي المؤسسة. وهنا يأتي دور Apache Kafka.

تم تطويره أصلاً في LinkedIn ، يعتبر Kafka نظامًا مفتوح المصدر لإدارة تدفقات البيانات في الوقت الفعلي من مواقع الويب والتطبيقات وأجهزة الاستشعار.

بشكل أساسي ، فهو يعمل كنوع من المؤسسات " الجهاز العصبي المركزي "الذي يجمع بيانات كبيرة الحجم حول أشياء مثل نشاط المستخدم ، وسجلات ، ومقاييس التطبيق ، ومؤشرات البورصة وأجهزة القياس ، على سبيل المثال ، ويجعلها متاحة كتيار في الوقت الفعلي للاستهلاك من قبل مستخدمي المؤسسة.

[ اقرأ المزيد: أفضل المصابيح الذكية LED البيضاء

وكافكا غالبا ما تقارن بالتكنولوجيات مثل ActiveMQ أو RabbitMQ للتطبيقات الداخلية ، أو مع Kinesis لخدمات Amazon Web Services لعملاء السحابة ، كما يقول ستيفن أوجرادي ، المؤسس المشارك ومحلل رئيسي مع RedMonk.

"أصبح الأمر أكثر وضوحا لأنه مشروع مفتوح المصدر عالي الجودة ، ولكن أيضا بسبب زيادة قدرته على التعامل مع تدفقات المعلومات عالية السرعة بشكل متزايد للاستخدام في خدمة أعباء العمل مثل إنترنت الأشياء ، من بين أمور أخرى ، "أضاف أوغريدي.

منذ أن تم تصميمه في LinkedIn ، اكتسب كافكا دعمًا كبيرًا من شركات مثل Netflix و Uber و Cisco و Goldman Sachs. في يوم الجمعة ، حصلت الشركة على دفعة جديدة من شركة IBM ، التي أعلنت عن توفر خدمتين جديدتين من شركة Kafka من خلال منصة Bluemix الخاصة بها.

تهدف خدمة Streaming Analytics الجديدة من IBM إلى تحليل ملايين الأحداث في الثانية للأوقات الفرعية للمللي ثانية. اتخاذ القرار الفوري. يوفر IBM Message Hub ، الذي هو الآن في مرحلة تجريبية ، مراسلة قابلة للتوسع وموزعة وعالية الإنتاجية وغير متزامنة لتطبيقات السحاب ، مع خيار استخدام واجهة برمجة تطبيقات REST أو Apache Kafka (واجهة برمجة التطبيقات) للتواصل مع التطبيقات الأخرى.

كان كافكا في العام الماضي ، أطلق ثلاثة من مبدعي كافكا Confluent ، وهي شركة ناشئة مخصصة لمساعدة الشركات على استخدامها في الإنتاج على نطاق واسع.

"خلال مرحلة النمو الهائل لدينا في LinkedIn ، لم نتمكن من مواكبة المستخدم المتنامي يقول نها نارخيده ، أحد مؤسسي كافكا ومؤسسي كونفلينتس المشارك.

"ما يمكّنك كافكا من القيام به هو نقل البيانات عبر الشركة وإجرائها. وقال نارخيده: "تتوافر كتيار مستمر التدفق الحر في غضون ثوان إلى الأشخاص الذين يحتاجون إلى الاستفادة منه". وقالت "إن ذلك يحدث على نطاق واسع."

وكان التأثير في LinkedIn "تحويليا". اليوم ، لا يزال ينكدين أكبر نشر كافكا في الإنتاج ؛ يتجاوز 1.1 تريليون رسالة في اليوم.

في الوقت نفسه ، يقدم كونفلينت برنامج إدارة متقدم بالاشتراك لمساعدة الشركات الكبيرة على تشغيل كافكا لأنظمة الإنتاج. ومن بين عملائها شركة كبرى كبرى متاجر التجزئة و "واحدة من أكبر شركات إصدار البطاقات الائتمانية في الولايات المتحدة" ، قالت نارخيدي.

هذا الأخير يستخدم التكنولوجيا لحمايه الاحتيال في الوقت الحقيقي. > "كافكا" هي عبارة عن "حافلة نقل سريعة بشكل لا يصدق" ، وهذا جيد في المساعدة على دمج الكثير من أنواع البيانات المختلفة بسرعة ، كما يقول جيسون ستامبر ، المحلل في شركة 451 للأبحاث. "هذا هو السبب في أنها تظهر كواحدة من الخيارات الأكثر شعبية."

إلى جانب ActiveMQ و RabbitMQ ، منتج آخر يقدم وظائف مماثلة هو Apache Flume. تتشابه قنوات Storm و Spark أيضًا من عدة جوانب.

في المساحات التجارية ، تشمل منافسات Confluent IBM InfoSphere Streams و Informatica's Ultra Messaging Streaming و SAS لمعالجة أحداث الحدث (ESP) جنبا إلى جنب مع Apama من Software AG و StreamBase Tibco و أضاف SAP's Aleri، Stamper. تشمل المنافسين الأصغر DataTorrent و Splunk و Loggly و Logentries و X15 Software و Sumo Logic و Glassbeam.

في السحابة ، فإن خدمة معالجة تدفق Kinesis من AWS "لديها ميزة إضافية تتمثل في التكامل مع ما يحب من مستودع بيانات Redshift ومنصة التخزين S3". [

] كذلك ، لاحظ بريان هوبكينز ، نائب الرئيس والمحلل الرئيسي لدى Forrester Research.

بشكل عام ، هناك اتجاه ملحوظ نحو البيانات في الوقت الفعلي ، حسبما قال هوبكنز.

حتى 2013 أو ما إلى ذلك ، "كانت البيانات الكبيرة كلها حول كميات هائلة من البيانات المحشوة في Hadoop "، قال. "الآن ، إذا كنت لا تفعل ذلك ، فأنت بالفعل وراء منحنى القوة."

واليوم ، فإن البيانات من الهواتف الذكية وغيرها من المصادر تعطي الشركات فرصة التفاعل مع المستهلكين في الوقت الفعلي وتقديم تجارب سياقية ، قال. وهذا بدوره يعتمد على القدرة على فهم البيانات بشكل أسرع.

"إن إنترنت الأشياء تشبه موجة ثانية من الهاتف المحمول" ، أوضح هوبكنز. "كل بائع هو وضع لسلسلة من البيانات."

ونتيجة لذلك ، فإن التكنولوجيا تتكيف وفقا لذلك.

"حتى عام 2014 كان كل شيء عن Hadoop ، ثم كان سبارك ،" قال. "الآن ، هي Hadoop ، Spark و Kafka. هؤلاء هم ثلاثة نظائر متساوية في خط أنابيب استيعاب البيانات في هذا العمارة التحليلية الحديثة."