सदस्य:Goyal Krish 98/प्रयोगपृष्ठ
अपाचे हडोप[संपादित करें]
अपाचे हडोप ओपन-सोर्स सॉफ्टवेयर उपयोगिताओं का एक संग्रह है जो भारी मात्रा में डेटा और गणना से जुड़ी समस्याओं को हल करने के लिए कई कंप्यूटरों के नेटवर्क का उपयोग करने की सुविधा प्रदान करता है। यह मैपरिड्यूस प्रोग्रामिंग मॉडल का उपयोग करके बड़े डेटा के वितरित भंडारण और प्रसंस्करण के लिए एक सॉफ्टवेयर ढांचा प्रदान करता है।
हडोप मूल रूप से कमोडिटी हार्डवेयर से निर्मित कंप्यूटर क्लस्टर के लिए डिज़ाइन किया गया था, जो अभी आम उपयोग है। तब से इसका उपयोग उच्च अंत हार्डवेयर के समूहों पर भी पाया गया है। हडोप में सभी मॉड्यूल एक मौलिक धारणा के साथ डिज़ाइन किए गए हैं कि हार्डवेयर विफलताएं सामान्य घटनाएं हैं और इसे स्वचालित रूप से ढांचे द्वारा नियंत्रित किया जाना चाहिए।अपाचे हडोप के मूल में एक स्टोरेज भाग होता है, जिसे हडोप डिस्ट्रीब्यूटेड फाइल सिस्टम (एचडीएफएस) के रूप में जाना जाता है, और एक प्रसंस्करण भाग जो एक मैपरिड्यूस प्रोग्रामिंग मॉडल है। हडोप फ़ाइलों को बड़े ब्लॉकों में विभाजित करता है और उन्हें क्लस्टर में नोड्स में वितरित करता है। यह तब समानांतर में डेटा को संसाधित करने के लिए पैक किए गए कोड को नोड्स में स्थानांतरित करता है। यह दृष्टिकोण डेटा इलाके का लाभ उठाता है, जहां नोड्स उन डेटा में हेरफेर करते हैं जिनतक उनकी पहुंच है। यह डेटासेट को अधिक पारंपरिक सुपर कंप्यूटर आर्किटेक्चर की तुलना में तेजी से और अधिक कुशलता से संसाधित करने की अनुमति देता है जो एक समानांतर फ़ाइल सिस्टम पर निर्भर करता है जहां गणना और डेटा उच्च गति नेटवर्किंग के माध्यम से वितरित किया जाता है।
बेस अपाचे हडोप फ्रेमवर्क निम्नलिखित मॉड्यूल से बना है।
- हडोप कॉमन - अन्य हडोप मॉड्यूल द्वारा आवश्यक पुस्तकालय और उपयोगिताओं शामिल हैं
- हडोप डिस्ट्रीब्यूटेड फाइल सिस्टम (एचडीएफएस) - एक वितरित फाइल-सिस्टम जो कमोडिटी मशीनों पर डेटा संग्रहीत करता है, जो क्लस्टर में बहुत अधिक समग्र बैंडविड्थ प्रदान करता है
- हडोप यार्न - (2012 में पेश किया गया) क्लस्टर में कंप्यूटिंग संसाधनों के प्रबंधन और उपयोगकर्ताओं के अनुप्रयोगों को शेड्यूल करने के लिए उनका उपयोग करने के लिए जिम्मेदार एक मंच;
- हडोप मैपरिड्यूस - बड़े पैमाने पर डेटा प्रोसेसिंग के लिए मैपरिड्यूस प्रोग्रामिंग मॉडल का कार्यान्वयन।
- हडोप ओजोन - (2020 में पेश किया गया) हडोप के लिए एक ऑब्जेक्ट स्टोरहडोप
यह शब्द हडोप का उपयोग अक्सर बेस मॉड्यूल और उप-मॉड्यूल और पारिस्थितिकी तंत्र दोनों के लिए किया जाता है, या अतिरिक्त सॉफ़्टवेयर पैकेजों का संग्रह जिन्हें हडोप के ऊपर या साथ स्थापित किया जा सकता है, जैसे कि अपाचे सुअर, अपाचे हाइव, अपाचे एचबेस, अपाचे फीनिक्स, अपाचे स्पार्क, अपाचे ज़ूकीपर, क्लाउडेरा इम्पाला, अपाचे फ्लूम, अपाचे स्कूप, अपाचे ऊजी, तथा अपाचे तूफान। हडोप फ्रेमवर्क ज्यादातर जावा प्रोग्रामिंग भाषा में लिखा जाता है, जिसमें सी में कुछ देशी कोड और शेल स्क्रिप्ट के रूप में कमांड लाइन उपयोगिताओं को लिखा जाता है। यद्यपि मैपरिड्यूस जावा कोड आम है, मानचित्र को लागू करने और उपयोगकर्ता के कार्यक्रम के कुछ हिस्सों को कम करने के लिए हडोप स्ट्रीमिंग के साथ किसी भी प्रोग्रामिंग भाषा का उपयोग किया जा सकता है। हडोप पारिस्थितिकी तंत्र में अन्य परियोजनाएं अमीर उपयोगकर्ता इंटरफेस को उजागर करती हैं। [1]