Was sind GROSSE DATEN? Einführung, Typen, Eigenschaften, Beispiel

Inhaltsverzeichnis:

Anonim

Bevor wir zur Einführung in Big Data gehen, müssen Sie dies zunächst wissen

Was sind Daten?

Die Mengen, Zeichen oder Symbole, an denen Operationen von einem Computer ausgeführt werden, die in Form von elektrischen Signalen gespeichert und übertragen und auf magnetischen, optischen oder mechanischen Aufzeichnungsmedien aufgezeichnet werden können.

Lassen Sie uns nun die Einführung in Big Data lernen

Was ist Big Data?

Big Data ist eine Sammlung von Daten, deren Volumen enorm ist und die mit der Zeit exponentiell wächst. Es handelt sich um Daten mit einer so großen Größe und Komplexität, dass keines der herkömmlichen Datenverwaltungstools sie speichern oder effizient verarbeiten kann. Big Data ist auch ein Datenbestand, der jedoch sehr groß ist.

In diesem Tutorial lernen Sie:

  • Was sind Daten?
  • Was ist Big Data?
  • Beispiele für Big Data
  • Arten von Big Data
  • Eigenschaften von Big Data
  • Vorteile der Big Data-Verarbeitung

Beispiele für Big Data

Im Folgenden finden Sie einige Beispiele für Big Data.

Die New Yorker Börse generiert pro Tag etwa ein Terabyte neuer Handelsdaten.

Sozialen Medien

Die Statistik zeigt, dass täglich mehr als 500 Terabyte neuer Daten in die Datenbanken der Social-Media-Site Facebook aufgenommen werden. Diese Daten werden hauptsächlich in Form von Foto- und Video-Uploads, Nachrichtenaustausch, Kommentaren usw. generiert.

Ein einzelnes Düsentriebwerk kann in 30 Minuten Flugzeit mehr als 10 Terabyte Daten erzeugen . Bei vielen tausend Flügen pro Tag erreicht die Datengenerierung bis zu viele Petabyte.

Arten von Big Data

Es folgen die Arten von Big Data:

  1. Strukturiert
  2. Unstrukturiert
  3. Halbstrukturiert

Strukturiert

Alle Daten, die in Form eines festen Formats gespeichert, abgerufen und verarbeitet werden können, werden als "strukturierte" Daten bezeichnet. Im Laufe der Zeit haben Talente in der Informatik größere Erfolge bei der Entwicklung von Techniken für die Arbeit mit solchen Daten (bei denen das Format im Voraus bekannt ist) und bei der Ableitung von Wert daraus erzielt. Heutzutage sehen wir jedoch Probleme, wenn die Größe solcher Daten stark zunimmt. Typische Größen liegen im Zorn mehrerer Zettabyte.

Wissen Sie? 10 21 Bytes , die 1 Zettabyte oder einer Milliarde Terabyte entsprechen, bilden ein Zettabyte .

Wenn man sich diese Zahlen ansieht, kann man leicht verstehen, warum der Name Big Data vergeben wird, und sich die Herausforderungen vorstellen, die mit seiner Speicherung und Verarbeitung verbunden sind.

Wissen Sie? In einem relationalen Datenbankverwaltungssystem gespeicherte Daten sind ein Beispiel für "strukturierte" Daten.

Beispiele für strukturierte Daten

Eine 'Employee'-Tabelle in einer Datenbank ist ein Beispiel für strukturierte Daten

Angestellten ID Mitarbeitername Geschlecht Abteilung Gehalt_In_lacs
2365 Rajesh Kulkarni Männlich Finanzen 650000
3398 Pratibha Joshi Weiblich Administrator 650000
7465 Shushil Roy Männlich Administrator 500000
7500 Shubhojit Das Männlich Finanzen 500000
7699 Priya Sane Weiblich Finanzen 550000

Unstrukturiert

Alle Daten mit unbekannter Form oder Struktur werden als unstrukturierte Daten klassifiziert. Unstrukturierte Daten sind nicht nur riesig, sondern stellen auch eine Vielzahl von Herausforderungen hinsichtlich ihrer Verarbeitung dar, um daraus einen Wert abzuleiten. Ein typisches Beispiel für unstrukturierte Daten ist eine heterogene Datenquelle, die eine Kombination aus einfachen Textdateien, Bildern, Videos usw. enthält. Heutzutage verfügen Unternehmen über eine Fülle von Daten, aber leider wissen sie seitdem nicht mehr, wie sie daraus einen Wert ableiten können Diese Daten liegen in ihrer Rohform oder im unstrukturierten Format vor.

Beispiele für unstrukturierte Daten

Die von der Google-Suche zurückgegebene Ausgabe

Halbstrukturiert

Halbstrukturierte Daten können beide Datenformen enthalten. Wir können halbstrukturierte Daten als strukturierte Daten betrachten, aber sie sind tatsächlich nicht mit z. B. einer Tabellendefinition in relationalem DBMS definiert. Ein Beispiel für halbstrukturierte Daten sind Daten, die in einer XML-Datei dargestellt werden.

Beispiele für halbstrukturierte Daten

In einer XML-Datei gespeicherte personenbezogene Daten

Prashant RaoMale35Seema R.Female41Satish ManeMale29Subrato RoyMale26Jeremiah J.Male35

Datenwachstum im Laufe der Jahre

Bitte beachten Sie, dass Webanwendungsdaten, die unstrukturiert sind, aus Protokolldateien, Transaktionsverlaufsdateien usw. bestehen. OLTP-Systeme arbeiten mit strukturierten Daten, in denen Daten in Relationen (Tabellen) gespeichert sind.

Eigenschaften von Big Data

Big Data kann durch die folgenden Merkmale beschrieben werden:

  • Volumen
  • Vielfalt
  • Geschwindigkeit
  • Variabilität

(i) Volumen - Der Name Big Data selbst bezieht sich auf eine enorme Größe. Die Datengröße spielt eine sehr wichtige Rolle bei der Bestimmung des Werts von Daten. Ob bestimmte Daten tatsächlich als Big Data betrachtet werden können oder nicht, hängt auch vom Datenvolumen ab. Daher ist "Volumen" ein Merkmal, das beim Umgang mit Big Data berücksichtigt werden muss.

(ii) Vielfalt - Der nächste Aspekt von Big Data ist seine Vielfalt .

Vielfalt bezieht sich auf heterogene Quellen und die Art der Daten, sowohl strukturiert als auch unstrukturiert. In früheren Tagen waren Tabellenkalkulationen und Datenbanken die einzigen Datenquellen, die von den meisten Anwendungen berücksichtigt wurden. Heutzutage werden Daten in Form von E-Mails, Fotos, Videos, Überwachungsgeräten, PDFs, Audio usw. auch in den Analyseanwendungen berücksichtigt. Diese Vielzahl unstrukturierter Daten wirft bestimmte Probleme beim Speichern, Mining und Analysieren von Daten auf.

(iii) Geschwindigkeit - Der Begriff "Geschwindigkeit" bezieht sich auf die Geschwindigkeit der Datenerzeugung. Wie schnell die Daten generiert und verarbeitet werden, um die Anforderungen zu erfüllen, bestimmt das tatsächliche Potenzial der Daten.

Big Data Velocity befasst sich mit der Geschwindigkeit, mit der Daten aus Quellen wie Geschäftsprozessen, Anwendungsprotokollen, Netzwerken und Social-Media-Sites, Sensoren, Mobilgeräten usw. eingehen. Der Datenfluss ist massiv und kontinuierlich.

(iv) Variabilität - Dies bezieht sich auf die Inkonsistenz, die manchmal durch die Daten angezeigt werden kann, wodurch der Prozess der effektiven Handhabung und Verwaltung der Daten behindert wird.

Vorteile der Big Data-Verarbeitung

Die Fähigkeit, Big Data zu verarbeiten, bringt mehrere Vorteile mit sich, wie z.

    • Unternehmen können bei Entscheidungen externe Informationen nutzen

Durch den Zugriff auf soziale Daten von Suchmaschinen und Websites wie Facebook und Twitter können Unternehmen ihre Geschäftsstrategien optimieren.

    • Verbesserter Kundenservice

Herkömmliche Kundenfeedbacksysteme werden durch neue Systeme ersetzt, die mit Big Data-Technologien entwickelt wurden. In diesen neuen Systemen werden Big Data- und Verarbeitungstechnologien in natürlicher Sprache verwendet, um die Antworten der Verbraucher zu lesen und zu bewerten.

    • Gegebenenfalls frühzeitiges Erkennen von Risiken für das Produkt / die Dienstleistung
    • Bessere betriebliche Effizienz

Mithilfe von Big Data-Technologien können Sie einen Bereitstellungsbereich oder eine Landezone für neue Daten erstellen, bevor Sie festlegen, welche Daten in das Data Warehouse verschoben werden sollen. Darüber hinaus hilft eine solche Integration von Big Data-Technologien und Data Warehouse einem Unternehmen, Daten, auf die selten zugegriffen wird, auszulagern.

Zusammenfassung

  • Big Data-Definition: Big Data wird als Daten definiert, deren Größe sehr groß ist. Bigdata ist ein Begriff, der verwendet wird, um eine Sammlung von Daten zu beschreiben, die sehr groß sind und dennoch mit der Zeit exponentiell wachsen.
  • Beispiele für Big Data-Analysen sind Börsen, Social Media-Websites, Düsentriebwerke usw.
  • Big Data kann 1) strukturiert, 2) unstrukturiert, 3) halbstrukturiert sein
  • Volumen, Vielfalt, Geschwindigkeit und Variabilität sind nur einige Big-Data-Merkmale
  • Verbesserter Kundenservice, bessere betriebliche Effizienz und bessere Entscheidungsfindung sind nur einige Vorteile von Bigdata