Empfohlen, 2024

Die Wahl des Herausgebers

Google nimmt Echtzeit-Big-Data-Analyse mit neuen Cloud-Services

Analyzing Big Data in less time with Google BigQuery

Analyzing Big Data in less time with Google BigQuery
Anonim

Google setzt darauf, dass Echtzeitverarbeitung die Zukunft der Big Data-Analyse ist, und hat zwei seiner Cloud-Services aktualisiert, damit Unternehmen besser verstehen, was gerade mit ihren Kunden und Operationen passiert.

"Wir glauben wirklich, dass Streaming die Welt ist. Anstatt Daten von vor zwei Monaten oder zwei Jahren zu betrachten, passiert gerade die Daten, die Sie wirklich interessieren ", sagte Tom Kershaw, Direktor des Produktmanagements für die Google Cloud Platform.

Denken Sie an die mobile Spielefirma, die das möchte wissen, welches seiner Produkte viral geworden ist, oder das sicherheitskritische Unternehmen, das seine umfangreichen Serverprotokolle für den Nachweis der neuesten Sicherheitsangriffe killt.

[Lesen Sie weiter: Die besten TV-Streaming-Dienste]

Zu ​​diesem Zweck hat Google startete eine Echtzeit-Datenverarbeitungsmaschine namens Google Cloud Dataflow, die vor einem Jahr angekündigt wurde. Das 2010 eingeführte BigQuery-Analysetool wurde um neue Funktionen erweitert. Die beiden Cloud-Services können gemeinsam genutzt werden, um die Verarbeitung großer Datenmengen in Echtzeit zu ermöglichen, so Kershaw.

Jetzt auch als Beta verfügbar, Google Cloud Dataflow bietet die Möglichkeit, Daten aus einem Live-Stream von Updates zu analysieren. Google kümmert sich um die gesamte Hardwarebereitstellung und Softwarekonfiguration, sodass die Benutzer den Dienst hochfahren können, ohne sich um die zugrunde liegende Infrastruktur kümmern zu müssen. Der Service kann auch Daten analysieren, die bereits auf der Festplatte im Batch-Modus gespeichert sind, sodass eine Organisation historische und aktuelle Analysen im selben Workflow mischen kann.

Der Service bietet eine Möglichkeit für jeden Java oder Python-Programmierer, Anwendungen mit Big Data zu schreiben , Sagte Kershaw. "Es erleichtert die Ausführung von End-to-End-Jobs in sehr komplexen Datensätzen."

Zusätzlich zum Verschieben von Cloud DataFlow in ein offenes Beta-Programm hat Google auch seinen BigQuery-Service aktualisiert.

BigQuery bietet ein SQL ( Strukturierte Abfragesprache) für große unstrukturierte Datensätze. SQL wird üblicherweise für traditionelle relationale Datenbanken verwendet, so dass es von Datenbankadministratoren fast immer verstanden wird. Mit diesem Update hat Google den Service verbessert und kann nun bis zu 100.000 Zeilen pro Sekunde pro Tabelle aufnehmen.

Das Unternehmen hat den FootQuery von BigQuery erweitert, so dass europäische Kunden den Service jetzt nutzen können. BigQuery-Daten können in europäischen Google-Rechenzentren gespeichert werden, die Organisationen helfen, die die Datenhoheit der Europäischen Union erfüllen müssen.

Das Unternehmen hat BigQuery auch Berechtigungen auf Zeilenebene hinzugefügt, die den Zugriff auf Informationen einschränken können die Anmeldeinformationen des Benutzers. Auf diese Weise können Organisationen Teile der Daten wie Namen und Adressen schützen und gleichzeitig einen breiteren Zugriff auf andere Teile wie den anonymen Kaufverlauf für Forschungszwecke oder andere Zwecke ermöglichen.

BigQuery und Dataflow können zusammen verwendet werden Miteinander, sagte Kershaw. "Die beiden sind sehr gut aufeinander abgestimmt. Sie können Cloud Dataflow für die Verarbeitung und BigQuery für die Analyse verwenden ", sagte er.

Top