BI-Anbieter Qlik hat vor wenigen Wochen Qlik Open Lakehouse vorgestellt. Die neue Funktion in Qlik Talend Cloud erleichtert die Erfassung, Verwaltung und Optimierung von Daten in Apache Iceberg-basierten Lakehouses für Unternehmen enorm.
Immer mehr Unternehmen setzen heutzutage auf offene Lakehouses mit Apache Iceberg. Bei einem Data Lakehouse handelt es sich um eine Datenmanagement-Architektur, welche die wichtigsten Funktionen von Data Lakes und Data Warehouses in einer einheitlichen Plattform kombiniert. Dadurch lassen sich beispielsweise Datensilos aufbrechen, die Interoperabilität verbessern und die Kosten in der Cloud signifikant senken. Dies geschieht unter anderem durch die Reduzierung von Datenduplikaten, die Rationalisierung des Datenverkehrs und die unabhängige Skalierung von Speicher und Rechenleistung. Die Implementierung von Apache Iceberg Lakehouses ist jedoch mitunter sehr komplex.
BI-Anbieter Qlik stellt hierfür nun eine neue hilfreiche Lösung bereit. Erst vor wenigen Monaten hat Qlik die Übernahme von Upsolver bekannt gegeben. Die Integration der Upsolver-Plattform in Qlik Talend Cloud hat nun schließlich die Einführung von Qlik Open Lakehouse ermöglicht. Durch die Integration lassen sich Lakehouse-Architekturen bequem in einer Amazon S3-Umgebung bereitstellen und im Handumdrehen sowohl Batch- als auch Echtzeitdaten direkt in Apache Iceberg Tabellen laden. Komplexe oder instabile Pipelines, Engpässe und manuelle Konfigurationen entfallen dabei.
Weil Qlik Open Lakehouse alle schwierigen Aufgaben automatisch ausführt, wird die operative Komplexität von Iceberg Implementierungen damit deutlich reduziert. Es ordnet beispielsweise Quellschemata Zielstrukturen zu, löst Datentypkonflikte, wendet intelligente Partitionierung an, führt automatische Dateikomprimierungen durch, verwaltet die Schemaentwicklung und führt Aktualisierungen und Löschungen präzise durch. Das alles passiert durchgehend und ohne manuelles Zutun. Im Hintergrund überwacht und optimiert der Adaptive Iceberg Optimizer von Qlik die Iceberg Tabellen zudem kontinuierlich in Echtzeit. Dies optimiert die Leistung und minimiert den Bedarf an Speicherplatz.
Performancesteigerung und Kostenreduzierung durch Qlik Open Lakehouse
Der Einsatz des neuen Tools führt somit nicht nur zu einer bis zu 5-mal schnelleren Abfrageperformance durch adaptive Optimierungen, sondern auch zu bis zu 50 % geringere Speicherkosten dank einer effizienten Komprimierung und Bereinigung – alles bei einer echten No-Code-Erfahrung für Iceberg Management im Unternehmensmaßstab.
Alle Funktionen sind im Umfang der Standard-Edition (und höher) von Qlik Talend Cloud enthalten. Auf diese Weise wird die Einführung und Arbeit mit Apache Iceberg deutlich einfacher und kostengünstiger. Dabei lässt sich mit Qlik Open Lakehouse das komplette Leistungsspektrum von Apache Iceberg ohne den damit verbundenen Betriebsaufwand nutzen – egal, ob Batch- oder Echtzeitdaten verwendet werden.
Einen Überblick über Qlik Open Lakehouse gibt auch das folgende YouTube-Video:
Mit Ihrem Klick wird das Video bei YouTube geladen. Bitte beachten Sie, dass dabei Daten an YouTube übermittelt werden. Beachten Sie auch unsere Datenschutzhinweise.