Über Batch hinaus: Wie ERP mit Datenstreaming schneller steuert

Daten werden verschoben. Alle Daten wurden irgendwann in ihrem Leben von dem einen oder anderen Ort verschoben oder dorthin verschoben. Sei es von einer Datenbank zu einer Anwendung, von einer Art cloudbasiertem Repository zu und von einem IoT-Gerät oder einfach zwischen internen Diensten innerhalb eines Betriebssystems oder den damit verbundenen Verbindungspunkten – Daten sind praktisch immer in Bewegung.

Selbst wenn Daten zur Ruhe gekommen sind und sich längerfristig im Speicher befinden, werden sie in der Regel irgendwann einmal über einen Transportmechanismus verarbeitet. Diese grundlegenden Binsenweisheiten bedeuten, dass wir uns oft auf die Häufigkeit von Daten konzentrieren und ihre Fähigkeit untersuchen, rechtzeitig dorthin zu gelangen, wo sie sein müssen.

Wenn wir an die Zeit vor der Jahrtausendwende zurückdenken, mussten Datendienste und die von ihnen abhängigen Benutzer oft mit „nächtlichen Builds“ rechnen, wenn sie ihr Daten-Backbone mit den aktuellsten Informationen versorgen wollten. Dies war (und ist tatsächlich immer noch) die Ära der Stapelverarbeitung, die manchmal auch als Workload-Automatisierung oder Job-Scheduling bezeichnet wird.

Laut Datenintegrations- und Enterprise-Cloud-Plattform-UnternehmenTibcoDie Stapelverarbeitung ist eine kostengünstige Möglichkeit, große Datenmengen in kurzer Zeit zu verarbeiten.

„Ein gutes Beispiel für die Stapelverarbeitung ist die Art und Weise, wie Kreditkartenunternehmen ihre Abrechnungen durchführen. Wenn Kunden ihre Kreditkartenrechnungen erhalten, handelt es sich nicht um eine separate Rechnung für jede Transaktion; Vielmehr gibt es eine Rechnung für den gesamten Monat. Diese Rechnung wird per Stapelverarbeitung erstellt. Alle Informationen werden im Laufe des Monats gesammelt, aber zu einem bestimmten Datum auf einmal verarbeitet“, stellt Tibco in einem technischen Briefing-Dokument fest.

Über Batch hinaus, in Echtzeit

Aber die Welt bewegt sich jetzt schneller als Batch; Wir alle arbeiten in einer Welt der ständigen Verfügbarkeit, in der Smartphones in Sekundenschnelle zeitnahe Dienste bereitstellen müssen und Unternehmensanwendungen uns kontinuierlich integrierte Dienste und Konnektivität bieten müssen. Dies ist das Zeitalter der Echtzeitdaten.

Der Schlüssel zu den grundlegenden Technologien in diesem Bereich istApache Kafka. Ihre Wurzeln reichen bis ins Jahr 2011 zurück. Die Technologie entstand aus einem internen Projekt zur Erstellung einer Messaging-Warteschlange, die von Software-Ingenieuren bei arbeitetLinkedIn.Seit ihren Anfängen in der „einfachen“ Messaging-Warteschlange ist die Daten-Streaming-Plattform Apache Kafka mittlerweile in der Lage, über eine Million Nachrichten pro Sekunde zu verarbeiten, was mehreren Billionen Nachrichten pro Tag entspricht.

Diese Technologie geht weit über Kafka hinaus – Jay Kreps, Confluent

Während reines Apache Kafka Open Source bleibt und die Verantwortung für die Betriebsverwaltung in den Händen des Benutzers liegt,Zusammenfließend bietet einen vollständig verwalteten Cloud-nativen Stream-Verarbeitungs- und Analysedienst. Es handelt sich um eine Technologie, von der Confluent-Mitbegründer und CEO Jay Kreps sagt, dass sie bei modernen Anwendungsfällen für Echtzeitanwendungen „über Kafka hinausgeht“, um das zu ermöglichen, was er Echtzeit-Entscheidungsfindung nennt, oder zumindest die digitale Iteration eines solchen Prozesses .

Was ist Datenstreaming?

Kehren wir für einen Moment zur Software-Engineering-Schule zurück: Wir können Daten-Streaming als ein Computerprinzip definieren. Es bezeichnet einen Ansatz, der eine zeitlich geordnete Abfolge für den Datendurchlauf durch eine Anwendung, Komponente oder einen Dienst überwacht. Daten-Streaming-Dienste konzentrieren sich in der Regel auf die untergeordneten Datensätze, die in einem bestimmten IT-System stattfinden, und übertragen Protokolldateien, die sich auf alles beziehen, von einem einzelnen Tastaturanschlag bis hin zu Sensormesswerten industrieller Maschineninstrumente.

So detailliert und winzig diese Aufzeichnungen auch sind, sobald sie aggregiert sind, helfen sie dabei, ein anschauliches Bild davon zu zeichnen, was genau in einer IT-Bereitstellung passiert. Diese Realität führt uns logischerweise in Richtung ERP, dh Daten-Streaming-Analysen können uns einen präzisionsgefertigten Überblick darüber verschaffen, was in einer Unternehmenssoftwareanwendung oder -funktion geschieht. Wie nutzen wir diese Kraft?

„Ich sage hier das Offensichtliche, aber Daten sind es, die jedes Unternehmen auf dem Laufenden halten – daher sollte [der] Echtzeitzugriff, den das Daten-Streaming verspricht, logischerweise als großer Vorteil angesehen werden“, sagt Chris Gorton, SVP für EMEA Nord, Süd- und Schwellenländer bei einem Unternehmen für DatenmanagementplattformenSyniti.

Echtzeit bedeutet nichts, wenn Sie den gestreamten Daten nicht vertrauen können – Chris Gorton, Syniti

„Wenn die Datengenauigkeit nicht geregelt und sichergestellt wird, verlangsamt sich der Geschäftsprozess, behindert den Verkaufsprozess und kann dazu führen, dass Unternehmen der Gefahr der Nichteinhaltung ausgesetzt sind.“

Der Syniti-Mann erinnert uns daran, dass die Konsolidierung wichtiger Geschäftsabläufe durch ein ERP-System die Daten entwirrt und die Verwaltung und Bereinigung erheblich erleichtert, sodass das gesamte Unternehmen sicher sein kann, dass es die richtigen Informationen zur richtigen Zeit verwendet. „Der inhärente Automatisierungsfaktor eines ERP-Systems verringert die Fehlerwahrscheinlichkeit und führt zu einer Konsistenz, die bedeutet, dass die erzeugten und gestreamten Daten Compliance und Zusammenarbeit zwischen Teams gewährleisten können.“ Das bedeutet, dass Unternehmen effizienter arbeiten können, dass große Verkäufe schneller abgeschlossen werden können … und dass schwierige Entscheidungen souveräner getroffen werden können“, fügt Gorton hinzu.

Der Aufstieg der Ereignisse

Viele in der Datenbranche drängen seit einiger Zeit auf eine breitere Einführung dieser zugegebenermaßen recht tiefgreifenden Technologien. Vizepräsident für Technologie beiJitter-Bit Keith Rigg erklärt offen, dass sein Team „schon seit einiger Zeit“ ereignisbasiertes Messaging befürwortet. Sein Team befürwortet Echtzeitmuster, wenn es darum geht, Lösungen auf den Markt zu bringen; Sie sagen, dass dieser Ansatz die Datenintegrationsplattform des Unternehmens widerspiegelt, die Arbeitsabläufe automatisiert und die Produktivität durch Hyperautomatisierung steigert.

„Im Laufe der Zeit ist eine Reihe von Dingen passiert“, sagt Rigg. „Es gibt zu viele Unternehmen, die sich immer noch auf über Nacht geplante Batch-Jobs verlassen, um einen Klon ihrer ERP- oder Transaktionsdaten in ein Data Warehouse zu übertragen, bevor sie dann über veraltete Informationen berichten – zum Beispiel aus Integrationssicht, wenn Dinge stündlich geplant werden oder, Du weißt schon, zweimal am Tag.“

Er sagt, dass diese unbequeme Wahrheit bedeutet, dass es immer eine Latenz gibt. Es besteht immer die Möglichkeit, dass verschiedene Systeme im Unternehmen unterschiedlicher Meinung sind. Es gibt also keine einzige Version der Wahrheit innerhalb des Unternehmens. Beispielsweise könnte die Finanzabteilung etwas anderes sagen als der Kundenservice. Ebenso könnte es sein, dass der Kundendienst eine Bestellung annimmt, weil es den Anschein hat, dass noch Kredit vorhanden ist – aber die Finanzabteilung hat bereits einen Kreditstopp verhängt, weil eine Rechnung nicht bezahlt wurde.

„Diese Probleme bestanden möglicherweise in der Vergangenheit, weil die Organisation selbst nicht ausgereift genug war, um zu automatisieren und über ein einziges virtuelles System und eine einzige Sicht auf die Wahrheit zu verfügen. Oder in vielen Fällen waren die technischen Hürden so groß, dass es nicht unmöglich war“, erklärt Rigg.

Es war sehr schwierig, an diesen glücklichen Ort zu gelangen – Keith Rigg, Jitterbit

Der Vizepräsident von Jitterbit fordert uns auf, schnell dorthin vorzuspulen, wo wir heute sind. Er weist darauf hin, dass die Technologie heute (und um ehrlich zu sein wahrscheinlich schon seit fünf oder sogar zehn Jahren) nicht mehr das Hindernis darstellt. Er weist darauf hin, dass es den Menschen an dem Bewusstsein liegt, dass diese technischen Barrieren beseitigt werden, oder dass sie sich am richtigen Punkt im Lebenszyklus einer Investition befinden, um sagen zu können: „Nun, wissen Sie was, jetzt ist es an der Zeit, ein Upgrade oder einen Ersatz vorzunehmen.“ und wir können auf diese neue Arbeitsweise umsteigen.

Jitterbit selbst hat sich im letzten halben Jahrzehnt stets für ereignisbasierte Nachrichtenübermittlung an bestehende Kunden und Interessenten gleichermaßen eingesetzt. Mithilfe seines API-Gateways als Verbindung zur unternehmenseigenen Integrationsplattform stellt das Unternehmen dann sicher, dass Daten in Echtzeit im gesamten Unternehmen übertragen werden. Oder wenn nicht, so gibt es zu, nahezu in Echtzeit. Die Grundbausteine ​​des „Listener-Frameworks“ des Unternehmens ermöglichen eine Streaming-Funktion auf der Basisebene der Plattform. Die Jitterbit-Nachrichtenwarteschlange gibt Benutzern die Möglichkeit, Nachrichten beizubehalten und die Zustellung von einem Quellsystem an ein Zielsystem zu gewährleisten.

Einstieg in das (Daten-)Logging-Geschäft

Da wir das Datenstreaming an immer mehr Anwendungskontaktpunkten im gesamten Unternehmen nutzen, werden wir unweigerlich mit einer insgesamt komplexeren Datenlandschaft konfrontiert sein. Daher ist es sinnvoll, dass Daten-Streaming-Spezialisten ERP-Kenntnisse entwickeln und dass ERP-Anbieter und Integrationspartner gleichermaßen Daten-Streaming-Kenntnisse entwickeln.

Für die Zukunft müssen wir uns darüber im Klaren sein, dass das eigentliche Streaming von Echtzeitdaten im Allgemeinen der einfachere Teil des Datenverwaltungsprozesses ist. Die Komplexität ergibt sich aus der anschließenden Interpretation dieser Daten auf eine Weise, die umsetzbar ist und einen Mehrwert für das Unternehmen darstellt und gleichzeitig sicherstellt, dass die Authentizität der gesammelten Daten vertrauenswürdig ist. Dies ist die Meinung von Bob De Caux in seiner Rolle als Vizepräsident für KI und Automatisierung beiIFS.

„Die effizienteste Art, Daten zu streamen, besteht darin, sie als Ereignisprotokoll zu implementieren, das mit verschiedenen Quellen verbunden ist. Wenn man versteht, was diese gestreamten Daten in einem Geschäftskontext bedeuten, können Daten mit den bedeutungsvollen Aspekten von Vermögenswerten innerhalb einer Organisation verknüpft werden, wo letztendlich ein Mehrwert geschaffen werden kann.

Unternehmen betrachten nicht mehr nur einen einzelnen Datenstrom – Bob De Caux, IFS

„Da es jetzt Technologien gibt, die die Erkennung multivarianter Anomalien bewältigen können, bedeutet das, dass Daten aus mehreren Streams und Ereignisprotokollen zusammengeführt und analysiert werden“, sagt De Caux.

De Caux spricht aus direkten Erfahrungen aus der Zusammenarbeit mit dem IFS-Kundenstamm und sagt, dass durch die Beobachtung, wie Endbenutzer mit einer Anwendung interagieren und welche sensorischen Daten einströmen, Geschäftsprozesse mithilfe von KI analysiert und automatisiert werden können. Er erklärt, dass dadurch im Wesentlichen eine Rückkopplungsschleife entsteht, die es ermöglicht, diese Prozesse zu automatisieren. Auch wenn es in diesem Geschäftsprozess weiterhin eine menschliche Komponente gibt, ist ein hohes Maß an Erklärbarkeit erforderlich. Der Endbenutzer muss verstehen, was er unterschreibt, und die Ergebnisse dieser automatisierten Entscheidungen müssen so bereitgestellt werden, dass ein Mensch sie interpretieren kann.

„Wenn ein Geschäftsprozess automatisiert wird und im weiteren Verlauf etwas schief geht, muss ein überprüfbares Protokoll vorhanden sein, das die Einhaltung künftiger KI- und Automatisierungsvorschriften nachweist. Der Zugriff auf Echtzeit-Datenströme versetzt Unternehmen in die Lage, ihre Prozesse zu verbessern, ein besseres Kundenerlebnis zu bieten und eine fundiertere Entscheidungsfindung zu ermöglichen – dies ist jedoch nur möglich, wenn die verwendeten Daten sicher und authentisch sind“, schließt De von IFS Caux.

Der Traum vom Daten-Streaming ist wohl zu einem integralen Bestandteil der Entwicklung der fortschrittlichsten Unternehmens-IT-Systeme geworden. Streaming-Evangelisten sprechen gerne vom „Tod des Batches“, aber das liegt (wieder wohl) daran, dass es bissig klingt und sich gut für eine Keynote-Überschrift oder eine Breakout-Sitzung auf einer Konferenz eignet. In den meisten IT-Abteilungen jeder Größe wird es ein Element von Batch-Daten geben, vor allem weil die Datentypen so vielfältig und vielfältig sind, aber der Echtzeit-ERP-Stream ist längst kein Wunschtraum mehr.