SAP DS (Data Services) in HANA

Was ist SAP Data Services?

SAP Data Services ist ein ETL-Tool, das eine Lösung auf Unternehmensebene für Datenintegration, Transformation, Datenqualität, Datenprofilerstellung und Textdatenverarbeitung von der heterogenen Quelle in eine Zieldatenbank oder ein Data Warehouse bietet.

Wir können Anwendungen (Jobs) erstellen, in denen die Datenzuordnung und -transformation mithilfe des Designers durchgeführt werden kann. (Die neueste Version von SAP BODS ist 4.2).

Funktionen von Datendiensten

Es bietet leistungsstarke parallele Transformationen.
Es verfügt über umfassende Verwaltungs- und Berichterstellungstools.
Es unterstützt Mehrbenutzer.
SAP BODS ist sehr flexibel mit webdienstbasierten Anwendungen.
Es ermöglicht Skriptsprache mit umfangreichen Funktionen.
Data Services können in SAP LT Replication Server (SLT) integriert werden
Trigger-basierte Technologie. SLT fügt jeder SAP- oder Nicht-SAP-Quelltabelle Delta-Funktionen hinzu

Dies ermöglicht die Verwendung der Datenerfassung zur Änderung und Übertragung der Delta-Daten von

die Quelltabelle.
Datenvalidierung mit Dashboards und Prozessprüfung.
Verwaltungstool mit Planungsfunktionen und Überwachung / Dashboards.
Debugging und integrierte Profilerstellung und Anzeige von Daten.
SAP BODS-Unterstützung Breite Quelle und Ziel.
- Beliebige Anwendungen (zB SAP).
- Alle Datenbanken mit Massenladen und Änderungen der Datenerfassung
- Dateien: feste Breite, durch Kommas getrennt, COBOL, XML, Excel.

Komponente von Data Services

SAP DATA Services haben unter Komponente -

Designer - Es ist ein Entwicklungstool, mit dem wir einen Job erstellen, testen und ausführen können, der ein Data Warehouse füllt.
Der Entwickler kann Objekte erstellen und konfigurieren, indem er ein Symbol in einem Flussdiagramm von Quelle zu Ziel auswählt.

Es kann zum Erstellen einer Anwendung verwendet werden, indem Workflows und Datenflüsse angegeben werden.

Um den Data Service Designer zu öffnen, gehen Sie zu Startmenü -> Alle Programme -> SAP Data Services (4.2 hier) -> Data Service Designer.

Job Server - Dies ist eine Anwendung, die die Data Services Processing Engine startet und als Schnittstelle zur Engine und zur Data Services Suite dient.
Engine- Data Service Engine führt einzelne Jobs aus, die in der Anwendung definiert sind.
Repository - Repository ist eine Datenbank, in der vordefinierte Designerobjekte und benutzerdefinierte Objekte (Quell- und Zielmetadaten, Transformationsregeln) gespeichert werden.
Es gibt zwei Arten von Repositorys:

Lokales Repository (wird von Designer und Job Server verwendet).
Zentrales Repository (Wird für die gemeinsame Nutzung von Objekten und die Versionskontrolle verwendet)

Zugriffsserver - Der Zugriffsserver leitet Nachrichten zwischen Webanwendungen, Datendienst- Jobservern und Engines weiter.
Administrator - Der Webadministrator bietet eine browserbasierte Verwaltung der Datendienstressourcen. Die folgenden Details sind aufgeführt:

Konfigurieren, Starten und Stoppen von Echtzeitdiensten.
Planen, Überwachen und Ausführen von Stapeljobs.
Konfigurieren der Verwendung von Jobservern, Zugriffsservern und Repositorys.
Benutzer verwalten.
Veröffentlichen von Batch-Jobs und Echtzeitdiensten über Webdienste
Adapter konfigurieren und verwalten.

Datendienstarchitektur -

Die Data Services-Architektur hat die folgende Komponente:

Zentrales Repository - Es wird für Repositorys-Konfigurationen für Jobserver, Sicherheitsverwaltung, Versionskontrolle und Objektfreigabe verwendet
Designer - Wird zum Erstellen von Projekten, Jobs, Workflows, Datenflüssen und zum Ausführen verwendet.
Lokales Repository (hier können Sie Änderungen erstellen und Jobs starten, Workflow, Datenfluss).
Job Server & Engine - Es verwaltet die Jobs.
Zugriffsserver - Hiermit werden die von Entwicklern in den Repositorys erstellten Echtzeitjobs ausgeführt.

In der folgenden Abbildung sind die Datendienste und ihre Komponentenbeziehung dargestellt.

SAP-BODS-Architektur

Designer-Fensterdetail: Zuerst betrachten wir die erste Komponente von SAP Data Service-Designer

Die Details der einzelnen Abschnitte des Datendienst-Designers sind wie folgt:

Symbolleiste (Wird zum Öffnen, Speichern, Zurück, Validieren, Ausführen usw. verwendet).
Projektbereich (Enthält das aktuelle Projekt, einschließlich Job, Workflow und Datenfluss. In Data Services sind alle Entitäten Objekte.
Arbeitsbereich (Der Bereich des Anwendungsfensters, in dem wir Objekte definieren, anzeigen und ändern).
Lokale Objektbibliothek (Enthält lokale Repository-Objekte wie Transformationen, Jobs, Workflows, Datenflüsse usw.).
Werkzeugpalette (Mit den Schaltflächen in der Werkzeugpalette können Sie dem Arbeitsbereich neue Objekte hinzufügen.)

Objekthierarchie

Das folgende Diagramm zeigt hierarchische Beziehungen für die wichtigsten Objekttypen in Data Services.

Hinweis:

Workflows und Bedingte * sind optional

Die im Detail von SAP Data Services verwendeten Objekte sind wie folgt:

Objekte	Beschreibung
Projekt	Ein Projekt ist ein Objekt der höchsten Ebene im Designer-Fenster. Projekte bieten Ihnen die Möglichkeit, die anderen Objekte zu organisieren, die Sie in Data Services erstellen. Es ist jeweils nur ein Projekt geöffnet (wobei "offen" "im Projektbereich sichtbar" bedeutet).
Job	Ein "Job" ist die kleinste Arbeitseinheit, die Sie unabhängig für die Ausführung planen können.
Skripte	Eine Teilmenge von Zeilen in einer Prozedur.
Arbeitsablauf	Ein "Arbeitsablauf" ist die Einbeziehung mehrerer Datenflüsse in einen kohärenten Arbeitsablauf für einen gesamten Auftrag. Der Workflow ist optional. Workflow ist eine Prozedur. Datenflüsse aufrufen Rufen Sie einen anderen Workflow auf Definieren Sie die Reihenfolge der Schritte, die in Ihrem Job ausgeführt werden sollen Übergeben Sie Parameter an und von Datenflüssen. Geben Sie an, wie mit Fehlern umgegangen werden soll, die während der Ausführung auftreten. Definieren Sie die Bedingungen für die Ausführung von Projektabschnitten.
Datenfluss	Ein "Datenfluss" ist der Prozess, durch den Quelldaten in Zieldaten umgewandelt werden. Ein Datenfluss ist ein wiederverwendbares Objekt. Es wird immer aus einem Workflow oder einem Job aufgerufen. Identifizieren Sie die Quelldaten, die Sie lesen möchten. Definieren Sie die Transformationen, die Sie für die Daten ausführen möchten. Identifizieren Sie die Zieltabelle, in die Sie Daten laden möchten.
Datenspeicher	Logischer Kanal, der Data Services mit Quell- und Datenspeicher-Zieldatenbanken verbindet. Muss für jede Quell- und Zieldatenbank angegeben werden. Werden verwendet, um Metadaten für Quell- und Zieldatenbanken in das Repository zu importieren Werden von Data Services verwendet, um Daten aus Quelltabellen zu lesen und Datato-Zieltabellen zu laden
Ziel	Tabelle oder Datei, in die Data Services Daten aus der Quelle lädt.

Beispiel für Data Services durch Laden von Daten aus der SAP-Quelltabelle

Alles in Datendiensten ist ein Objekt. Wir müssen den Datenspeicher für jede Quell- und Zieldatenbank trennen.

Schritte zum Laden von Daten aus der SAP-Quelltabelle - SAP BODS hat viele Schritte, in denen wir einen Datenspeicher für Quelle und Ziel erstellen und diesen zuordnen müssen.

Erstellen Sie einen Datenspeicher zwischen Quelle und BODS
Importieren Sie die Metadaten (Strukturen) in BODS.
Konfigurieren Sie den Importserver
Importieren Sie die Metadaten in das HANA-System.
Erstellen Sie einen Datenspeicher zwischen BODS und HANA.
Projekt erstellen.
Job erstellen (Stapel / Echtzeit)
Workflow erstellen
Datenfluss erstellen
Objekt im Datenfluss hinzufügen
Führen Sie den Job aus
Überprüfen Sie die Datenvorschau in HANA

Schritt 1) Erstellen Sie einen Datenspeicher zwischen SAP Source und BODS

Um Daten von SAP Source über SAP BODS in SAP HANA zu laden, benötigen wir einen Datenspeicher. Also erstellen wir zuerst einen Datenspeicher wie unten gezeigt -
Projekt -> Neu -> Datenspeicher
Ein Popup für Neuen Datenspeicher erstellen wird angezeigt. Geben Sie die Details wie folgt ein:
1. Geben Sie den Namen des Datenspeichers "ds_ecc" ein.
2. Wählen Sie den Namen des Datenspeichertyps als "SAP-Anwendungen".
3. Geben Sie den Namen des Datenbankservers ein
4. Benutzername und Passwort.
5. Klicken Sie auf "Übernehmen".
6. Klicken Sie auf "OK".
Der Datenspeicher wird erstellt und der erstellte Datenspeicher wird wie folgt angezeigt:

Gehen Sie zur lokalen Objektbibliothek
Wählen Sie die Registerkarte DataStore.
Der Datenspeicher "ds_ecc" wird angezeigt.

Schritt 2) Importieren Sie Metadaten (Struktur) in den BODS-Server.

Wir haben einen Datenspeicher für ECC to BODS erstellt. Jetzt importieren wir Metadaten aus ECC in BODS. Um zu importieren, gehen Sie wie folgt vor:

Wählen Sie Datenspeicher "ds_ecc" und klicken Sie mit der rechten Maustaste.
Wählen Sie die Option Nach Name importieren.

Ein Popup für den Import nach Namen wird angezeigt. Geben Sie die Details wie folgt ein -
1. Wählen Sie Typ als Tabelle.
2. Geben Sie den Namen der Tabelle ein, die importiert werden soll. Hier importieren wir die KNA1-Tabelle.
3. Klicken Sie auf die Schaltfläche "Importieren". Die KNA1-Tabelle wird unter dem Tabellenknoten der Datenquelle "ds_ecc" angezeigt.

Tabellenmetadaten werden wie folgt in den Datenspeicher ds_ecc importiert -

Schritt 3) Konfigurieren Sie den Importserver

Bisher haben wir eine Tabelle in die für "ECC to SAP BODS Connection" erstellten Daten "ds_ecc" importiert. Um Daten in SAP HANA zu importieren, müssen wir den Importserver konfigurieren.

Gehen Sie dazu zu Schnellansicht-> Importserver wie folgt konfigurieren -
Ein Popup für Select System wird angezeigt. Wählen Sie SAP HANA (HDB hier) System wie folgt aus:

Klicken Sie auf "Weiter". Ein weiteres Popup für die Anmeldeinformationen des Datendienstes wird angezeigt. Geben Sie die folgenden Details ein

SAP BODS Server Adresse (hier BODS: 6400)
Geben Sie den Namen des SAP BODS-Repositorys ein (Name des HANAUSER-Repositorys).
Geben Sie die ODBC-Datenquelle (ZTDS_DS) ein.
Geben Sie den Standardport für den SAP BODS-Server (8080) ein.

Klicken Sie auf "Fertig stellen".

Schritt 4) Importieren Sie die Metadaten in das HANA-System

1. Bis jetzt haben wir Import Server konfiguriert, jetzt werden wir Metadaten vom SAP BODS Server importieren.

Klicken Sie in der Schnellansicht auf die Option Importieren.
Ein Popup für die Importoption wird angezeigt. Wählen Sie die Option "Selektiver Import von Metadaten".

Klicken Sie auf "Weiter".

2. Ein Popup für "Selektiver Import von Metadaten" wird angezeigt, in dem wir das Zielsystem auswählen.

Wählen Sie SAP HANA System (HDB hier).

Klicken Sie auf "Weiter".

Schritt 5) Erstellen Sie einen Datenspeicher zwischen BODS und HANA

Wie wir wissen, müssen wir in BODS einen separaten Datenspeicher für Quelle und Ziel erstellen. Wir haben bereits einen Datenspeicher für die Quelle erstellt. Jetzt müssen wir einen Datenspeicher für das Ziel erstellen (zwischen BODS und HANA). Also erstellen wir einen neuen Datenspeicher mit dem Namen "DS_BODS_HANA".

Gehen Sie zu Projekt -> Neu -> Datenspeicher.

Ein Bildschirm zum Erstellen eines neuen Datenspeichers wird wie folgt angezeigt.
1. Geben Sie den Namen des Datenspeichers ein (DS_BODS_HANA).
2. Geben Sie den Datenspeichertyp als Datenbank ein.
3. Geben Sie den Datenbanktyp als SAP HANA ein.
4. Wählen Sie Datenbankversion.
5. Geben Sie den Namen des SAP-HANA-Datenbankservers ein.
6. Geben Sie den Portnamen für die SAP HANA-Datenbank ein.
7. Geben Sie Benutzername und Passwort ein.
8. Aktivieren Sie "Automatische Datenübertragung aktivieren".

Klicken Sie auf "Übernehmen" und dann auf "OK".

Der Datenspeicher "DS_BODS_HANA" wird auf der Registerkarte "Datenspeicher" der lokalen Objektbibliothek als angezeigt

Unten-

Jetzt importieren wir die Tabelle im Datenspeicher "DS_BODS_HANA".
1. Wählen Sie den Datenspeicher "DS_BODS_HANA" und klicken Sie mit der rechten Maustaste.
2. Wählen Sie Nach Name importieren.

Ein Popup für den Import nach Namen wird wie folgt angezeigt:
1. Wählen Sie Typ als Tabelle.
2. Geben Sie den Namen als KNA1 ein.
3. Besitzer wird als Hanauser angezeigt.
4. Klicken Sie auf die Schaltfläche Importieren.

Die Tabelle wird in den Datenspeicher "DS_BOD_HANA" importiert. Um die Daten in der Tabelle anzuzeigen, gehen Sie wie folgt vor:

Klicken Sie im Datenspeicher "DS_BODS_HANA" auf die Tabelle "KNA1".
Die Daten werden im Tabellenformat angezeigt.

Schritt 6) Projekt definieren: Projektgruppe und zugehörige Objekte organisieren . Das Projekt kann eine beliebige Anzahl von Jobs, Workflows und Datenflüssen enthalten.

Gehen Sie zum Designer Project-Menü.
Neue Option auswählen.
Wählen Sie die Option Projekt.

Ein POP-UP für die Erstellung neuer Projekte wird wie folgt angezeigt. Geben Sie den Projektnamen ein und klicken Sie auf die Schaltfläche Erstellen. In unserem Fall BODS_DHK wird ein Projektordner erstellt.

Schritt 7) Job definieren: Ein Job ist ein wiederverwendbares Objekt. Es enthält Workflows und Datenflüsse. Jobs können manuell oder als Zeitplan ausgeführt werden. Um den BODS-Prozess auszuführen, müssen wir den Job definieren.

Wir erstellen einen Job als JOB_Customer.

Wählen Sie das in Schritt 1 erstellte Projekt (BODS_DHK) aus, klicken Sie mit der rechten Maustaste und wählen Sie "Neuer Stapeljob".
Benennen Sie es in "JOB_Customer" um.

Schritt 8) Workflow definieren:

Wählen Sie im Projektbereich Job "JOB_Customer" aus.
Klicken Sie in der Werkzeugpalette auf die Schaltfläche Workflow. Klicken Sie auf den Bereich Schwarzer Arbeitsbereich. Im Arbeitsbereich wird ein Workflow-Symbol angezeigt.
Ändern Sie den Namen des Workflows in "WF_Customer".

Klicken Sie auf den Namen des Workflows. Im Arbeitsbereich wird eine leere Ansicht für den Workflow angezeigt.

Schritt 9) Datenfluss definieren:

Klicken Sie auf Workflow "WF_Customer".
Klicken Sie in der Werkzeugpalette auf die Schaltfläche Datenfluss. Klicken Sie auf den Bereich Schwarzer Arbeitsbereich. Im Arbeitsbereich wird ein Datenflusssymbol angezeigt.
Ändern Sie den Namen des Datenflusses in "DF_Customer".
Der Datenfluss wird auch im Projektbereich links unter Jobname angezeigt.

Schritt 10) Objekt im Datenfluss hinzufügen:

Innerhalb des Datenflusses können wir Anweisungen zum Transformieren von Quelldaten in die gewünschte Form für die Zieltabelle bereitstellen.

Wir werden unten Objekt sehen -

Ein Objekt für die Quelle.
Ein Objekt für die Zieltabelle.
Ein Objekt für die Abfragetransformation. (Die Abfragetransformation ordnet die Spalten von der Quelle dem Ziel zu.)
Klicken Sie auf den Datenfluss DF_Customer. Ein leerer Arbeitsbereich wird wie folgt angezeigt:

Objekt aus Quelle angeben - Gehen Sie zum Datenspeicher "ds_ecc" und wählen Sie die Tabelle KNA1 aus. Ziehen Sie sie per Drag & Drop auf den leeren Bildschirm für den Datenfluss (siehe Abbildung unten).
Geben Sie das Objekt für das Ziel an. Wählen Sie den Datenspeicher "DS_BODS_HANA" aus dem Repository aus und wählen Sie die Tabelle KNA1 aus.
Ziehen Sie sie per Drag & Drop in den Arbeitsbereich und wählen Sie die Option "Ziel erstellen". Es wird zwei Tabellen für Quelle und Ziel geben. Hier definieren wir die Tabelle als Quelle und Ziel.

Abfragetransformation - Dies ist ein Tool zum Abrufen von Daten basierend auf dem Eingabeschema für benutzerspezifische Bedingungen und zum Transportieren von Daten von der Quelle zum Ziel.
1. Wählen Sie das Symbol "Abfragetransformation" aus der Werkzeugpalette aus und ziehen Sie es wie folgt zwischen Quell- und Zielobjekt im Arbeitsbereich.
2. Verknüpfen Sie das Abfrageobjekt mit der Quelle.
3. Verknüpfen Sie das Abfrageobjekt mit der Zieltabelle.
1. Doppelklicken Sie auf das Abfragesymbol. Auf diese Weise ordnen wir eine Spalte vom Eingabeschema dem Ausgabeschema zu.

Wenn wir auf das Abfragesymbol klicken, wird ein nächstes Fenster für die Zuordnung angezeigt, in dem wir die folgenden Schritte ausführen:

Die Quelltabelle KNA1 ist ausgewählt.
Wählen Sie alle Spalten aus der Quelltabelle aus, klicken Sie mit der rechten Maustaste und wählen Sie eine Karte aus, die ausgegeben werden soll.
Die als Abfrage ausgewählte Zielausgabe und Spalte werden zugeordnet.

5. Projekt speichern und validieren.

1. Klicken Sie auf Validierungssymbol.

2. Ein Popup für den Erfolg der Validierung wird angezeigt.

Schritt 11) Job ausführen - Um den Job auszuführen, folgen Sie dem folgenden Pfad:

Wählen Sie das Symbol Projektbereich, um das Projekt zu öffnen, und wählen Sie das erstellte Projekt aus.
Wählen Sie Job und klicken Sie mit der rechten Maustaste.
Wählen Sie die Option Ausführen, um den Job auszuführen.
1. Nach dem Ausführen des Jobs wird ein Jobprotokollfenster angezeigt, in dem alle Meldungen zum Job angezeigt werden.
2. Die letzte Nachricht lautet Job <> ist erfolgreich abgeschlossen.
Schritt 12) - Daten in der SAP-HANA-Datenbank validieren / prüfen.
1. Melden Sie sich über SAP HANA Studio bei der SAP HANA-Datenbank an und wählen Sie das HANAUSER-Schema aus.
2. Wählen Sie im Tabellenknoten die Tabelle KNA1 aus.
3. Klicken Sie mit der rechten Maustaste auf die Tabelle KNA1 und wählen Sie Open Data Preview.
4. Tabelle (KNA1) Daten, die wie oben von BODS-Prozessen geladen wurden, werden im Datenvorschau-Bildschirm angezeigt.