Programmierung

tFileFetch: HTTP-Zugriff in Talend Jobs

Mit tFileFetch kann man in seinen ETL-Prozessen auf beliebige HTTP-Server zugreifen, entweder um Dateien herunterzuladen, oder Daten zu übermitteln. Auch der Upload von Dateien ist dabei möglich. Ausserdem bietet tFileFetch auch den lesenden Zugriff auf Dateien auf einem FTP- sowie auf einem Samba (SMB)-Server. FTP und SMB-Zugriff werde ich jedoch in diesem Beitrag außenvorlassen.

Die Komponente Mehr >

tServerAlive: Lebt denn der Server noch?

Beim Design von Datenintegrationsprozessen macht man sich oftmals viele Gedanken im Vorfeld. So werden Schwächen in der Datenqualität meist schon vorab ermittelt (z.B. mit Talend Open Profiler) und dann im ETL-Prozess eine entsprechende Optimierung umgesetzt.
Auch zur Laufzeit auftretende Fehler, wie der Klassiker, die NullPointer-Exception werden bereits berücksichtigt und z.B. mit tSchemaComplianceCheck verhindert. Aber eine Prüfung Mehr >

tApacheLogInput: Apache Logfiles in TOS einlesen

Der einfachste Weg, um standardformatierte Log-Files des Apache HTTP-Servers in einem Talend-Job einzulesen, ist es die Komponenten tApacheLogInput zu verwenden.
tApacheLogInput geht davon aus, dass das Logfile in dem Format vorliegt, in welchem Apache HTTP es standardmäßig erzeugt. Sobald man an der Konfiguration der Logfile-Generierung seitens Apaches Änderungen vornimmt, ist die Kompontene tApacheLogInput nicht mehr zu Mehr >

SAP – oder wie ich total entnervt das Büro verlies

Okay, den Frust muss ich loswerden – und da bietet sich das eigene Blog ja geradezu an.
Nachdem Talend Open Studio ja (un)glücklicherweise SAP-Konnektoren enthält, ist nun heute der Tag gekommen, an dem ich mich nicht mehr davor verstecken konnte, diese auch mal einzusetzen.
Mal abgesehen davon, dass die Komponenten noch durchaus Potenzial zur Verbesserung haben, bin Mehr >

Nix wirds, mit der Web 2.0 Expo in Berlin

Tja, noch eine Veranstaltung, die der aktuellen Wirtschaftskrise zum Opfer fällt. Die O’Reilley Media Web 2.0 Expo in Berlin für dieses Jahr wurde kurzfristig abgesagt. Das berichtet zumindest golem.de. 
Ich find’s nur lustig, dass in den Kommentaren gleich von “Web 2.0  ist am Ende” die Rede ist. Am besten, wir schalten das Internet gleich ab, ist sowieso so Mehr >

Neue Komponente tGSpreadsheetInput soeben veröffentlicht

Ich habe soeben meine tGSpreadsheetInput-Komponente auf www.talendforge.org veröffentlicht.
Mit dieser Komponente kann man Daten aus Google Docs Spreadsheets in seinen ETL-Prozess laden.
Hier geht’s zur Komponente
 
Dabei kommt die Google Data API zum Einsatz. Die entsprechenden JARs sind im Komponenten-Archiv bereits enthalten.