Talend Open Studio

Posts Tagged ‘talend open studio’

Mit Talend Open Studio einen Webservice erstellen

Über Talend Open Studio (TOS) als ETL -Werkzeug habe ich ja schon öfters geschrieben. Es handelt sich in erster Linie um ein ETL-Werkzeug, also ein Programm, mit dem man Daten aus verschiedensten Quellen laden, verarbeiten und in beliebige Ziele übertragem kann. Dass man mit TOS aber auch ganz leicht einfache Webservices erzeugen kann, wissen jedoch die Wenigsten. Und dazu braucht es keinerlei Programmier-, XML- oder SOAP-Kenntnisse.

Deswegen möchte ich hier mal exemplarisch einen sehr einfachen Webservice mit Talend realisieren.

Das Szenario

Ein Webservice soll es ermöglichen, Preise zu beliebigen Artikeln aus der Warenwirtschaft zu ermitteln. Das Warenwirtschaftssystem wird durch eine CSV-Datei repräsentiert und kann somit ganz leicht angepasst und erweitert werden.

Hier die ersten paar Zeilen aus dieser Datei:

id;artikel;preis

1;DIN A4 Ringbuch;1,99

2;Klebefilm Rolle 25m;0,89

3;Briefumschlag m. Sichtfenster DIN A5 (100 Stk);9,89

4;Papierlocher blau;4,99

Der Webservice wird einen einzelnen Aufrufparameter articleid entgegennehmen. Dieser entspricht der Artikelnummer, über welche dann der Datensatz gesucht wird. Kann der Artikel nicht gefunden werden, wird ein entsprechender Fehler zurückgemeldet, ansonsten liefert der Webservice den vollständigen Artikeldatensatz zurück.

Vergleich TOS und Kettle

Im Spanischen Blog El Rincon del BI hat sich Roberto Espinosa die Mühe gemacht und Talend Open Studio (TOS) mit Pentaho Data Integrator (Kettle) einer Gegenüberstellung unterzogen. Der Artikel Talend Open Studio vs. Pendaho Data Integration (Kettle). Comparative. ist in Englisch verfasst und steht dort auch schon seit Juni 2010 bereit.

In seinem Vergleich stellt er TOS 4.0 und PDI Community Edition 3.2 einander gegenüber. Zwei Job-Screenshots zeigen die optischen Unterschiede der Lösungen im Process-Design. Mehrere Tabellen betrachten unterschiedliche Features der beiden Lösungen und erlauben dem geneigten Leser so schnell seine Schlüsse zu ziehen.

Neue Version 3.2.3 von Talend Open Studio und Talend Open Profiler

Die Programme TOS (für Datenintegration/ETL) und TOP (zum Datenprofiling bzw. Datenqualitätsanalyse) wurden am Dienstag in der Version 3.2.3 veröffentlicht.

Es handelt sich dabei überwiegend um Bugfixes und nur winzige Erweiterungen. Neue Features gibt es keine zu melden.

Dafür wird dann voraussichtlich im April jeweils die Version 4.0 released. Somit ist die Version 3.2.3 nur eine Veredelung der bereits genialen Programme Open Studio und Open Profiler.

Herunterladen kann man die Open Source-Lösungen wie gewohnt auf der Talend-Downloadseite.

Wer Experimentierfreude besitzt oder einfach nur neugierig ist, kann sich auch bereits die aktuellen Milestone-Releases für die Version 4.0 der Produkte herunterladen. Da basieren die Lösungen dann auf Eclipse 3.5 und es gibt bereits jetzt eine Reihe Neuerungen, die es in sich haben. Auch diese sind auf der Talend-Downloadseite zu finden.

Changelog zu Talend Open Studio 3.2.3

[metadata wizards] AS400 – Retrieve schemas of another library (mlelandais) – resolved/needs doc.
[graphical User Interface] Old job imported to TOS, item of it is not corresponding (qwei) – closed.
[SCDELT] [SCDELT component] start and end date list can’t get data after add schema (qwei) – closed.
[Java components] [tPostgresqlSCDELT], type1 not effective if the compareing fields value is NULL (mhirt) – closed.
[Java components] tFetchFile : If nothing put in file name, there is a problem to get the initial filename (mhirt) – closed.
[Java components] tDenormalizeSortedRow generate invalid java code (mhirt) – closed.
[Java components] tConvertType: Add die on error parameter (mhirt) – closed.
[Java components] tExtractXMLField doesn’t support null Integer values (mhirt) – closed.
[schema management] DB2 retrieve schema , error (nrousseau) – closed.
[repository] Fail to rename folder (qwei) – closed.
[metadata wizards] DB connection , export as context can not work (qwei) – closed.
[repository] Fail to update or delete data in MSSQL database (nrousseau) – closed.
[Java components] tFileProperties: md5-checksum is not always 32 chars long (mhirt) – closed.
[Java components] tfileInputDelimited text enclosure not supporting context variable (mhirt) – closed.
[Java components] Inserting invalid dates in MSSQL-Server always throws an error and can’t be redirected to rejects (mhirt) – closed.
[Java components] Column datatype DATE in teradata occurs trouble when INSERTING (mhirt) – closed.
[Java components] in a multi-schema file input one schema is skipped due to an unappropriate “trim()” (mhirt) – closed.
[repository] Open older version problems in the version tab of jobsetting view. (qwei) – closed.
[metadata wizards] create connection wizard is readonly (qwei) – closed.
[technical] Need to limit or avoid as much as possible the repository access (nrousseau) – closed.
[sqlBuilder] [sqlbuilder] “Read query” seems can edit (qwei) – closed.
[job designer editor] tRunJob problems (xhyu) – closed.
[graphical User Interface] Multiple row1 structures created in a job. (xhyu) – closed.
[repository] delete a folder which contains some jobs, cause error (xhyu) – closed.
[business model] assagin file to business models (xhyu) – closed.
[job designer editor] saving schema in metadata dialog cause problems (xhyu) – closed.
[Java components] No header is written in component tFileOutputExcel (mhirt) – closed.
[Java components] [tFileInputXML] : Get Nodes option, problem on optional node. (mhirt) – closed.
[graphical User Interface] tOracleOutput using an existing connection shouldn’t have batch size option (ayvonet) – closed.
[??? unknown ???] workspace in use,can’t start multiple instances at the sametime though I open first wrokspace (qwei) – closed.
[Java components] Unable to use tInformixInput – java.lang.reflect.InvocationTargetException (qwei) – closed.
[Java components] Using an Oracle Service Name connection (qwei) – closed.
[Java components] tFileInputMSDelimited does not accept “+” as delimiter (qwei) – closed.
[general] A strange log in the workspace log file (cli) – closed.
[Java components] Dublicate local variable in tELTAggregate (mhirt) – closed.
[Java components] tFilterRow: invalid operator description (mhirt) – closed.
[Java components] log4j Warnings with tFileInputExcel with Excel 2007 files (mhirt) – closed.
[Java components] [tMSSqlOutput] : Job lock when using option “Create if not exist” or “Drop table if exist and create” (mhirt) – closed.
[technical] Some threads can remain in memory after use the application for some time (qwei) – closed.
[properties] Error in generate code when using a xml connection with source file *.xsd (qwei) – closed.
[Java components] Informix database in stats & logs with error “Transactions not supported” (qwei) – closed.
[Java components] Informix database in stats & logs generate code error (qwei) – closed.
[Java components] Can’t hold multiple SQL Templates in ELT components (qwei) – closed.
[Java components] ConcurrentModificationException when collecting stats from parallel iterate (mhirt) – closed.
[metadata wizards] XML metadata wizard cannot process specific empty attribute : xmlns (xhyu) – closed.
[graphical User Interface] From time to time, components are no more clickable (nrousseau) – closed.
[schema management] Select ‘Use the sql filter’ as filter conditions, error pop up (xhyu) – closed.
[properties] SCD component config node parameters is error. (qwei) – closed.
[Java components] tAdvancedFileOutputXML do include namespace in output file (lwang) – closed.

Changelog zu Talend Open Profiler 3.2.3

[database support] Have a DB2/ZOS support in TOP like in TOS (scorreia) – closed.
[analysis] Column analysis Blank count uses TRIM() function not supported by DB2 (hmassy) – resolved/needs doc.
[analysis] schema analysis on sql server always failed (bzhou) – closed.
[database support] can’t show oracle database structure (bzhou) – closed.
[analysis] not match row Query in Redundancy analysis don’t return the right result (bzhou) – closed.
[DQ Repository View] cannot move analysis into another folder (bzhou) – closed.
[indicators] Show text indicators in DQ repository (bzhou) – closed.
[DQ Repository View] Cannot create new analysis from subfolders (bzhou) – closed.
[wizards] Issues on indicator threshold options (bzhou) – closed.
[drill down] the sql is not correct. (bzhou) – closed.
[technical] Talend Open Profiler crash on startup (bzhou) – closed.
DQ Repository View] Wrong lable of delete menu just for the dqrule and resource file. (bzhou) – closed.
[drill down] Cannot drill down into data after a migration (bzhou) – closed.
[analysis] Wrong datamining type for datetime column in Time correlation analysis (bzhou) – closed.
[analysis] wrong tooltip message even the number of matched rows in the specify range. (bzhou) – closed.
[analysis] Sybase connection Analysis not executed yet: wrong display (bzhou) – closed.
[analysis] DB Schema not recognized on Functional Dependency Analysis (bzhou) – closed.
[database support] odbc support about ms access (bzhou) – closed.
[database support] odbc support about oracle (bzhou) – closed.
[talend exchange] Enable the user to adapt the timeout variable for the Talend Exchange connection (hcheng) – closed.