Jim Walker, der Talend MDM Produktmarketing Manager, erklärt in diesem Tutorial-Video, wie man die Open Source MDM-Lösung von Talend installiert und konfiguriert.
Weitere Videos zu Talend findet man im TalendChannel auf youtube.
Twitter spielt eine zunehmend größere Rolle im Word Wide Web. Der Erfolg des Mircoblogging-Dienstes ist einfach enorm. Tweets, also die 140 Zeichen langen Nachrichten, werden tausendfach jede Sekunde geschrieben und gelesen. Es ist kaum leichter, auf so einfache Art und Weise soviele Menschen anzusprechen. Es gibt bereits erste Werbe-Netze wie be-a-magpie.com, die es einem erlauben Werbetweets gegen Bezahlung in seine Timeline einfließen zu lassen. Andere “vermieten” ihren Twitter-Background (also die Grafik auf der Profilseite von Twitter) als Werbefläche. Auch sind viele Twitter-User potentielle Besucher der eigenen Website, wenn sie denn nur darüber bescheid wissen.
Um jetzt eine möglichst große Followership auf Twitter zu haben, muss man viel Zeit investieren, sein Netzwerk auszubauen. Das geht am Besten, indem man relevanten Content twittert. Das ist natürlich nicht immer so ganz einfach, denn einmal pro Woche einen Tweet abzusetzen, wird nur selten zum gewünschten Erfolg führen.
Es gibt auch Dienste, wie TweetSpinner, die unter dem eigenen Twitter-Account, vorher gesammelte Tweets nach bestimmten (zeitlichen) Regeln absetzen. Das hilft dann, die gewünschte Kontinuität zu erreichen, auch wenn man zum entsprechenden Zeitpunkt gar nicht vor dem Rechner sitzt.
Einen ganz anderen Weg Tweets zu generieren, die themenrelevant sind, habe ich vorgestern (mit Erfolg) ausprobiert.
Google hat alles was man dazu benötigt: Google Alerts und Google Feedburner
Wie soll das nun gehen? Ganz einfach, zuerst legt man sich in Google Alerts einen Alert an, der nach News ,Blogs, etc. sucht, die einen Themenbezug haben. Diesen Alert lässt man sich nun als RSS-Feed bereitstellen, anstatt ihn sich zumailen zu lassen. Danach trägt man den RSS-Feed in seinem Google Feedburner ein und socialized ihn.
Ganz einfach eigentlich. Und hier kurz anhand eines Beispiels:
Zunächst sollten wir einen Google Alert- und einen Google Feedburner-Account besitzen. Das setze ich jetzt einfach mal voraus, ohne darauf weiter einzugehen.
Richten wir also fürs Erste einen Alert ein. Google Alerts ist ein Benachrichtigungsdienst, der einem per EMail oder eben per RSS-Feed aktuelle Treffer aus dem Suchmaschinenindex zu einem bestimmten Query liefert. Würde man heute nach Haiti suchen lassen, wäre die Liste der Treffer sicherlich unendlich lang.
Google Alert ist über die URL http://www.google.com/alerts/ erreichbar. Voraussetzung ist ein Google-Account.
Ich nehme hier fürs Beispiel lieber “twitter content”. Das passt irgendwie besser.
Ganz wichtig an dieser Stelle, “Senden an” auf Feed umzustellen, denn sonst bekommt man die Treffer zugemailt. Bei “Typ” muss man sich überlegen, welche Quellen herangezogen werden. Multi bedeutet, Google wählt Treffer aus Blogs, News, Groups und dem Web aus. Man kann sich aber auch auf eine diese Suchmaschinen festlegen.
Wenn man den Alert erstellt hat, sieht man die Liste der Google Alerts, die den neuen Eintrag zeigt.
Jetzt hat man seinen Alert eingerichtet. Es kann nun ein paar Stunden dauern, bis erste Einträge im Feed erscheinen. Das lässt sich mit dem Link Feed leicht prüfen. Die URL zum Feed brauchen wir im nächsten Schritt, daher hier einfach über das Kontextmenü gleich die Feed-URL ins Clipboard holen.
Als nächstes müssen wir im Google Feedburner einen neuen Feed anlegen.
Um Google Feedburner verwenden zu können braucht man natürlich einen Google-Account. Feedburner findet man unter http://feedburner.google.com/
Dazu einfach die im Clipboard befindliche URL des Feeds in die Textbox, wie abgebildet, reinkopieren. Mit Klick auf den Button Next geht es dann durch das Setup des Feeds. Über mehrere Seiten hinweg wird man zu Statistikerhebung und Ähnlichem abgefragt. Ist das Setup vollzogen, wird einem das in etwa so angezeigt.
Jetzt holt sich Google Feedburner in regelmäßigen Abständen den Alert-Feed ab. Was nun noch fehlt, ist die Weitergabe der Feed-Items an Twitter. Feedburner bringt dafür alles mit, was notwendig ist. Es verbirgt sich hinter dem Tab Publicize. Da taucht links in der vertikalen Tab-Liste der Eintrag Socialize auf.
Hier gilt es nun zu allererst, seinen Twitter-Account für Feedburner freizugeben. Einfach auf Add a Twitter account klicken. In einem neuen Fenster kommt der Twitter-Auth-Bildschirm, in dem man seinen Twitter-Benutzernamen und das Passwort einträgt.
Mit diesen Informationen ist Google Feedburner nun in der Lage, unter dem eigenen Twitter-Account Tweets abzusetzen.
Im Bereich Socialize hat man nun noch diverse Konfigurationsmöglichkeiten. Ich habe zum Beispiel nochmal einen Keyword filter “twitter content” eingetragen, einfach um 100%ig sicher zu sein, dass die Items, die getweetet werden, meinen Vorgaben entsprechen.
Die Einstellungen sind eigentlich weitestgehend selbsterklärend, daher verzichte ich hier mal auf eine genaue Beschreibung jedes einzelnen Feldes.
Ist das Setup vollzogen, muss man nur noch unten auf den Activate-Button klicken, um endlich automatisch Tweets schreiben zu können. Bis der erste Tweet auftaucht, können aber durchaus Stunden vergehen, daher hier etwas Geduld mitbringen.
Zum Schluss noch eine kleine Warnung: Man hat keine Kontrolle über die Inhalte, die man auf diesem Wege per Twitter verbreitet. Sowas kann natürlich auch mal in die Hose gehen. Dessen sollte man sich bewusst sein!
Bin soeben über einen sehr schönen und ausführlichen Artikel von Ward Loving gestossen.
Er beschreibt in seinem Blogpost Performing lookups and transformations with Talend, wie man mit der Komponente tMap umgeht, um Lookups und einfache Datentransformationen vorzunehmen.
Hier ein kleiner Auszug aus seiner Einleitung:
“In this article, I’d like to explore the workhorse of the Talend Open Studio – the tMap component. As you’d expect, this component allows you to visually map fields from an input source to fields on an output stream. It also gives you the ability to do lookups to other input files or databases while performing transformations on your data with basic java expressions. We’re going to manipulate some text files to give you a feel for this component’s capabilities, but before we dive in let’s discuss a scenario or two where you might need to use the tMap component”
Sehr anschaulich und mit vielen Bilder versehen, führt er den Leser anhand zweier einfacher Use-Cases in die Verwendung von tMap ein. Auch tFileInputDelimited und tFileOutputDelimited werden dabei beschrieben und verwendet.
Diesen Beitrag wollte ich nicht für mich behalten.
Der einfachste Weg, um standardformatierte Log-Files des Apache HTTP-Servers in einem Talend-Job einzulesen, ist es die Komponenten tApacheLogInput zu verwenden.
tApacheLogInput geht davon aus, dass das Logfile in dem Format vorliegt, in welchem Apache HTTP es standardmäßig erzeugt. Sobald man an der Konfiguration der Logfile-Generierung seitens Apaches Änderungen vornimmt, ist die Kompontene tApacheLogInput nicht mehr zu verwenden. Dann heißt es, mit tFileInputPositional die Struktur nachzubauen.
Das Standard-Schema der Komponente tApacheLogInput sieht wie hier dargestellt aus und ist nicht veränderbar.
Einzustellen gibt es bei dieser Komponente nicht all zu viel. Lediglich der Pfad zum Logfile muss entsprechend angepasst werden.Optional kann die Job-Ausführung auch abgebrochen werden, sobald ein Eintrag im Logfile nicht dem Schema entspricht bzw. das Logfile nicht gelesen werden kann.
Sind die Daten des Apache Logfiles erstmal im Job, dann kann man damit ganz normal verfahren. Zum Beispiel liesse sich über die Spalte agent herausfinden, ob der Eintrag von einem normalen Website-Besucher oder aber von einem der vielen Robots und Spider (wie googlebot, googleadsense, yahooslurp!, etc.) stammt.
Wer viel mit Talend Open Studio oder der Talend Integration Suite arbeitet, wird sich sicherlich manchmal darüber ärgern, dass der ein oder andere syntaktische Fehler beim Parametrisieren der Komponenten erst beim „Ausführen“ bzw. dem zuvor durchgeführten Kompiliervorgang als solcher erkannt wird.
Gerade wenn Jobs mal etwas umfangreicher sind, macht sich dieser Umstand störend bemerkbar, da vom Klick auf „Ausführen“ hin zum Start einige Sekunden ins Land gehen können.
Tatsächlich gibt es aber in den Preferences (oder Benutzervorgaben) im Menü Fenster, die Möglichkeit, das Talend
Studio so zu konfigurieren, dass es schon während der Bearbeitung die Syntaxprüfung durchführt. Diese Option ist im Einstellungsdialog unter „Talend/Performance“ zu finden, und wie hier im Bild rot umrandet, als Checkbox schnell aktiviert. Aber Vorsicht: Talend hat diese Option nicht ohne Grund standardmäßig deaktiviert. Wer also sein Talend Studio auf einer eher gemächlichen Maschine betreibt, sollte sich genau überlegen, ob er diesen Haken setzt. Aber Probieren geht bekanntlich über Studieren.
Ist die Funktion erst mal aktiviert, designed es sich ganz ungeniert.
Wie man in den beiden folgenden Bildern sehr schön erkennen kann, zeigt einem der Job-Designer nun direkt während des Editierens an, ob man Syntaxfehler, Type-Mismatches oder unbekannte Bezeichner verbaut hat.
TMap mit eingeschalter Fehlerprüfung
Hier sehr schön im TMap-Editor zu erkennen, wo die Zelle rot hinterlegt wird, wenn darin ein (Compile-Time-) Fehler enthalten ist.
Das folgende Beispiel zeigt eine Typenunverträglichkeit in einem Feld in den Komponenteneinstellungen. Statt den geforderten Tabellenbezeichner als String einzugeben, hab ich hier aus Versehen einen Integer-Wert 123 eingetragen, was mir der Designer auch direkt mit einer roten Fehlerbox um die Komponente quittiert.
Type-Mismatch Fehler in den Komponenten-Einstellungen
Also, kleine Einstellung, große Wirkung.