Entries by monettenom

Ich habe jetzt Tiffu eingesetzt, um Twitter zu überwachen. Dazu läuft ein Script, das ungefähr alle 5 Minuten durch einen Cronjob (aus Bequemlichkeit noch über http://cronjob.de) aufgerufen wird. Dieses Script ruft aus der public timeline von Twitter die 20 aktuellsten Tweets und wertet diese aus. Dabei ist als erstes festzustellen, dass Twitter in der public timeline nur jeden 1000sten Tweet zurückliefert. Also alle mit einer ID, die ohne Rest durch 1000 teilbar sind.

Kann man diesen Input nun für sinnvolle Statistiken verwenden? Und wenn ja, wie?

Wieviele Tweets werden pro Sekunde bei Twitter geschrieben?

Die ID der Tweets repräsentiert die Anzahl der insgesamt geposteten Tweets, da diese offensichtlich aufsteigen nummeriert sind. Aufgrund des hohen Tweet-Aufkommens (zur Zeit ca. 1000/Sekunde) kommen in 5 Minuten also ungefähr 300.000 Tweets zusammen, was bedeutet, dass die Schrittweite von 1000 in der ID kaum ins Gewicht fällt. (Messfehler > 0.33%).

Die Anzahl der pro Sekunden geschriebenen Tweets lässt sich also ermitteln, indem man die Differenz der höchsten IDs zweier Twitter-Abfragen durch die verstrichene Zeit in Sekunden teilt. Das ist einfach.

Wieviele Accounts gibt es bei Twitter?

Interessanter wird es bei der Frage, wie viele Accounts bei Twitter existieren. Es gibt meines Wissens keine Möglichkeit, dies direkt abzufragen.
Hier gibt es zwei wesentliche Ansätze. Die erste einfachere ist, dass man sich aus den Stichproben (alle 5 Minuten 20 Tweets) einfach die insgesamt höchste Account-ID ermittelt und speichert und hofft, dann ungefähr auf die Million genau sagen zu können, wieviele Accounts insgesamt je existiert haben. Pro Tag werden 20x12x24=(5760) Tweets analysiert. Die Wahrscheinlichkeit, dass dabei einer der 1 Mio neuesten Accounts getroffen wird, hat eine Wahrscheinlichkeit von ca. 1:174, wenn man davon ausgeht, dass alle Accounts gleichmäßig twittern, was aber kaum der Fall sein dürfte. Wie hoch die Chance tatsächlich ist, lässt sich also schwer einschätzen. Man kann aber davon ausgehen, dass die ermittelte Anzahl im Laufe der Zeit immer genauer, aber nie ganz genau sein wird. Leider lässt sich die aktuell ermittelte Zahl von 184 Millionen kaum verifizieren.

Die zweite Methode, die aktuelle Anzahl der Accounts zu ermitteln ist, einfach zwei möglichst aktuelle Accounts zu nehmen und die Differenz der IDs durch die Anzahl der passenden Zeiteinheit zu teilen. So erhält man zum Beispiel die Anzahl der erstellten Accounts pro Stunde in dem Zeitraum zwischen der Erzeugung dieser beiden Accounts. Mit diesem Wert kann man dann ungefähr hochrechnen, wieviele Accounts bei gleichbleibender Rate jetzt existieren könnten.

Aktuell habe ich die erste Methode gewählt, weil es einfacher ist. Ich werde aber bei Gelegenheit zusätzlich die zweite implementieren, um überprüfen zu können, wie nahe die erste dem tatsächlichen Ergebnis kommt.

Welche Clients werden am häufigsten (zum Tweeten) verwendet?

Für diese Statistik benötige ich eine Tabelle in einer Datenbank. Zu jedem Tweet liefert Twitter die Information mit welchem Client dieser gepostet wurde. In dieser Datenbank haben sich bisher knapp 600 Einträge - also verschiedene Twitterclients angesammelt, wovon man max. 10% überhaupt als betrachtenswert einstufen kann. Insgesamt wurden bereits über 12.000 Tweets analysiert, was schon eine recht repräsentative Stichprobe darstellt. Zur Zeit führt neben den Twitter Clients (web und API) mit ca. 33%, Übertwitter mit etwas mehr als 10%, gefolgt von Tweetdeck und Twitter for BlackBerry® mit je ca. 4,5%.

Die laufende Statistik kann unter Tiffu beobachtet werden.

[Update 21:28] Gerade finde ich noch folgenden interessanten Artikel, nach dem herausgefunden wurde, dass die Account-IDs nicht sequentiell vergeben werden, sondern teilweise in Schrittweiten von 10: Twitter id's and number of Twitter users

Zwischen einer Idee und deren Realisierung steht nicht selten ein langer steiniger Weg. Aber nicht immer. Zwischen meiner Idee von Samstag morgen und der ersten funktionierenden Version steht nur ein Wochenende, dass ich fast ausschließlich programmierend verbracht habe. Das Ergebnis kann man unter http://tiffu.com bestaunen.

Welche Idee steckt hinter dieser Seite?

Ein Großteil aller Informationen, die man publizieren möchte, besteht aus einer einfachen Zahl, einen Wort, einem Datum oder einem Namen. Um eine solche Information zu publizieren ist ein Blog-Eintrag zu viel, Twitter ist zu flüchtig und eine Zahl auf einer statischen Webseite zu ändern ist auch lästig.

Mit http://tiffu.com kann man diese Informationen übersichtlich und schnell präsentieren und sich zugleich auch eine Liste mit Informationen anderer Leute aufbauen, die man dann schnell und übersichtlich anschauen kann.

Die zu präsentierenden Informationen können sehr vielfältig sein. Irgendwer macht sich vielleicht die Mühe und bietet die aktuellen Lottozahlen an, ein anderer hält den DAX-Kurs aktuell und wieder einer stellt die aktuellen Spritpreise der Tankstelle um die Ecke zur Verfügung. Manch einer möchte seinen aktuellen Lieblingsfilm empfehlen oder seinen neuesten Highscore eines bestimmten Spieles zum besten geben. Der Kreativität sind hier kaum Grenzen gesetzt und was nützlich ist und was nicht, entscheiden die User selbst, indem sie eine bestimmte Information beobachten oder auch nicht.

Ich halte diesen Service eine ideale Ergänzung zu den bestehenden Angeboten.

Es wird ein API geben, mit dem es möglich ist, Informationen automatisiert zu aktualisieren und abzufragen. Damit erweitert sich das Anwendungsgebiet dieser Idee enorm. Man wird sehen, was sich entwickelt, Ideen sind willkommen.

Nun gebe ich die Seite zum Testen frei, man kann sich anmelden, einloggen und herumprobieren: http://tiffu.com

Viel Spaß

Ich habe heute ein kleines Spielchen mit JavaScript umgesetzt und kam dabei auf die Idee, die Einstellungen per Formular an das Script zu schicken. So etwas habe ich bereits mal bei jQuery gesehen, aber nicht näher drüber nachgedacht, wie das geht. So habe ich mich in den Tiefen des Netzes auf die Suche gemacht und bin auf eine völlig skurrille aber sehr praktische Methode gestoßen, auf diese Parameter zuzugreifen.

Der Kern der Sache ist folgende Funktion:

(function()
{
var s = window.location.search.substring(1).split('&');
if(!s.length) return;
var c = {};
for(var i = 0; i < s.length; i++)
{
var parts = s[i].split('=');
c[unescape(parts[0])] = unescape(parts[1]);
}
window.param = function(name){return name ? c[name] : c;}
}());

Dieser etwas kryptisch anmutende Codeblock ohne Namen ruft sich bei der Ausführung des Scripts selbst auf. Im Anschluss kann man dann mit param('parameter') auf die URL-Parameter zugreifen.

Angenommen man hat folgende URL:
http://domain.de/index.html?width=100
dann liefert param('width') den Wert 100.

Wenn man sich nicht darauf verlassen möchte, dass ein bestimmter Parameter übergeben wurde, kann man folgendes machen:
var width = !!param('width') ? param('width') : 50;
wobei 50 dann ein Default-Wert ist, der angenommen wird, wenn param('width') nicht definiert ist.

Eine praktische Anwendung für dieses Feature kann man auf dieser Seite sehen.

Ich habe nun ein Script fertig gestellt, dass nicht nur für die Auftraggeberin @BettinaKalandra nützlich ist, sondern für viele Webdesigner und Webmaster interessant ist, die ihren Kunden ermöglichen möchten, die News auf ihren Webseiten selber zu bearbeiten. Ich finde, das war eine perfekte Idee für den Programmieren-für-Nüsse-Tag. Danke nochmal für die Inspiration.

Das PHP-News-Script ist völlig kostenlos und darf frei verwendet werden. Feedback ist ausdrücklich erwünscht und wer es einsetzt und mir den Link auf die Seite schickt, kommt als Beispiel auf diese Seite drauf.

Leider hatte ich keine Zeit für alle die Blog- und Wordpress Probleme. Aber ich muss auch sagen: Von Wordpress habe ich keine Ahnung und kann da kaum weiterhelfen. Vielleicht gibt es ja einen Wordpress-Spezialisten, der mich imitiert und mal einen Wordpress-Konfiguration-für-Nüsse-Tag macht ;o)

Weil ich nach über einem Monat immer noch kein neues Projekt habe (klares Projektvermittler-Fail) werde ich heute ganz kostenlos Programmieraufträge in PHP und JavaScript entgegennehmen und kostenlos ausführen. Die Ergebnisse dürfen vom Auftraggeber frei und ohne Einschränkungen benutzt werden, wobei ich die Ergebnisse allerdings veröffentlichen werde.

Wer ein Script braucht, schreibt seine Wünsche als Kommentar an diesen Blog-Eintrag. Ich suche mir dann was raus und setze soviel um, wie ich schaffe. Es sollten keine allzu großen und aufwändigen Sachen sein, die man in ein paar Stunden schaffen kann.

Damit möglichst viele in den Genuss der Gratis-Programmierung kommen, werde ich die kleineren Sachen vorziehen und schauen, wieviel ich an einem Tag schaffe.

Also ran an die Tasten, morgen früh lege ich direkt los und ich hoffe, dass es dann auch was zu tun gibt!