monettenom 2.0 - Frickeleien

Twitter-Messungen mit Tiffu

nospam@example.com (monettenom) — Mon, 30 Aug 2010 20:23:23 +0200

Ich habe jetzt Tiffu eingesetzt, um Twitter zu überwachen. Dazu läuft ein Script, das ungefähr alle 5 Minuten durch einen Cronjob (aus Bequemlichkeit noch über http://cronjob.de) aufgerufen wird. Dieses Script ruft aus der public timeline von Twitter die 20 aktuellsten Tweets und wertet diese aus. Dabei ist als erstes festzustellen, dass Twitter in der public timeline nur jeden 1000sten Tweet zurückliefert. Also alle mit einer ID, die ohne Rest durch 1000 teilbar sind.

Kann man diesen Input nun für sinnvolle Statistiken verwenden? Und wenn ja, wie?

Wieviele Tweets werden pro Sekunde bei Twitter geschrieben?

Die ID der Tweets repräsentiert die Anzahl der insgesamt geposteten Tweets, da diese offensichtlich aufsteigen nummeriert sind. Aufgrund des hohen Tweet-Aufkommens (zur Zeit ca. 1000/Sekunde) kommen in 5 Minuten also ungefähr 300.000 Tweets zusammen, was bedeutet, dass die Schrittweite von 1000 in der ID kaum ins Gewicht fällt. (Messfehler > 0.33%).

Die Anzahl der pro Sekunden geschriebenen Tweets lässt sich also ermitteln, indem man die Differenz der höchsten IDs zweier Twitter-Abfragen durch die verstrichene Zeit in Sekunden teilt. Das ist einfach.

Wieviele Accounts gibt es bei Twitter?

Interessanter wird es bei der Frage, wie viele Accounts bei Twitter existieren. Es gibt meines Wissens keine Möglichkeit, dies direkt abzufragen.
Hier gibt es zwei wesentliche Ansätze. Die erste einfachere ist, dass man sich aus den Stichproben (alle 5 Minuten 20 Tweets) einfach die insgesamt höchste Account-ID ermittelt und speichert und hofft, dann ungefähr auf die Million genau sagen zu können, wieviele Accounts insgesamt je existiert haben. Pro Tag werden 20x12x24=(5760) Tweets analysiert. Die Wahrscheinlichkeit, dass dabei einer der 1 Mio neuesten Accounts getroffen wird, hat eine Wahrscheinlichkeit von ca. 1:174, wenn man davon ausgeht, dass alle Accounts gleichmäßig twittern, was aber kaum der Fall sein dürfte. Wie hoch die Chance tatsächlich ist, lässt sich also schwer einschätzen. Man kann aber davon ausgehen, dass die ermittelte Anzahl im Laufe der Zeit immer genauer, aber nie ganz genau sein wird. Leider lässt sich die aktuell ermittelte Zahl von 184 Millionen kaum verifizieren.

Die zweite Methode, die aktuelle Anzahl der Accounts zu ermitteln ist, einfach zwei möglichst aktuelle Accounts zu nehmen und die Differenz der IDs durch die Anzahl der passenden Zeiteinheit zu teilen. So erhält man zum Beispiel die Anzahl der erstellten Accounts pro Stunde in dem Zeitraum zwischen der Erzeugung dieser beiden Accounts. Mit diesem Wert kann man dann ungefähr hochrechnen, wieviele Accounts bei gleichbleibender Rate jetzt existieren könnten.

Aktuell habe ich die erste Methode gewählt, weil es einfacher ist. Ich werde aber bei Gelegenheit zusätzlich die zweite implementieren, um überprüfen zu können, wie nahe die erste dem tatsächlichen Ergebnis kommt.

Welche Clients werden am häufigsten (zum Tweeten) verwendet?

Für diese Statistik benötige ich eine Tabelle in einer Datenbank. Zu jedem Tweet liefert Twitter die Information mit welchem Client dieser gepostet wurde. In dieser Datenbank haben sich bisher knapp 600 Einträge - also verschiedene Twitterclients angesammelt, wovon man max. 10% überhaupt als betrachtenswert einstufen kann. Insgesamt wurden bereits über 12.000 Tweets analysiert, was schon eine recht repräsentative Stichprobe darstellt. Zur Zeit führt neben den Twitter Clients (web und API) mit ca. 33%, Übertwitter mit etwas mehr als 10%, gefolgt von Tweetdeck und Twitter for BlackBerry® mit je ca. 4,5%.

Die laufende Statistik kann unter Tiffu beobachtet werden.

[Update 21:28] Gerade finde ich noch folgenden interessanten Artikel, nach dem herausgefunden wurde, dass die Account-IDs nicht sequentiell vergeben werden, sondern teilweise in Schrittweiten von 10: Twitter id's and number of Twitter users

Wie kann man mit JavaScript auf die URL-Parameter zugreifen?

nospam@example.com (monettenom) — Fri, 06 Aug 2010 21:12:41 +0200

Ich habe heute ein kleines Spielchen mit JavaScript umgesetzt und kam dabei auf die Idee, die Einstellungen per Formular an das Script zu schicken. So etwas habe ich bereits mal bei jQuery gesehen, aber nicht näher drüber nachgedacht, wie das geht. So habe ich mich in den Tiefen des Netzes auf die Suche gemacht und bin auf eine völlig skurrille aber sehr praktische Methode gestoßen, auf diese Parameter zuzugreifen.

Der Kern der Sache ist folgende Funktion:



    (function()

    {

        var s = window.location.search.substring(1).split('&');

        if(!s.length) return;

        var c = {};

        for(var i  = 0; i < s.length; i++)

        {

            var parts = s[i].split('=');

            c[unescape(parts[0])] = unescape(parts[1]);

        }

        window.param = function(name){return name ? c[name] : c;}

    }());

Dieser etwas kryptisch anmutende Codeblock ohne Namen ruft sich bei der Ausführung des Scripts selbst auf. Im Anschluss kann man dann mit param('parameter') auf die URL-Parameter zugreifen.

Angenommen man hat folgende URL:
http://domain.de/index.html?width=100
dann liefert param('width') den Wert 100.

Wenn man sich nicht darauf verlassen möchte, dass ein bestimmter Parameter übergeben wurde, kann man folgendes machen:
var width = !!param('width') ? param('width') : 50;
wobei 50 dann ein Default-Wert ist, der angenommen wird, wenn param('width') nicht definiert ist.

Eine praktische Anwendung für dieses Feature kann man auf dieser Seite sehen.

Das erste Ergebnis meines Programmieren-für-Nüsse-Tags

nospam@example.com (monettenom) — Fri, 06 Aug 2010 12:09:52 +0200

Ich habe nun ein Script fertig gestellt, dass nicht nur für die Auftraggeberin @BettinaKalandra nützlich ist, sondern für viele Webdesigner und Webmaster interessant ist, die ihren Kunden ermöglichen möchten, die News auf ihren Webseiten selber zu bearbeiten. Ich finde, das war eine perfekte Idee für den Programmieren-für-Nüsse-Tag. Danke nochmal für die Inspiration.

Das PHP-News-Script ist völlig kostenlos und darf frei verwendet werden. Feedback ist ausdrücklich erwünscht und wer es einsetzt und mir den Link auf die Seite schickt, kommt als Beispiel auf diese Seite drauf.

Leider hatte ich keine Zeit für alle die Blog- und Wordpress Probleme. Aber ich muss auch sagen: Von Wordpress habe ich keine Ahnung und kann da kaum weiterhelfen. Vielleicht gibt es ja einen Wordpress-Spezialisten, der mich imitiert und mal einen Wordpress-Konfiguration-für-Nüsse-Tag macht ;o)

Heute (5.8.) programmiere ich für Nüsse!

nospam@example.com (monettenom) — Wed, 04 Aug 2010 22:16:20 +0200

Weil ich nach über einem Monat immer noch kein neues Projekt habe (klares Projektvermittler-Fail) werde ich heute ganz kostenlos Programmieraufträge in PHP und JavaScript entgegennehmen und kostenlos ausführen. Die Ergebnisse dürfen vom Auftraggeber frei und ohne Einschränkungen benutzt werden, wobei ich die Ergebnisse allerdings veröffentlichen werde.

Wer ein Script braucht, schreibt seine Wünsche als Kommentar an diesen Blog-Eintrag. Ich suche mir dann was raus und setze soviel um, wie ich schaffe. Es sollten keine allzu großen und aufwändigen Sachen sein, die man in ein paar Stunden schaffen kann.

Damit möglichst viele in den Genuss der Gratis-Programmierung kommen, werde ich die kleineren Sachen vorziehen und schauen, wieviel ich an einem Tag schaffe.

Also ran an die Tasten, morgen früh lege ich direkt los und ich hoffe, dass es dann auch was zu tun gibt!

Das Antifa-PHP-Script

nospam@example.com (monettenom) — Thu, 01 Jul 2010 22:11:48 +0200

Ich war gerade damit befasst, ein paar Teile von http://wayati.com für ein neues Projekt zu kopieren, als ich auf ein PHP-Code-Snippet gestoßen bin, die eine klare Absage an Rechtsextremismus darstellt:



$nazi = false;

if( stristr( $user, "npd" ) )

{

   $nazi = true;

}

Anschließend kann man sich aufgrund dieser Variable im weiteren Code von Rechtsextremismus distanzieren.

PHP: Session grundlegend zerstören

nospam@example.com (monettenom) — Tue, 27 Oct 2009 23:11:39 +0100

Ich habe mal eine Maßnahme entwickelt, die nicht nur die Session vollständig löscht, sondern auch alle Cookies:



// Session starten

session_start();

// Inhalt des kompletten Arrays zerstören

$_SESSION = array();



// Alle werte im $_COOKIE Array mit SetCookie löschen und das Verfallsdatum zurücksetzen

foreach( $_COOKIE as $key => $value )

  setCookie( $key, '', -3600 );



// Session zerstören

session_destroy();

// Redirect auf eine Seite durchführen, um die Cookie-Löschung wirksam werden zu lassen

// <url> muss natürlich durch eine gültige URL ersetzt werden

header( "location: <url>" );

// Script abbrechen

exit();

Dieses Vorgehen wurde bei mir notwendig, da ich die Access Tokens für Twitter-OAuth in Cookies speichere, um den Twitter-Login auch nutzen zu können, wenn die Session abgelaufen ist. Dies bewirkt, dass der User direkt an Twitter angemeldet ist, wenn er sich einmal eingeloggt hat und zum Beispiel am nächsten Tag wieder kommt. Sind die Cookies entsprechend gesetzt, werden die Session-Parameter wiederhergestellt, so dass er sie für Twitterzugriffe verwendet werden können, die eine Authentifizierung benötigen.

Wenn sich der Benutzer mittels "Logout" explizit ausloggen möchte, müssen also auch die Cookies entfernt werden, um nicht beim nächsten Aufruf wieder automatisch angemeldet zu werden.