Recently, Techcrunch and Gigaom reported a couple of very interesting technical details on the amount of data and number crunching over at Facebook. Here are some:
- Current amount of data stored: 100 petabytes. That is 100.000 terabytes! Imagine the physical amount of space required to store such an amount of data…
- 500 terabytes (i.e. 0.5 petabytes) of data added each day, including 300 million new pictures.
- 105 terabytes of data analyzed every 30 minutes.
Anyone's got a link to original material on this, I'd like to hear/see it from them first hand!?
If 0.5 petabytes are added per day that's 182.5 petabytes per year if user behavior stays the same even without adding new users. Makes one wonder how long they can keep up with the amount of data they have to store as cost for it will rise as well. I wonder if the storage and power costs per TB of data is decreasing as fast their data store is increasing. Kind of a life and death question if you don't want to throw away data at some point unless you can increase your revenue at the same time with storing more and more data.
Bei solch gigantischen Datenmengen werden selbst kleinste Einsparungen interessant. Ein JPG-Algo, der nur einen Bruchteil effizienter ist. Ich denke jedoch nicht, dass sie recodieren. Das kostet zu viel CPU. Oder doch nicht? Vielleicht im Browser? Dann würde der Client die Arbeit machen. Aber das ist doch alles nur das Kratzen an der Oberfläche. Trotzdem ist es faszinierend über solche Datenberge zu spekulieren. Und über die Genies, die sie anheuern, um das letzte Quentchen Effizienz aus ihren Algorythmen heraus zu holen.
Vieles davon geben sie dann zurück. Wer sich wundert, warum Linux so skalierbar geworden ist. Hier liegt der Hund begraben.