Si tienes una empresa grande, y crees que procesas muchos datos a diario, o que utilizas mucho espacio para almacenamiento, te interesará saber que Google ha revelado que diariamente procesa unos 20 PetaBytes de información.

Esto es sobre los 20,000,000,000 MegaBytes diariamente (veinte mil millones de MegaBytes al día).

Para los técnicos curiosos, el "ingrediente secreto" de esta escalabilidad es una técnica conocida como MapReduce, que descrita brevemente, no es nada mas que paralelizar código que se repite mucho, para que en vez de que se ejecute linealmente este se ejecute como un grupo de nombres-pares (similar a los Hashtable de Java) que son distribuidos a cientos de miles de servidores, y posteriormente re-ensamblados.

Esta técnica requiere el uso de software a varios niveles, desde técnicas de programación especializadas, hasta herramientas que distribuyen la carga y detectan "paquetes" perdidos (para re-asignarlos a otros servidores), así como un sistema de fichero distribuido y masivo (Google utiliza uno propietario de su autoría al que llama GoogeFS).

Fuente de la noticia

Publicación técnica de Google al respecto

autor: josé elías