Tweet

En un post anterior “Necesitamos expertos en la ciencia de los datos“, comentaba la impresionante demanda de expertos en tecnologías avanzadas para manejar datos, como computación en la nube (como Amazon o Google), almacenamiento (bases de datos nosql), distribución (como Hadoop), rastreo y recuperación (Nutch, Apache Lucene) y tantas otras variantes. Marc desde su trabajo en Londres donde tuvo que emigrar para trabajar en lo suyo (computación distribuida) me comenta:

” Que alegría ver una empresa española que hable de la ‘ciencia de datos’. Actualmente estoy en Londres y sólo se habla de esto, en España parece que vamos unos años por detrás en temas tecnológicos. En fin, parece que hay esperanza. “

Cada vez hay más datos ahí fuera, y cada vez es más difícil de manejarlos sin tecnología. Las bases de datos relacionales  se quedan pequeñas, los centros de datos se quedan pequeños, los paradigmas de programación tradicionales… bueno, estos aguantan el tirón a duras penas, pero tengan por seguro que los programadores del futuro estarán más cerca de ser científicos expertos en matemáticas, computación cuántica, y programación probabilística que diseñadores de algoritmos. Sin lugar a dudas, las ciudades con mejores facultades de matemáticas dominarán el desarrollo tecnológico los próximos 50 años.

Ahora se aproxima una nueva avalancha de datos disponibles: el Open Goverment. Las administraciones públicas, siguiendo la estela del gobierno Obama, se han convencido a si mismas de que poner datos en internet mejorará de alguna manera la calidad de los ciudadanos. Lideran este movimiento los gobiernos americano (data.gov) y británico (data.gov.uk). En España son ejemplos representativos las comunidades de Euskadi y Asturias, y los Ayuntamientos de Zaragoza y Gijón. Todos ellos volcados en el tema del RISP (reutilización de información en el sector público).

Si 5000 municipios de tamaño medio – grande de España comienzan a publicar en tiempo real decenas de fuentes de información. Tendremos una base de datos semiestructurada que crecerá a un ritmo de 1GB x segundo y necesitará 500 horas / máquina a la hora para poder “masticar” estos datos. Por supuesto, nadie se encargará de almacenarlo todo, ni nadie se encargará de masticarlo todo (Precisamente el paradigma del Open Data es que las administraciones hacen públicos datos para que cada uno coja y utilice lo que quiera) ¿o sí?

El pasado abril IDC actualizó sus previsiones para el mercado de búsqueda y recuperación de información a nivel mundial.

El último documento que tengo databa del 2009 y contenía previsiones hasta el 2012. En el se decía que el mercado pasaría de los 1.806 millones de dólares del 2007 a 3.183$ en el 2012, y situaba un umbral de información total de 988 Exabytes (unos mil millones de gigabytes) para el 2010.

No encuentro el acceso a este nuevo documento pero seguro que será muy interesante. Como dijimos hace algún tiempo, el campo de la recuperación de la información tiene un potencial tremendo y a día de hoy no se le ve techo, puesto que gran parte de la información que puede ser producida por un ser humano cada segundo todavía no hay manera de subirla a internet (podemos subir lo que escribe, lo que ve, lo que oye, pero no lo que toca, lo que siente, lo que piensa, lo que huele…), y el número de usuarios concurrentes a internet todavía no es muy grande (quizás 500 millones en un momento dado de los 6.000 millones que tiene la tierra). ¿cual sería esa cifra si todos los seres humanos estuvieran conectados a internet concurrentemente, almacenando en ella toda la información que fueran capaces de producir? Este es un escenario para soñar, parecido al que veíamos en la película Matrix.

A esta cifra habría que sumar la información producida por los dispositivos no humanos. Por ejemplo en el informe IDC del 2008 se comentaba que una parte importante del incremento de tráfico venía de las cámaras – ip. También las redes P2P y el vídeo (Youtube principalmente) incrementan muy significativamente el caudal necesario.

Realmente el crecimiento de la información disponible en internet seguira creciendo espectacularmente, con especial atención a los dispositivos m2m e interfaces avanzados hombre – máquina. Por el lado de las barreras la principal es la capacidad de almacenamiento y computación que actualmente no es capaz de seguir el ritmo de tanta “nueva información” (hay demanda de mayor almacenamiento; no almacenamos todo lo que podríamos porque no hay recursos disponibles). En este lado de la balanza hay que seguir de cerca la computación cuantica y las nuevas tecnologías de almacenamiento.

————————————

Este blog publica habitualmente 6 artículos mensuales relacionados con el Social Media, el marketing digital y la recuperación de información en internet. ¿Por que no suscribirte para mantenerte informado de las novedades?

Seguro que conoces a alguien en Facebook o Twitter a quien pueda interesarle este artículo.