Lo que se aprende, o debería, en la carrera de informática

En mi apunte anterior “Lo que demanda el mercado…” critiqué la obstinación de algunas autoridades universitarias, especialmente las de la mía, en su posicionamiento extremamente conservadora contra el GNU/Linux… y cómo el tiempo les ha quitado la razón (yo diría que debería haberles avergonzado). A pesar de los dos enlaces que puse en la posdata, muchos interpretaron que pensaba que la universidad debe enseñar GNU/Linux porque tiene más salida laboral. Otros opinaron (sobre todo en Twitter) sobre lo poco que se aprende en la universidad de las últimas tecnologías [de moda].

Hace cinco años escribí un apunte muy largo sobre este tema: Sintonizar universidades y empresas, pero ¿qué debe saber un ingeniero? (y hay más, de gente más importante y valiosa que yo, como ¿Qué deberíamos enseñar a los nuevos desarrolladores? de Bjarne Stroustrup), ahora intentaré ser muy breve para contestar a esos dos temas.

El espejismo de las patentes como medidor de calidad de la investigación

Hoy leo en El País El archipiélago universitario, dice muchas cosas con la que estoy de acuerdo, pero comienza con la siguiente frase (con los números muy equivocados):

En 2010, el sistema universitario público español obtuvo 401 patentes. Robert Samuel Langer, un investigador químico del Massachusetts Institute of Technology (MIT), él solo, tiene 810, más del doble.

Desde hace varios años se insisten con estos argumentos, como si las patentes fuesen un medidor válido de la calidad de la investigación. En términos generales no lo es, y menos cuando se trata de medir investigación, la “I” de I+D.

Guía gráfica básica de fiabilidad de tendencias para periodistas y politólogos

Muchas veces os llegan gráficos de tendencias, que está subiendo o que está bajando, y no sabéis qué grado de fiabilidad tienen esas tendencias. Aquí dos ejemplos gráficos simples.

Es fiable esa tendencia

Gordo de Navidad, e ignorancia numérica periodística

Actualización 18:00hs: El artículo de lainformacion.com ha sido modificado radicalmente, desde el titular hasta el URL, y con las probabilidades que indico aquí, pero sin indicar la rectificación, ni citar a este apunte. La captura del artículo original.

Cuando critico la manipulación y divulgación de “mala ciencia” en los medios, suelo mencionar a la pésima formación científica de las carreras de “periodismo”, especialmente la inexistencia de asignaturas fundamentales para “explicar el mundo”, como la estadística. Lo último se hace más evidente en cada sorteo del Gordo de Navidad.

Los juegos de azar son ejemplo típicos usados en estadística para enseñar y analizar probabilidades, por su simplicidad, reglas bien definidas e independencia de eventos. Así, es extremadamente fácil calcular cuál es la probabilidad de ganar el Gordo de Navidad: si son 100.000 números diferentes, y compras uno, la probabilidad es 1 entre 100.000. No hay más truco. Y esa misma regla se aplica a la serie completa, o a los décimos. Si compras dos números diferentes, entonces será 1 entre 50.000. Si compras 10 será 1 entre 10.000.

Fácil, ¿no?

¿Ciencias económicas?

Perdonad por adelantado, con la que está cayendo y yo preocupado por nimiedades. Pero no me aguanto, y la pregunta del título tiene mucho que ver con la situación actual. Además, hace poco hice una crítica a los “licenciados en económicas”, y alguien me dijo por Twitter que muy mal, que debería criticar a las personas, no a las generalidades [sic]. Tonterías aparte, la pregunta es ¿qué coño se estudia en la licenciatura/grado de económicas? ¿Ciencia?

Es la física, estúpido

Hace poco más de un año, en plena “burbuja” del coche eléctrico, y debido al enésimo artículo «ingeniero inventa un coche eléctrico baratísimo en el patio de su casa y afirma que la industria no lo hace por presiones de las petroleras», se me ocurrió escribir un artículo para explicar los problemas del coche eléctrico (resumen: se necesita almacenar muchísima energía, la gasolina/diesel es muy eficiente en eso, las baterías no lo son).

Javier Costas de Motorpasión me respondió en Ricardo Galli opina sobre el VER y los coches eléctricos en general, y no con mucho acierto. Lo que generó que me dijeran de todo (charlatán, ignorante, vaya paliza le dieron, etc. etc.), en Menéame incluido. Volví a contestar, y con más datos y análisis en “Si dices una barbaridad demagógica como mínimo recibirás aplausos de una importante minoría”. Recibí muchas más críticas e insultos en la línea del anterior. Parecía yo el ignorante aguafiestas que no conocía el estado de la tecnología… un pobre ignorante charlatán, que opinaba sobre un tema que no tenía idea.

Estaba tranquilo, convencido que el tiempo me daría la razón. Sabía que no se puede mentir a todos durante todo el tiempo, y que en algún momento se iba a empezar a conocer la realidad: cuando se hiciesen pruebas independientes, y el público conociese los precios (que siguen por las nubes, a pesar de las subvenciones) y el rendimiento real.

Desinformación y mala ciencia en los medios

Hace unos días comenté lo que me había pasado en la conferencia que di sobre desinformación en los medios (fundamentalmente de datos científicos). Algunos conocidos me pidieron que la transcribiese completa, pero la verdad es que es mucho trabajo transcribir y redactar correctamente una conferencia de hora y media. Así que decidí hacer un vídeo de una “recreación” lo más fiel posible al original, aquí lo tenéis:

[El URL en blip.tv, el PDF de las transparencias, bajar el vídeo original]

La presentación tiene dos partes. La primera y más larga con ejemplos de información errónea y manipulación de los medios y/o periodistas.  En la segunda se explica por qué es un fenómeno muy humano (genéricamente conocido como “falacia narrativa”), sus posibles causas, y unas reglas básicas para analizar la información antes de escribir sobre ella (o cómo ser escéptico si se lee en la prensa).

Perdonad por las chapuzas, era la segunda vez que grababa el vídeo completo, la primera vez el micro se quedó sin pilas a los pocos minutos de comenzar (me día cuenta al final), además del agotamiento de hacerlo completo por segunda vez, había regresado de jugar dos horas intensas al pádel (sí ¿y qué? ).

Perdonad por la voz, aunque a nadie nos gusta propia voz (ni a los argentinos), la mía es objetivamente mala (hasta mi mujer se burla) y  entre grabaciones y pruebas fueron más de cuatro horas de hablar al monitor en una tarde.

Creo que no cometí errores importantes, lo único que no queda claro es que en la explicación del lanzamiento de la moneda no digo explícitamente que cada persona lanza su moneda (i.e. no es una sóla, es importante el detalle).

En la última transparencia cito a la mayoría de blogs y libros de donde obtuve información, hay algún otro en los enlaces de las imágenes en mi apunte anterior. Agradecimientos a ellos y espero no haberme olvidado de nadie.

De mala educación y piel finísima de una Directora General

Me invitan a que de una charla sobre Menéame pero orientado a los “consumidores” para un curso organizado por la Dirección General de Consum del Govern Balear. Tuve varios intercambios de emails con una de las organizadores porque no encontraba una relación de Menéame con los “consumidores”, hasta que luego hice la relación Menéame -> Noticias -> Medios -> Periodismo -> los consumidores de noticias -> ¿Estamos realmente informados?. Así fue como se me ocurrió contar la “desprotección” de los ciudadanos a la desinfonformación en los medios, especialmente en noticias relacionadas con “números”, ciencias y pseudociencias.

Aquí tenéis el PDF de mi presentación Menéame[*], medios, noticias y desinformación (y el vídeo que hice a posteriori). Aunque lo sigo y a veces escribí algo en mi blog, nunca había hablado en público sobre estos temas, así que me tomó varios días recopilar información y preparar algo más o menos lógico a “ilustrado” (gracias a varios blogs, entre ellos Malaprensa, porque de allí saqué varios de los ejemplos mostrados).

Ejemplo de lo mal que interpretamos la aleatoriedad

Hace pocos días escribí sobre nuestra incapacidad de gestionar la aleatoriedad, hoy Cavalleto me dejó el balón botando frente a portería. En su blog escribe sobre el “patrón curioso” de que haya tantos corredores de Fórmula 1 con letras seguidas repetidas en sus apellidos. Comenta que hubo 12 en los últimos dos años, miré en la página de la F1 y veo que este año hay 9 que cumplen esa condición.

Cavalleto sospecha que la probabilidad es de 1 en 100 millones, desde el principió sospeché que sería muchísimo menor, así que me puse a estudiar un poco los números.

Antes de continuar leyendo haz unos cálculos rápidos. ¿Cuál es la probabilidad que una persona tenga un apellido con letras consecutivas repetidas? (pista: el castellano no es el único idioma, ni el predominante en F1, en todo caso el italiano y el inglés) ¿Cuál es la probabilidad que haya un corredor con esas características? ¿y cinco? (pista, la segunda es mucho más probable)

—-

Lo primero que hay que averiguar era el porcentaje de apellidos con letras consecutivas repetidas. Para simplificar mucho el trabajo sólo busqué los más comunes en los países con más representantes en la F1. Aunque no es completa y tiene desvíos importantes serviría para hacer una aproximación, que aunque basta puede confirmar lo malo que somos para evaluar las probabilidades.

[*] Por ejemplo los apellidos italianos de la brasileros es mucho más alto que la media brasilera, supongo que influye mucho la ciudad de orígen, o que sean los de familia italiana los más aficionados a los coches (al menos mucho más que los de apellidos originarios de Portugal)

Las listas de los apellidos más comunes las obtuve de la Wikipedia, Familypedia, y Behindthename. El resumen de las probabilidades de algunos países es el siguiente:

• España: 10% (4 de 40)
• Alemania: 20% (2 de 10)
• Italia: 35% (7 de 20)
• Brasil: 15% (25 de 168)
• Finlandia: 10% (1 de 10)

Se puede ver que varía entre Italia que es el más alto a España o Finlandia que son los más bajos. Para aproximar asumí que los valores razonables estarían entre el 20 y el 30%. Estas son las probabilidades para cada una de ellas, la columna de la izquierda representa el número de corredores con el “apellido raro” y la segunda la probabilidad porcentual):

Para el 20%:

0	0.5%
1	2.8%
2	8.1%
3	14.9%
4	19.6%
5	19.6%
6	15.6%
7	10.0%
8	5.3%
9	2.3%
10	0.9%
11	0.3%
12	0.1%
13	0.0%
14	0.0%
15	0.0%
17	0.0%

Para el 30%

0	0.0%
1	0.1%
2	0.4%
3	1.5%
4	3.9%
5	7.9%
6	12.5%
7	16.1%
8	17.1%
9	15.1%
10	11.4%
11	7.2%
12	4.0%
13	1.8%
14	0.7%
15	0.2%
16	0.1%
17	0.0%
18	0.0%
19	0.0%

Nota: los “0.0%” no son ceros, es cuestión de precisión y redondeo, por ejemplo el último (19) de la última tabla es 0.0006%.

Es decir, las probabilidades de tener 9 corredores de 24 con apellidos con letras consecutivas repetidas está entre el 2.3 y el 15.1% (partiendo de probabilidades entre 20 y 30%). Ya se ve, muchísimas más bajas que 1 en 100 millones.

Por otro lado también es interesante analizar cada cuantos años se debe dar esta coincidencia en la F1. También es muy fácil de comprobarlo: varía entre 6.44 años de media (con 6 de desviación estándar [**]) en el caso del 30% y en 40.44 años (con desviación estándar de 42 años [**]) en el caso del 20%. Dado que la F1 se corre desde hace 60 años, en el peor de los casos analizados (con el 20%) había el 68% de probabilidades que se presentase este “patrón raro” de 9 corredores.

Pues eso, que de raro en realidad no tiene nada (aunque no miré el historial de años anteriores).

[**] En mis simulaciones, ver el Teorema del Límite Central.

El karma y la Ley de Benford

Hoy acabé de leer The Drunkard’s Walk: How Randomness Rules Our Lives (libro duro en algunas partes, pero muy bueno), uno de los temas que toca el libro es la Ley de Benford. Ésta aparece en determinadas series resultado de operaciones acumulativas (especialmente los datos financieros), los primeros dígitos de los números resultates no siguen una distribución uniforme.

La distribución es aproximadamente la siguiente para números de base 10:

d	p
1	30.10%
2	17.60%
3	12.50%
4	9.70%
5	7.90%
6	6.70%
7	5.80%
8	5.10%
9	4.60%

La gráfica (de la Wikipedia) queda:

Lo interesante de esta ley es que se usa para auditorías financieras e incluso es admisible como prueba en casis criminales en EEUU. Se basa en que los “balances” financieros (o evolución de precios de la bolsa, subastas en eBay, incluso número de enlaces en Delicious) deben seguir esta ley, pero cuando se estafa manipulando los resultados se tiende a poner números aleatorios. Un ejemplo muy mencionado es que se usó para detectar el fraude de un emprendedor, Kevin Lawrence, que se gastó fraudulentamente 91 millones de dólares de sus inversores, también se la mencionó como evidencia de fraude es las lecciones de Irán en 2009, y la usaron para analizar las declaraciones de renta de Clinton (que las pasó correctamente).

Como me llamó la atención, me pregunté si el karma del Menéame seguiría la Ley de Benford. Si fuese así la usaría como evidencia que no hay fraude (y si no me callaría la boca ).

Claramente no podía usar el karma de las noticias publicadas, ya que el karma de publicación es aproximadamente el mismo para todas (más o menos 500-550 de media) y éste se deja de incrementar una vez se publicó. Así que lo hice con todas las noticias que quedaron en pendientes.

La tabla resultante es la siguiente (nota: hay algunos ceros, en los primeros meses no se insertaba el voto del autor automáticamente, y otras que con la suma de positivos y negativos quedan en cero):

d	Total	p
0	4070	0.7
1	178254	32
2	95631	17.2
3	60085	10.8
4	47170	8.5
5	40710	7.3
6	38589	6.9
7	34191	6.1
8	30738	5.5
9	27251	4.9

Cumple casi a la perfección con la Ley de Benford ideal: