Desde hace años que estoy convencido que la opinión discordante muchas veces es más valiosa que la noticia, o que cientos de opiniones favorables. Comenté unos ejemplos personales hace unos días en Google Plus, por ejemplo cómo leo las críticas en Amazon.
Cuando estoy por comprar un libro en Amazon, primero leo los comentarios que peor valoran al libro, y luego a los que mejor los valoran. Esta técnica me ayuda mucho, pocas veces me decepciona. Un ejemplo notable -porque además compré el libro sólo para verificar- es el Linchpin de Seth Godin. La distribución de los votos:
La inmensa mayoría ponen cinco y cuatro estrellas. En el momento que lo miré, el comentario que peor valoraba era uno que le dio dos estrellas (hay uno más nuevo que le dió solamente una, y también tiene mucha razón):
If you want to know HOW to become a linchpin do NOT buy this book. The author states «There is no map. «
This book is horribly repetitive.
The author talks about ABC jobs, which is attendance based compensation where the worker is paid just to show up.
In my opinion, while writing this book this author was working On WBC (word based compensation). It appears to me that the author was trying to deliver a minimum number of words before he felt he could complete the book.
I believe this only because In my opinion, the author spends hundreds of pages making the same point ad nauseum – that you SHOULD be a linchpin…
Not worth your time IMHO.
Pero pensé, cientos de personas no pueden estar equivocadas, y compré el libro. Os aseguro que el comentario citado es bastante benévolo con el libro. Es infumable.
¿Por qué tanta gente le dio tantas estrellas si es un libro tan malo? Yo creo que es por el tipo de lector de Seth Godin: asidua de Amazon, que participa mucho en Internet y que considera a Seth Godin el gurú de la autoayuda y los negocios en Internet. Si además se le suma la promoción de su libro en su visitado blog, no es de extrañar que hayan ido allí todos sus fans. Pero resulta que las pocas voces discordantes tenían razón. O al menos son más cercanas a mi gusto, que no creo en las fórmulas para triunfar, ni que todas las personas son iguales en este aspecto.
También los peores comentarios sirven para tomar decisiones contrarias. Un libro que está valorado como mediocre por la mayoría, pero que una minoría lo valora positivamente. Es caso lo que me pasó con Voodoo Histories.
Este es el primer párrafo de un comentario que le puso sólo una estrella:
In this incredibly tedious, superficial book, David Aaronovitch seeks to make a case not so much against conspiracy theories as against independent investigation of any sort. His truth must have the imprimatur of the US, UK or Israeli government for him to believe it. That is the entire essence of this book. Pick any issue and with that formula you will arrive at his opinion. He regards all who question the party line as either unintelligent, psychologically unbalanced, or willful hoaxers wanting to cash in on the previous two categories of people. Oh, and rest assured, somehow they are usually anti-Semitic as well. For someone who rejects conspiracy theories he has no trouble believing in a world hell bent on ‘getting the Jews’. Yawn.
De entrada le acusaba de ser un «defensor de grandes potencias, que no desean investigaciones independientes, blablabla…». Pues sólo esa frase me indicó que era el libro debía ser bueno. Y así ha sido, me lo devoré y me dejó un muy buen sabor de boca (os lo recomiendo si queréis conocer más de cómo se montaron y siguen montando las conspiranoias, y los modelos de negocio que hay en ellas, hay algunos casos que son increíbles, y que hasta Dan Brown se los haya tragado décadas después de que hayan sido descubiertos).
Sabemos que Amazon tiene los mejores ingenieros, y que sus algoritmos y capacidad de cálculo están al alcance de muy pocas personas, pero sin embargo ocurren estos casos de «sesgos amplificados por el grupo». ¿Es un fallo de Amazon? No, las personas somos así, y es difícil -todavía- que un algoritmo elimine todas nuestras taras. Pero Amazon hizo una cosa muy bien: facilitarnos la tarea de analizar mejor haciendo que sea muy fácil acceder a esos comentarios negativos. Luego depende de nosotros la decisión. En mi caso resultan muy útiles a la hora de comprar un libro. Os recomiendo seguir esta técnica y así no caéis en el sesgo grupal y luego pensáis que vuestro criterio para valorar un libro es erróneo.
¿Cómo hacer algo similar en Menéame?
Es la idea que me rondaba hace tiempo, ¿cómo resaltar los comentarios discordantes? Ya hablé del valor de estos comentarios en Otro intento, esta vez periodístico, allí mostré cómo se resaltaban los comentarios, y cómo hay algunos discordantes que aportan más valor que la propia noticia:
Aún así no era suficiente. Muchos de los comentarios contrarios no eran ser seleccionados para la lista de destacados, y aunque lo fuesen no se podían discriminar del resto.
Hace unas horas hubo un caso de una noticia como mínimo muy sensacionalista, París tapa el origen radiactivo del accidente de Marcoule, con la particularidad de que ya en su séptimo comentario se indicaba que era errónea. Sin embargo la gente siguió votando y no prestó atención a ese comentario (ni los que siguieron). Aprovechando que era un buen caso de pruebas me puse a pensar y probar cómo se podía solucionar este problema.
Como no somos Amazon, ni tenemos tantos recursos de servidores, ni expertos en análisis semántico de textos, tenía que ser de una forma muy sencilla y que se «calculase» inmediatamente. Se me ocurrió una idea muy sencilla:
si el comentario tenía votos positivos, Y su autor había votado negativo a la noticia, Y el texto tenía una longitud de más de x caracteres, ENTONCES podría ser un comentario interesante, por lo que el valor usado para la selección de la lista se multiplica por un factor.
El núcleo de la modificación al algoritmo de selección es bastante sencillo (y aprovecha lo relacional de la base de datos relacional para hacerlo muy rápido):
foreach ($res as $comment) {
// The commenter has voted negative
if ($comment->vote_value < 0 && $comment->comment_len > 60) {
$comment->val *= 2;
}
}
usort($res, "cmp_comment_val");
Además, si el voto fue negativo se le cambia la sombra gris por una roja, lo que deja el siguiente resultado:
El resultado parecía prometedor, de hecho los cuatro comentarios que salen son negativos (y luego la noticia fue «quitada de portada» por los votos). En otras noticias se puede observar mejor el efecto:
Todavía habrá que seguir analizando y mejorando, pero creo que es una mejora. ¿Qué os parece la chapucilla? ¿Cómo se podría mejorar? (teniendo en cuenta que el algoritmo debería ser de una complejidad muy baja para que sea viable, al menos hasta que tengamos cientos de miles de euros para gastar en análisis más complejos 😉 ) ¿Se puede mejorar la visualización?
Ricardo Galli, de software 
Se ve interesante, puede que cambiando las sombras grises por un verde u otro color se notaría mas la diferencia y se apreciaria mejor.
Ricardo,
una idea más que interesante la tuya; en cuanto a la visualización, hay que tener en cuenta que usar únicamente el color para transmitir alguna información tiene el peligro de ser poco o nada accesible para usuarios con daltonismo (en hombres se estima que son hasta el 8%), o para usuarios con lectores de pantalla.
Tampoco le veo una solución sencilla… quizás algo inspirado en el aviso de «noticias controvertidas»… ¿un signo de admiración?
Atención niños, ¡no lo prueben con hoteles! Escojan siempre los que tengan mejor vaoración 🙂
Pingback: El valor de las opiniones discordantes (via Ricardo Galli, de software libre) « César D. Rodas
Ricardo:
Tu libro es maravilloso, recomiendo encarecidamente su lectura.
¿Has escrito un libro?
😉
Yo hace tiempo que uso esa técnica para ver los comentarios más críticos en la App Store, cuando estoy buscando una aplicación de un tipo para la que no he encontrado una buena referencia en otra parte.
Sin embargo, al final tienes que hacer tu propio análisis de qué parte de la crítica coincide con cosas que tú criticarías, o al revés, critica cosas que tú valoras como positivas, o que no son importantes.
En Amazon estaría muy bien poder buscar «perfiles en C»: aquellos artículos que tienen muchos votos muy positivos, pero también muchos votos muy negativos, con pocos votos intermedios. Esos artículos deben ser muy polarizantes, y podrían ser interesantes en un libro, pero puede que quieras evitarlos en un artículo de uso doméstico, por ejemplo 😉
¿Sería posible hacer un histograma de valoraciones del post, para ver si un post en Meneame cumple con ese criterio «polarizante»?
Pingback: El valor de las opiniones discordantes
Yo activaría el botón de «realizar comentario» con el voto negativo: (como diciendo que si no escribes nada no puedes votar en negativo), y acto seguido le asociaría un color diferente a dicho comentario. Como los daltónicos pueden distinguir el verde pepino del rojo tomate no creo que sea muy disparatado, aun con tonos pastel incluso para ellos. También haría lo mismo con el voto positivo, pero con la opción de no escribir comentario alguno. Y quitaría el botón de hacer comentario (salvo para mandar algún alert que diga: «valora primero»).
Azul los que quieran añadir algo sin haberse opuesto, rojo los que comentaron en contra del texto o a los de azul. Rojo quien comenta a favor de rojo…
Se puede resaltar con un tono más brillante los textos que son más valorados positivamente, independientemente del número de votos negativos.
Y ahora viene la complicación: con este sistema parece que no puede uno oponerse tanto al texto principal como a algún comentario en contra de ese texto. Por eso también recomiendaría que el sistema tenga memoria y asocie con la IP el estar a favor o en contra. De esta manera, cuando la IP esté contra el comentario del que va a compartir color, entonces se le pone amarillo, como hablando de una posición alternativa.
De la misma manera, cuando una IP valore en positivo un comentario que puso negativo, o viceversa, entonces se le tiene que cambiar su alineación, haciendo que desde entonces, todos sus comentarios cambien al color que corresponda.
Quizá suene complicado, ¿no?
Ah, y en cuanto a las opiniones a destacar: yo quitaría todo eso de la longitud -> las opiniones más interesantes son siempre las más polémicas (y las que las cierran).
Cuando una opinión abre mucha polémica, lo increible es descubrir que alguien pueda cerrarla. Opinión polémica: muchos votos a favor y en contra. Opinión que cierra: Muchos y muchos votos a favor en respuesta de una ramificación polémica superando en positivos del comentario inicial quizá en negativos + positivos.
¿Por qué consideras importante la extensión del comentario?
¿Se puede hacer a la inversa con las noticias que tengan varios negativos?
Para sacar la cifra de caracteres sería bueno utilizar la medía de todos los comentarios que cumplan esos requisitos. Lea 500 de esos mensajes y calcule, ya que los lee, se dará cuenta que son mensajes que no suelen contener faltas y están puntuados correctamente, en su mayoría utilizan puntos y aparte, algo poco común en Internet.
Lo digo pq algunos tontos son capaces de escribir mensajes de 60+.
Ricardo: Creo que el algoritmo debería contemplar (a mi parecer) la reputación de la persona…. que no insida mucho pero que insida lo suficiente… porque si una persona tiene comentarios banales y negativos en forma continua y largo, fomentaría esta forma de actuar, mientras que si hace muchos comentarios (Negativos pero «Inservibles») su reputación baja mucho y desaparece de los comentarios destacados….
y sobre todo si, la persona es alguien que la comunidad acepta, su comentarios cuando es negativo, seguro que tiene alguna justificación para hacerlo.
Saludos
Mi grano de arena: Modificaría el algoritmo para neutralizar, en parte, la posición avanzada del comentario discordante.
Estos comentarios, «clarividentes» suelen estar perdidos en puestos avanzados en el nº del comentario. Suelo avanzar entre los más valorados a las posiciones numéricas más altas para leer comentarios + interesantes, se trataría de automatizarlo y premiarlo quitándole valor a la rapidez y al karmaworismo para dárselo a la calidad.
Me parece interesante el sistema con lo de los colores. Es una forma de observar las 2 partes de la noticia.
La que apoya la noticia (aunque esté mal) o el que critica la noticia y expone por qué está mal…