El estudio de Stanford: la IA supera a profesores de derecho
El estudio de Stanford completo: 16 profesores de derecho evaluaron a ciegas 3,000 respuestas y la IA ganó el 75% de las veces. Metodología y límites.
75% de las veces. Esa es la frecuencia con la que 16 profesores de derecho de facultades de élite prefirieron la respuesta de una máquina sobre la de sus propios colegas, sin saber cuál era cuál. El hallazgo viene de un estudio donde la IA supera a profesores de derecho en su terreno más cotidiano: responder las preguntas de sus alumnos. Antes de sacar conclusiones, conviene mirar cómo se midió, porque el diseño es lo que hace incómodo el resultado.
Cómo se midió que la IA supera a profesores de derecho
El estudio lo dirigió Julian Nyarko, profesor de Stanford Law School, con colaboradores de Yale, NYU y la Universidad de Chicago. El montaje fue simple y por eso difícil de descartar.
Reclutaron a 16 profesores de derecho contractual de 14 facultades de primer nivel. Les pidieron dos cosas. Primero, escribir respuestas de unas 90 palabras a 40 preguntas típicas de estudiantes del curso. Segundo, evaluar pares de respuestas a esas mismas preguntas: una escrita por un colega, otra generada por un modelo de IA. Casi 3,000 comparaciones en total, todas a ciegas: el evaluador nunca supo qué respuesta venía de quién.
El resultado no dependió del modelo. La tasa de preferencia por la IA se movió entre 75.3% y 75.9% según cuál se usara, una dispersión mínima que incluyó tanto modelos generales como NotebookLM, la herramienta de Google que responde anclada a documentos cargados, en este caso el libro de texto del curso. Da casi igual qué máquina respondió: los profesores prefirieron a la máquina.
Hay un segundo número que duele más que el 75%. Los evaluadores marcaron como "pedagógicamente dañinas" el 3.5% de las respuestas de la IA. Las de sus colegas humanos: el 12%. Tres veces más. El estudio quedó registrado en SSRN, el repositorio académico de ciencias sociales, con el número 6849678; el comunicado de Stanford Law con la metodología completa resume el diseño y los resultados.
El detalle que desarma la objeción de siempre
La objeción natural es el prejuicio: "la gente desconfía de las respuestas de una IA". El diseño a ciegas la elimina de raíz. Cuando el evaluador no sabe quién escribió qué, no puede descontarle puntos a la máquina por ser máquina. Lo que queda es la respuesta desnuda. Y desnuda, ganó 3 de cada 4 veces contra autores que enseñan exactamente esa materia en las mejores facultades del mundo.
El propio Nyarko puso el límite del estudio, y conviene repetirlo con la misma honestidad: el experimento mide la calidad de la respuesta aislada, no si el estudiante aprende más con ella. Una buena respuesta no es una buena clase. Nadie midió retención, criterio formado ni lo que pasa en un aula real.
Qué hace Stanford con sus propios alumnos
El contexto institucional completa la foto. Stanford Law tiene publicada una política de uso de IA generativa para sus estudiantes que no prohíbe la herramienta: deja la decisión a cada profesor, que debe declararla en el programa del curso. Sin regla explícita del curso, el estudiante puede usar IA para apoyar su aprendizaje, pero no presentar contenido generado como trabajo propio. Y trae una línea con colmillo: citar fuentes que no existen levanta presunción de uso de IA. La política está publicada en el sitio de Stanford Law.
Es decir: la institución cuyos profesores acaban de perder 3 de 4 contra la máquina no respondió prohibiéndola. Respondió regulando quién firma qué.
Lo que cambia para el que vive de responder preguntas
Este estudio no es sobre educación. Es sobre la parte de tu semana que se parece a la de esos profesores: un cliente, un paciente o un colega te hace una pregunta de tu especialidad y tú redactas una respuesta competente de 90 palabras. Esa unidad de trabajo, la respuesta correcta y clara a una pregunta frecuente, acaba de perder su escasez.
Lo que el estudio no toca es todo lo demás: saber qué pregunta hacer, detectar la pregunta equivocada, y decidir qué respuesta se firma y se manda. La misma semana de este estudio, una jueza federal sancionó a cuatro abogados por firmar respuestas de IA sin leerlas: las dos caras del mismo desplazamiento. Responder vale menos. Firmar bien vale más. En los gremios donde ya hay una máquina en cada lado de la mesa, como está pasando en la facturación médica, esa diferencia es la que cobra.
La pregunta que deja para tu práctica: de las horas que facturaste esta semana, ¿cuántas fueron, en el fondo, responder preguntas frecuentes de tu especialidad? Ese número es tu exposición. Y también tu oportunidad, si eres tú quien pone a la máquina a responder con tu criterio encima.
Every Tuesday I break down a real operating decision, with the full reasoning. Read it if you run your own practice. Subscribe to Exoesqueleto Cerebral.