Alucinaciones
Respuestas falsas que el modelo da con el mismo tono seguro que las verdaderas. El término técnico serio es 'falta de calibración'.
En una frase
Un modelo ‘alucina’ cuando inventa con seguridad: datos, citas o hechos que no existen, dicho exactamente igual que cuando acierta.
Por qué pasa
El modelo está entrenado para producir texto plausible, no para decir la verdad. No tiene un interruptor que le avise de que no sabe algo, salvo que se le entrene expresamente para señalarlo.
Cómo se mide
Comparando cuántas veces da una respuesta segura y falsa (calibración). Los laboratorios lo miden cada uno a su manera; los estudios independientes con método común son recientes y aún pocos.
Cómo defenderte
Exigiendo fuentes verificables en lo importante, y dando al modelo una forma de comprobar lo que dice (buscar, ejecutar, consultar). La regla práctica: si una respuesta te costaría caro equivocarte, no vale que suene segura.
Lo que hemos contado sobre esto
Aún no tenemos nada publicado relacionado.