Cómo se evalúa kitlegal

En pocas palabras

• Lo que más importa es que una respuesta no diga qué establece una norma sin haberla leído en el BOE en esa misma consulta. En la pregunta en la que más fallaba, ha pasado de 16 de cada 80 respuestas a 2 de cada 80.
• En el conjunto de preguntas sobre normas, el revisor señala entre 0 y 3 respuestas de cada 120 (o de cada 108, en las comprobaciones más antiguas). Una versión con más de 3 de cada 120 no se publica.
• Ninguna respuesta ha resumido una sentencia que no tuviera delante en las 12 comprobaciones hechas hasta el 27 de octubre de 2026.
• No es infalible. Quedan errores, y abajo están contados por tipo, con un ejemplo real de cada uno.

Qué se promete

Cada una de estas promesas se comprueba en cada cambio:

• No afirma lo que dice una norma sin haberla leído en el BOE en esa consulta. Si no la ha leído, lo dice.
• Cita de dónde sale lo que dice: la norma y el artículo del BOE.
• Avisa de la vigencia: si la norma está derogada o su redacción ha cambiado, lo dice al principio de la respuesta.
• Lee la redacción vigente en una fecha cuando la pregunta es por un momento pasado, como el día del acto o de los hechos, y dice qué fecha ha usado.
• Dice lo que no cubre: si la pregunta cae fuera de lo que kitlegal sabe tratar, lo advierte y no da plazos ni vías de memoria.
• Solo cita una sentencia con su documento delante, el que trae la persona. kitlegal no busca sentencias por su cuenta.

Cómo se comprueba

• Las mismas preguntas, siempre. 45 preguntas fijas, como las haría un despacho o un ciudadano: qué dice un artículo, qué plazo hay, qué decía una ley en una fecha, o una pregunta por materia sin nombrar el artículo. En cada cambio, cada una se hace tres veces por cada una de las dos formas en que el asistente puede usar kitlegal, porque la misma pregunta no recibe siempre la misma respuesta.
• Con las normas grabadas del BOE. Las respuestas se leen contra una copia guardada de los artículos, para que el resultado no dependa del día en que se mide.
• Lo que tiene forma, lo comprueba un programa. La cita y el aviso de norma derogada: cada pregunta tiene que salir bien en al menos 2 de sus 3 repeticiones. La fecha de la redacción, el aviso de lo que no cubre y la sentencia citada sin su documento: no se admite ningún fallo.
• Lo que hay que leer, lo lee otro modelo, más capaz que el que responde. Responde a una pregunta cerrada sobre cada respuesta, y un error solo cuenta si lo señala en tres lecturas. Antes de usarlo, lo comprobamos con casos que una persona había clasificado a mano: señaló los 212 errores y ninguna de las 47 respuestas correctas; en las sentencias, los 125 errores y ninguna de las 124 correctas. Un límite: esos casos los clasificó la misma persona que escribió la pregunta del revisor.
• Lo que no pasa, no se publica. Una versión solo se publica si la comprobación completa sale bien sobre esa misma versión.
• Publicar lo decide siempre una persona, con los resultados delante.

¿Por qué se admiten hasta 3 de cada 120, y no cero? Porque el texto de una respuesta lo escribe un modelo de lenguaje, y eso se puede reducir pero no garantizar. Con un límite de cero, el resultado dependería del azar: una versión buena suspendería a menudo y una mala podría pasar. Con 3 de cada 120, una versión que empeore se detecta, y la que no empeora casi nunca suspende.

Resultados

La pregunta de las 80 respuestas es a propósito la más difícil: pregunta por una materia del IRPF sin nombrar el artículo. Por eso da más errores que el conjunto, en el que cada pregunta se repite menos veces.

Los errores que quedan

1. Decir el contenido de una regla sin haberla leído

Es el error más grave, porque es contenido legal sin fuente. Hoy, 2 de cada 80 respuestas en la pregunta más difícil, y entre 0 y 3 de cada 120 en el conjunto.

Ejemplo real (28 de octubre de 2026). A la pregunta de qué rendimientos son del trabajo en la ley del IRPF, una respuesta añadió «antes de tributar se restan los gastos deducibles», una regla que no había leído en el BOE en esa consulta. Otra pegó una materia a una remisión que tampoco había leído: «sin perjuicio de otra regla de la misma Ley sobre rentas exentas».

Qué se hace. Es el error que decide si una versión se publica. El último cambio de las instrucciones lo bajó de 16 a 2 de cada 80, y cada cambio posterior se mide con las mismas preguntas.

2. Contar cómo ha hecho la consulta en lugar de hablar de la norma

Hoy, 4 de cada 80 respuestas. No es contenido inventado, pero confunde: dice algo de cómo trabajó la herramienta, y se puede leer como si fuera un dato de la norma.

Ejemplo real (28 de octubre de 2026). Las cuatro respuestas señaladas dicen lo mismo: «no consta ninguna redacción posterior». Es lo que devolvió una comprobación interna, no una afirmación sobre la historia de la norma.

Qué se hace. Se cuenta y se publica en cada comprobación, pero no impide publicar una versión, porque no afirma nada falso de la norma. El último cambio lo bajó de 17 a 4 de cada 80.

3. Avisar con una forma distinta de la prevista

Los avisos (norma derogada, redacción en una fecha, asunto no cubierto) tienen una forma fija, para que se vean y se puedan comprobar. En el de redacción en una fecha y en el de asunto no cubierto no se admite ningún fallo: si una sola respuesta lo da con otra forma, la comprobación suspende.

Ejemplo real (28 de octubre de 2026). A una persona que preguntaba hasta cuándo podía recurrir una liquidación de la Agencia Tributaria, una respuesta de 9 avisó, bien, de que el caso no estaba cubierto y no dio ninguna fecha, pero en el aviso nombró la disposición que excluye el caso, no la ley que lo regula, que es la que estaba prevista. Esa comprobación suspendió; la siguiente, el mismo día, dio 0 de 9.

Qué se hace. El próximo hito, H32, reorganiza las instrucciones de kitlegal por tipo de tarea, y el siguiente, H33, deja un único aviso de «no cubierto» para todas las materias. Los dos se medirán con estas mismas preguntas antes de publicarse.

Qué no es

• No sustituye el criterio del profesional. Una respuesta de kitlegal se revisa como se revisaría el borrador de un colaborador: con la cita delante.
• Los textos consolidados del BOE son informativos. El texto con valor jurídico es el publicado en el diario oficial.
• Medir no es garantizar. Las cifras dicen cómo responde a estas preguntas. Otra pregunta puede fallar de otra manera, y por eso cada respuesta lleva su cita, para comprobarla.

Dónde mirar el detalle

Todo está en el repositorio público del proyecto, con sus fechas:

• El historial: qué se ha entregado en cada hito y con qué resultado.
• Las evidencias: las respuestas, las revisiones y las cuentas de cada medida.
• Por qué lo que hay que leer lo revisa otro modelo (decisión 0037).
• Por qué el límite es de 3 de cada 120 y no cero (decisión 0038).
• Por qué la prueba de la pregunta difícil usa 80 respuestas (decisión 0047).