Alineamiento: los labs

// cheatsheet M5

30 preguntas para llevarte

01¿Qué cambia el alineamiento que no cambiaba el afinado?

De dónde sale la señal. Preentrenar y afinar usan la misma pérdida —entropía cruzada sobre el siguiente token— y toda su información viene de partidas que alguien jugó: enseñan **qué se juega**, nunca premian **calcular mejor**. El alineamiento cambia el objetivo: la señal pasa a ser «de estas dos jugadas, esta es mejor» (un par de preferencia) o «esta jugada vale 0,84» (una recompensa). Ninguna de las dos frases aparece en ninguna partida, y las dos se pueden construir. Por eso M4 terminó midiendo que afinar cambia el comportamiento y no la competencia, y por eso este módulo existe.

02¿Por qué el primer trabajo de M5 fue un instrumento y no un modelo?

Porque el criterio del módulo —+50 Elo con intervalo— no se podía comprobar con lo que había. La escalera de Stockfish repite con un suelo de unos 40 Elo de una sigma (D-107: la misma configuración con la misma semilla dio 1498 y 1558, porque el rival juega por tiempo y `UCI_LimitStrength` aleatoriza a propósito). Restar dos medidas de ±56 da una diferencia de ±80: más ancha que cualquiera de las dos que entraron. Buscar 50 con eso no es cuestión de más partidas, es el instrumento equivocado.

03¿Cuánto más barato es un enfrentamiento directo, y de dónde sale ese número?

8,1 veces, y sale de dos fórmulas de potencia. Distinguir dos proporciones que difieren en Δp pide `n > 3,84 / (Δp)²` partidas **en cada lado**; detectar una ventaja en un enfrentamiento pide `n > z²·p(1−p)/(p−0,5)²` **en total**. Para +50 Elo la primera sale 8,1 veces más cara. Y se usa al revés, que es como se usa de verdad: con 200 partidas la diferencia más pequeña visible es 48 Elo, con 400 es 34, con 50 es 95. `labs/m5/games_needed_match.py` imprime la tabla antes de que se juegue nada.

04¿Por qué un enfrentamiento se ahorra ruido además de partidas?

Porque desaparece el tercero. En una escalera, los dos modelos juegan contra un rival cuyo comportamiento cambia entre corridas, y ese ruido entra entero en cada medida y otra vez en la resta. En un enfrentamiento los dos juegan **la misma** partida: mismas posiciones de libro, colores espejados, y el resultado depende solo de los dos modelos. No es una optimización, es quitar una variable.

05¿Qué es un control de instrumento y qué encontró el de M5?

Medir algo cuya respuesta ya sabes. Un modelo contra una copia exacta de sí mismo tiene que dar 0,5000 clavado; salió **0,975 con 999 jugadas ilegales**. Eran dos errores en `infer/game.py`: la partida empezaba desde el tablero con el libro de aperturas puesto pero esas jugadas nunca se le reproducían al jugador, y al rival —si guardaba estado— no se le contaba ninguna jugada, porque `Opponent` no tiene `observe` y nadie preguntaba si lo tenía. Tras el arreglo, 0,5000 exacto. Costó un minuto de máquina y evitó publicar un +40 que habría sido un artefacto.

06¿Qué promete Bradley-Terry y qué no?

Promete convertir preferencias en puntuaciones: `P(a gana a b) = σ(r(a) − r(b))`, así que la pérdida es `−log σ(r_chosen − r_rejected)`. Lo que **no** promete es una escala. En la fórmula solo aparecen diferencias, así que sumar cien a todas las puntuaciones no cambia nada: el «0,8» de un entrenamiento y el «1,4» de otro son dos reglas sin origen y compararlas no significa nada. Hay un test que lo fija, porque un modelo que se rompiera con un desplazamiento constante no lo notaría nadie aguas abajo.

07¿Por qué DPO no necesita reward model?

Porque su referencia es **implícita**: una copia congelada de los pesos de partida, que no se entrena ni se publica. DPO parte de escribir el óptimo del refuerzo con preferencias en función de la política y de esa referencia, y entrenar la política directamente sobre los pares. Se ahorran un entrenamiento y una red de valor. `β` mide cuánto se le deja alejarse: es la fianza frente a la foto del piso el día de entrar. Rukh entrena con `β` 0,1 y no ha medido otros valores.

08¿Qué mira uno en un entrenamiento DPO: el margen o el acierto?

El acierto. El margen puede crecer con la ordenación todavía mal, porque dice «`chosen` gana a `rejected`» y no dice «`chosen` es buena». De ahí también `nll_weight`: un poco de pérdida de siguiente token sobre la jugada preferida ancla la política, porque DPO puro puede subir el margen mientras el modelo se olvida de jugar.

09¿Qué diferencia hay entre un par on-policy y uno off-policy, y por qué importa?

De dónde salen las dos jugadas. Off-policy: de otro sitio —las evaluaciones multi-PV de Lichess—, y dicen qué jugada es mejor tanto si el modelo iba a considerarla como si no. On-policy: del propio modelo, muestreando candidatas en la posición y puntuándolas con el motor. Importa porque **un modelo solo pierde partidas con las jugadas que juega**. En Rukh los dos conjuntos salieron muy distintos: los on-policy tienen un 2,9 % de pares de mate frente al 29 % de los off-policy, así que no son dos fuentes de lo mismo, son dos distribuciones de dificultad.

10¿Cómo se compara DPO sobre dos conjuntos de pares sin hacer trampa?

Igualando todo menos lo que se estudia. Mismas posiciones de partida, misma configuración de entrenamiento línea por línea, y **el mismo número de pares**: los on-policy salieron 6 386, así que el conjunto off-policy se submuestrea a 6 386 con semilla fija. Si un brazo ve 2,2 veces más datos, lo que se mide es la cantidad, no la fuente. Y la comparación final no es cada uno contra la base por separado: es un enfrentamiento directo entre los dos, por la misma razón que todo lo demás del módulo.

11¿Por qué no se puede calcular `on − off` restando lo que cada uno hizo contra la base?

Porque el triángulo no cierra. Agrupadas las dos direcciones, el DPO fuera de política está +65 sobre la base y el de dentro +57, así que `on` debería quedar unos ocho puntos por debajo de `off`; enfrentados de frente con 800 partidas, `on` gana por +37. El residuo, lo que las tres aristas no consiguen sumar, es de 45 Elo con un error típico de 18: 2,6 σ, y no es que los intervalos sean generosos. Un solo número de fuerza por modelo supone que la fuerza es un orden total, y un emparejamiento no está obligado a respetarlo: el modelo fuera de política juega más afilado, y eso le va bien contra la base y mal contra un modelo más limpio. La regla: si te importa cuál de dos gana, enfréntalos; no restes (D-120).

12¿Qué le costó al modelo alinearse, y cómo se supo?

Jugadas ilegales, y se supo gratis porque `rukh eval match` ya las contaba para el control del instrumento. La base propone entre el 1,30 % y el 1,47 % de ilegales sobre sus propias jugadas; el DPO dentro de política, 2,42-2,58 %; el de fuera, 2,90-3,80 %: alinear dobló la tasa aunque los dos se entrenaron con `nll_weight: 0.1`, que existe precisamente para anclar la política. El mecanismo: los pares de fuera de política empujan probabilidad hacia tokens donde la política casi no tenía masa, y los de dentro solo la mueven entre jugadas que ya consideraba. GRPO paga 1,66 veces la tasa de su base, a la par que el DPO de dentro y menos que el de fuera, porque su gradiente solo mueve masa entre jugadas que ya eran legales. Mide el coste en la misma corrida en la que mides el beneficio (D-121).

13¿Qué hace GRPO que PPO hace más caro?

La línea base. Para saber si una recompensa fue buena hace falta algo contra lo que compararla; PPO entrena una red de valor entera para estimarla. GRPO hace que la política proponga un **grupo** de respuestas a la misma entrada y usa la media del grupo, que ya estaba pagada. La ventaja de cada candidata es `(r − media) / (desviación + ε)`. Sin red de valor, sin segundo entrenamiento.

14¿Qué pasa cuando un grupo de GRPO no tiene dispersión?

Que no aporta nada y el motor ya está pagado. Si las ocho candidatas puntúan igual, la media cae encima de todas y todas las ventajas son cero: el paso es un no-op. Por eso `GrpoResult` cuenta los grupos planos aparte de los útiles — el número dice qué parte del presupuesto se lleva la propia confianza del modelo, y no hay forma de saberlo por adelantado. En la generación de pares on-policy pasó lo mismo por otro camino: en 3 743 de 13 838 posiciones (27 %) el modelo propuso una sola jugada distinta.

15¿Por qué la KL se calcula con `exp(d) − d − 1` y no con `d` a secas?

Porque el estimador k3 es **no negativo por construcción** y `d = logp_ref − logp_policy` no lo es: es negativo la mitad de las veces, precisamente en las muestras donde la política se alejó de la referencia. Como término de penalización, la versión ingenua le pagaría al modelo por lo que se supone que castiga. Además k3 tiene menos varianza. Hay un test que lo dispara en las dos direcciones a propósito.

16¿Qué hace que una recompensa sea «verificable» y qué no le da eso?

Que la calcula un programa y se puede comprobar, en vez de estimarla un modelo entrenado con opiniones. El ajedrez es de los pocos sitios donde se puede escribir entera: legalidad, mate, repetición y la evaluación del motor. Lo que gana es que no se equivoca como se equivoca un modelo aprendido. Lo que **no** gana es inmunidad al reward hacking: sigue siendo un diseño humano, y por tanto exactamente especificable y exactamente hackeable.

17¿Por qué la legalidad es una puerta y no un término de la suma?

Porque un término se puede comprar. `+2 si es legal` suena a preferencia fuerte y es un **precio**: cualquier otro término que valga más de dos lo paga. Con una calidad sin tope, ese precio lo alcanza cualquier posición de más de dos peones. Y hay una trampa peor que Rukh cometió: la puerta estaba en `0,0`, que cae **dentro** del intervalo legal `[−0,25, 1,25]`, así que una jugada imposible puntuaba por encima de una legal que se mete en repetición (D-115). Una puerta que lo que separa puede saltarse no es una puerta: el valor tiene que derivarse del mínimo legal, no escribirse como constante.

18¿Dónde vive el reward hacking, si no es en qué jugada gana?

En la forma del grupo. La galería de M5 midió seis recompensas —la sana y cinco rotas— sobre el mismo grupo de candidatas y las seis **coronan la misma jugada** en las tres posiciones: todas son monótonas en la evaluación del motor, así que el máximo no se mueve. El daño está en lo que consume el optimizador, que no es la recompensa sino `(r − media)/desviación`. Sin tope en la calidad, una sola candidata catastrófica se lleva el 46,5 % de toda la masa de ventaja del grupo y aplasta a las demás en el mismo número pequeño: el grupo deja de ser una comparación.

19¿Por qué las exhibiciones de una galería tienen que diferir en una sola cosa?

Porque si no, no se puede atribuir nada. La primera versión escribió las cinco recompensas rotas por separado y cuatro se dejaron el término de repetición por el camino sin querer: todas reportaban la misma inversión y ninguna era suya. Reescritas como «la sana con exactamente un término sustituido», cada inversión señala a su propio fallo. Vale para una galería didáctica y vale para cualquier ablación (D-117).

20¿Qué pasa con una recompensa si cambias la profundidad del motor?

Que cambia, y en todas. La misma jugada en un rey y torre contra rey vale 597 a profundidad 4 y 9 996 a profundidad 6, no porque la jugada cambie sino porque el motor encuentra el mate. Medido como rango entre profundidades: la recompensa sana se mueve 0,99 —todo su intervalo legal—, la que no tiene suelo se mueve **47,0**, y la que paga el mate por el marcador del motor, 3,49. Lo único estable es el bono de mate plano, porque le pregunta al tablero y no al motor. La regla: fija la profundidad, escríbela en el run y no compares dos runs con profundidades distintas (D-118).

21¿Por qué el acierto del reward model depende de la semilla?

Porque la semilla no reparte solo los lotes: reparte la **partición**. `split_examples` separa por partida con la misma semilla que el entrenamiento, así que cambiarla cambia cuántos pares de mate caen en validación —484 con la semilla 42, 356 con la 1—. Y los pares de mate son donde el modelo peor va, así que el titular sube cuando el sorteo reparte menos mates (D-113). Cuando una semilla mueve el resultado, lo primero es mirar si mueve el modelo o mueve la regla de medir.

22¿Por qué el reward model falla justo en los mates?

Porque un mate es un hecho táctico y lo que el modelo lee es una evaluación estática de la posición resultante. La banda de mate es la peor en las cuatro corridas (68,3 % a 71,7 %) y es algo más de un cuarto de los pares de validación; la mejor es la de 400-800 cp (80,2 % a 85,4 %). Lo que **no** se puede decir es que el acierto suba monótonamente con la distancia: las bandas 100-200 y 200-400 se cruzan según la semilla, y la de 800-2000 tiene entre 10 y 22 pares, así que su 90 % y su 50 % son la misma ausencia de dato. Y esa banda de mate es exactamente la que una recompensa verificable contesta sin error, que es el puente al resto del módulo.

23¿Qué significa que la correlación del reward model sea negativa?

Que hay dos poblaciones mezcladas. Pearson entre el margen del modelo y la distancia en centipeones sale **−0,128** con todos los pares y **+0,058** quitando los de mate: el signo lo cambia el subconjunto, no el modelo. Los pares de mate tienen por construcción la distancia más grande y el margen más pequeño (+0,744 frente a +1,272), así que algo más de un cuarto de los puntos, pegados a una esquina, tuercen la recta entera. Una correlación sobre una población con dos regímenes no describe ninguno de los dos (D-119).

24¿Ayuda partir de un encoder preentrenado para un reward model?

Aquí no: resta unos 6,5 puntos de acierto frente a inicializar al azar. El encoder de M3 aprendió a rellenar jugadas enmascaradas y se le está pidiendo ordenar posiciones por lo buenas que son; lo que trae de casa estorba. Lo que sí manda es la capacidad: 12 capas × 512 sube donde ninguna otra palanca subía. «Preentrenado» no es una propiedad, es una relación entre lo que aprendió y lo que le vas a pedir.

25¿Por qué `head()` no vale para recortar un dataset?

Porque es un recorte, no una muestra, y solo coinciden si el fichero está desordenado. Los pares de Rukh están equilibrados por fase **en bloques**, así que las primeras 40 filas son 65 % aperturas frente al 33 % del fichero entero (D-114). En un hito que compara dos conjuntos de pares, eso convierte la comparación de fuentes en una comparación de mezclas de fase. La corrección es `sample(shuffle=True, seed=...)`, que cuesta lo mismo.

26¿Por qué el motor se limita por profundidad y no por tiempo?

Para que el dataset y la corrida se puedan rehacer. P4 midió que un Stockfish limitado por tiempo hace irreproducible una medición: la misma escalera dos veces dio 1498 y 1558 (D-107). Un límite por profundidad da la misma respuesta en una máquina ocupada y en una libre. El precio es que la profundidad pasa a ser un parámetro del experimento que hay que escribir en el run, porque cambiarla cambia los números (D-118).

27En GRPO, ¿qué hay que mirar además de que suba la recompensa?

La KL y la proporción de ilegales, los tres a la vez. Una recompensa verificable **siempre** puede subir: está escrita, y lo que está escrito se puede optimizar. Que suba sola no distingue «juega mejor» de «encontró la esquina que puntúa bien». Si sube y la KL se queda pequeña y los ilegales no empeoran, es una mejora; si sube y la KL se dispara, es un síntoma.

28¿Qué forma tiene la mejora de GRPO con la tasa de aprendizaje, y qué la explica?

Una U invertida. A 400 pasos, la recompensa medida contra el mejor movimiento disponible sube +0,0088 a 1e-6, +0,0267 a 5e-6 y vuelve a caer a +0,0078 a 2e-5, mientras `flat_share`, la proporción de grupos de validación donde las ocho candidatas son la misma jugada, va 0,370 → 0,453 → 0,490 desde 0,387: monótona en las tres. La política compra recompensa con determinismo y pasado un punto la compra deja de salir a cuenta; es sobreoptimización con el mecanismo a la vista en la columna de al lado. Y la recompensa referida al grupo, la que entrena, a 1e-6 **baja** (−0,0032) mientras la del motor sube: con la métrica original esa corrida se habría archivado como fracasada, y es la mejor de las tres (D-124). A 1 500 pasos ni la tasa pequeña conserva la diversidad (0,385 → 0,472), así que no hay una corrida limpia y otra sucia: hay una curva, y dónde pararla es una decisión.

29¿Por qué el criterio de +50 Elo se queda a 0,26 y no se juegan las 56 partidas que faltan?

Porque el presupuesto se fijó antes de mirar. Con 800 partidas el brazo fuera de política daba +67 con el extremo inferior en 45; se jugaron 800 más, con otra semilla de libro y en las dos direcciones, y con 1 600 salió +65,25 con intervalo de 49,74 a 80,76. La cuenta dice que unas 56 partidas más lo cruzarían, media hora, y no se juegan: jugar hasta que el número cruce el umbral es ajustar el experimento al criterio, como reclutar pacientes hasta que el fármaco salga significativo. Lo que sí se afirma es que los tres métodos baten a su base separados del cero (D-127). Y de GRPO se publicó la corrida de lr 1e-6: enfrentada a la rápida de 5e-6 empató (−0,87 Elo, IC −22 a +20 con 800 partidas) y cuesta menos en todo lo demás, 0,472 de grupos planos contra 0,560, KL 0,122 contra 0,555 e ilegales 1,66× la base contra 2,08× (D-126).

30¿Por qué el caché del motor es una decisión de diseño y no una optimización?

Porque el motor es el coste entero de la corrida: ocho candidatas por posición, cientos de pasos, y el modelo es casi un detalle al lado. Un caché `(FEN, jugada) → centipeones` convierte la segunda visita en una búsqueda en un diccionario, y se guarda entre corridas. Va indexado por el **FEN** y no por la lista de jugadas, así que una posición a la que se llega por transposición es la misma entrada.