Más datos, no más red: de small a medium-v4

Parte 4 de 4 del módulo «El decoder». Viene de «El decoder: exportarlo y mirar dentro» y cierra el módulo con el modelo que M4 y M5 van a afinar.

Qué vas a construir

Al terminar esta parte tendrás medium-v4: el decoder de 115 120 128 parámetros entrenado sobre 1 681 millones de tokens, con 1504 de Elo estimado (IC 95 % 1446-1558) y un 99,8 % de jugadas legales sin máscara. Es el modelo del que parten el afinado por Elo y los adaptadores de M4 y los tres modelos alineados de M5, y es el que se publica como chorcat/rukh-medium.

Pero el objeto de esta parte no es el modelo: es cómo se llegó a él, porque el camino contradice lo que las tres partes anteriores daban por sentado. M2 cerró diciendo que a small le faltaba entrenamiento y que el siguiente paso era una red más grande. Las dos cosas estaban mal, y lo que las desmintió fue una división y una escalera.

El diagnóstico cabe en una división

La tercera parte terminó con el hueco entre la pérdida de entrenamiento y la de validación de small creciendo —0,021, 0,046, 0,060— mientras el top-1 se aplanaba. Antes de tocar nada, la cuenta que había que hacer:

data/tokens/uci/train/meta.json:   2 949 514 partidas, 240 068 954 tokens
parámetros de small:               38 971 392
tokens únicos por parámetro:       240 M / 39 M = 6,2
pasadas sobre el corpus:           20 000 pasos × 256 secuencias × 200 tokens = 1 024 M / 240 M = 4,3

Seis tokens por parámetro, cuando la relación que la literatura de escalado da como razonable ronda los veinte. Y cuatro pasadas y pico sobre el mismo material. El hueco que crecía no era «algo de sobreajuste, normal»: era la firma de repetir material, y explica también por qué medium, con el triple de parámetros y los mismos datos, solo había comprado 84 puntos de Elo —1091 (IC 990-1194) frente a los 1007 (920-1101) de small, medidos los dos en la escalera de entonces (D-054)— con los intervalos solapados. Más red sobre el mismo libro recita mejor el libro.

Y había 238 millones de tokens parados: el mes de febrero entero era validación, para un bucle que evalúa leyendo 640 000. Esa es la primera palanca, y cuesta cero descargas.

Tres corridas, una palanca cada una

Las tres corridas comparten planificador, semilla y la misma validación congelada: las 100 000 primeras partidas de 2025-02, que desde aquí es lo único que no entrena (D-062). Cada una cambia una sola cosa respecto a la anterior, para que la diferencia sea atribuible.

v2: devolver el mes de validación al entrenamiento. configs/data/pipeline-v2.yaml deja val_games: 100000 y manda el resto de febrero al corpus: 240 M → 471 M tokens únicos, 6,2 → 12,1 por parámetro. La misma receta de small, 28 000 pasos en vez de 20 000.

uv run rukh data tokenize --config configs/data/pipeline-v2.yaml --scheme uci --pack
uv run rukh train --config configs/train/small-v2.yaml

v3: cambiar de qué está hecho el corpus. La Lichess Elite Database publica en database.nikonoel.fr las partidas de 2500+ contra 2300+, sin bullet, por meses. Veinticuatro meses son unos 6,5 millones de partidas, y son a la vez más datos y otra distribución: el corpus de 1800+ tiene un 3,4 % de partidas con las blancas en 2400 o más, la Elite un 93 %. configs/data/pipeline-v3.yaml los añade con extra_train_parquets y deja la validación donde estaba, para que la pérdida siga siendo comparable.

uv run rukh data elite --config configs/data/pipeline-elite44.yaml   # o: uv run rukh pull rukh-games-elite
uv run rukh data tokenize --config configs/data/pipeline-v3.yaml --scheme uci --pack
uv run rukh train --config configs/train/small-v3.yaml

(pipeline-elite44.yaml descarga los 44 meses que usa la corrida final; v3 se hizo con los primeros 24 y la config tokeniza lo que haya en data/elite/games.parquet. Si sigues el orden de esta página tu v3 llevará 44, que es más de lo que tuvo la de referencia.)

Salida real de las dos, con v1 de M2 al lado. «General» es la validación congelada; «fuerte» es la misma pérdida sobre partidas de 2200+:

Dos lecturas, en el orden en que se hicieron:

1. Recuperar el mes vale −0,049 nats y el hueco cae a la mitad. small v2, con 39 millones de parámetros, bate al medium de 115 millones entrenado con los datos viejos. El cuello eran los datos; ahora está medido y no inferido. El tiempo de entrenamiento fue 58 minutos.
2. La composición mueve otra cosa que la cantidad. v3 cede 0,007 en juego promedio —su corpus se parece menos a la validación— y gana 0,012 sobre juego fuerte. Y mueve el eje de Elo: la divergencia entre las distribuciones condicionadas a <2800> y a <1800> pasa de 0,047 nats en v1 y 0,049 en v2 a 0,115 en v3. Duplicar los datos (v2) no había movido ese eje; cambiar de qué están hechos (v3) sí. Sin élite, el «juega como 1500 / 2000 / 2400» de M4 no tenía de dónde salir.

La escalera estaba torcida

Mientras se medían esas corridas apareció una contradicción que ningún modelo puede resolver: small v2 puntuaba 0,725 contra un Stockfish con UCI_Elo 1320 y perdía veinte a cero contra skill-3, un rival etiquetado con 1250. Un modelo no puede ganar a uno de 1320 y perder siempre contra uno de 1250. Lo que se puede medir es el rival, y el descubrimiento entero —motor contra motor, la tabla de los cuatro escalones medidos entre 1381 y 1678 en vez de entre 800 y 1250, y el control de uci-1500 a +179 sobre uci-1320 que valida el método— está contado en el lab 4 de la segunda parte, al lado del informe que lo destapó. Aquí solo lo que esa parte no podía saber todavía: qué le hizo la corrección a todo lo publicado hasta ese día.

El listón de 1200 nunca se falló. small v1 estaba publicado en Hugging Face con «Elo bar not met» y estaba en 1359. Hubo que corregir once model cards, dos planes y las lecciones, explicando el porqué y no solo la cifra. Lo relativo no cambia: la corrección sube a todos por igual, y el trabajo de datos vale +66 Elo en la escala corregida igual que valía +88 en la torcida.

medium-v4: capacidad, cuando por fin está justificada

Con 1 681 millones de tokens únicos —enero, el resto de febrero y 44 meses de Elite, 18 942 740 partidas— la división sale a 14,6 tokens únicos por parámetro para 115 millones (1 681 M / 115 M), siete veces más que los 2,1 de medium v1 y a la altura de los 12,1 de small v2, así que medium deja de ser una red grande sobre un libro pequeño. configs/train/medium-v4.yaml: 48 000 pasos, 2 457 millones de tokens vistos —21 por parámetro, la cifra que engaña si se confunde con la de únicos—, 1,46 pasadas.

uv run rukh data tokenize --config configs/data/pipeline-v4.yaml --scheme uci --pack
uv run rukh train --config configs/train/medium-v4.yaml
uv run rukh eval --model checkpoints/medium-v4/best.pt --config configs/eval/greedy.yaml --stage medium-v4-greedy

Tokenizar tarda cinco minutos y deja 3,3 GB en data/tokens-v4/uci/. El entrenamiento duró 4 h 3 min y es el trabajo más largo de la primera fase; se lanza al final de una sesión y se recoge en la siguiente. La evaluación canónica —greedy.yaml, temperatura 0,05, la cabecera fijada en 1800, la escalera corregida— tarda media hora.

Las columnas de Elo, legalidad, top-1 y puzles son las de la evaluación canónica (greedy.yaml), que no es la misma medida que el top-1 de validación de la tabla anterior: por eso medium v1 lee 52,90 % aquí y 52,31 % allí. Su Elo va en blanco porque solo se midió en la escalera torcida —1091 (990-1194)— y nunca se reevaluó en la corregida; ponerle un número a esa celda sería inventarlo.

Tres cosas de esa fila:

• No era la arquitectura. El mismo medium, con la misma receta, pasa de 1,4782 con 240 M de tokens repetidos 4,3 veces a 1,3733 con siete veces más material único y 1,46 pasadas.
• La legalidad no era una tendencia. La serie 99,40 → 99,30 → 99,10 % de las tres small se había leído como algo a vigilar. Era un modelo de 39 M estirándose sobre un corpus creciente; con capacidad suficiente, fuerza y legalidad suben juntas, y 99,80 % es la más alta del proyecto.
• Los puzles son donde más se ve. De 22,07 % a 37,50 %, un 70 % relativo. Un puzle es la jugada única que gana, no la que jugó un humano, y es la métrica que menos premia imitar.

El reparto de los +145 Elo entre small v1 y medium-v4, palanca a palanca y en la escala corregida: recuperar el mes de validación +48, la Elite +18, la capacidad ya justificada +79. El condicionamiento por Elo, cero: esa historia es la de M4.

Lo que se publica y lo que se mide después

chorcat/rukh-small es small v3 —la mejor small de la serie—, y chorcat/rukh-medium es medium-v4. La demo sirve small porque 79 MB en fp16 caben en un móvil y 231 no; medium-v4 es para correrlo en local y para lo que viene.

Aquí es donde esos dos modelos publicados empiezan a ganarse el sueldo, y no es para que juegues contra ellos: es para comparar. Exporta tu medium-v4 y cárgalo en la demo con «Tu propio modelo»; después elige Rukh medium (fp16) en el desplegable de etapa y juega la misma apertura. Si tu corrida salió bien, las dos partidas deberían parecerse; si la tuya juega notablemente peor, tienes una pista de que algo del entrenamiento no fue como el de referencia, y la tienes antes de gastar media hora de evaluación en averiguarlo.

Sus cards llevan los números de la evaluación canónica del día en que se publicaron, y ahí aparece un detalle que conviene tener presente al comparar: small v3 midió 1425 (1367-1485) el 19 de septiembre y 1365 (1293-1423) el 20, con la misma config, la misma semilla y los mismos pesos. El rival juega por tiempo y con UCI_LimitStrength, que aleatoriza a propósito, así que la escalera se repite a sí misma con un suelo de unos 40 puntos (D-107). Es una báscula de baño que te da 82 y 84 al subirte dos veces seguidas: no está rota, pero con ella no se puede afirmar que has adelgazado un kilo, y una diferencia entre dos pesadas solo empieza a decir algo cuando supera con holgura esos dos kilos de oscilación. M5 va a construir un instrumento distinto por esto. De momento, la regla: dos Elo de la escalera se comparan dentro de una misma tirada, no entre tiradas. Las cifras de esta parte son las del 19 y 20 de septiembre; la tabla única las volvió a medir el 21 en una sola tirada (small v1 1355 (1297-1420) y medium-v4 1535 (1476-1599)) y M6 explica la diferencia.

Qué has aprendido, cómo se mide

Que la primera pregunta ante un modelo que se queda corto no es cuántos parámetros tiene sino cuántos tokens distintos ha visto por cada uno, y que el hueco entre entrenamiento y validación es el instrumento que responde antes de gastar una GPU. Que cantidad y composición del corpus son dos palancas distintas, y que solo la segunda mueve un eje que no estaba en los datos. Que una escala contra la que mides tiene que haberse medido a sí misma, y que un control con respuesta conocida es lo que te dice si puedes fiarte de ella. Y que escalar la red es la decisión correcta exactamente cuando la división lo permite, y la equivocada un momento antes.

Lo medido: medium-v4, 1504 de Elo (1446-1558) y 99,80 % de legalidad sin máscara, los dos criterios del hito con el intervalo entero por encima; 37,50 % de puzles; y la historia completa en D-062 a D-073 del registro de decisiones.

Lo siguiente es M3, el encoder, que va a pasar por la misma corrección: el que se publicó también se reentrenó a 39 M sobre este corpus, y la última parte de M3 cuenta qué compró eso y qué no. La cheatsheet del módulo está justo debajo.