{
  "source": {
    "title": "Alice's Adventures in Wonderland",
    "edition": "Project Gutenberg eBook 11, Millennium Fulcrum Edition 3.0",
    "source_sha256": "01b38ea4c710a84bc18d0bd41271a5a1a92b94e97b2812f4dece97d4a694725e",
    "paragraph_normalization": "Before length filtering, deduplication, tokenization, packing, and byte-denominator measurement, collapse each paragraph's whitespace runs to one ASCII space and trim leading and trailing whitespace. Byte denominators count UTF-8 bytes of these normalized paragraph strings, not byte spans in the original Gutenberg file.",
    "rights": "Project Gutenberg lists this text as public domain in the United States. The included source file retains its terms. Check local copyright law before reuse.",
    "chapter_splits": {
      "I": "train",
      "II": "train",
      "III": "train",
      "IV": "train",
      "V": "validation",
      "VI": "test",
      "VII": "test",
      "VIII": "test"
    }
  },
  "tokenizer": {
    "kind": "bytelevel-bpe",
    "vocabulary_size": 384,
    "special_ids": {
      "pad": 0,
      "bos": 1,
      "eos": 2,
      "unk": 3
    },
    "normalization": "none",
    "unknown_policy": "byte fallback plus [UNK] guard",
    "byte_fallback": true,
    "processor_sha256": "c92b534443cc6a1eacd5e78406b2c42e59553df704a07102a03c639d3694f586",
    "trained_record_ids": [
      "I:0001",
      "I:0002",
      "I:0003",
      "I:0004",
      "I:0005",
      "I:0006",
      "I:0007",
      "I:0008",
      "I:0009",
      "I:0010",
      "I:0011",
      "I:0012",
      "I:0013",
      "I:0014",
      "I:0015",
      "I:0016",
      "I:0017",
      "I:0021",
      "I:0022",
      "I:0023",
      "I:0024",
      "I:0025",
      "I:0026",
      "I:0027",
      "II:0001",
      "II:0002",
      "II:0003",
      "II:0005",
      "II:0006",
      "II:0007",
      "II:0008",
      "II:0009",
      "II:0010",
      "II:0011",
      "II:0012",
      "II:0013",
      "II:0014",
      "II:0015",
      "II:0016",
      "II:0017",
      "II:0018",
      "II:0019",
      "II:0020",
      "II:0021",
      "II:0022",
      "II:0023",
      "II:0024",
      "II:0025",
      "II:0026",
      "III:0001",
      "III:0002",
      "III:0003",
      "III:0004",
      "III:0006",
      "III:0008",
      "III:0010",
      "III:0011",
      "III:0012",
      "III:0013",
      "III:0014",
      "III:0015",
      "III:0016",
      "III:0017",
      "III:0018",
      "III:0019",
      "III:0020",
      "III:0021",
      "III:0022",
      "III:0023",
      "III:0024",
      "III:0025",
      "III:0028",
      "III:0029",
      "III:0030",
      "III:0031",
      "III:0032",
      "III:0033",
      "III:0034",
      "III:0035",
      "III:0036",
      "III:0037",
      "III:0038",
      "III:0039",
      "III:0040",
      "III:0042",
      "III:0043",
      "III:0044",
      "III:0045",
      "III:0046",
      "III:0047",
      "III:0048",
      "IV:0001",
      "IV:0002",
      "IV:0003",
      "IV:0004",
      "IV:0005",
      "IV:0006",
      "IV:0007",
      "IV:0008",
      "IV:0009",
      "IV:0010",
      "IV:0011",
      "IV:0012",
      "IV:0013",
      "IV:0014",
      "IV:0015",
      "IV:0016",
      "IV:0017",
      "IV:0018",
      "IV:0019",
      "IV:0020",
      "IV:0021",
      "IV:0022",
      "IV:0023",
      "IV:0024",
      "IV:0025",
      "IV:0026",
      "IV:0027",
      "IV:0028",
      "IV:0029",
      "IV:0030",
      "IV:0031",
      "IV:0032",
      "IV:0033",
      "IV:0034",
      "IV:0035",
      "IV:0036",
      "IV:0037",
      "IV:0038",
      "IV:0039",
      "IV:0040",
      "IV:0041",
      "IV:0042"
    ],
    "trained_chapters": [
      "I",
      "II",
      "III",
      "IV"
    ],
    "decoding": "ByteLevel decoder; special tokens are not included in text records"
  },
  "architecture": {
    "vocab_size": 384,
    "context": 24,
    "width": 16,
    "layers": 2,
    "heads": 4,
    "mlp_width": 32,
    "dropout": 0.1,
    "tied_embeddings": true
  },
  "changed_config_sanity": {
    "config": {
      "vocab_size": 384,
      "context": 24,
      "width": 24,
      "layers": 3,
      "heads": 4,
      "mlp_width": 48,
      "dropout": 0.0,
      "tied_embeddings": false
    },
    "parameters": 33768,
    "observed_logits_shape": [
      1,
      3,
      384
    ],
    "forward_pass_finite": true
  },
  "parameters": 10880,
  "target_config_parameter_count_only": 299301888,
  "training": {
    "config": {
      "batch_size": 4,
      "learning_rate": 0.001,
      "min_learning_rate": 0.0003,
      "warmup_steps": 2,
      "total_steps": 6,
      "seed": 20261020,
      "beta1": 0.9,
      "beta2": 0.999,
      "epsilon": 1e-08
    },
    "steps": [
      {
        "loss_nats_per_token": 5.943746089935303,
        "learning_rate": 0.0005,
        "step": 1,
        "epoch": 0,
        "cursor": 4,
        "record_indices": [
          895,
          896,
          897,
          319
        ],
        "dropout_key": [
          1739317285,
          2176015939
        ]
      },
      {
        "loss_nats_per_token": 5.9401726722717285,
        "learning_rate": 0.001,
        "step": 2,
        "epoch": 0,
        "cursor": 8,
        "record_indices": [
          320,
          321,
          322,
          323
        ],
        "dropout_key": [
          4187222727,
          2766221071
        ]
      },
      {
        "loss_nats_per_token": 5.932987689971924,
        "learning_rate": 0.001,
        "step": 3,
        "epoch": 0,
        "cursor": 12,
        "record_indices": [
          324,
          325,
          326,
          327
        ],
        "dropout_key": [
          1549769989,
          1400437453
        ]
      },
      {
        "loss_nats_per_token": 5.921127796173096,
        "learning_rate": 0.000825,
        "step": 4,
        "epoch": 0,
        "cursor": 16,
        "record_indices": [
          328,
          329,
          330,
          331
        ],
        "dropout_key": [
          1844460586,
          389033689
        ]
      },
      {
        "loss_nats_per_token": 5.914412498474121,
        "learning_rate": 0.00065,
        "step": 5,
        "epoch": 0,
        "cursor": 20,
        "record_indices": [
          332,
          381,
          382,
          383
        ],
        "dropout_key": [
          3105103808,
          20752785
        ]
      },
      {
        "loss_nats_per_token": 5.923952579498291,
        "learning_rate": 0.00047499999999999994,
        "step": 6,
        "epoch": 0,
        "cursor": 24,
        "record_indices": [
          384,
          385,
          386,
          387
        ],
        "dropout_key": [
          1270713707,
          3738679733
        ]
      }
    ],
    "actual_updates": 6,
    "precision": "FP32 CPU",
    "text_token_nll_before": {
      "nll_nats_per_token": 5.943827799011424,
      "tokens": 23314,
      "nll_nats": 138574.40130615234,
      "perplexity": 381.39203105257565
    },
    "text_token_nll_after": {
      "nll_nats_per_token": 5.9119038205107115,
      "tokens": 23314,
      "nll_nats": 137830.12567138672,
      "perplexity": 369.4087743684215
    },
    "bits_per_normalized_paragraph_byte_after": 4.313099772058483
  },
  "data": {
    "train": {
      "documents": 133,
      "record_ids": [
        "I:0001",
        "I:0002",
        "I:0003",
        "I:0004",
        "I:0005",
        "I:0006",
        "I:0007",
        "I:0008",
        "I:0009",
        "I:0010",
        "I:0011",
        "I:0012",
        "I:0013",
        "I:0014",
        "I:0015",
        "I:0016",
        "I:0017",
        "I:0021",
        "I:0022",
        "I:0023",
        "I:0024",
        "I:0025",
        "I:0026",
        "I:0027",
        "II:0001",
        "II:0002",
        "II:0003",
        "II:0005",
        "II:0006",
        "II:0007",
        "II:0008",
        "II:0009",
        "II:0010",
        "II:0011",
        "II:0012",
        "II:0013",
        "II:0014",
        "II:0015",
        "II:0016",
        "II:0017",
        "II:0018",
        "II:0019",
        "II:0020",
        "II:0021",
        "II:0022",
        "II:0023",
        "II:0024",
        "II:0025",
        "II:0026",
        "III:0001",
        "III:0002",
        "III:0003",
        "III:0004",
        "III:0006",
        "III:0008",
        "III:0010",
        "III:0011",
        "III:0012",
        "III:0013",
        "III:0014",
        "III:0015",
        "III:0016",
        "III:0017",
        "III:0018",
        "III:0019",
        "III:0020",
        "III:0021",
        "III:0022",
        "III:0023",
        "III:0024",
        "III:0025",
        "III:0028",
        "III:0029",
        "III:0030",
        "III:0031",
        "III:0032",
        "III:0033",
        "III:0034",
        "III:0035",
        "III:0036",
        "III:0037",
        "III:0038",
        "III:0039",
        "III:0040",
        "III:0042",
        "III:0043",
        "III:0044",
        "III:0045",
        "III:0046",
        "III:0047",
        "III:0048",
        "IV:0001",
        "IV:0002",
        "IV:0003",
        "IV:0004",
        "IV:0005",
        "IV:0006",
        "IV:0007",
        "IV:0008",
        "IV:0009",
        "IV:0010",
        "IV:0011",
        "IV:0012",
        "IV:0013",
        "IV:0014",
        "IV:0015",
        "IV:0016",
        "IV:0017",
        "IV:0018",
        "IV:0019",
        "IV:0020",
        "IV:0021",
        "IV:0022",
        "IV:0023",
        "IV:0024",
        "IV:0025",
        "IV:0026",
        "IV:0027",
        "IV:0028",
        "IV:0029",
        "IV:0030",
        "IV:0031",
        "IV:0032",
        "IV:0033",
        "IV:0034",
        "IV:0035",
        "IV:0036",
        "IV:0037",
        "IV:0038",
        "IV:0039",
        "IV:0040",
        "IV:0041",
        "IV:0042"
      ],
      "chunks": 1075,
      "normalized_paragraph_bytes": 46103,
      "text_tokens": 23314,
      "tokens_exposed": 23314,
      "tokens_truncated": 0,
      "loss_targets": 24389,
      "context": 24,
      "dataset_sha256": "23cf92f1eeff85d98a191e0fd08ff4e3d60249c68e15426837701fcbc00e6213",
      "source_sha256": "01b38ea4c710a84bc18d0bd41271a5a1a92b94e97b2812f4dece97d4a694725e"
    },
    "validation": {
      "documents": 61,
      "record_ids": [
        "V:0001",
        "V:0003",
        "V:0004",
        "V:0005",
        "V:0007",
        "V:0009",
        "V:0011",
        "V:0012",
        "V:0013",
        "V:0015",
        "V:0016",
        "V:0017",
        "V:0019",
        "V:0021",
        "V:0022",
        "V:0024",
        "V:0025",
        "V:0027",
        "V:0028",
        "V:0029",
        "V:0030",
        "V:0031",
        "V:0032",
        "V:0033",
        "V:0034",
        "V:0035",
        "V:0036",
        "V:0037",
        "V:0040",
        "V:0042",
        "V:0044",
        "V:0045",
        "V:0046",
        "V:0047",
        "V:0048",
        "V:0049",
        "V:0050",
        "V:0051",
        "V:0052",
        "V:0053",
        "V:0057",
        "V:0058",
        "V:0059",
        "V:0061",
        "V:0062",
        "V:0063",
        "V:0064",
        "V:0065",
        "V:0066",
        "V:0067",
        "V:0068",
        "V:0069",
        "V:0070",
        "V:0071",
        "V:0072",
        "V:0073",
        "V:0074",
        "V:0075",
        "V:0076",
        "V:0077",
        "V:0078"
      ],
      "chunks": 286,
      "normalized_paragraph_bytes": 11620,
      "text_tokens": 5889,
      "tokens_exposed": 5889,
      "tokens_truncated": 0,
      "loss_targets": 6175,
      "context": 24,
      "source_sha256": "01b38ea4c710a84bc18d0bd41271a5a1a92b94e97b2812f4dece97d4a694725e"
    },
    "test": {
      "documents": 229,
      "record_ids": [
        "VI:0001",
        "VI:0002",
        "VI:0003",
        "VI:0004",
        "VI:0005",
        "VI:0006",
        "VI:0007",
        "VI:0008",
        "VI:0009",
        "VI:0010",
        "VI:0011",
        "VI:0012",
        "VI:0013",
        "VI:0014",
        "VI:0015",
        "VI:0017",
        "VI:0018",
        "VI:0019",
        "VI:0020",
        "VI:0021",
        "VI:0022",
        "VI:0023",
        "VI:0024",
        "VI:0025",
        "VI:0026",
        "VI:0027",
        "VI:0028",
        "VI:0029",
        "VI:0030",
        "VI:0031",
        "VI:0032",
        "VI:0033",
        "VI:0034",
        "VI:0035",
        "VI:0036",
        "VI:0037",
        "VI:0039",
        "VI:0040",
        "VI:0043",
        "VI:0044",
        "VI:0045",
        "VI:0046",
        "VI:0047",
        "VI:0048",
        "VI:0049",
        "VI:0050",
        "VI:0051",
        "VI:0052",
        "VI:0054",
        "VI:0055",
        "VI:0056",
        "VI:0057",
        "VI:0058",
        "VI:0059",
        "VI:0060",
        "VI:0062",
        "VI:0063",
        "VI:0064",
        "VI:0066",
        "VI:0067",
        "VI:0068",
        "VI:0069",
        "VI:0070",
        "VI:0071",
        "VI:0072",
        "VI:0073",
        "VI:0074",
        "VI:0075",
        "VI:0077",
        "VI:0078",
        "VI:0079",
        "VI:0080",
        "VII:0001",
        "VII:0002",
        "VII:0003",
        "VII:0004",
        "VII:0006",
        "VII:0007",
        "VII:0008",
        "VII:0009",
        "VII:0010",
        "VII:0011",
        "VII:0012",
        "VII:0013",
        "VII:0015",
        "VII:0016",
        "VII:0017",
        "VII:0018",
        "VII:0019",
        "VII:0020",
        "VII:0021",
        "VII:0022",
        "VII:0023",
        "VII:0024",
        "VII:0025",
        "VII:0026",
        "VII:0027",
        "VII:0028",
        "VII:0029",
        "VII:0030",
        "VII:0031",
        "VII:0032",
        "VII:0033",
        "VII:0034",
        "VII:0035",
        "VII:0036",
        "VII:0038",
        "VII:0039",
        "VII:0040",
        "VII:0041",
        "VII:0042",
        "VII:0043",
        "VII:0044",
        "VII:0045",
        "VII:0046",
        "VII:0047",
        "VII:0048",
        "VII:0049",
        "VII:0052",
        "VII:0053",
        "VII:0054",
        "VII:0055",
        "VII:0057",
        "VII:0058",
        "VII:0059",
        "VII:0060",
        "VII:0061",
        "VII:0062",
        "VII:0063",
        "VII:0064",
        "VII:0065",
        "VII:0066",
        "VII:0069",
        "VII:0070",
        "VII:0071",
        "VII:0072",
        "VII:0073",
        "VII:0074",
        "VII:0075",
        "VII:0076",
        "VII:0077",
        "VII:0078",
        "VII:0080",
        "VII:0081",
        "VII:0082",
        "VII:0083",
        "VII:0084",
        "VII:0085",
        "VII:0086",
        "VII:0087",
        "VII:0088",
        "VII:0089",
        "VII:0090",
        "VII:0091",
        "VII:0092",
        "VII:0093",
        "VII:0094",
        "VII:0095",
        "VII:0099",
        "VII:0100",
        "VII:0102",
        "VII:0103",
        "VII:0104",
        "VII:0105",
        "VIII:0001",
        "VIII:0002",
        "VIII:0003",
        "VIII:0004",
        "VIII:0005",
        "VIII:0006",
        "VIII:0007",
        "VIII:0008",
        "VIII:0009",
        "VIII:0010",
        "VIII:0011",
        "VIII:0012",
        "VIII:0013",
        "VIII:0014",
        "VIII:0015",
        "VIII:0016",
        "VIII:0017",
        "VIII:0018",
        "VIII:0019",
        "VIII:0020",
        "VIII:0021",
        "VIII:0022",
        "VIII:0023",
        "VIII:0024",
        "VIII:0025",
        "VIII:0026",
        "VIII:0027",
        "VIII:0029",
        "VIII:0030",
        "VIII:0031",
        "VIII:0033",
        "VIII:0034",
        "VIII:0036",
        "VIII:0038",
        "VIII:0039",
        "VIII:0040",
        "VIII:0041",
        "VIII:0042",
        "VIII:0043",
        "VIII:0044",
        "VIII:0045",
        "VIII:0046",
        "VIII:0047",
        "VIII:0048",
        "VIII:0049",
        "VIII:0050",
        "VIII:0052",
        "VIII:0053",
        "VIII:0054",
        "VIII:0056",
        "VIII:0057",
        "VIII:0058",
        "VIII:0059",
        "VIII:0060",
        "VIII:0061",
        "VIII:0062",
        "VIII:0063",
        "VIII:0064",
        "VIII:0065",
        "VIII:0066",
        "VIII:0067",
        "VIII:0068",
        "VIII:0069",
        "VIII:0070",
        "VIII:0071"
      ],
      "chunks": 1001,
      "normalized_paragraph_bytes": 40503,
      "text_tokens": 20479,
      "tokens_exposed": 20479,
      "tokens_truncated": 0,
      "loss_targets": 21480,
      "context": 24,
      "source_sha256": "01b38ea4c710a84bc18d0bd41271a5a1a92b94e97b2812f4dece97d4a694725e"
    }
  },
  "metrics": {
    "dev_before": {
      "nll_nats_per_token": 5.9448846942359435,
      "tokens": 5889,
      "nll_nats": 35009.42596435547,
      "perplexity": 381.7953355566252
    },
    "dev_after": {
      "nll_nats_per_token": 5.915552166164539,
      "tokens": 5889,
      "nll_nats": 34836.68670654297,
      "perplexity": 370.7589667514946
    },
    "dev_bits_per_normalized_paragraph_byte": 4.325190632748022,
    "final_test": {
      "nll_nats_per_token": 5.915624774906969,
      "tokens": 20479,
      "nll_nats": 121146.07976531982,
      "perplexity": 370.78588807116483
    },
    "test_bits_per_normalized_paragraph_byte": 4.3151580994140115,
    "train_only_byte_unigram_dev": {
      "nll_nats": 36875.482560452314,
      "bytes": 11620,
      "bits_per_normalized_paragraph_byte": 4.578319777999313,
      "counts_source": "training paragraphs only",
      "smoothing_alpha": 0.1
    }
  },
  "interpretation": "Small one-book CPU pipeline pilot only; tokenizer NLL/perplexity is vocabulary-specific. Byte rates use UTF-8 bytes of whitespace-normalized selected paragraphs, not byte spans in the Gutenberg file. Test chapters were scored once after the recipe was frozen. No model-quality, 300M training, or accelerator claim.",
  "candidate_model_sha256": "94a88ae7fd6a251b5b190b4631496e04bb71a31c1bfe418511fdd37ffef034c9"
}