Feature/tokens migration cleanup

package.json

@@ -42,6 +42,7 @@
     "tokens:check": "ts-node --transpile-only --project scripts/token-generator/tsconfig.json scripts/token-generator/build.ts --check",
     "tokens:typecheck": "tsc --noEmit -p scripts/token-generator/tsconfig.json",
     "tokens:validate": "yarn tokens:typecheck && yarn tokens:check",
+    "tokens:audit": "ts-node --transpile-only --project scripts/token-generator/tsconfig.json scripts/token-generator/audit.ts",
     "doctor": "expo-doctor",
     "check": "expo install --check",
     "lint:check": "eslint --cache .",

scripts/token-generator/README.md

@@ -31,10 +31,11 @@ Semantic-токены доступны потребителям библиоте
 
 ## Результат генерации
 
-Из `design-tokens/input/tokens.json` создаются четыре файла:
+Из `design-tokens/input/tokens.json` создаются пять файлов:
 
 ```text
 src/theme/tokens
+├── fonts.json
 ├── semantic
 │   ├── light.json
 │   └── dark.json
@@ -43,6 +44,12 @@ src/theme/tokens
     └── dark.json
 ```
 
+`fonts.json` собирается из `primitive.fonts.fontFamily` и не зависит от цветовой
+схемы, поэтому файл один на обе темы. Публичный `FontsConfig` оперирует ролями
+`primary` и `secondary`, поэтому `commonTheme` отображает `heading` в `primary`,
+а `base` — в `secondary`. Отсутствие `primitive.fonts.fontFamily` во входных
+токенах — ошибка генерации.
+
 Для каждого выходного файла выбирается соответствующая ветка `colorScheme.light`
 или `colorScheme.dark`. Ключ `colorScheme` сохраняется, а уровень `light`/`dark`
 удаляется:
@@ -55,8 +62,9 @@ components.button.colorScheme.light.outlined
 → components/light.json: button.colorScheme.outlined
 ```
 
-`primitive` нужен только для подстановки ссылок и не записывается в результат.
-Light- и dark-файлы должны иметь одинаковую структуру и типы значений.
+`primitive` нужен для подстановки ссылок и в результат не записывается —
+единственное исключение `fonts.fontFamily`, попадающий в `fonts.json`. Light- и
+dark-файлы должны иметь одинаковую структуру и типы значений.
 
 ## Преобразование значений
 

scripts/token-generator/__tests__/audit.test.ts

@@ -0,0 +1,149 @@
+import { mkdtempSync, mkdirSync, writeFileSync, rmSync } from 'node:fs'
+import { tmpdir } from 'node:os'
+import { join } from 'node:path'
+
+import {
+  auditTodos,
+  collectTodos,
+  parseTodo,
+  resolveLegacyPath,
+} from '../audit'
+
+describe('parseTodo', () => {
+  test('разбирает поля комментария', () => {
+    const todo = parseTodo(
+      '// TODO(tokens-migration): reason=value-mismatch; legacy=spacing.Gap.gap-2; value=7; target=components.accordion.extend.extHeader.gap; targetValue=8',
+      'src/components/Accordion/Accordion.tsx',
+      168
+    )
+
+    expect(todo).toStrictEqual({
+      file: 'src/components/Accordion/Accordion.tsx',
+      line: 168,
+      reason: 'value-mismatch',
+      legacy: 'spacing.Gap.gap-2',
+      value: '7',
+      light: '',
+      dark: '',
+      target: 'components.accordion.extend.extHeader.gap',
+      targetValue: '8',
+    })
+  })
+
+  test('разбирает цветовые пары light/dark', () => {
+    expect(
+      parseTodo(
+        '// TODO(tokens-migration): reason=missing; legacy=components.button.extend.disabledColor; light=#85888e; dark=#a2a5a9',
+        'file.tsx',
+        1
+      )
+    ).toMatchObject({ light: '#85888e', dark: '#a2a5a9', value: '' })
+  })
+
+  test('игнорирует строки без маркера и без legacy', () => {
+    expect(parseTodo('const gap = 8', 'file.tsx', 1)).toBeNull()
+    expect(
+      parseTodo('// TODO(tokens-migration): reason=missing', 'file.tsx', 1)
+    ).toBeNull()
+  })
+})
+
+describe('resolveLegacyPath', () => {
+  test('находит сгенерированные component- и semantic-токены', () => {
+    expect(
+      resolveLegacyPath('components.button.extend.disabledColor')
+    ).toBeDefined()
+    expect(
+      resolveLegacyPath('semantic.colorScheme.color.fg.muted')
+    ).toBeDefined()
+  })
+
+  test('находит поддеревья theme, подмешанные отдельно от themeLight.json', () => {
+    expect(resolveLegacyPath('theme.InputSize.base.min-height')).toBe(35)
+  })
+
+  test('возвращает undefined для неймспейсов вне пайплайна', () => {
+    expect(resolveLegacyPath('fonts.primary')).toBeUndefined()
+    expect(resolveLegacyPath('hardcode.transparent')).toBeUndefined()
+  })
+})
+
+describe('auditTodos', () => {
+  test('классифицирует TODO по резолву legacy-пути', () => {
+    const [existing, mismatched, outside] = auditTodos([
+      {
+        file: 'a.tsx',
+        line: 1,
+        reason: 'missing',
+        legacy: 'theme.InputSize.base.min-height',
+        value: '35',
+        light: '',
+        dark: '',
+        target: '',
+        targetValue: '',
+      },
+      {
+        file: 'b.tsx',
+        line: 2,
+        reason: 'value-mismatch',
+        legacy: 'theme.InputSize.base.min-height',
+        value: '35',
+        light: '',
+        dark: '',
+        target: '',
+        targetValue: '99',
+      },
+      {
+        file: 'c.tsx',
+        line: 3,
+        reason: 'missing',
+        legacy: 'hardcode.transparent',
+        value: 'transparent',
+        light: '',
+        dark: '',
+        target: '',
+        targetValue: '',
+      },
+    ])
+
+    expect(existing.status).toBe('токен есть')
+    expect(mismatched.status).toBe('значение расходится')
+    expect(outside.status).toBe('вне пайплайна')
+  })
+})
+
+describe('collectTodos', () => {
+  test('обходит вложенные каталоги и собирает комментарии', () => {
+    const directory = mkdtempSync(join(tmpdir(), 'tokens-audit-'))
+
+    try {
+      mkdirSync(join(directory, 'nested'))
+      writeFileSync(
+        join(directory, 'Component.tsx'),
+        '// TODO(tokens-migration): reason=missing; legacy=spacing.Gap.gap-2; value=7\nconst gap = 7\n'
+      )
+      writeFileSync(
+        join(directory, 'nested', 'useStyles.ts'),
+        'const size = 1\n// TODO(tokens-migration): reason=missing; legacy=border.Width.border; value=1\n'
+      )
+      writeFileSync(join(directory, 'readme.md'), 'TODO(tokens-migration): x')
+
+      const todos = collectTodos(directory)
+
+      expect(todos).toHaveLength(2)
+      expect(todos.map((todo) => todo.legacy).sort()).toStrictEqual([
+        'border.Width.border',
+        'spacing.Gap.gap-2',
+      ])
+      expect(todos.map((todo) => todo.line).sort()).toStrictEqual([1, 2])
+    } finally {
+      rmSync(directory, { recursive: true, force: true })
+    }
+  })
+
+  test('в исходниках компонентов не осталось неразобранных комментариев', () => {
+    expect(collectTodos(`${__dirname}/../../../src/components`)).toStrictEqual(
+      []
+    )
+  })
+})

scripts/token-generator/__tests__/compiler.test.ts

@@ -22,6 +22,7 @@ import {
   parseBoxShorthand,
 } from '../core/normalization'
 import { resolveReferences } from '../core/resolution'
+import { resolvePath } from '../core/tree'
 import {
   isTokenTree,
   type CompiledTokens,
@@ -240,6 +241,7 @@ describe('token compiler', () => {
       primitive: {
         sizing: { small: '0.5rem', base: '1rem' },
         motion: { fast: '150ms' },
+        fonts: { fontFamily: { base: 'Noto Sans', heading: 'TT Fellows' } },
       },
       semantic: {
         dimension: {
@@ -320,6 +322,7 @@ describe('token compiler', () => {
       primitive: {
         sizing: { focusRing: '0.25rem' },
         colors: { focus: '#d4fedc' },
+        fonts: { fontFamily: { base: 'Noto Sans', heading: 'TT Fellows' } },
       },
       semantic: {
         dimension: {
@@ -402,8 +405,28 @@ describe('production input tokens', () => {
     expect(tokenFiles).toStrictEqual(['tokens.json'])
   })
 
+  test('выводит шрифтовые примитивы с нормализованными значениями', () => {
+    const primitive = source.primitive
+
+    if (!isTokenTree(primitive)) throw new Error('Expected primitive tokens')
+
+    const input = resolvePath(primitive, 'fonts')
+
+    if (!isTokenTree(input)) throw new Error('Expected font primitives')
+
+    expect(Object.keys(compiled.fonts)).toStrictEqual(Object.keys(input))
+    expect(compiled.fonts.fontFamily).toStrictEqual(input.fontFamily)
+    // rem пересчитан в px: "1rem" -> 16
+    expect(resolvePath(compiled.fonts, 'fontSize.300')).toBe(16)
+    expect(JSON.stringify(compiled.fonts)).not.toMatch(/rem/)
+  })
+
   test('не экспортирует primitive и убирает разделение тем из colorScheme', () => {
-    expect(Object.keys(compiled)).toStrictEqual(['semantic', 'components'])
+    expect(Object.keys(compiled)).toStrictEqual([
+      'semantic',
+      'components',
+      'fonts',
+    ])
     expect(compiled).not.toHaveProperty('primitive')
 
     const inputComponents = source.components
@@ -443,7 +466,9 @@ describe('production input tokens', () => {
   test('содержит только целевые файлы', () => {
     const tokenFiles = listJsonFiles(TOKENS_DIRECTORY)
     const expectedFiles = Object.values(OUTPUT_FILES)
-      .flatMap((group) => Object.values(group))
+      .flatMap((group) =>
+        typeof group === 'string' ? [group] : Object.values(group)
+      )
       .sort()
 
     expect(tokenFiles).toStrictEqual(expectedFiles)
@@ -546,7 +571,9 @@ describe('production input tokens', () => {
 
       expect(listJsonFiles(temporaryDirectory)).toStrictEqual(
         Object.values(OUTPUT_FILES)
-          .flatMap((group) => Object.values(group))
+          .flatMap((group) =>
+            typeof group === 'string' ? [group] : Object.values(group)
+          )
           .sort()
       )
       expect(