Детерминированные расчёты внутри вероятностных AI-систем: архитектура, точность и воспроизводимость

Вероятностная генерация текста и детерминированное вычисление не противоречат друг другу. Языковая модель может интерпретировать запрос и выбирать операцию, а проверяемый код — выполнять арифметику, запрос к базе данных или иной критичный расчёт. Однако детерминированность исполнения нельзя смешивать с побитовой воспроизводимостью, численной точностью и правильностью постановки задачи. В статье разобраны жадное декодирование и sampling, вызов внешних функций, ограничения арифметики с плавающей точкой, уровни воспроизводимости на CPU/GPU, а также практическая роль seed, `system_fingerprint` и `torch.use_deterministic_algorithms(...)`.

2026.09.27

Детерминированные расчёты внутри вероятностных AI-систем

AI-систему часто называют вероятностной, поскольку языковая модель оценивает распределение вероятностей следующего токена. Из этого, однако, не следует, что каждый этап приложения обязательно случаен. Способ выбора токена, исполнение программного кода, порядок операций на CPU или GPU и требования к воспроизводимости — разные аспекты системы.

Поэтому практически полезна составная архитектура: модель отвечает за интерпретацию естественного языка и решение, что посчитать, а обычный программный модуль — за то, как выполнить расчёт. Такой подход позволяет сочетать гибкость языковой модели с контролируемой арифметикой, но сам по себе не гарантирует правильный ответ. Модель может выбрать неверную формулу, перепутать единицы или передать инструменту ошибочные исходные данные.

Четыре разных свойства, которые нельзя называть одним словом

В инженерном обсуждении слово «детерминированность» полезно раскладывать как минимум на четыре понятия.

Свойство	Практический вопрос	Чего оно не гарантирует
Детерминированность исполнения	Получится ли при заданных условиях тот же результат?	Что исходные данные и выбранная формула верны
Побитовая воспроизводимость	Совпадут ли все биты результата между запусками?	Что результат математически точен
Численная точность	Насколько вычисленное значение близко к требуемому математическому результату?	Что повторный запуск даст те же биты
Корректность интерпретации	Правильно ли система поняла задачу, единицы и ограничения?	Что вычислительный движок воспроизводим

Таким образом, воспроизводимый ответ может быть стабильно неверным, а численно приемлемый ответ может не совпадать побитово с результатом другого запуска. Требуемую гарантию нужно определять для конкретной задачи, операции, устройства и программного окружения.

Вероятность токена и случайность выбора — не одно и то же

Языковая модель на каждом шаге оценивает вероятности возможных следующих токенов. Дальнейшее поведение зависит от стратегии декодирования.

При жадном декодировании выбирается токен с наибольшей вероятностью. Сам этот выбор не требует случайной выборки. При неизменных входных данных, параметрах и вычислительной среде стратегия задаёт однозначное правило выбора, если реализация также фиксирует правило разрешения равенства между максимальными оценками, хотя это ещё не доказывает детерминированность всей системы.

При sampling следующий токен случайно выбирается из распределения. Именно процедура выборки добавляет случайность в генерацию. Параметры, преобразующие распределение перед выборкой, могут менять разнообразие ответов, но принципиальное различие остаётся тем же: greedy выбирает максимум, sampling выполняет случайный выбор. Такое разделение стратегий описано в документации Hugging Face. [web:32]

Оговорка существенна: «вероятностная модель» не означает, что каждый этап исполнения обязательно случаен. И наоборот, жадное декодирование не даёт универсальной гарантии одинакового ответа во всех средах. На результат могут влиять версия модели, реализация операторов, аппаратное обеспечение, параллельное выполнение и изменения обслуживающей инфраструктуры.

Архитектура: модель выбирает операцию, приложение считает

Практический способ внедрить детерминированные расчёты в AI-систему — вынести их во внешний инструмент: калькулятор, программную функцию, SQL-запрос, символьный движок или специализированную библиотеку.

Документированный поток function calling выглядит так:

Приложение отправляет модели запрос и описание доступных инструментов.
Модель возвращает имя функции и подготовленные аргументы.
Приложение проверяет запрос на вызов.
Код приложения исполняет соответствующую функцию.
Результат или структурированная ошибка возвращаются модели.
Модель формирует ответ для пользователя. [web:26]

Ключевая граница проходит между пунктами 2 и 4. Запрос модели на вызов инструмента не исполняет вычисление сам по себе. За проверку аргументов, права доступа, запуск кода, ограничения ресурсов и обработку ошибок отвечает приложение.

Упрощённый поток можно представить так:

Пользователь
    ↓
Языковая модель: интерпретирует запрос
    ↓
Структурированный вызов: имя функции + аргументы
    ↓
Слой приложения: проверяет и нормализует данные
    ↓
Вычислительный инструмент: выполняет операцию
    ↓
Проверка результата и обработка ошибки
    ↓
Языковая модель: объясняет результат

Это не превращает всю AI-систему в детерминированную. Вероятностными могут оставаться интерпретация запроса, выбор инструмента и итоговая формулировка. Детерминированным при заданных условиях может быть только выделенный вычислительный этап.

Что проверять до запуска инструмента

Следующий список — инженерная рекомендация, а не гарантия конкретного API. Перед исполнением вызова слой приложения должен определить:

разрешено ли модели вызывать выбранную функцию;
соответствует ли структура аргументов ожидаемой схеме;
имеют ли значения допустимые типы и диапазоны;
согласованы ли единицы измерения;
присутствуют ли обязательные параметры;
можно ли безопасно использовать переданные идентификаторы, пути и выражения;
имеет ли пользователь право на запрошенную операцию и данные;
как обрабатываются тайм-аут, переполнение, деление на ноль и недоступность зависимости;
нужно ли запросить подтверждение перед операцией с внешними последствиями.

После выполнения также полезно проверять тип, диапазон и статус результата. Детерминированная функция гарантированно повторит и ошибку, если модель стабильно передаёт ей неверные данные.

Детерминированно не значит математически точно

Даже фиксированная формула может вести себя по-разному в зависимости от типа арифметики и порядка операций. Особенно важно это для параллельных вычислений с плавающей точкой.

В обычной математике сложение ассоциативно. В арифметике с плавающей точкой из-за округления равенство

(a + b) + c = a + (b + c)

в общем случае не гарантируется. Иными словами,

(a + b) + c не обязательно равно a + (b + c).

В параллельных вычислениях с плавающей точкой изменение порядка группировки слагаемых может изменить результат: конечная арифметика не является строго ассоциативной. Но такой порядок не обязан меняться между запусками; это зависит от API, алгоритма и условий исполнения. [web:51]

Это требует разных формулировок гарантии:

для целочисленной арифметики нужно учитывать диапазон типа и правила переполнения;
для десятичной арифметики важны масштаб, округление и реализация;
для арифметики с плавающей точкой следует явно задавать допустимое отклонение и порядок сравнения;
для символьных вычислений нужно определить допустимые преобразования выражения и критерий эквивалентности.

Выбор движка зависит от задачи. Денежные значения нередко требуют контролируемой десятичной или целочисленной арифметики, а проверка тождеств может потребовать символьного движка. Обычная арифметика с плавающей точкой подходит для многих научных и ML-вычислений, но её погрешность и требования к воспроизводимости следует задавать отдельно.

Уровни воспроизводимости на CPU и GPU

Утверждение «операция детерминирована» неполно без описания условий. NVIDIA CCCL различает несколько уровней гарантии:

отсутствие гарантии воспроизводимости;
повторяемость между запусками на том же GPU при одинаковых входных данных и настройках;
повторяемость между GPU. [web:51]

Это видно на примере cub::DeviceReduce: текущая онлайн-документация NVIDIA указывает run_to_run как режим по умолчанию. На одном и том же GPU одинаковые входные данные, сборка и настройки запуска дают одно и то же дерево редукции. Эта гарантия не обещает побитового совпадения для псевдоассоциативного сложения с плавающей точкой между GPU. gpu_to_gpu — отдельный режим для оговорённых сочетаний типов и операторов: например, для float/double с cuda::std::plus документация описывает воспроизводимый аккумулятор. Неподдерживаемые сочетания типов и операторов при запросе этого режима отклоняются при компиляции. Ссылка в статье ведёт на /unstable/, поэтому она описывает текущую страницу разработки, а не закреплённый выпуск. Для конкретной системы нужно сверять версию CCCL/CUDA Toolkit, фактические тип и оператор, настройки запуска и запрошенный уровень воспроизводимости. [web:51]

Для прикладной системы полезно заранее выбрать требуемый уровень:

Функциональная стабильность: ответ проходит заданные проверки, даже если младшие разряды различаются.
Численная воспроизводимость: результаты совпадают в пределах установленного допуска.
Побитовая воспроизводимость: представление результата совпадает полностью при оговорённых условиях.
Межплатформенная воспроизводимость: заявленная гарантия распространяется на определённый набор устройств и версий.

Побитовая идентичность может быть важна для регрессионного тестирования, аудита или сравнения реализаций. Для многих аналитических и ML-задач достаточно численного допуска. Это решение нельзя принимать абстрактно: оно зависит от цены ошибки и назначения результата.

Seed контролирует случайность, но не всю систему

Фиксированный seed помогает воспроизводить последовательность значений генератора псевдослучайных чисел. Он не фиксирует автоматически порядок параллельных операций, версию библиотеки, аппаратную платформу или реализацию каждого вычислительного ядра.

Документация PyTorch рекомендует управлять источниками случайности и позволяет включить torch.use_deterministic_algorithms(...). В таком режиме библиотека выбирает детерминированную реализацию там, где она доступна, либо сообщает об операции без такой реализации в соответствии с настройкой вызова. При этом PyTorch прямо ограничивает ожидаемую воспроизводимость конкретными версиями, платформами и устройствами: идентичные результаты не гарантируются между выпусками, разными платформами или CPU и GPU. Детерминированные операции также часто медленнее. [web:2]

Следовательно, локальная конфигурация воспроизводимого эксперимента обычно включает не только seed, но и:

версию PyTorch и зависимостей;
модель и её точную ревизию;
настройки декодирования;
тип и версию устройства;
драйверы и вычислительные библиотеки;
входные данные и порядок их обработки;
параметры детерминированных алгоритмов;
критерий сравнения результатов.

Этот список повышает контролируемость эксперимента, но не создаёт безусловной гарантии между любыми окружениями.

`seed` и `system_fingerprint` в API языковой модели

Для указанных API OpenAI документация описывает генерацию как недетерминированную по умолчанию. Одинаковые seed, параметры запроса и system_fingerprint должны давать результаты, которые будут «в основном идентичными», однако seed не гарантирует детерминизм. system_fingerprint помогает отслеживать изменения конфигурации модели и обслуживающей инфраструктуры. [web:1]

Здесь важны две оговорки.

Во-первых, это описание конкретных API, а не универсальное свойство всех языковых моделей и сервисов. Во-вторых, «в основном идентичные» результаты не равнозначны строгой побитовой воспроизводимости. Если приложению нужна точная повторяемость критичного числа, надёжнее получить это число из контролируемого вычислительного модуля, а не извлекать его из свободно сгенерированного текста.

Как проектировать проверяемый расчёт

Практический шаблон можно разделить на несколько контрактов.

1. Контракт интерпретации

Нужно определить, какие намерения распознаёт модель, какие инструменты она может выбирать и какие данные обязана запросить у пользователя. Если единицы или исходные параметры неоднозначны, система не должна молча угадывать их.

2. Контракт аргументов

Аргументы функции должны иметь формальную схему: типы, обязательные поля, диапазоны, единицы и ограничения. Слой приложения проверяет эту схему независимо от уверенности модели.

3. Контракт вычисления

Для функции следует указать:

используемый числовой тип;
правила округления;
поведение при переполнении и недопустимых значениях;
требуемый уровень воспроизводимости;
допустимое отклонение;
поддерживаемые устройства и версии.

4. Контракт результата

Инструмент должен возвращать не только значение, но при необходимости единицу измерения, статус, сведения об ошибке и данные для трассировки. Модель представляет этот структурированный результат, но не должна незаметно заменять его новым самостоятельным расчётом.

5. Контракт тестирования

Полезны тесты как минимум трёх классов:

проверка корректности формулы на известных случаях;
повторные запуски в одном окружении;
сравнение поддерживаемых устройств и версий с выбранным допуском.

Если требуется побитовая идентичность, тест должен сравнивать именно представление результата. Если достаточно численной близости, допуск следует зафиксировать явно, а не заменять расплывчатым требованием «примерно одинаково».

Типичные ошибочные выводы

«Температура равна минимуму, значит вся система детерминирована»

Нет. Стратегия декодирования регулирует выбор токенов, но не фиксирует версии модели, инфраструктуру, порядок параллельных вычислений и внешние инструменты.

«Установлен seed, значит результат гарантирован»

Нет. Seed контролирует генератор псевдослучайных чисел, но не устраняет все аппаратные, алгоритмические и инфраструктурные источники различий. Документация PyTorch и OpenAI формулирует гарантии с оговорками. [web:2][web:1]

«Функция детерминирована, значит ответ модели правильный»

Нет. Код может точно выполнить неверно выбранную операцию с неверными аргументами. Корректность интерпретации и корректность вычисления проверяются отдельно. [web:26]

«Одинаковое число означает точный расчёт»

Нет. Повторяемость результата не доказывает его математическую точность. Стабильное округление, систематическая ошибка или неверная формула тоже могут воспроизводиться.

«Небольшая разница между GPU всегда означает ошибку»

Нет. Для операций с плавающей точкой различие может быть следствием порядка параллельного суммирования. Приемлемость такого различия определяется заранее заданным допуском и требованиями задачи. [web:51]

Инженерный чек-лист

Перед выпуском AI-функции, выполняющей расчёты, стоит ответить на следующие вопросы:

Где принимается вероятностное решение, а где начинается обычное исполнение кода?
Используется жадный выбор токена или sampling из распределения? [web:32]
Кто проверяет имя инструмента и его аргументы?
Какие права доступа нужны для выполнения операции?
Как обрабатываются ошибки, тайм-ауты и недопустимые значения?
Нужна побитовая идентичность или достаточно численного допуска?
Какой числовой тип подходит задаче: целочисленный, десятичный, символьный или с плавающей точкой?
Для каких устройств, библиотек и версий заявляется воспроизводимость?
Зафиксированы ли seed, параметры декодирования и программное окружение?
Проверяется ли результат инструмента до передачи пользователю?
Может ли модель изменить или неверно пересказать вычисленное значение?
Есть ли тесты на правильность формулы и воспроизводимость в поддерживаемых средах?

Вывод

Вероятностное управление и детерминированный расчёт могут сосуществовать в одной AI-системе. Языковая модель интерпретирует запрос, выбирает действие и готовит структурированный вызов; приложение проверяет аргументы и запускает вычислительный модуль; модель затем объясняет полученный результат. [web:26]

Но детерминированность всегда нужно формулировать с условиями. Повторяемость на одном GPU не обещает побитового совпадения на другом устройстве. Фиксированный seed не устраняет все источники расхождений. Одинаковый результат не доказывает математическую точность, а детерминированный инструмент не исправляет неверную постановку задачи. [web:51][web:2][web:1]

Главное инженерное правило: поручать модели интерпретацию и выбор операции, а критичное вычисление — проверяемой реализации с явно заданными типами, допусками, окружением и уровнем воспроизводимости.

Источники описывают преимущественно конкретные библиотеки и API, а не единый стандарт детерминизма для всех AI-систем. Их гарантии нельзя автоматически переносить на другие сервисы и окружения. При работе с числами с плавающей точкой допустимое отклонение и требуемый уровень воспроизводимости необходимо задавать отдельно.

Источники

[web:1] OpenAI, «How to make your completions outputs consistent with the new seed parameter». https://cookbook.openai.com/examples/reproducible_outputs_with_the_seed_parameter
[web:2] PyTorch, «Reproducibility». https://docs.pytorch.org/docs/stable/notes/randomness.html
[web:26] OpenAI, «Function calling». https://developers.openai.com/api/docs/guides/function-calling
[web:32] Hugging Face, «Generation strategies». https://huggingface.co/docs/transformers/generation_strategies
[web:51] NVIDIA, «CUB cub::DeviceReduce API reference (unstable documentation)». https://nvidia.github.io/cccl/unstable/cub/api/structcub_1_1DeviceReduce.html

Sources

Claims and checks

В документации OpenAI для указанных API генерация по умолчанию недетерминирована. Одинаковые `seed`, параметры запроса и `system_fingerprint` дают результаты, которые должны быть «в основном идентичными», но seed не гарантирует детерминизм; отпечаток помогает отслеживать изменения конфигурации модели и инфраструктуры. [web:1] UNVERIFIED
Редакционный вывод из источников: архитектура может сочетать вероятностное решение «что посчитать» с детерминированным вычислением «как посчитать», но надёжность результата требует также проверять параметры и результат инструмента. [web:26][web:51] UNVERIFIED
Модель может оценивать вероятности следующих токенов, но при жадном декодировании на каждом шаге выбирается наиболее вероятный токен; при sampling токен случайно выбирается из распределения. Поэтому sampling добавляет случайность генерации, а жадный выбор сам по себе её не требует. [web:32] UNVERIFIED
Даже фиксированная формула с плавающей точкой может давать разные результаты, если меняется порядок параллельного суммирования: (a + b) + c не обязательно равно a + (b + c). CCCL связывает это с расписанием параллельной работы и отдельно отмечает, что для некоторых точно ассоциативных операций, например целочисленного сложения, повторяемость обеспечивается проще. [web:51] UNVERIFIED
В PyTorch можно задать seed для генераторов случайных чисел и включить `torch.use_deterministic_algorithms(...)`, чтобы выбирать детерминированные реализации там, где они доступны, либо получить ошибку для операции без такой реализации. Документация ограничивает ожидаемую воспроизводимость конкретной платформой, устройством и выпуском; результаты не гарантируются идентичными между выпусками, платформами или CPU и GPU, а детерминированные операции часто медленнее. [web:2] UNVERIFIED
Детерминированность нужно задавать с указанием условий. Библиотека NVIDIA CCCL различает отсутствие гарантии, повторяемость между запусками на том же GPU при одинаковых входных данных и настройках, а также повторяемость между GPU; наиболее сильная гарантия доступна не для всех операций и обычно медленнее. [web:51] UNVERIFIED
Практический способ совместить вероятностное управление и детерминированный расчёт — поручить модели интерпретацию запроса и подготовку вызова, а вычисление выполнять кодом приложения. В документированном потоке вызова функции модель возвращает имя и аргументы инструмента, приложение исполняет код и передаёт результат модели для формирования ответа. [web:26] UNVERIFIED

Study cards

Почему вызов внешнего детерминированного инструмента языковой моделью не делает всю AI-систему детерминированной и безошибочной?

В составной архитектуре вероятностная языковая модель отвечает лишь за интерпретацию запроса и подготовку аргументов, тогда как детерминированное вычисление выполняет проверяемый программный модуль. Детерминированность исполнения этого модуля гарантирует лишь повторяемость кода при заданных условиях, но не обеспечивает корректность выбранной моделью формулы, точность аргументов или побитовую воспроизводимость в разных средах.