В обсуждениях AI-продуктов много разговоров о возможностях моделей и мало разговоров о деньгах. Пока компания проверяет гипотезу, это легко пропустить. Проблема начинается, когда эксперимент превращается в продукт и руководители спрашивают: «Где деньги, Лебовски?»
Токены становятся переменной себестоимостью
Даже готовая модель не работает бесплатно. Каждый пользовательский сценарий расходует токены, а вместе с ними деньги продукта.
В обычном запросе расход ещё можно примерно оценить. В агентском или исследовательском сценарии всё сложнее: заранее неизвестно, сколько обращений к модели понадобится, сколько контекста накопится и сколько попыток потребуется для полезного результата.
Я сам работаю над AI-продуктом, поэтому этот вопрос для меня вполне практический. Нужно понимать, сколько стоит выполнение пользовательской задачи и помещается ли эта стоимость в цену продукта.
Среднее скрывает неприятный хвост
Средняя стоимость запроса мало что говорит о продукте с непредсказуемым числом шагов. Большинство задач может обходиться дёшево, а небольшая доля длинных запусков - съедать всю маржу.
Поэтому считать полезно не абстрактный «токен», а законченный пользовательский результат:
- сколько обращений к модели потребовалось;
- сколько стоил весь сценарий вместе с повторными попытками;
- какая доля запусков закончилась полезным результатом;
- сколько дорогих исключений выдерживает бизнес-модель.
Без этого легко построить продукт, который выглядит успешным по числу пользователей и одновременно теряет деньги на каждом активном клиенте.
Оптимизация начинается с ограничений продукта
Экономика AI-продукта не сводится к выбору самой дешёвой модели. Иногда выгоднее сократить контекст, ограничить число шагов, вынести часть работы в обычный код или вовремя остановить исследование. Где-то дорогая модель окупается качеством, а где-то не окупается вообще.
Главное - перестать считать токены безлимитным ресурсом. У AI-продукта есть переменная себестоимость, и её нужно проектировать вместе с пользовательским сценарием. Иначе карточный домик действительно может сложиться, только причиной будет не конец хайпа, а арифметика.