Недавно я отдал LLM описание фичи и получил 30 замечаний. Полезным оказалось одно. Но если бы мы его пропустили, переделка после реализации, по моей оценке, стоила бы 3–4 дня разработки. На ревью всех замечаний у меня ушло около получаса.
Ради таких вопросов я и подключил к аналитике бездушного железного душнилу. Пусть машина ищет противоречия, вопросы без ответа и делает допущения явными. Люди воспринимают вопросы от неё спокойнее, чем от человеческого коллеги-душнилы.
Почему именно аналитика? Неясное поведение затрудняет декомпозицию, оценку и тестирование. А уточнение фичи после реализации может стоить очень-очень дорого. О том, почему полезно душнить над деталями, я уже писал ранее.
Конечно, раннее уточнение тоже требует времени. Какие-то неизвестные вещи всё равно вылезут только при реализации. Если слишком сильно увлечься аналитикой, можно потерять больше времени, чем сэкономить.
Для начала достаточно вгрузить аналитику в контекст и поставить модели конкретную задачу:
Найди противоречия, допущения, неявные границы и вопросы без ответа. Не заполняй пробелы своими догадками.
Можно добавить вопросы, которые направят проверку:
- Что должно произойти, если операция выполнена лишь частично?
- Одинаково ли описано поведение для разных участников и компонентов?
- Какой результат позволит однозначно проверить, что эта фича работает?
Критиковать модельки умеют прекрасно, поэтому замечаний будет много. Каждое всё равно должен оценить инженер: влияет ли оно на поведение продукта, тестирование или риск переделки? Количество замечаний само по себе не показывает пользу процесса.
Попробуйте провести эксперимент на одной фиче: дайте модели имеющееся описание и попросите найти неясности, не заполняя пробелы своими догадками. Потом зафиксируйте, сколько времени ушло на разбор и нашла ли модель что-то, что после реализации было бы ощутимо дороже переделать.
Если уже пробовали давать LLM требования на растерзание, расскажите не про промпт, а про результат: что она нашла и сколько это вам сэкономило?