На початку місяця, коли фінансисти прислали рахунок, я довго дивився на цю купу цифр. Минулого місяця загальні витрати на API великих моделей стрибнули з понад чотирьох тисяч до дванадцяти тисяч, але статистика викликів у бекенді зросла менш ніж наполовину. Додаткові гроші не бізнес виробив — це ми протекли на інженерних дрібницях. У цій статті розберу цей аналіз відкрито: чотири приховані джерела витрат, одне за одним усе потаємніші.
Прихована витрата перша: флагманська модель виконує чорну роботу
Ми робимо класифікацію тікетів служби підтримки для електронної комерції, щодня десятки тисяч повідомлень користувачів потрібно позначати тегами. Раніше, щоб не морочитися, усі запити йшли через одну й ту саму флагманську модель, з аргументом «точність стабільна». Проблема в тому, що вісімдесят відсотків цих запитів — це двійкова класифікація типу «повернення чи обмін», і взагалі не потребують推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理推理