Иногда кажется (или нас так уверяют маркетологи), что всё новое — оно лучше старого.
Я мигрирую один сервис перевода, который использует языковые модели. Старая версия использует gpt-4.1, а новая — gpt-6-luna. Пользователи пожаловались, что новая версия стала переводить медленнее.
Я подумал: как такое может быть, новая модель же лучше старой! Но, помня анекдот «в одной деревне опросили, а в другой померили», сделал небольшой бенчмарк, чтобы померить: действительно ли новая модель работает медленнее.
И действительно: gpt-6-luna работает в среднем в 1,3 раза медленнее, чем gpt-4.1, на задаче перевода текстов разного размера.
За скобками этого бенчмарка остаются качество перевода и стоимость, потому что это тоже может быть важно.
К сожалению, gpt-4.1 официально объявлена устаревшей с 14 октября 2026 года, а окончательно её отключат с серверов 14 января 2027 года.
