Іноді здається (або нас так запевняють маркетологи), що все нове — воно краще за старе.
Я мігрую один сервіс перекладу, який використовує мовні моделі. Стара версія використовує gpt-4.1, а нова gpt-6-luna. Користувачі поскаржились, що нова версія стала перекладати повільніше.
Я подумав: як таке може бути: нова модель вона ж краще за стару! Але памʼятаючи анекдот «в одному селі опитали, а в іншому поміряли» зробив невеличкий бенчмарк, щоб поміряти: чи дійсно нова модель працює повільніше.
І дійсно: gpt-6-luna працює в середньому у 1,3 разів повільніше ніж gpt-4.1 на завданні перекладу текстів різного розміру.
За скобками цього бенчмарку залишається якість перекладу та вартість, бо це також може бути важливо.
На жаль, gpt-4.1 офіційно оголошена застарілою з 14 жовтня 2026 та остаточно її вимкнуть з серверів 14 січня 2027.
