Решение, которое позволит бизнесу сократить расходы

Команда Яндекса разработала методы сжатия языковых моделей, которые помогут запускать нейросети на смартфонах и других гаджетах

Теперь можно будет уменьшить размер нейросети в 8 раз, при этом сохранив качество ответов до 95%.

Решение компании включает два инструмента. Первый позволяет получить уменьшенную до восьми раз нейросеть, которая быстрее работает и может быть запущена, например, на одном графическом процессоре вместо четырёх. Второй инструмент исправляет ошибки, которые возникают в процессе сжатия большой языковой модели.

Это позволит использовать для запуска маломощные устройства, а также сокращать расходы на оборудование, необходимое для работы нейросетей.