Arabian Бизнес: GigaChat от Сбера вошла в пятерку наилучших AI-моделей мира
Русская нейросеть GigaChat, разработанная Сбером, вошла в пятерку наилучших AI-моделей в мире по версии веского делового журнальчика Arabian Бизнес. Так это единственное русское решение, которое вошло в интернациональный бенчмарк.
Для формирования рейтинга специалисты инспектировали эффективность модели как на ее «родном» языке, так и продуктивность ее работы при ответах на вопросы на другом языке. В оценке моделей был применен прием параллельного тестирования AI-моделей, который был разработан ChipAI для обеспечения справедливого и всестороннего их сопоставления.
Аналитики провели серию слепых тестов, в процессе которых итоги AI оценивались профессионалами, которые не знали о заглавии модели, стоящей за каждым ответом. Прием включал в себя огромное количество задач, таких как языковой перевод, творческое сообщение, генерация кода и разбор данных для оценки универсальности и глубины осознания каждой модели. Аспекты оценки были приспособлены к заявленным способностям рассматриваемой модели и включали такие характеристики, как точность, последовательность, релевантность и способность обрабатывать аспекты подсказок.
«GigaChat учился в основном на российском языке, потому получил предельный балл не только лишь в данном рейтинге, да и вообщем был признан наилучшим в ответах на российском языке. GigaChat также получил очень высочайший балл за ответы на британском языке», — отметили специалисты рейтинга.
Кроме GigaChat в рейтинг были включены нейросети от OpenAI, Гугл, Anthropic и других самых крупных глобальных разработчиков.