— Развитие ИИ происходит неравномерно — некоторые нейросети деградируют, пока другие вырываются вперёд. Получается, что работоспособность ИИ необходимо постоянно поддерживать? Насколько это сложно?
— Это очень серьёзная, тяжёлая работа и дорогостоящее удовольствие. На рынке жёсткая конкуренция. Все компании — Open AI, Antropic, Google, Alibaba — прикладывают массу усилий для того, чтобы удержаться в топе. Они предлагают примерно один и тот же сервис, и у них нет постоянной аудитории: пользователи перемещаются между продуктами.
— Можно ли считать, что конкуренция стимулирует развитие всей отрасли?
— Безусловно: она значительно ускорила прогресс. К тому же такая динамичная среда ещё и привлекает внимание, что тоже идёт на пользу. Всё больше людей узнают о возможностях нейросетей.
— Верно ли, что сегодня разработчики уже не могут обучать ИИ на данных из интернета, потому что он заполнился сгенерированным контентом?
— Примерно два года назад появился термин «стена данных»: основные игроки поняли, что данные в интернете закончились и обучать ИИ уже не на чем.
К этому моменту, обучаясь на текстах и на других данных, сделанных человеком, ИИ достиг определённого качества. Дальше в интернете стало появляться всё больше нейрослопа, или ИИ-слопа, — некачественного сгенерированного контента. ИИ продолжает учиться на нём, и это приводит к деградации моделей.
ИИ опирается на статистику. Он стремится свести данные к нормальному распределению. Больше всего данных в центре, по краям — мало. Эти крайние области отвечают за творческое разнообразие. Усредняя данные, мы снижаем его. Когда модель обучается на нейрослопе, разнообразие ответов падает. Особенно это заметно на узкоспециальных областях, где в принципе сравнительно немного данных.
- Кривая Гаусса — нормальное распределение
- Gettyimages.ru
- © benjaminec