МОСКВА, 12 дек — РИА Новости. Универсальную нейросеть, которая по ряду способностей сопоставима с ChatGPT и Гигачатом при существенно меньших размерах, разработали ученые НГУ.
По замыслу авторов, нейросеть сможет отвечать на вопросы пользователей по базе текстовых документов, решать задачи автореферирования и повышения понятности текста, улучшать распознавание речи и многое другое, рассказали в пресс-службе университета.Исследователи Новосибирского государственного университета (НГУ) создали языковую нейросеть "Менон", названную в честь одного из сократических диалогов Платона, в котором древнегреческий философ постулирует свою концепцию "знания через припоминание".
"Основная цель "Менона" — быть частью диалоговой системы, в которой знания нейросети о грамматике и семантике русского языка сочетаются со знаниями об окружающем мире, представленными во внешнем корпусе текстов. Львиная доля межнейронных связей в языковых нейросетях приходится именно на представление знаний о мире, поэтому подобное сочетание позволит разработчикам диалоговых систем обходиться нейросетью меньших размеров и тем самым значительно удешевить работу этих систем", — рассказал научный сотрудник лаборатории прикладных цифровых технологий механико-математического факультета НГУ, сооснователь стартапа "Сибирские нейросети" Иван Бондаренко.
Авторы "Менона" взяли за основу китайскую нейросеть архитектуры "Квен" и обучили ее на специально составленном ими множестве из более чем 700 тысяч русскоязычных заданий и примеров правильного их выполнения. Это позволило разработчикам "погрузить" нейросеть в русский культурный контекст (например, оригинальный "Квен" часто допускал иероглифы в своих ответах, даже если вопросы были заданы на чистом русском языке).
Кроме того, это помогло развить именно те способности нейросети, которые наиболее полезны при ее интеграции со внешней базой знаний, отметил ученый."Процесс обучения "Менона" был организован по принципу "от простого к сложному", что отчасти напоминает процесс обучения ребенка и позволяет нейросети, как и настоящему живому ребенку, "сохранить внутренний интерес" к приобретению новых знаний", — сообщил Иван Бондаренко.
Результаты тестовых испытаний нейросети "Менон" официально опубликованы на открытом бенчмарке (другими словами, задачнике) MERA, созданном для оценки качества современных "русскоязычных" нейросетевых моделей общего искусственного интеллекта."Задачник состоит из более чем 20 задач, которые нацелены на проверку различных способностей русскоязычных нейросетей, таких как здравый смысл, логические рассуждения, извлечение полезной для ответа на вопрос информации из текста и так далее.
В решении этих задач соревнуются "монстры" искусственного интеллекта, такие, как GPT-4o, Гигачат, гигантские открытые нейросети на десятки миллиардов параметров. И наша нейросеть размером всего лишь в полтора миллиарда параметров, в десятки раз меньше других, смотрится там весьма неплохо", — подчеркнул ученый.
Он отметил, что в среднем по общим способностям, таким как "умение извлекать полезную информацию из текста и использовать ее при ответах на вопросы", "умение рассуждать", "здравомыслие", "математические способности" и даже "понимание добра и зла", нейросеть "Менон" занимает 38-е место из 62 представленных в MERA моделей, и первое место в своем размерном классе — до полутора миллиардов параметров."По умению справляться с задачей MultiQ, связанной с выбором текста, наиболее релевантного вопросу, и ответом на вопрос по этому тексту, наша нейросеть существенно лучше средней.
Она занимает 25-е место, и превосходит даже Гигачат при на порядок меньшем числе межнейронных связей. Это дает возможность нейросети не просто понимать, о чем ее спрашивают, но и обнаруживать информацию, необходимую для ответа на вопрос, в произвольном тексте из внешнего текстового корпуса", — подчеркнул Иван Бондаренко.
Он добавил, что "Менон" также хорошо себя показывает в решении задач по схеме Терри Винограда ("Кубок не поместился в чемодан, потому что он был слишком большой. Он — это чемодан или кубок?"), занимая 17-е место и превосходя уже GPT-4o компании OpenAI.
По его словам, эта задача важна для разрешения местоименной анафоры при ответах на вопросы вида "Ректор НГУ – Михаил Петрович Федорук, известный ученый. А в какой области наук он специализируется?".
Здесь местоимение "он" необходимо заменить на имя собственное, чтобы повысить точность автоматического поиска текстов в текстовом корпусе, содержащих информацию, полезную для ответа на такой вопрос.В будущем разработчики нейросети планируют развивать проект "Менон" в двух направлениях: прикладном и научном.
В рамках прикладного направления они планируют создать нейросетевого "помощника", позволяющего абитуриентам выбрать подходящее для себя направление для поступления в НГУ и правильно, и в срок подать необходимые документы, а студентам — разобраться в тонкостях организации учебы в университете.В рамках научного направления исследователи займутся совершенствованием механизма обучения нейросети "от простого к сложному" и повышением ее устойчивости к ложным корреляциям между входными и целевыми факторами в обучающей выборке.
Разработка нейросети также поддержана программой "Приоритет-2030".