Сегодня нейросети сильно упростили работу с текстами. ИИ быстро исправляет опечатки, подбирает синонимы и помогает сделать формулировки понятнее. Но скорость не всегда означает качество. Как показывают исследования, даже в рамках современных языковых моделей могут возникать грамматические ошибки.
Дело в том, что большие языковые модели обучаются на массивах текстов, находят в них языковые закономерности и на их основе предсказывают, какое слово или знак препинания должны идти следующими. Для этого текст разбивается на токены — слова, части слов и знаки препинания. Такой механизм позволяет ИИ создавать связные, но не всегда грамотные тексты.
Насколько хорошо нейросети справляются с правилами русского языка, проверили исследователи Института искусственного интеллекта МГУ и «Яндекса». Учёные представили датасет, предназначенный для проверки систем автоматического исправления текста, который содержит около 1 тыс. предложений с ошибками и охватывает 48 языковых правил. Каждое предложение в наборе связано с определённым правилом.
По результатам работы на тестовой выборке из 612 предложений две исследуемые модели набрали 50 и 75% по выбранной авторами метрике. Затем исследователи попробовали улучшить результаты с помощью дополнительного подбора примеров. Для этого вспомогательная модель нашла в наборе предложения с ошибками того же типа, что и в проверяемом тексте, и передала их основным моделям. В итоге такой подход позволил повысить показатели до 57 и 81% соответственно.
- РИА Новости
- © Антон Денисов