Если вы ранее не погружались в мир нейросетей и хотите лучше понять, что это такое, рекомендуем послушать один из эпизодов подкаста «Дима, чо происходит?». В нем мы разобрали базовые понятия и поговорили о том, могут ли роботы заменить людей в разных сферах жизни.
Что представляют собой неросети сегодня
Дата-сайентист Мария Тихонова рассказала, что активное развитие нейросетей в последнее время, называют «Летом ИИ». Сама она специализируется на работе с текстовыми нейросетями (такими, как GigaChat) и объясняет, что сейчас такие сети получили свое развитие благодаря трансформерной модели для работы с текстом. Если коротко, трансформеры могут обрабатывать последовательности (например, текст на естественном языке) и выполнять такие задачи как машинный перевод и автоматическое реферирование.
«В области работы с текстами сегодня рулят трасформерные модели. Ее ключевой элемент — механизм внимания. Он имитирует, как человек читает и интерпретирует текст. Машина при чтении понимает, на каких словах ей нужно сфокусироваться. Делает она это благодаря контексту», — объяснила дата-сайентист.
Трансформеры позволили добиться больших успехов в сфере обработки текстов. При этом сейчас их начинают использовать в биоинформатике и химии, для генерации музыки и анализа транзакций.
ИИ может поступить в вуз и выпуститься из него
Нейросети становятся мультимодальными (работают и с текстом и с изображениями, например) и многофункциональными. Они учатся успешно сдавать различные экзамены. Например, ChatGPT успешно сдала экзамен в Wharton MBA и смогла дать правильные ответы с детальными объяснениями по базовым вопросам управления операциями и анализа процессов. При этом нейросеть ошиблась в простых математических вычислениях уровня шестого класса.
«У трансформерных моделей пока не очень хорошо с математикой. Это связано с отсутствием рекуррентности (вычисляемость на основе значений предыдущих членов последовательности, — прим. ред.).
А YandexGPT 2 решила несколько вариантов ЕГЭ по литературе почти на уровне среднего балла российских школьников и преодолела минимальный порог, который необходим для поступления в вуз. Это первый случай в России, когда генеративная нейросеть сдала единый госэкзамен, выполнив все его задания, включая творческое.
Тем, что студенты используют нейросети, чтобы написать курсовую или дипломную работу, давно никого не удивить.
Нейросети и творчество
В России вышла первая в мире книге, написанная в соавторстве с нейросетью. Это сделали совместно SberDevices, писатель Павел Пепперштейн и издательство Individuum. В книгу «Пытаясь проснуться» вошли 24 рассказа: половина под авторством Павла Пепперштейна, а вторая половина — от НейроПепперштейна. Это лингвистическая модель ruGPT-3, обученная на корпусе текстов Пепперштейна и способная имитировать его стиль с высокой степенью правдоподобия.
Первые пробы походили больше на макраме из творчества знакомого писателя. По словам тимлида AGI NLP Татьяны Шавриной, модель время от времени сбивалась на стихи (плохие), не создавала финалов для рассказа (могла генерировать текст бесконечно, постепенно уходя в абсурд), а пытаясь скомпоновать длинную фразу «в духе Пепперштейна», могла к концу предложения запутаться в родовых и падежных окончаниях.
Пришлось увеличить количество данных для дообучения и убрать из них все лишнее, чтобы нейросеть строже усвоила литературную форму рассказа. Модель теперь пишет гладко и стабильно, без типовых ошибок, строже придерживается авторского стиля и выбирает более деятельные сюжеты и более отрешенные диалоги. Шаврина отмечает, что иногда «нейроавтор» даже выражается необычно и неоднозначно — прямо как писатели-люди. «Но ведь писатели — творцы новых слов и выражений. Возможно, однажды мы будем подхватывать популярные фразочки, даже не зная, что они от ruGPT-3 или какого-нибудь следующего поколения русскоязычных генеративных нейросетей», — говорит она.
Нейросети могут писать не только прозу, но и стихи:
Можно использовать несколько нейросетей: одна будет писать тексты, а вторая — создавать к ним иллюстрации.
Нейросети на заводе
Сейчас нейросети применяют буквально во всех отраслях и профессиях.
Эксперт отдела ИИ в «Цифруме» (Росатом) Дмитрий Распопов рассказал, что в госкорпорации ИИ применяют по направлениям:
- компьютерного зрения: с его помощью можно следить за безопасностью людей на стройплощадке, вести мониторинг строительства, пересчет предметов, фиксацию дефектов и т. д.;
- анализа и обработки естественного языка;
- распознавания и синтеза речи;
- предиктивной аналитики: ИИ помогает спрогнозировать, как будет меняться техническое состояние объекта, и превентивно обнаруживать аномалии в его работе.
Ограничения и проблемы
Кажется, что нейросети могут буквально все, но это не так. У того же ChatGPT, по замечанию Марии Тихоновой, есть много фундаментальных ограничений:
- ограниченная фактологическая точность (нейросеть может «привирать»);
- фиксированное число шагов рассуждений;
- во многих задачах специализированные модели все еще лучше;
- требует много ресурсов.
Кроме того, у всех моделей есть другие проблемы. Человечеству предстоит разобраться с устареванием данных, на которых обучается ИИ, побороть ограничение на режим чата, разобраться с интерпретируемостью результатов выдачи и т. д.
