Наука в ИИ
Как российские ученые исследуют искусственный интеллект
В 2023 году российские ученые совершили ряд научных открытий в области искусственного интеллекта. Например, создали алгоритм, который делает обучение ИИ в разы быстрее. Открытия были признаны международным научным сообществом и приняты на конференции уровня А*.
Авторами выступили молодые ученые из лаборатории Tinkoff Research. Это одна из немногих команд в России, которая занимается научными исследованиями ИИ на базе бизнеса.
Авторами выступили молодые ученые из лаборатории Tinkoff Research. Это одна из немногих команд в России, которая занимается научными исследованиями ИИ на базе бизнеса.
* Одна из методик расчета показателей федерального проекта «Искусственный интеллект» национальной программы «Цифровая экономика Российской Федерации».
Наука в ИИ
Как российские ученые исследуют искусственный интеллект
В 2023 году российские ученые совершили ряд научных открытий в области искусственного интеллекта. Например, создали алгоритм, который делает обучение ИИ в разы быстрее. Открытия были признаны международным научным сообществом и приняты на конференции уровня А*.
Авторами выступили молодые ученые из лаборатории Tinkoff Research. Это одна из немногих команд в России, которая занимается научными исследованиями ИИ на базе бизнеса.
Авторами выступили молодые ученые из лаборатории Tinkoff Research. Это одна из немногих команд в России, которая занимается научными исследованиями ИИ на базе бизнеса.
* Одна из методик расчета показателей федерального проекта «Искусственный интеллект» национальной программы «Цифровая экономика Российской Федерации».
Ученые про исследования искусственного интеллекта
Как маленькие исследовательские группы существуют и процветают в мире гигантов, как ученым уживаться с интересами бизнеса и какие области исследований могут подарить миру следующую технологию уровня ChatGPT, рассказывает команда Tinkoff Research.
Будущее ИИ: Сергей Колесников об индустриальной науке
В сентябре 2023 года Adobe представила генеративный сервис GenStudio, который запускает маркетинговые кампании. В феврале 2024-го вышла Sora — нейросеть от компании OpenAI, которая способна генерировать реалистичные видеоролики по текстовому запросу пользователя. Не прошло и месяца, как DeepMind показала ИИ-агента SIMA, который умеет играть в большие 3D-игры как человек.
«Медицинские услуги мы точно будем получать по-другому, потому что у нас будут персонализированные чат-боты. А рекомендательные системы научатся генерировать высококачественный контент под конкретного пользователя — вам выдадут персонализированную рекламу, а потом предложат нажать кнопку „купить“».
В будущем сложно будет найти такую сферу жизни человека, которую бы не изменил ИИ.
Как искусственный интеллект будет развиваться в обозримом будущем
ИИ всегда под рукой
Появятся персонализированные чат-боты, которые будут работать на смартфонах без доступа к интернету.
Еще больше контента
Развитие ИИ приведет к расцвету генеративного контента и улучшению его качества при снижении затрат на создание.
Более качественные рекомендации
Будут развиваться рекомендательные системы на основе ИИ — они станут более адаптивными и качественными.
Борьба с фейками
Распространение искусственного интеллекта ведет к увеличению объема дезинформации и фейков. Будет развиваться AI-кибербезопасность, которая поможет бороться с дипфейками.
Правовое ИИ-регулирование
Появятся новые правила по маркировке контента, созданного искусственным интеллектом, и авторскому праву, включая ИИ-этику.
ИИ всегда под рукой
Появятся персонализированные чат-боты, которые будут работать на смартфонах без доступа к интернету.
Еще больше контента
Развитие ИИ приведет к расцвету генеративного контента и улучшению его качества при снижении затрат на создание.
Более качественные рекомендации
Будут развиваться рекомендательные системы на основе ИИ — они станут более адаптивными и качественными.
Борьба с фейками
Распространение искусственного интеллекта ведет к увеличению объема дезинформации и фейков. Будет развиваться AI-кибербезопасность, которая поможет бороться с дипфейками.
Правовое ИИ-регулирование
Появятся новые правила по маркировке контента, созданного искусственным интеллектом, и авторскому праву, включая ИИ-этику.
Сергей Колесников, руководитель научно-исследовательской лаборатории Tinkoff Research
«Когда ты сталкиваешься с алгоритмом и не понимаешь, как его создать, появляется большое желание разобраться»
Путь Сергея в исследованиях ИИ был извилистым. Сначала будущий ученый поступил на факультет аэромеханики и летательной техники МФТИ, но, изучая самолеты, быстро понял, что не хочет долгие годы ждать, пока его изобретение пройдет все тестирования.
«В исследованиях самолетов есть нюанс. Я хотел дожить до результатов исследований, поэтому решил выбрать более динамичную область».
Этот курс так увлек Сергея, что он решил поступить в магистратуру с уклоном в машинное обучение (ML) на факультет инноваций и высоких технологий МФТИ. Так он оказался в IT, но вместо популярного программирования выбрал исследования.
Впервые с искусственным интеллектом Сергей столкнулся в МФТИ, когда участвовал в студенческом проекте по созданию авиасимуляторов.
«О проложении маршрутов самолетов я не знал ничего, поэтому разбирался со всем сам. Мне нужно было решить задачу поиска по графу. И тогда я наткнулся на занятный курс Калифорнийского университета в Беркли „Введение в искусственный интеллект“ (Introduction to AI). Его преподавал Питер Аббель, один из известнейших ученых в области ИИ».
«Компьютерные науки очень приятны скоростью итераций. Вам не надо ждать 20 лет, пока построится самолет. Но при этом здесь есть фундаментальная наука, теоремы тоже надо знать».
«Когда ты сталкиваешься с алгоритмом и не понимаешь, как его создать, обостряется любопытство и появляется большое желание разобраться. Думаю, именно это и завело меня в машинное обучение», — говорит Сергей.
«Когда ты сталкиваешься с алгоритмом и не понимаешь, как его создать, обостряется любопытство и появляется большое желание разобраться. Думаю, именно это и завело меня в машинное обучение», — говорит Сергей.
«Догонять новые разработки в ИИ с каждым годом становится все сложнее»
R&D-отделы (исследования и разработки) развивают многие компании. Например, Google, Microsoft, Amazon и IBM, которые разрабатывают и внедряют передовые ИИ-решения в различных сферах. Может показаться, что бизнесу невыгодно инвестировать в то, что не гарантирует выручку здесь и сейчас. Тогда зачем коммерческим компаниям заниматься наукой?
Сергей считает, что сегодня крупным компаниям важно проводить свои научные исследования, потому что именно ученые могут предсказать будущее.
Сергей считает, что сегодня крупным компаниям важно проводить свои научные исследования, потому что именно ученые могут предсказать будущее.
«Некоторые вопросы еще не важны индустрии, но уже значимы в академии. Можно предсказать тренды и направить разработки в нужное русло. Догонять новые разработки в ИИ с каждым годом становится чуть-чуть сложнее, надо работать на опережение. Поэтому важны исследования», — говорит ученый.
В 2020 году, когда в Тинькофф открывался Центр технологий искусственного интеллекта, Сергей предложил заниматься научно-исследовательской работой внутри компании. Так появилась лаборатория Tinkoff Research, цель которой — научные открытия и новые разработки в области ИИ.
«Продуктовая компания, конечно, хочет использовать наработки ученых. Но в исследовательской команде мы подобным не занимаемся. Для этого в лаборатории есть отдельные R&D-команды, которые работают на стыке исследований и продукта — адаптируют разные исследовательские наработки под технологические фреймворки (инструменты)», — рассказывает Сергей.
Машинное обучение (Machine Learning, ML) — наука о том, как научить ИИ решать задачи на уровне, близком к человеческому. Благодаря ML искусственный интеллект может учиться, улучшать свои способности, делать выводы и принимать решения на основе предоставленных ему данных.
ИИ-словарь
«Ученый хочет, чтобы его работа повлияла на большее количество людей»
«Если ты просто выпустишь публикацию, которую никто не будет читать и использовать, то какой в ней смысл? Любая научная статья забирает много сил и времени, и логично, что ученый хочет, чтобы его работа повлияла на большее количество людей, а иначе зачем это все. Для этого нужны фактурные темы, значимые результаты и легкость воспроизведения», — говорит Сергей.
Воспроизводимость исследований обеспечивают как раз библиотеки с открытым исходным кодом.
Принцип открытого исходного кода (open-source) играет значимую роль в исследованиях в сфере искусственного интеллекта. Ученые все чаще делятся своими наработками с коллегами по цеху. Общими усилиями проще улучшать исходный код, и это способствует прогрессу.
«Меня несколько смущают научные статьи, где есть сильные заявления, но закрытая реализация, — говорит ученый. —Любая ML-задача — это огромное количество разных параметров, от архитектур моделей до способов агрегации метрик. Это некоторые предположения, которые ты закладываешь в свое исследование. А научная публикация — это 8−9 страниц, в которые нужно уместить идею, высказать все предположения, которые ты заключил в своем исследовании. Это сложно. Нюансы, о которых не говорилось в статье, могут быть очень значимы».
Открытый исходный код (open-source) — децентрализованный подход к разработке, при котором исходный код доступен для любого пользователя.
ИИ-словарь
«Мы не можем ориентироваться на дедлайны по конференциям»
Обучение с подкреплением (RL) — метод машинного обучения, при котором агент учится принимать последовательные решения в среде, чтобы максимизировать награду.
Обработка естественного языка (NLP) — направление в машинном обучении, благодаря которому компьютеры могут распознавать, обрабатывать и генерировать устную и письменную речь.
Рекомендательные системы (RecSys) — это комплекс алгоритмов, программ или сервисов, которые на основе персональных предпочтений человека рекомендуют ему контент, товары или услуги.
Обработка естественного языка (NLP) — направление в машинном обучении, благодаря которому компьютеры могут распознавать, обрабатывать и генерировать устную и письменную речь.
Рекомендательные системы (RecSys) — это комплекс алгоритмов, программ или сервисов, которые на основе персональных предпочтений человека рекомендуют ему контент, товары или услуги.
ИИ-словарь
- Направление NLP с акцентом на поиск альтернативы архитектуре трансформеров.
- RL в рекомендательных системах. Технология поможет побороть проблему «пузыря» в социальных сетях, основанного на прошлых предпочтениях пользователя, и дать ему пространство для исследования нового контента.
Актуальные направления исследований в области ИИ
- Выравнивание языковой модели (alignment). Делает ИИ более человекоподобным, чтобы его поведение не противоречило этическим нормам, ценностям и предпочтениям человека.
- Офлайн-обучение с подкреплением в RL. Широко используется в области обучения роботов и позволяет эффективно улучшить их навыки и стратегии на основе данных, собранных из предыдущих опытов без необходимости постоянного взаимодействия робота с окружающей средой.
- Предсказания следующей корзины (next-basket-prediction). Благодаря этой разработке ИИ знает, какие товары вам порекомендовать в том или ином сервисе на основе ваших предпочтений.
- Детекция аномалий в области компьютерного зрения. Технология позволяет обнаружить подозрительные объекты и события и может широко применяться в области безопасности, медицины, производства.
Искусственный интеллект развивается быстро, а исследования в области ИИ — еще быстрее.
«Мы не можем ориентироваться на дедлайны по конференциям — нам нужно действовать быстрее. Если мы достигаем какого-то результата, если мы получаем значимый результат, мы не ждем. Мы выкладываем их в открытый доступ и пишем в соцсетях о своих исследованиях. Надеяться и верить в ученых мужей с конференций, конечно, можно, но кажется, лучше действовать проактивно, ориентироваться на свои собственные дедлайны и не ждать конференций, потому что, например в NLP-исследованиях, сейчас очень большая конкуренция, а ждать — это очень долго».
Сейчас в лаборатории три основных группы, которые занимаются исследованиями в областях обучения с подкреплением, обработки естественного языка и компьютерного зрения. Также исследователи изучают рекомендательные системы и генеративный ИИ.
Штат команды — порядка 12 человек. Если учитывать студентов, то количество возрастает до 20.
Штат команды — порядка 12 человек. Если учитывать студентов, то количество возрастает до 20.
Среди самых престижных конференций по ИИ и машинному обучению в мире — конференции уровня А: Neural Information Processing Systems (NeurIPS), International Conference on Machine Learning (ICML), ACM RecSys (Conference on Recommender Systems) и другие. За два года на них было принято более 20 научных работ лаборатории.
«Мы очень любим студентов. У нас есть наша любимая Tinkoff Lab (студенческая исследовательская лаборатория) на базе МФТИ. В нее мы берем ребят не только из МФТИ. У нас есть студенты из СПбГУ, МИСИС, ВШЭ, Иннополиса и даже из-за рубежа, например из Белоруссии и Казахстана. Если мы чувствуем синергию с ребятами, то всегда готовы сотрудничать», — рассказывает Сергей.
Конференции уровня А — одна из методик расчета показателей федерального проекта «Искусственный интеллект» национальной программы «Цифровая экономика Российской Федерации».
Neural Information Processing Systems (NeurIPS) — конференция и семинар по нейронным системам обработки информации.
International Conference on Machine Learning (ICML) — международная конференция по машинному обучению.
ACM RecSys (Conference on Recommender Systems) — международная конференция, на которой эксперты в области рекомендательных систем делятся своими наработками и исследованиями.
Neural Information Processing Systems (NeurIPS) — конференция и семинар по нейронным системам обработки информации.
International Conference on Machine Learning (ICML) — международная конференция по машинному обучению.
ACM RecSys (Conference on Recommender Systems) — международная конференция, на которой эксперты в области рекомендательных систем делятся своими наработками и исследованиями.
ChatGPT (ЧатДжиПиТи) — универсальный чат-бот от компании OpenAI, который может вести диалог, генерировать тексты разной сложности, искать ошибки в коде и даже сочинять стихи.
Sora (Сора) — нейросеть от компании OpenAI, которая способна генерировать реалистичные видеоролики по текстовому запросу пользователя.
Sora (Сора) — нейросеть от компании OpenAI, которая способна генерировать реалистичные видеоролики по текстовому запросу пользователя.
SIMA (Scalable Instructable Multiworld Agent — масштабируемый, обучаемый, мультимировой агент) — нейросеть от Google, которая может научиться играть в любую нелинейную видеоигру.
GenStudio (ДженСтудио) — платформа с генеративными нейросетями, которая помогает запускать маркетинговые кампании.
GenStudio (ДженСтудио) — платформа с генеративными нейросетями, которая помогает запускать маркетинговые кампании.
«Понятие научной степени в области, которая несется и сметает все на своем пути, несколько устарело»
«Надо просто не бояться, — говорит Сергей. — Пробовать, интересоваться и продолжать делать то, что нравится».
Как начать путь в исследованиях искусственного интеллекта? Не так сложно, как может показаться.
«Думаю, понятие научной степени в области, которая несется и сметает все на своем пути, несколько устарело. Есть такой занятный факт: я знаю довольно много примеров, когда аспирант защитился с серьезной темой, придумал новые модели архитектуры. И спустя два года подобные же задачи с его архитектурами давали уже школьникам для курсов по машинному обучению. Прошло всего два года, а как далеко продвинулся ИИ. А аспирантура и получение докторской занимают 3−6 лет».
«Тут редко что-то работает с первого раза, и надо быть готовым менять направления быстро, потому что другие исследовательские группы ждать тебя не будут, а исследования надо делать. Если ты работаешь в области с очень большой неопределенностью, то бесполезно заниматься чем-то, что тебя не вдохновляет».
Без интереса к своему делу — никак, ведь исследования в области искусственного интеллекта — сфера, в которой много неопределенного, говорит ученый.
При этом, чтобы заниматься научными исследованиями в лаборатории, научная степень не обязательна.
Как ИИ учится на ошибках: исследования ученых в области RL
В 2019 году нейросеть OpenAI Five обыграла профессиональных киберспортсменов в Dota 2. Еще через год программа MuZero превзошла человека в шахматах, го и видеоиграх Atari. В обоих случаях искусственный интеллект тренировали с помощью метода машинного обучения с подкреплением (Reinforcement Learning, RL). Сегодня это одна из самых популярных областей исследования ИИ.
«Я увидел видео, как RL играет в игры Atari и подумал: „Здорово, очень крутая технология. Если так можно обучить программу играть в компьютерные игры, что же еще сделать с помощью этой технологии? Может, обучать роботов?“».
Владислав заинтересовался RL-алгоритмами еще на третьем курсе факультета компьютерных наук университета Иннополис. Окончив вуз, он присоединился к лаборатории научных исследований искусственного интеллекта. Это было весной 2021 года — тогда она только запускалась.
Одним из направлений научных изысканий стал как раз RL. «Нам виделось, что будущее в ближайшие 2−3 года за офлайн-обучением с подкреплением», — говорит Владислав. И правда: сегодня методом RL обучаются не только чат-боты вроде ChatGPT, но и роботы, беспилотные автомобили, дроны.
Одним из направлений научных изысканий стал как раз RL. «Нам виделось, что будущее в ближайшие 2−3 года за офлайн-обучением с подкреплением», — говорит Владислав. И правда: сегодня методом RL обучаются не только чат-боты вроде ChatGPT, но и роботы, беспилотные автомобили, дроны.
Что такое обучение с подкреплением, и как оно работает
Обучение с подкреплением, или RL — метод машинного обучения, при котором агент (например, программа или робот) учится принимать последовательные решения в среде, чтобы максимизировать награду.
Как работает технология
Принцип работы RL можно сравнить с тем, как ребенок методом проб и ошибок учится ходить или кататься на велосипеде. Так же агент изучает окружающую среду, совершает определенные действия и получает обратную связь в виде наград или штрафов. Цель ребенка — научиться ходить или кататься на велосипеде. Намерение агента — научиться принимать оптимальные решения и получить максимальную награду в долгосрочной перспективе.
Обучение с подкреплением, или RL — метод машинного обучения, при котором агент (например, программа или робот) учится принимать последовательные решения в среде, чтобы максимизировать награду.
Как работает технология
Принцип работы RL можно сравнить с тем, как ребенок методом проб и ошибок учится ходить или кататься на велосипеде. Так же агент изучает окружающую среду, совершает определенные действия и получает обратную связь в виде наград или штрафов. Цель ребенка — научиться ходить или кататься на велосипеде. Намерение агента — научиться принимать оптимальные решения и получить максимальную награду в долгосрочной перспективе.
ИИ-словарь
Владислав Куренков, научный руководитель команды обучения с подкреплением в Tinkoff Research
«RL — уже часть нашей жизни»
Метод обучения с подкреплением позволяет создавать системы на основе ИИ, которые могут принимать оптимальные решения в условиях неопределенности. Например, планировать маршрут доставки с учетом расстояния, тяжести груза и возможных пробок. Или оценивать спрос на товары, оптимизировать запасы продукции на складах и распределять их в местах хранения более эффективно. Методом RL можно обучать и промышленных роботов, которые занимаются сборкой и упаковкой товаров или обслуживанием оборудования на производстве.
По мнению Владислава, в скором будущем обучение с подкреплением будет широко внедряться в индустриальные процессы. «К примеру, есть первичные демонстрации, как можно управлять процессами в ядерной энергетике с помощью моделей RL. В научной литературе есть MVP (Minimal Viable Product), подтверждающий, что это работает. Сейчас запускаются стартапы, чтобы эту технологию внедрить в реальное производство», — говорит ученый.
По мнению Владислава, в скором будущем обучение с подкреплением будет широко внедряться в индустриальные процессы. «К примеру, есть первичные демонстрации, как можно управлять процессами в ядерной энергетике с помощью моделей RL. В научной литературе есть MVP (Minimal Viable Product), подтверждающий, что это работает. Сейчас запускаются стартапы, чтобы эту технологию внедрить в реальное производство», — говорит ученый.
«RL уже часть нашей жизни. Например, в Netflix, Google, Amazon и у нас в лаборатории этот метод используется для улучшения рекомендаций. Компании внедряют ИИ в свои продукты, а потом публикуют научные статьи, из которых видно, что RL действительно превосходит классические рекомендательные системы», — рассказывает Владислав.
Есть и более редкие примеры внедрения технологии RL. Новое исследование Стэнфордского университета показало, что с помощью нее можно создавать персонализированные стратегии обучения школьников математике. Искусственный интеллект определил, в каком порядке наиболее эффективно изучать предметы, составил программу обучения для двоечников и троечников, и они вышли на уровень хорошистов и отличников.
Машинное обучение с подкреплением активно применяется и в рекомендательных системах.
Минимально жизнеспособный продукт (MVP) — первая версия IT-продукта с минимальным набором функций, необходимых для решения основной проблемы целевой аудитории. Идея MVP заключается в том, чтобы быстро запустить продукт на рынок, получить обратную связь от пользователей и на основе этой информации улучшать и дорабатывать его.
ИИ-словарь
Обучение с подкреплением на основе моделей
(Model-based Reinforcement Learning)
Представьте себе робот-пылесос в вашей квартире. Сначала он проведет анализ обстановки, в которой находится: изучит планировку комнат и расположение мебели. А потом благодаря внутренней карте среды сможет выбирать пути движения.
RL на основе моделей вначале строит модель среды. Она позволяет программе или роботу предсказывать вознаграждения, полученные за те или иные действия. Так происходит выбор наиболее оптимальной стратегии поведения.
(Model-based Reinforcement Learning)
Представьте себе робот-пылесос в вашей квартире. Сначала он проведет анализ обстановки, в которой находится: изучит планировку комнат и расположение мебели. А потом благодаря внутренней карте среды сможет выбирать пути движения.
RL на основе моделей вначале строит модель среды. Она позволяет программе или роботу предсказывать вознаграждения, полученные за те или иные действия. Так происходит выбор наиболее оптимальной стратегии поведения.
ИИ-словарь
Обучение с подкреплением без моделей
(Model-free Reinforcement Learning)
Предположим, вы скачали фитнес-приложение, которое будет выдавать вам персональные рекомендации. Например, если вы поставите цель пробегать три километра каждый день и начнете достигать ее, приложение может награждать вас дополнительными бонусами и стимулировать продолжать тренировки. Со временем рекомендации подстроятся под вашу активность.
Это пример RL без заданной модели, которая приспосабливается к среде. Алгоритм в этом случае обучается на основе опыта, полученного в процессе взаимодействия со средой.
(Model-free Reinforcement Learning)
Предположим, вы скачали фитнес-приложение, которое будет выдавать вам персональные рекомендации. Например, если вы поставите цель пробегать три километра каждый день и начнете достигать ее, приложение может награждать вас дополнительными бонусами и стимулировать продолжать тренировки. Со временем рекомендации подстроятся под вашу активность.
Это пример RL без заданной модели, которая приспосабливается к среде. Алгоритм в этом случае обучается на основе опыта, полученного в процессе взаимодействия со средой.
Алгоритмы RL можно разделить на две группы по наличию или отсутствию модели среды — обучение с подкреплением на основе моделей и без них.
«Отношение к ИИ меняется благодаря научной работе»
Несмотря на множество сфер применения, к обучению с подкреплением сохраняется недоверие.
«Индустрия — основной источник скепсиса по отношению к RL, — говорит Владислав. — Обучение с подкреплением давно пробовали применять в реальных продуктах, но это в 99% случаев не получалось, и выводы специалистов сводились к тому, что „ага, мы попробовали, модель не работает, значит, пробовать больше не будем“. На самом деле не получалось банально из-за недостатка компетенций. Все потому, что область относительно новая и развивающаяся».
Так, например, команда Владислава в лаборатории создала алгоритм ReBRAC, который делает обучение ИИ в разы быстрее. Ученые пересмотрели и упростили свою более раннюю разработку — алгоритм SAC-RND. Результаты исследования были представлены на ведущей научной конференции в области ИИ и машинного обучения NeurIPS в декабре 2023 года.
В академическом сообществе еще 5−6 лет назад не любили RL, потому что ранние алгоритмы не гарантировали отличный перформанс и стабильную работу систем управления, объясняет Владислав. Оценка качества алгоритмов RL — также одна из ключевых проблем в этой области, поскольку часто алгоритмы не тестируют на реальных данных, и, соответственно, нет возможности подтвердить их эффективность на практике.
Однако, по словам Владислава, в научной среде и в индустрии отношение к RL сильно изменилось за последние годы, так как стало больше успешных случаев применения алгоритмов в офлайне.
Однако, по словам Владислава, в научной среде и в индустрии отношение к RL сильно изменилось за последние годы, так как стало больше успешных случаев применения алгоритмов в офлайне.
«Отношение к RL меняется во многом благодаря научной работе в этой области. Благодаря исследованиям появляются новые алгоритмы, которые гораздо проще применять в реальных условиях», — рассказывает Владислав.
ReBRAC (Revisited Behavior Regularized Actor Critic) — пересмотренный актор-критик с контролируемым поведением.
NeurIPS (The Conference and Workshop on Neural Information Processing Systems) — конференция и семинар по нейронным системам обработки информации.
NeurIPS (The Conference and Workshop on Neural Information Processing Systems) — конференция и семинар по нейронным системам обработки информации.
«Есть запрос на создание большой базовой модели»
«В сообществе как ученых, так и специалистов, явно есть запрос на создание большой базовой модели (Foundation Model). Такой, которая могла бы легко адаптироваться и учиться выполнять новые задачи», — говорит Владислав.
Подобные разработки могут использоваться, например, в рекомендательных системах, которые сейчас подстраиваются под интересы пользователя и часто не оставляют ему возможности для самостоятельного исследования и поиска интересного контента. Адаптивные агенты и мета-обучение с подкреплением могут помочь пользователю находить новый контент. Возможно, скоро мы забудем о существовании информационных пузырей и будем искать данные совсем иначе.
Представьте, что у вас есть ChatGPT, который умеет не только общаться, но и решать целый пул других задач. Именно о подобной разработке мечтают современные ИИ-исследователи. Такая модель, по словам ученого, сможет и роботом управлять, и товары рекомендовать, и в игры играть, и давать персонализированные стратегии обучения, и низкоуровневые системы управления оптимизировать.
Еще одно преимущество такого алгоритма — его не нужно каждый раз обучать под конкретную задачу, потому что он сам обучается в процессе взаимодействия со средой. По-другому такие модели называют адаптивными агентами или мета-обучением с подкреплением.
Еще одно преимущество такого алгоритма — его не нужно каждый раз обучать под конкретную задачу, потому что он сам обучается в процессе взаимодействия со средой. По-другому такие модели называют адаптивными агентами или мета-обучением с подкреплением.
«Лаборатория делает ставку на исследования в этой области. Мы думаем о том, как создавать адаптивных агентов и базовые модели», — рассказывает Владислав.
Информационный пузырь, или пузырь фильтров (Filter bubble) — это негативная сторона персонализированного поиска, при которой человек окружен только той информацией, которая не противоречит его точке зрения. Со временем пользователь становится интеллектуально изолированным в своем собственном информационном пузыре. Этот термин впервые предложил американский предприниматель и активист Эли Паризер в 2011 году.
ИИ-словарь
«Если исследователь написал статью и не поделился кодом, то пользы от нее мало»
«Если исследователь написал статью и не поделился кодом, то пользы от нее мало. Чтобы область быстрее развивалась, нужно вместе со статьей выкладывать исходный код. Это сильно упрощает жизнь других исследователей».
В области онлайн-обучения с подкреплением есть Stable-Baselines3, CleanRL, JaxRL и другие библиотеки c открытым исходным кодом. Их становится все больше. При этом в смежной сфере офлайн-RL таких библиотек меньше. Один из немногих примеров — библиотека CORL (Сlean Offline RL), созданная учеными из Tinkoff Research.
На GitHub можно не только скачать код, но и совместно работать над проектами с другими разработчиками и комментировать их алгоритмы.
На GitHub можно не только скачать код, но и совместно работать над проектами с другими разработчиками и комментировать их алгоритмы.
Открытые библиотеки когда-то подарили миру Opera, Google Chrome и операционную систему Android. Инновации распространились быстро и стали частью нашей повседневности, потому что основаны на разработках с неограниченным доступом — браузере Chromium и ядре Linux. А сегодня обмен разработками помогает ИИ развиваться с молниеносной скоростью.
Наука в сфере искусственного интеллекта невозможна без открытого доступа к исходному коду, считает Владислав:
Наука в сфере искусственного интеллекта невозможна без открытого доступа к исходному коду, считает Владислав:
«Бывало, в наш репозиторий с исходным кодом приходили коллеги из Стэнфорда и Беркли и говорили: „Смотрите, а здесь можно исправить, а там небольшой баг — если поправить, перформанс будет еще лучше“», — рассказывает Владислав.
По его словам, общий доступ к коду имеет накопительный эффект. Открытость не только повышает качество отдельных исследовательских работ, но и ускоряет научный прогресс в области искусственного интеллекта в целом.
Репозиторий — облачное хранилище данных, которые можно свободно использовать и изучать. Там программисты совместно работают над проектами и обмениваются знаниями. Примеры: GitHub, GitLab и Launchpad.
ИИ-словарь
Открытый исходный код (open-source) — децентрализованный подход к разработке, при котором исходный код доступен для любого пользователя.
ИИ-словарь
«Работа исследователя требует определенной ментальной закалки»
«Моя задача как научного руководителя — передавать знания студентам так, чтобы они в итоге росли, могли самостоятельно писать научные статьи и ставить эксперименты. Мы растим новое поколение ученых в своей области».
В каком направлении развить исследование, как найти проблему, которая будет интересна научному и бизнес-сообществу, и, наконец, какие потенциальные применения алгоритмов могут быть на практике — вот некоторые вопросы, которыми задаются исследователи ИИ.
Владислав также курирует научную работу в лаборатории и помогает молодым ученым находить ответы:
Владислав также курирует научную работу в лаборатории и помогает молодым ученым находить ответы:
«95% гипотез исследователя не сработают. Тут нужна определенная ментальная закалка, чтобы не грустить от этого. Важно помнить: 6−7 идей не сработают, а восьмая выстрелит. Ученому нужно быть устойчивым к провалам. Как научный руководитель я психологически поддерживаю своих студентов. Я говорю: „Если что-то не работает — это ок. Это не твоя вина. Просто наука так устроена“», — объясняет Владислав.
На вопрос, кто может стать исследователем в области RL, а кто нет, Владислав ответил, что профильное образование — не главное. Принципиально, чтобы были знания в нужной области ИИ и понимание, как внедрять технологии в реальные системы.
Однако самый главный компонент успеха — мотивация.
Однако самый главный компонент успеха — мотивация.
Stable-Baselines3 (Стэйбл-Бэйслайнс3), CleanRL (КлинЭрЭл), JaxRL (ДжаксЭрЭл), CORL (КОРЛ) — библиотеки с открытым исходным кодом.
GitHub (ГитХаб) GitLab (ГитЛаб) и Launchpad (Лаунчпад) — репозитории для совместной работы над проектами.
GitHub (ГитХаб) GitLab (ГитЛаб) и Launchpad (Лаунчпад) — репозитории для совместной работы над проектами.
Как ИИ учится понимать человеческую речь: исследования ученых в области NLP
Поисковые системы Google и Яндекс, виртуальные ассистенты Siri и «Алиса», чат-боты и нейросети — все эти технологии понимают человеческую речь и могут отвечать на наши запросы. Их работа была бы невозможна без машинного обучения в области обработки естественного языка (Natural Language Processing, NLP).
Что такое обработка естественного языка
Обработка естественного языка, или NLP — это направление в машинном обучении (ML) на стыке компьютерных наук и лингвистики. NLP позволяет компьютерам распознавать, обрабатывать и генерировать устную и письменную речь.
Как работает технология
Принцип обработки естественного языка можно сравнить с тем, как ребенок учится говорить. Для начала ему нужно понять обращенную к нему речь. Чем больше на этом этапе с ним будут общаться, тем лучше. Постепенно у ребенка формируется словарный запас. Так же обучается NLP-модель: в нее загружают большие данные в виде последовательности токенов, которые она постепенно учится понимать и анализировать.
Токены — слова, символы, числа или другие элементы текста, которые модель использует для анализа и обработки информации.
Обработка естественного языка, или NLP — это направление в машинном обучении (ML) на стыке компьютерных наук и лингвистики. NLP позволяет компьютерам распознавать, обрабатывать и генерировать устную и письменную речь.
Как работает технология
Принцип обработки естественного языка можно сравнить с тем, как ребенок учится говорить. Для начала ему нужно понять обращенную к нему речь. Чем больше на этом этапе с ним будут общаться, тем лучше. Постепенно у ребенка формируется словарный запас. Так же обучается NLP-модель: в нее загружают большие данные в виде последовательности токенов, которые она постепенно учится понимать и анализировать.
Токены — слова, символы, числа или другие элементы текста, которые модель использует для анализа и обработки информации.
ИИ-словарь
Даниил Гаврилов, научный руководитель команды обработки естественного языка в Tinkoff Research
«Даже поиск информации может быть автоматизирован»
Уже сейчас обработка естественного языка помогает анализировать отзывы клиентов, финансовые отчеты и другие тексты с большим объемом данных. Благодаря NLP роботы понимают речь (вплоть до интонации говорящего) и генерируют ответы. В обозримом будущем инноваций станет еще больше.
«Когда не было ChatGPT и существовал Google, если нам нужно было найти информацию, мы просто вбивали наш запрос в поисковую строку и ходили какое-то время по страницам в Сети. Оказалось, что даже процесс хождения по интернету и поиск информации могут быть автоматизированы. Мы можем написать запрос человеческим языком и получить короткую выжимку из сотен интернет-страниц. Нам больше не нужно самостоятельно искать информацию. В будущем поиск будет устроен иначе».
NLP уже изменил и продолжит менять процесс поиска информации.
«Я понимал, что могу прийти в компанию и начать заниматься исследованиями с гораздо большей свободой, не тратя годы на получение регалий»
Даниил Гаврилов заинтересовался машинным обучением еще на первом курсе факультета прикладной математики — процессов управления Санкт-Петербургского государственного университета.
«В то время я писал мобильные приложения, а мои знакомые занимались машинным обучением. В 2015 году глубокое обучение (Deep Learning, DL) было на очень большом подъеме. Мне понравилось, что это новая сложная область и при этом очень наукоемкая — там развивались исследования. Я для себя очень быстро понял, что хочу заниматься разработкой новых методов машинного обучения, которых раньше не было, — рассказывает Даниил. — Когда я позже устроился на работу ML-инженером и у меня появилась возможность работать со студентами и писать свои первые научные статьи, я убедился в том, что это правда очень интересное занятие».
После окончания университета Даниил мог бы выбрать более распространенную траекторию для ученого: пойти работать в научную лабораторию при университете. Но вместо этого он устроился в исследовательский отдел коммерческой компании.
«На старте очень непонятно, как начать заниматься исследованиями в области искусственного интеллекта. Кажется, что для этого обязательно нужно получить степень доктора наук — умудриться учиться и при этом как-то себя содержать. Классический путь — очень непонятный и непростой. Я понимал, что могу прийти в компанию и начать заниматься исследованиями с гораздо большей свободой, не тратя годы на получение регалий», — говорит ученый.
Трансформер — это вид нейросетевой архитектуры, который хорошо подходит для обработки последовательностей данных, например текста.
Как это работает
Представьте, что вы попросили искусственный интеллект продолжить предложение. Как ИИ предскажет следующее слово? Он может последовательно проанализировать все слова в предложении и, получив представление о смысле одного слова, предсказать следующее. Так работают рекуррентные нейронные сети.
Нейросеть-трансформер устроена иначе: она смотрит на контекст, на то, как связаны по смыслу все слова со всеми словами, и на основе этих связей подбирает следующее слово в предложении. Поэтому нейросети на основе трансформеров лучше понимают подтекст и генерируют более глубокий и связный текст.
Обучение с подкреплением
(Reinforcement Learning, RL) — метод машинного обучения, при котором агент учится принимать последовательные решения в среде, чтобы максимизировать награду.
Как это работает
Представьте, что вы попросили искусственный интеллект продолжить предложение. Как ИИ предскажет следующее слово? Он может последовательно проанализировать все слова в предложении и, получив представление о смысле одного слова, предсказать следующее. Так работают рекуррентные нейронные сети.
Нейросеть-трансформер устроена иначе: она смотрит на контекст, на то, как связаны по смыслу все слова со всеми словами, и на основе этих связей подбирает следующее слово в предложении. Поэтому нейросети на основе трансформеров лучше понимают подтекст и генерируют более глубокий и связный текст.
Обучение с подкреплением
(Reinforcement Learning, RL) — метод машинного обучения, при котором агент учится принимать последовательные решения в среде, чтобы максимизировать награду.
ИИ-словарь
«Обработка естественного языка стала фронтиром глубокого обучения»
Революцию в области глубокого обучения совершили ученые. Сфера сильно изменилась, когда были придуманы новые методы анализа и обработки естественного языка. Так, в 2017 году исследователи из Google Brain разработали архитектуру трансформер (transformer), которая пришла на смену рекуррентным нейронным сетям (RNN). В результате искусственный интеллект стал более производительным: он научился обрабатывать входные данные параллельно, а не последовательно. Благодаря этому научному открытию сегодня у нас есть GPT-4 от OpenAI, Gemini от Google и другие большие языковые модели.
«Успехи в NLP очень явно меняют жизнь людей к лучшему. С выходом ChatGPT все поняли, насколько большой пласт задач может быть выражен и решен в текстовом формате. Эта безумная практичность в свое время привела в NLP много разработчиков и исследователей, а сама обработка естественного языка стала фронтиром глубокого обучения — все те разработки, которые продвинули ее вперед в 2016−2018 годах, сейчас доходят до других областей. Можно сказать, что сам по себе текст в NLP не так важен, как методы работы с ним — улучшения в NLP либо очень сильно продвинут нас в понимании всего глубокого обучения искусственного интеллекта прямо сейчас, либо сделают это в обозримом будущем», — говорит Даниил.
Сегодня на обработке естественного языка сосредоточены самые крупные мировые компании и лаборатории. Большая часть статей на ведущих конференциях по машинному обучению, таких как NeurIPS, посвящена NLP.
Появление ChatGPT еще раз всколыхнуло и без того бурно развивающуюся сферу. Стало очевидно: прорывы в области машинной обработки естественного языка напрямую влияют на то, как мы работаем с информацией.
Большие языковые модели (Large Language Model, LLM) обучаются на огромных объемах данных. Они основаны на трансформере — нейронной сети, которая извлекает информацию из последовательности текста и понимает связи между отдельными словами и фразами.
ИИ-словарь
«Конкуренция между лабораториями зашкаливает, над одной темой одновременно могут работать многие исследовательские группы. С огромной долей вероятности вы однажды проснетесь утром и увидите, как вашу идею опубликовал кто-то другой. В будущем будет появляться еще больше игроков в этой гонке», — объясняет ученый.
Работа с данными
- Сбор данных. Данные могут быть собраны из открытых источников или закрытых (например, обезличенные данные о пользователях какого-то сервиса). ChatGPT тоже обучался на большом массиве текстов из Сети.
- Предварительная обработка данных. Данные очищают от лишних символов и приводят к единообразию. Текст токенизируют, то есть разделяют на отдельные единицы (токены). Токеном может быть как целое слово, так и его часть.
- Разметка данных. Каждому фрагменту текста или слову (токену) присваивается метка, которая его характеризует. Например, если цель обучить модель понимать тональность повествования, то фрагментам текста присваиваются метки, описывающие тон как «положительный», «отрицательный» или «нейтральный».
- Перевод данных в числа. Чтобы языковая модель поняла человеческую речь, токены переводят в числа. После этого модель можно обучать.
Как создать NLP-модель
Обучение модели
Заключительный этап работы в NLP — обучение модели на полученных данных с помощью специальных алгоритмов. Их пишут с нуля или используют готовые из библиотеки Hugging Face Transformers. Алгоритмы распознают данные, обрабатывают их и делают выводы.
Заключительный этап работы в NLP — обучение модели на полученных данных с помощью специальных алгоритмов. Их пишут с нуля или используют готовые из библиотеки Hugging Face Transformers. Алгоритмы распознают данные, обрабатывают их и делают выводы.
Работу над моделью по обработке естественного языка можно разделить на два этапа. На первом — собирают и подготавливают данные (например, корпус текстов). На втором — обучают модель на собранных данных с помощью специальных алгоритмов.
Говоря про конкуренцию между крупными и небольшими исследовательскими группами, Даниил отметил, что исследовательских вопросов много — главное выбрать неочевидный ракурс:
«Мы стараемся выбирать неочевидные направления, в которые, возможно, копает чуть меньше групп, но которые, как нам кажется, могут быть намного перспективнее. Так мы можем обойти большие лаборатории на повороте. Высокая конкуренция, вызванная вниманием к области, значит, что реальные достижения обязательно будут замечены. Есть реальная возможность сделать интересные исследования, и их увидят все».
NeurIPS (The Conference and Workshop on Neural Information Processing Systems) — конференция и семинар по нейронным системам обработки информации.
«Лаборатории и компании побежали пытаться повторить результат OpenAI»
Самые большие прорывы в области NLP последних лет сделаны компанией, которая не показывает исходный код. OpenAI не раскрывает подробности, как именно устроена модель ChatGPT и другие разработки из соображений коммерческой безопасности.
«Я верю, что наука — это только про открытые и воспроизводимые исследования. Все остальное — это что угодно, но не наука. С другой стороны, делает ли это закрытые исследования менее важными? Как минимум, все остальные лаборатории и компании побежали пытаться повторить результат OpenAI», — говорит ученый.
По словам Даниила, закрытость исследований и сосредоточенность OpenAI на прибыли позволяют привлечь большие инвестиции, которые расширяют границы дозволенного в NLP. То, что они показали со своими моделями, убедило, что мы еще даже не рядом с нашим пределом, огромное число людей, которые думали, что мы достигли всего чего могли. Это, в свою очередь, конечно, принесло больше ресурсов и в открытую науку, что не может не радовать.
«Видеокарты не бесконечны»
«Старые языковые модели могли обработать несколько тысяч токенов (токен — чуть меньше одного слова). 2 тысячи токенов — не очень длинный текст. ChatGPT показал, что можно обрабатывать десятки тысяч таких токенов. Современные модели могут обрабатывать еще больше токенов, вплоть до миллиона», — говорит ученый.
При этом обучить языковую модель уровня GPT-5 может не любая исследовательская группа — для этого нужны большие вычислительные мощности.
Вместе с ChatGPT появился тренд на ИИ, который умеет обрабатывать длинные тексты.
«Можно предположить с большой долей уверенности, что у исследовательской команды в тысячу сотрудников просто очень много видеокарт. Это главное отличие крупных лабораторий от небольших исследовательских групп, — рассказывает Даниил. — Поэтому один из наших важнейших исследовательских треков — повышение эффективности работы моделей. Видеокарты не бесконечны. Нам приходится думать, как проводить исследования при ограниченном объеме вычислительных ресурсов».
Ученые из лаборатории Tinkoff Research опубликовали статью, в которой показали, как научить языковую модель работать с длинными контекстами и при этом обучаться — черпать новые знания и информацию из контекста и учиться на небольшом количестве примеров (методом few-shot learning).
«Сейчас много интересных работ, которые исследуют поведение моделей, — рассказывает Даниил. — Ученые пытаются понять, какие процессы происходят внутри моделей. Есть подозрение, что few-shot learning, который происходит в ChatGPT, на самом деле можно применять не только в области генерации текстов, но и во многих других областях, в том же RL или RecSys».
Обучение на нескольких примерах (Few-Shot Lеarning, FSL) — подход в машинном обучении, при котором ИИ обучается на небольшом количестве данных, быстрее и с меньшими затратами.
ИИ-словарь
«Чтобы не произошло восстание машин, нужен alignment»
«Это область, в которой исследователи пытаются сделать так, чтобы модели вели себя этично по отношению к людям. Грубо говоря, чтобы искусственный интеллект вел себя хорошо, чтобы не произошло восстание машин. Исследователи занимаются этой областью, потому что понимают: нельзя выпускать в мир модели, которые никак не ограничены в том, что они делают. Мы понимаем, что это небезопасно. Ведь модель может как угодно ответить человеку. Это очень горячая область, она очень молодая и в ней непаханое поле работы. В этой сфере подкупает то, что она практичная — улучшение методов alignment напрямую влияет на то, насколько будет удобно пользоваться моделями. Многие исследователи смотрят в эту сторону, и мы в лаборатории тоже», — объясняет Даниил.
После выхода ChatGPT крупные компании, которые разрабатывают подобные нейросети, осознали важность их выравнивания. Так, в 2023 году OpenAI запустила программу Superalignment. Ее цель — найти новый технологичный способ контролировать системы ИИ, которые уже в этом десятилетии станут гораздо умнее человека. 20% вычислительных мощностей OpenAI направлены на решение проблемы выравнивания искусственного интеллекта к 2027 году.
Что если искусственный интеллект выйдет из-под контроля и начнет сам принимать решения? Механизм сдерживания сверхумного ИИ на языке исследователей называется выравнивание языковой модели, или alignment.
Выравнивание языковых моделей (AI аlignment) — приведение систем ИИ в соответствие с человеческой этикой, целями и ценностями.
ИИ-словарь
«Многие студенты, которые хотят заниматься исследованиями, сдаются после того, как пробуют написать свою первую статью»
«Исследования — странная штука. У этой сферы есть романтический флер, ведь вы постоянно что-то придумываете. На самом деле иногда это безумно скучная, нудная деятельность — нужно долго и методично ставить много экспериментов. Только 10% времени вы придумываете идеи. Большую часть времени вы проводите эксперименты и пишете. И постоянно боретесь с тем, что что-то не работает. Это тяжело. Многие студенты, которые хотят заниматься исследованиями в машинном обучении, сдаются после того, как пробуют написать свою первую статью. Поэтому для меня важно, чтобы ребята были заряженными: мотивация решает очень многие проблемы».
Исследованиями может заниматься каждый, самое главное для ученого — это желание, считает Даниил.
При отборе студентов в лабораторию Даниил не смотрит на образование и кандидатскую степень в резюме: «Для меня самое главное, чтобы ребята были бодрыми, чтобы они хотели проводить исследования и умели это делать».
Hugging Face Transformers (Хагин Фэйс Трансформерс) — открытая библиотека предобученных моделей.
Как ИИ предсказывает наши интересы: исследования ученых в области RecSys
Приложение с доставкой еды знает, какие продукты вы чаще заказываете, и напомнит о них, чтобы вы не забыли пополнить корзину. Онлайн-маркетплейсы выдают только релевантные товары с персональными скидками, а соцсеть показывает больше котов в ленте, если вы часто ставите под ними лайки. Сервисы знают о нас многое благодаря большим данным и искусственному интеллекту, который их анализирует.
Рекомендательные системы повсюду. Они подбирают товары и контент для нас на основе наших предпочтений.
Рекомендательные системы повсюду. Они подбирают товары и контент для нас на основе наших предпочтений.
«Рекомендательные модели, которые мы строим, улучшают клиентский опыт, делают контент и продукт более интересным и релевантным. Мы персонализируем рекомендации на основе предпочтений и поведения пользователей. Чтобы делать это хорошо и качественно, без R&D (исследований и разработок) не обойтись. Приходится читать научные статьи, внедрять новые подходы. Часть наших задач — это новые для индустрии продукты и инновационные фичи в мобильных приложениях. RecSys — очень интересная область, которая базируется и на простых прикладных лайфхаках, и на глубоком R&D», — рассказывает Марина.
От рекомендаций выигрывают не только пользователи, но и бизнес. Так, рекомендательная система Amazon, основанная на больших данных, генерирует по 1 миллиарду долларов каждый год. А пользователи Netflix примерно в 80% случаев выбирают фильмы для просмотра на основании персонализированных рекомендаций.
Netflix, Amazon, Google и другие мировые компании ушли в области рекомендательных систем далеко вперед еще в начале 2010-х, говорит Марина Ананьева, научный руководитель команды RecSys в исследовательской лаборатории Tinkoff Research. При этом, в России в это время не было ни инфраструктуры, ни опыта и крупных успешных кейсов внедрения рекомендательных систем, ни даже хороших образовательных курсов.
Netflix, Amazon, Google и другие мировые компании ушли в области рекомендательных систем далеко вперед еще в начале 2010-х, говорит Марина Ананьева, научный руководитель команды RecSys в исследовательской лаборатории Tinkoff Research. При этом, в России в это время не было ни инфраструктуры, ни опыта и крупных успешных кейсов внедрения рекомендательных систем, ни даже хороших образовательных курсов.
Что такое рекомендательные системы и как они работают
Рекомендательные системы, или RecSys — это комплекс алгоритмов, программ или сервисов, которые на основе персональных предпочтений человека рекомендуют ему контент, товары или услуги.
Как работает технология
Один из базовых принципов в рекомендательных системах — коллаборативная фильтрация (collaborative filtering), по которой рекомендации пользователю делаются на основе поведения похожих на него людей.
Чтобы понять эту концепцию, представьте группу людей, которые смотрят фильмы в онлайн-кинотеатре. У каждого из них есть свои предпочтения: одни фильмы нравятся, другие — нет. Если пользователь A и пользователь B посмотрели один и тот же фильм и положительно оценили его, ИИ предположит, что их вкусы схожи, и порекомендует пользователю A и другие фильмы, которые понравились пользователю B.
Рекомендательные системы могут быть устроены подобным образом в музыкальных, банковских и в других сервисах, которыми вы пользуетесь.
Рекомендательные системы, или RecSys — это комплекс алгоритмов, программ или сервисов, которые на основе персональных предпочтений человека рекомендуют ему контент, товары или услуги.
Как работает технология
Один из базовых принципов в рекомендательных системах — коллаборативная фильтрация (collaborative filtering), по которой рекомендации пользователю делаются на основе поведения похожих на него людей.
Чтобы понять эту концепцию, представьте группу людей, которые смотрят фильмы в онлайн-кинотеатре. У каждого из них есть свои предпочтения: одни фильмы нравятся, другие — нет. Если пользователь A и пользователь B посмотрели один и тот же фильм и положительно оценили его, ИИ предположит, что их вкусы схожи, и порекомендует пользователю A и другие фильмы, которые понравились пользователю B.
Рекомендательные системы могут быть устроены подобным образом в музыкальных, банковских и в других сервисах, которыми вы пользуетесь.
ИИ-словарь
«Я сменила специальность на прикладную математику и информатику, чтобы машинное обучение больше не казалось магией»
Исследовательский интерес к искусственному интеллекту у Марины появился на первой работе в отделе клинических исследований фармацевтической компании.
«Все началось в 2016 году с совместных проектов Яндекса и AstraZeneca. Мои коллеги занимались задачей распознавания расположения и типа опухоли по снимкам МРТ головного мозга, причем с точностью выше, чем у врачей. Для меня это было на грани фантастики. Мне очень хотелось узнать, как эти технологии работают изнутри, поэтому я решилась сменить специальность на прикладную математику и информатику».
В 2018 году Марина получила степень магистра по прикладной математике и информатике в НИУ ВШЭ и в последние полгода магистратуры училась в Университете Гонконга (The University of Hong Kong, HKU), где успешно сдала экзамены. Во время обучения вышли первые научные статьи Марины об ИИ, а после окончания вуза она продолжила заниматься исследованиями вне университетских стен.
«После магистратуры мне было важно получить практические навыки на позиции data scientist (разработчика машинного обучения), и мой выбор пал на сильную команду в Центре технологий искусственного интеллекта Тинькофф. После первых успешно внедренных рекомендательных моделей на работе стало понятно, насколько это перспективное направление, на развитии которого я и сфокусировалась», — рассказывает Марина.
Марина Ананьева, руководитель направления рекомендательных систем в Центре технологий искусственного интеллекта Тинькофф
«Революция в рекомендательных системах еще не случилась»
RecSys, пожалуй, самое прикладное направление исследований искусственного интеллекта. Чтобы проверить, эффективно ли работает рекомендательная система, ее обязательно нужно показать пользователям и проанализировать сценарии взаимодействия с ней. Это существенное отличие, например, от компьютерного зрения (CV) или обработки естественного языка (NLP).
«В рекомендательных системах важна обратная связь от пользователя. Если мы не показываем ему рекомендацию, он ведет себя по одному сценарию. А при показе мы можем повлиять на принятие решений пользователем, он может передумать. Без учета этого воздействия мы не можем быть уверены, насколько наша система качественная, поэтому на практике доверяем только A/B-тестам. Это лишь одна из многих особенностей RecSys, которая делает ее более прикладной сферой, чем остальные направления ML», — объясняет Марина.
Бизнес заинтересован в развитии RecSys, ведь умные системы ИИ помогают продвигать контент, товары и услуги. Чтобы системы были умнее, компаниям нужны инновации.
«Наука может дать бизнесу более совершенные алгоритмы, — говорит Марина. — Думаю, что революция в рекомендательных системах еще не случилась, как это было в других областях. Например, с появлением архитектуры трансформера или ChatGPT в NLP. Новые технологии неизбежно меняют направление, в котором область дальше развивается. В основном большинство исследователей RecSys сейчас заимствуют и адаптируют нейросетевые модели из других областей ML. Появляются области на стыке сфер исследований, например RL в RecSys. Отдельных прорывных технологий, которые бы перевернули всю индустрию рекомендательных систем, еще нет, поэтому в этой области вклад академических исследований может стать очень значимым».
Наука уже питает бизнес инновациями. Так, исследователи из рабочей группы RecSys разработали алгоритм TAIW (Time-Aware Item-based Weighting), который позволяет более точно прогнозировать, когда и какие покупки совершают пользователи. Он был представлен на главной конференции по рекомендательным системам ACM RecSys в Сингапуре в 2023 году.
«Исходно этот алгоритм был разработан для задачи предсказания следующей корзины. В нем объединяется логика использования модели на коллаборативном сигнале с физическим процессом Хоукса, в результате которого можно получить распределения по интервалам времени между повторными покупками товаров. Для каждого пользователя финальные рекомендации будут зависеть от истории предпочтений самого пользователя, похожих на него людей и прошедшего времени для актуальности покупки».
Трансформер — это вид нейросетевой архитектуры, который хорошо подходит для обработки последовательностей данных, например текста.
Как это работает
Представьте, что вы попросили искусственный интеллект продолжить предложение. Как ИИ предскажет следующее слово? Он может последовательно проанализировать все слова в предложении и, получив представление о смысле одного слова, предсказать следующее. Так работают рекуррентные нейронные сети.
Нейросеть-трансформер устроена иначе: она смотрит на контекст, на то, как связаны по смыслу все слова со всеми словами, и на основе этих связей подбирает следующее слово в предложении. Поэтому нейросети на основе трансформеров лучше понимают подтекст и генерируют более глубокий и связный текст.
Обучение с подкреплением
(Reinforcement Learning, RL) — метод машинного обучения, при котором агент учится принимать последовательные решения в среде, чтобы максимизировать награду.
Как это работает
Представьте, что вы попросили искусственный интеллект продолжить предложение. Как ИИ предскажет следующее слово? Он может последовательно проанализировать все слова в предложении и, получив представление о смысле одного слова, предсказать следующее. Так работают рекуррентные нейронные сети.
Нейросеть-трансформер устроена иначе: она смотрит на контекст, на то, как связаны по смыслу все слова со всеми словами, и на основе этих связей подбирает следующее слово в предложении. Поэтому нейросети на основе трансформеров лучше понимают подтекст и генерируют более глубокий и связный текст.
Обучение с подкреплением
(Reinforcement Learning, RL) — метод машинного обучения, при котором агент учится принимать последовательные решения в среде, чтобы максимизировать награду.
ИИ-словарь
Компьютерное зрение
(Computer Vision, CV) — это область искусственного интеллекта, связанная с анализом изображений и видео. Она позволяет компьютеру «видеть» и извлекать информацию из увиденного.
(Computer Vision, CV) — это область искусственного интеллекта, связанная с анализом изображений и видео. Она позволяет компьютеру «видеть» и извлекать информацию из увиденного.
Компьютерное зрение
(Computer Vision, CV) — это область искусственного интеллекта, связанная с анализом изображений и видео. Она позволяет компьютеру «видеть» и извлекать информацию из увиденного.
(Computer Vision, CV) — это область искусственного интеллекта, связанная с анализом изображений и видео. Она позволяет компьютеру «видеть» и извлекать информацию из увиденного.
ИИ-словарь
A/B-тестирование — это эксперимент, который позволяет сравнить две версии продукта. Суть в том, что на протяжении какого-то времени одному сегменту аудитории («А») показывают, к примеру, старый дизайн сайта, а другому («В») — обновленную версию. И проверяют, где выше конверсия.
ИИ-словарь
ИИ-словарь
A/B-тестирование — это эксперимент, который позволяет сравнить две версии продукта. Суть в том, что на протяжении какого-то времени одному сегменту аудитории («А») показывают, к примеру, старый дизайн сайта, а другому («В») — обновленную версию. И проверяют, где выше конверсия.
ИИ-словарь
TAIW (Time-Aware Item-based Weighting) — рекомендации с учетом периодичности покупок товаров.
ACM RecSys — международная конференция, на которой эксперты в области рекомендательных систем делятся своими наработками и исследованиями.
ACM RecSys — международная конференция, на которой эксперты в области рекомендательных систем делятся своими наработками и исследованиями.
«Индустрия и академия до сих пор в начале пути, чтобы научиться эффективно работать в связке»
«Компании часто не позволяют провести слишком много экспериментов и глубоко нырнуть в исследование, — объясняет Марина. — В индустрии важны надежные решения, которые будут оптимальными и эффективными с точки зрения вычислительных ресурсов, поэтому часто выбор падает на самые простые подходы в рекомендательных системах. Например, коллаборативная фильтрация или градиентный бустинг».
Академия, напротив, позволяет углубиться в исследование и не слишком заботиться о его прикладной составляющей. К научным экспериментам предъявляются особые требования по научной новизне, объему и воспроизводимости — если работа им не соответствует, ее не примут для публикации в научные журналы и на конференции.
Однако, по мнению Марины, основная проблема не в том, что подходы практиков и академиков к исследованиям в ИИ различаются, а в отсутствии совместной работы между ними.
Однако, по мнению Марины, основная проблема не в том, что подходы практиков и академиков к исследованиям в ИИ различаются, а в отсутствии совместной работы между ними.
Исследования в ИИ проводятся и в научных лабораториях университетов, и в R&D-отделах крупных компаний. Но в чем разница? И как ученым учесть интересы бизнеса?
По мнению Марины, в этих двух сферах работают разные подходы к исследовательскому процессу. Бизнесу нужны быстрые решения, которые будут увеличивать выручку и другие показатели эффективности. Поэтому индустрия диктует жесткие дедлайны и базовые решения.
По мнению Марины, в этих двух сферах работают разные подходы к исследовательскому процессу. Бизнесу нужны быстрые решения, которые будут увеличивать выручку и другие показатели эффективности. Поэтому индустрия диктует жесткие дедлайны и базовые решения.
«Индустрия и академия живут как два отдельных мира, они до сих пор не научились эффективно работать в связке. Основные значимые открытия последних лет в области рекомендательных систем были сделаны либо в результате крупных хакатонов и соревнований, например Netflix Prize, либо благодаря инхаус-разработке в отдельных исследовательских группах крупных компаний — в основном это Netflix и Google. Но даже крупные игроки почти не работают напрямую с университетами, несмотря на открытые лаборатории и кафедры. Формат, в котором исследователи из академии и инженеры из индустрии находятся в одной рабочей группе, это большая редкость. Чтобы область активно развивалась в будущем, нужно продолжать использовать такой и другие форматы эффективного взаимодействия».
Градиентный бустинг — один из методов машинного обучения (ML), который используется для создания ансамблей моделей путем последовательного обучения слабых моделей с целью улучшения качества прогнозов. Этот метод направлен на минимизацию ошибки путем последовательного добавления моделей, каждая из которых исправляет ошибки предыдущей.
ИИ-словарь
Команда RecSys в лаборатории уже работает в тесной связке, например, с НИУ ВШЭ — курирует проектную работу в области рекомендательных систем на базовой кафедре Тинькофф на факультете компьютерных наук.
Netflix Prize — открытое соревнование компании Netflix на лучший алгоритм предсказания оценки, которую зритель поставит фильму, на основе предыдущих оценок этого и других зрителей.
«Рекомендательные системы влияют на нас здесь и сейчас, но оценить это крайне трудно»
«С начала 2000-х рекомендательные системы начали встраиваться в сервисы в явном и в неявном виде, когда пользователь не осознает, что на самом деле пользуется рекомендациями, — рассказывает Марина. — Очень сложно оценить, как рекомендательные системы комплексно влияют на нашу жизнь, определяя и меняя наш выбор и предпочтения. Например, если не показывать мне рекомендации на YouTube, какие видео я искала бы и смотрела самостоятельно? Насколько отличались бы мои интересы и предпочтения по контенту? Одна из проблем рекомендательных систем — формирование пузыря фильтров (Filter bubble), ограничивающего новые рекомендации в предыдущих предпочтениях пользователя. Тем не менее, есть техники для преодоления таких проблем».
Новым поколениям ML-инженеров и исследователей ИИ придется уделить больше внимания тому, как сделать рекомендации более разнообразными и новыми для пользователей. В этом, по словам Марины, помогает обучение с подкреплением (RL).
Уже сейчас есть влияние рекомендательных систем на нашу повседневную жизнь.
«Одно из преимуществ RL в RecSys — возможность дообучать рекомендации в режиме реального времени в зависимости от действий пользователей. Также это помогает менять доли подмешивания нового контента и уже известного, релевантного для пользователя, по его предыдущей истории предпочтений. Я думаю, что в будущем RL сделает рекомендательные системы более адаптивными и качественными», — говорит Марина.
«Я в лагере тех, кто верит, что в рекомендательных системах больше пользы, чем вреда»
«Сложно сказать, что нас ждет в будущем, но уже сейчас появляются этические комитеты и законодательные документы о регулировании использования рекомендательных систем. Это дает понимание, на чем основываются алгоритмы, на каких данных они обучаются, повышая прозрачность для пользователей. Отдельно ограничивается использование персональных данных без согласия пользователей. Однако, негативно это не влияет на качество и распространение рекомендательных систем, поскольку чаще всего такие данные не нужны», — подытожила Марина.
В будущем рекомендательные системы будут еще больше влиять на нашу повседневность, расширяя свое присутствие в различных сферах, считает ученый. Поэтому на первый план выходит этичность и безопасность ИИ, особенно в части использования персональных данных пользователей. Тренд на их защиту будет набирать обороты.
Информационный пузырь, или пузырь фильтров (Filter bubble) — это негативная сторона персонализированного поиска, при которой человек окружен только той информацией, которая не противоречит его точке зрения. Со временем пользователь становится интеллектуально изолированным в своем собственном информационном пузыре. Этот термин впервые предложил американский предприниматель и активист Эли Паризер в 2011 году.
ИИ-словарь