Джигана нашли после побега из рехаба
06.10.2026 23:15:00
Сегодня слово Transformer знакомо практически каждому, кто интересуется искусственным интеллектом: на этой архитектуре построено огромное количество современных языковых моделей. Но в 2017 году это было всего лишь название новой экспериментальной системы для машинного перевода. Одним из людей, настоявших на самой радикальной части идеи, был Якоб Ушкорейт — немецкий исследователь и инженер Google, предложивший проверить, можно ли полностью заменить рекуррентные сети механизмом внимания.
Ушкорейт не создавал Transformer в одиночку. Вместе с ним над знаменитой работой «Attention Is All You Need» трудились Ашиш Васвани, Нум Шазер, Ники Пармар, Ллион Джонс, Айдан Гомес, Лукаш Кайзер и Иллия Полосухин. Но именно Ушкорейт в самой статье указан как человек, предложивший заменить RNN self-attention и инициировавший проверку этой идеи.
Якоб Ушкорейт вырос в научной среде. Его отец, Ханс Ушкорейт, — известный немецкий специалист по компьютерной лингвистике, один из заметных европейских исследователей языка и искусственного интеллекта. Поэтому интерес к тому, как компьютер может понимать человеческую речь, для Якоба оказался почти семейной темой.
Но сам он пошел прежде всего по пути компьютерных наук и математики. В 2007 году Ушкорейт окончил Технический университет Берлина, получив степень магистра по компьютерным наукам и математике. Еще во время учебы он работал внештатным разработчиком программного обеспечения, а затем начал профессиональную карьеру в области обработки естественного языка.
Еще студентом Ушкорейт познакомился с Google Research: в 2006–2007 годах он проходил там стажировку и занимался распределенными алгоритмами кластеризации для задач машинного перевода и языкового моделирования. После университета некоторое время работал в Acrolinx, компании, специализировавшейся на технологиях управления корпоративным контентом.
В 2008 году Ушкорейт присоединился к Google и начал работать в области машинного перевода. На тот момент компьютерный перевод уже был одной из наиболее сложных задач искусственного интеллекта: машине нужно было учитывать не отдельные слова, а их порядок, грамматику, контекст и связи между далеко расположенными частями предложения.
В Google Ушкорейт работал над технологиями, связанными с пониманием естественного языка, в том числе над ранними версиями Google Translate. Позднее он занимался системами понимания естественно-языковых запросов и глубоким обучением для обработки языка.
Главной проблемой тогда оставалась архитектура. Рекуррентные нейронные сети, включая LSTM, обрабатывали последовательность шаг за шагом: чтобы понять очередное слово, модель двигалась по предложению последовательно. Такой подход хорошо работал, но плохо масштабировался на большие объемы данных и длинные последовательности.
Сам Ушкорейт позднее рассказывал, что примерно за два года до публикации Transformer команда уже понимала, насколько серьезными становятся проблемы RNN и LSTM при работе с масштабами данных, доступными Google. Даже первая система Google для нейронного машинного перевода GNMT, по его словам, не могла просто обучаться на всех имевшихся у компании данных.
Именно тогда Ушкорейт начал продвигать необычную мысль: а что, если вообще убрать рекуррентность?
Механизм attention уже существовал. Он позволял нейронной сети при обработке одного слова учитывать другие слова в предложении. Но обычно attention использовался вместе с рекуррентными сетями.
Предложение Ушкорейта было гораздо радикальнее: попробовать построить систему, в которой attention станет не дополнением к рекуррентной архитектуре, а ее заменой.
Вместо того чтобы читать предложение последовательно, модель могла бы сопоставлять каждый элемент последовательности с другими элементами непосредственно. Это открывало возможность гораздо более эффективной параллельной обработки.
Идея встретила скептическую реакцию. Даже отец Якоба, известный компьютерный лингвист Ханс Ушкорейт, поначалу не был уверен, что отказ от рекуррентных сетей — правильный путь. Позднее Якоб рассказывал о дискуссиях с отцом за семейным столом: для традиционного подхода предложение отказаться от архитектур, на которых строилась значительная часть нейронного моделирования последовательностей, действительно выглядело почти еретическим.
Но Ушкорейт убедил нескольких коллег провести эксперименты. Результаты оказались достаточно многообещающими, чтобы продолжить исследования.
12 июня 2017 года на arXiv появилась работа «Attention Is All You Need». В декабре того же года она была представлена на конференции NeurIPS.
Авторами стали восемь исследователей Google и Google Brain: Ашиш Васвани, Нум Шазер, Ники Пармар, Якоб Ушкорейт, Ллион Джонс, Айдан Гомес, Лукаш Кайзер и Иллия Полосухин. Все авторы были указаны как внесшие равный вклад, а порядок имен в публикации был случайным.
В самой статье вклад Ушкорейта сформулирован особенно четко: он предложил заменить RNN self-attention и начал работу по экспериментальной проверке этой идеи. Васвани и Полосухин разработали и реализовали первые версии Transformer, Шазер внес ключевой вклад в scaled dot-product attention и multi-head attention, а остальные участники отвечали за различные компоненты архитектуры, эксперименты, программную реализацию и оптимизацию.
Название статьи оказалось почти пророческим: «Вам нужно лишь внимание».
В классической рекуррентной архитектуре информация проходила через последовательность шаг за шагом. Transformer отказался от этой необходимости.
Вместо рекуррентного движения по словам архитектура использовала self-attention: при формировании представления одного слова модель могла учитывать все остальные слова предложения и определять, какие связи для него наиболее важны.
В Google приводили наглядный пример со словом «bank» в английском предложении «I arrived at the bank after crossing the river». Чтобы определить, идет ли речь о банке как финансовом учреждении или о берегу реки, модель может обратить внимание на слово «river». В Transformer такая связь строится напрямую между словами, а не через последовательную передачу информации от одного шага к другому.
Еще важнее оказалось то, что архитектуру можно было эффективно параллелизировать. В первоначальной статье авторы показали, что Transformer превосходил предыдущие подходы на тестах машинного перевода и при этом требовал значительно меньше времени для обучения. На тесте WMT 2014 для перевода с английского на немецкий модель достигла 28,4 BLEU, а для английского на французский — нового рекорда для одной модели.
Создатели Transformer изначально не ставили перед собой задачу создать основу будущих чат-ботов. Их непосредственной целью был машинный перевод.
Но архитектура оказалась значительно универсальнее.
Главное преимущество состояло в том, что Transformer мог работать не только с переводом, но и с другими задачами обработки последовательностей. Уже в оригинальной статье авторы продемонстрировали применение архитектуры к синтаксическому анализу английского языка.
В дальнейшем Transformer вышел далеко за пределы машинного перевода. Именно его идеи легли в основу большого класса современных языковых моделей и систем генеративного искусственного интеллекта.
При этом роль Ушкорейта особенно интересна: он не был единственным создателем архитектуры и не разрабатывал все ее компоненты. Его вклад состоял в том, что он первым в этой команде поставил вопрос о возможности полностью избавиться от рекуррентной обработки.
Ушкорейт продолжал работать в Google еще несколько лет после появления Transformer. За время карьеры в компании он занимался не только переводом, но и системами понимания естественного языка для Google Assistant, а также крупномасштабным глубоким обучением.
В итоге его работа в Google продолжалась около 13 лет. В июле 2021 года Ушкорейт покинул компанию. Но уход из Google не означал ухода из технологий искусственного интеллекта.
Наоборот, следующий проект оказался необычным даже по меркам AI-индустрии.
В 2021 году Ушкорейт вместе с биохимиком и профессором Стэнфордского университета Риджу Дасом основал компанию Inceptive.
Теперь объектом его интереса стали не предложения и слова, а молекулы РНК.
Логика при этом была удивительно близкой к предыдущей работе. В языке модель учится находить связи между элементами последовательности — словами или токенами. В биологии ученые могут искать закономерности в последовательностях РНК и использовать вычислительные модели для проектирования новых молекул.
Inceptive поставила перед собой задачу применять машинное обучение к биологии РНК и разрабатывать новые терапевтические и биотехнологические решения. Таким образом, Ушкорейт перенес опыт работы с последовательностями из компьютерной лингвистики в совершенно другую область.
После взрывного роста генеративного искусственного интеллекта к авторам Transformer закономерно возник вопрос: понимали ли они в 2017 году, насколько далеко зайдет их идея?
Ответ Ушкорейта оказался довольно скромным. В интервью он признавал, что команда не представляла полного масштаба будущего влияния Transformer и не ожидала, что архитектура станет основой таких продуктов, как ChatGPT.
И это важная деталь его биографии. Ушкорейт не был человеком, который в 2017 году объявил о создании будущего ChatGPT. Его задача была значительно уже — найти более эффективный способ обработки последовательностей для машинного перевода.
Но именно это решение оказалось настолько универсальным, что впоследствии стало одним из фундаментальных элементов современной генеративной AI-индустрии.
После ухода из Google Ушкорейт сосредоточился на Inceptive и применении искусственного интеллекта к биологии. Его профессиональная траектория в результате получилась необычной: от компьютерной лингвистики и Google Translate — к Transformer, а затем от языка к РНК.
При этом его главная научная идея остается связана с тем же принципом: искать способы эффективнее работать со сложными последовательностями и находить зависимости между их элементами.
В 2017 году такой подход позволил отказаться от обязательной рекуррентности в нейросетях. Спустя несколько лет эта архитектурная перемена стала одной из основ современной эры больших языковых моделей.
В истории Transformer Якоб Ушкорейт занимает особое место именно потому, что его вклад был связан не с отдельной строчкой кода или одним улучшением существующей системы. Он предложил изменить саму логику обработки последовательностей: вместо движения от элемента к элементу дать модели возможность напрямую смотреть на связи между ними.
Восемь авторов «Attention Is All You Need» создали Transformer совместно, и было бы неправильно приписывать его изобретение одному человеку. Но сама статья прямо фиксирует роль Ушкорейта как инициатора идеи заменить рекуррентные сети self-attention.
Сегодня эта идея кажется очевидной лишь потому, что Transformer стал настолько привычным. В момент ее появления она означала отказ от подхода, который считался фундаментальным для работы с последовательностями.
Именно поэтому история Ушкорейта — это не только история одного инженера Google. Это история научной гипотезы, которую сначала пришлось доказать экспериментом, а затем — наблюдать, как она постепенно превращается в архитектурную основу новой эпохи искусственного интеллекта.
Якоб Ушкорейт один из авторов Transformer.Johannes Jost/FAZbm
