
Декабрь 2012 года. Конференция по нейронным информационным системам (NeurIPS) во французском озерном городке Тахо. Зал замер, когда на экране появились результаты ImageNet Large Scale Visual Recognition Challenge — самого престижного соревнования по компьютерному зрению. Цифры казались ошибкой: победитель превзошел ближайшего конкурента на 10,8 процентных пункта. В мире, где прогресс измерялся долями процента, это выглядело как прыжок из каменного века в космическую эру.
За этим прорывом стояла команда из трех человек: профессор Джеффри Хинтон, его аспирант Илья Суцкевер и студент, чье имя скоро узнает весь технологический мир — Алекс Крижевский.
Алекс Крижевский родился в Советском Союзе, в семье, где ценили образование и аналитическое мышление. В начале 1990-х, когда Союз распался, его семья эмигрировала в Канаду — страну, которая станет одним из мировых центров исследований в области глубокого обучения. Этот переезд, типичный для многих советских семей того времени, определил траекторию жизни будущего ученого.
В Университете Торонто Крижевский специализировался на компьютерных науках. Это было время, когда машинное обучение считалось маргинальной областью — большинство исследователей искусственного интеллекта сосредоточились на символьных подходах и экспертных системах. Нейронные сети переживали то, что историки науки называют "AI winter" — период разочарования и сокращения финансирования.
Но в Торонто работал Джеффри Хинтон — один из немногих, кто упорно продолжал верить в потенциал нейронных сетей. Его лаборатория стала магнитом для талантливых студентов, готовых идти против мейнстрима. Крижевский оказался среди них.
К 2012 году Крижевский был аспирантом в лаборатории Хинтона. Задача казалась невыполнимой: создать систему, способную распознавать объекты на фотографиях с точностью, близкой к человеческой. База данных ImageNet содержала более миллиона изображений в тысяче категорий — от пород собак до моделей автомобилей.
Традиционные методы компьютерного зрения требовали, чтобы исследователи вручную определяли признаки объектов: края, текстуры, формы. Это был кропотливый процесс, который давал посредственные результаты. Крижевский выбрал радикально иной путь — позволить машине самой научиться выделять важные признаки.
Архитектура, которую он разработал вместе с Суцкевером и под руководством Хинтона, получила название AlexNet. Она состояла из восьми слоев — пять сверточных и три полносвязных. Сверточные слои работали как серия все более абстрактных фильтров: первые выделяли простые края и линии, последующие — более сложные паттерны, а финальные слои распознавали целые объекты.
Ключевым новшеством стало использование функции активации ReLU (Rectified Linear Unit) вместо традиционных сигмоидных функций. Это простое изменение радикально ускорило обучение. Крижевский также применил технику dropout — случайное отключение части нейронов во время тренировки, что предотвращало переобучение модели на тренировочных данных.
Но даже с правильной архитектурой оставалась проблема: обучение такой глубокой сети требовало огромных вычислительных мощностей. Процессоры справлялись бы с задачей неделями. Крижевский нашел решение, которое казалось неочевидным — использовать графические процессоры (GPU), изначально созданные для видеоигр.
GPU от NVIDIA, предназначенные для рендеринга трехмерной графики, оказались идеальными для параллельных вычислений, необходимых для тренировки нейронных сетей. Крижевский написал собственный код на CUDA — языке программирования для GPU — и использовал две видеокарты NVIDIA GTX 580. То, что на CPU заняло бы месяцы, на GPU выполнялось за несколько дней.
Эта работа велась в условиях жесткой конкуренции. ImageNet Challenge собирал лучшие команды со всего мира — из Google, Microsoft, университетов Оксфорда и Стэнфорда. У Крижевского и его коллег не было корпоративных ресурсов, только две видеокарты, несколько недель работы и радикальная идея.
Когда результаты были объявлены, реакция индустрии была мгновенной. AlexNet достигла точности 84,7% в задаче top-5 (когда правильный ответ находится среди пяти наиболее вероятных вариантов). Ближайший конкурент, использовавший традиционные методы, показал лишь 73,8%. Разрыв был сокрушительным.
Статья «ImageNet Classification with Deep Convolutional Neural Networks», опубликованная на NeurIPS 2012, стала одной из самых цитируемых работ в истории компьютерных наук. К 2024 году она набрала более 140 000 цитирований — показатель, который встречается раз в десятилетие.
Успех AlexNet запустил цепную реакцию. Технологические гиганты осознали, что глубокое обучение — это не академическая забава, а инструмент, способный трансформировать целые отрасли. Уже в 2013 году компания Крижевского, Хинтона и Суцкевера — DNNresearch — была приобретена Google за сумму, по разным оценкам, от 5 до 44 миллионов долларов.
В Google Крижевский присоединился к команде Google Brain, где продолжил работу над совершенствованием нейронных сетей. Он участвовал в разработке улучшенных архитектур и методов оптимизации, которые легли в основу многих продуктов компании — от распознавания изображений в Google Photos до систем машинного перевода.
Параллельно начался бум глубокого обучения в индустрии. Facebook создал лабораторию под руководством Яна ЛеКуна, пионера сверточных сетей. Microsoft инвестировал миллиарды в исследования ИИ. Стартапы, использующие глубокое обучение, получали финансирование с невиданной легкостью. Рынок видеокарт NVIDIA взлетел — инвесторы поняли, что GPU станут главным инструментом эры искусственного интеллекта.
AlexNet стала не просто успешной моделью — она стала доказательством концепции. До 2012 года многие исследователи считали глубокие нейронные сети непрактичными: слишком медленные, слишком сложные в обучении, слишком склонные к переобучению. Крижевский показал, что при правильном подходе эти проблемы решаемы.
Архитектурные решения AlexNet — сверточные слои, ReLU активация, dropout, использование GPU — стали стандартом индустрии. Последующие модели, такие как VGGNet, GoogLeNet, ResNet, строились на этом фундаменте, добавляя новые идеи, но сохраняя базовые принципы.
Влияние работы Крижевского вышло далеко за пределы компьютерного зрения. Техники, разработанные для AlexNet, были адаптированы для обработки естественного языка, распознавания речи, игр, медицинской диагностики. Трансформация, которую переживает сегодня искусственный интеллект — от ChatGPT до DALL-E — опирается на фундамент, заложенный в той скромной лаборатории в Торонто.
О личности Крижевского известно немного — он избегает публичности, что нетипично для звезд Кремниевой долины. Коллеги описывают его как методичного исследователя, который предпочитает говорить кодом, а не словами. В эпоху, когда основатели стартапов становятся медийными персонами, Крижевский остается в тени, сосредоточенный на работе.
После нескольких лет в Google он перешел в Anthropic — стартап, основанный бывшими сотрудниками OpenAI, который фокусируется на создании безопасных систем искусственного интеллекта. Этот выбор показателен: вместо максимизации влияния или прибыли, Крижевский выбрал компанию, чья миссия — обеспечить, чтобы искусственный интеллект приносил пользу человечеству.
Сегодня, более десяти лет спустя после ImageNet Challenge 2012, мир живет в реальности, которую помог создать Алекс Крижевский. Распознавание лиц разблокирует смартфоны. Алгоритмы рекомендуют контент миллиардам пользователей. Автономные автомобили учатся распознавать пешеходов и знаки. Врачи используют ИИ для диагностики рака с точностью, превышающей человеческую.
Все это стало возможным благодаря прорыву 2012 года — моменту, когда небольшая команда в Торонто доказала, что машины могут научиться видеть. Не через жесткое программирование правил, а через обучение на примерах, подобно тому, как учится человеческий мозг.
Крижевский не стал медийной звездой уровня Илона Маска или Сэма Альтмана. Его имя редко всплывает в новостных заголовках. Но в истории искусственного интеллекта 2012 год навсегда останется переломным — годом, когда AlexNet открыла путь в будущее, которое мы сейчас строим.
Фото с сайта artificial-intelligence.blog
Посмотреть фото
| Родился: | 04.03.1986 (39) |