«Стало довольно плохо»: Белла Торн вспомнила, как они с Зендаей сбежали с площадки, чтобы помириться
07.08.2026 00:56:23
В 1991 году в дипломной работе молодой немецкий студент разработал архитектуру нейронной сети, решавшую фундаментальную проблему, годами мешавшую рекуррентным сетям обучаться на длинных последовательностях данных. Научные журналы отказывались публиковать его работу снова и снова, и лишь в 1996 году — спустя пять лет после открытия — ему наконец удалось представить результаты на профильной конференции. Основная публикация вышла только в 1997-м. Десятилетия спустя того же исследователя журналисты немецких деловых изданий будут называть «человеком, стоящим за Siri и Alexa», — редкий пример того, как отвергнутая наукой идея превращается в фундамент целой технологической эпохи.
Йозеф «Зепп» Хохрайтер родился 14 февраля 1967 года. Изучать информатику он начал в Мюнхенском техническом университете в 1987 году — в эпоху, когда искусственный интеллект ещё не был сколько-нибудь модной темой в академических кругах. Классические разделы информатики, вроде алгоритмов сортировки, казались молодому студенту откровенно скучными, и он обратился к нейронным сетям — направлению, которым в то время руководил Юрген Шмидхубер, впоследствии ставший его научным руководителем и соавтором ключевой работы.
Именно под руководством Шмидхубера в дипломной работе 1991 года Хохрайтер разработал архитектуру, впоследствии получившую название LSTM (Long Short-Term Memory — долгая краткосрочная память). Изобретение решало проблему численной нестабильности при обучении рекуррентных нейронных сетей — так называемую проблему затухающего или взрывающегося градиента, — которая прежде не позволяла подобным сетям эффективно обучаться на длинных последовательностях данных. Несмотря на фундаментальность открытия, путь к его публикации оказался долгим и тернистым: научные журналы отклоняли работу несколько раз, прежде чем в 1996 году Хохрайтеру удалось выступить с докладом на конференции, а полноценная научная публикация в соавторстве со Шмидхубером вышла лишь в 1997 году.
После этого наступил своеобразный «зимний период» для идеи Хохрайтера: в последующие годы в области машинного обучения доминировали машины опорных векторов (SVM), а LSTM оставалась практически незамеченной научным сообществом. Потребовались годы, прежде чем технология была по-настоящему подхвачена индустрией.
После защиты докторской степени в Мюнхенском техническом университете Хохрайтер проводил постдокторские исследования в Университете Колорадо в Боулдере и Берлинском техническом университете. С 2006 по 2018 год он возглавлял Институт биоинформатики Университета имени Иоганна Кеплера в Линце, а в 2017 году стал руководителем лаборатории LIT AI Lab при Линцском технологическом институте. С 2018 года он возглавляет Институт машинного обучения того же университета. Помимо этого, Хохрайтер — один из основателей и директоров Института перспективных исследований в области искусственного интеллекта (IARAI), а также председатель конференции CAMDA, посвящённой критической оценке анализа больших массивов данных.
Научные интересы Хохрайтера не ограничиваются одной лишь LSTM: он также внёс значительный вклад в области мета-обучения, обучения с подкреплением и бикластеризации данных применительно к биоинформатике.
Спустя годы после первоначального забвения LSTM стала фундаментальной технологией, лежащей в основе целого ряда прикладных систем искусственного интеллекта: распознавания речи в голосовых помощниках вроде Siri и Alexa, машинного перевода и предсказания заболеваний на основе медицинских данных. Именно за этот вклад немецкое издание Handelsblatt назвало Хохрайтера «человеком, стоящим за Siri и Alexa» — характеристика, отражающая масштаб практического влияния его давнего изобретения. Директор Института интеллектуальных систем Общества Макса Планка в Тюбингене Бернхард Шёлькопф охарактеризовал LSTM как «поистине фундаментальный и один из самых известных алгоритмов вообще».
В феврале 2024 года Хохрайтер вместе с компанией-билдером Netural X и холдингом PIERER Digital Holding, в тесном сотрудничестве с Университетом имени Иоганна Кеплера и лабораторией LIT AI Lab, основал компанию NXAI Ltd. Цель проекта — разработка европейской большой языковой модели, основанной на технологии xLSTM, способной составить конкуренцию доминирующим на рынке трансформерным моделям и в первую очередь компании OpenAI. Сам Хохрайтер оценивал необходимое для реализации подобных амбиций финансирование в 54 миллиона евро ежегодно — 4 миллиона на персонал и 50 миллионов на вычислительные мощности. О собственном отношении к самому известному продукту конкурентов он высказался без обиняков: «ChatGPT — это чепуха».
Технология xLSTM (Extended LSTM), представленная командой Хохрайтера, устраняет исторические ограничения оригинальной LSTM — неспособность пересматривать решения о хранении информации, ограниченную ёмкость памяти и отсутствие параллелизуемости вычислений. Команда внедрила экспоненциальные гейты с соответствующими техниками нормализации и стабилизации, а также разработала два новых варианта архитектуры: sLSTM со скалярной памятью и обновлением, а также mLSTM — полностью параллелизуемую версию с матричной памятью и правилом ковариационного обновления. Эти блоки объединяются в остаточные стеки, формируя полноценные архитектуры xLSTM.
Практическое применение технологии оказалось особенно заметным в задачах прогнозирования временных рядов — от биржевых котировок и прогнозов погоды до обслуживания промышленного оборудования: в компании NXAI на основе xLSTM была создана базовая модель, обученная на 50 миллионах временных рядов и способная давать прогнозы без необходимости повторного обучения. В гидрологии xLSTM применяется для хранения состояний системы, например запасов воды в снежном покрове или почве, а в робототехнике технология позволяет запоминать положения объектов — в отличие от трансформеров, вынужденных пересчитывать всё заново, — что делает такие системы более энергоэффективными для периферийных вычислений в дронах и промышленной технике.
За вклад в развитие искусственного интеллекта Хохрайтер был удостоен германской премии в области инноваций ИИ, а также медали Вильгельма Экснера — престижной австрийской награды, вручаемой учёным, чьи разработки приносят ощутимую пользу экономике.
Сегодня Зепп Хохрайтер продолжает руководить Институтом машинного обучения и лабораторией LIT AI Lab Университета имени Иоганна Кеплера в Линце, одновременно развивая амбициозный проект NXAI, призванный вернуть Европе конкурентоспособные позиции в глобальной гонке искусственного интеллекта. Путь от студента, которому наскучили алгоритмы сортировки, и чью дипломную работу годами отвергали научные журналы, до создателя технологии, лежащей в основе голосовых помощников миллиардов пользователей по всему миру, показывает, как долго подчас приходится ждать признания даже самым фундаментальным научным открытиям.
Зепп Хохрайтер, изобретатель LSTM. Фото: JKU
| Родился: | 14.02.1967 (59) |
