Автор: Ветрова Зоя [06.10.2025]

Загадка на Миллиард Строк

Пролог: Убийство на Программатик-Экспрессе

Сан-Франциско, 2011 год. В офисе стартапа Metamarkets на доске висит уравнение, которое не может решить ни один человек: как получить ответ на запрос к миллиарду строк данных быстрее, чем человек успеет поднять чашку кофе? Все существующие базы данных молчат, как обвиняемые на допросе. Но есть четверо инженеров, которые знают: если никто не может найти решение, значит, решение нужно создать самим.

Глава Первая: Персонажи и Обстоятельства

Фанцзинь Ян — главный герой нашей истории. Выпускник University of Waterloo с дипломами бакалавра в области электротехники и магистра в компьютерной инженерии. К 2011 году — старший инженер в Metamarkets. Человек немногословный, предпочитающий код словам. «Мне нравится создавать вещи», — вся его биография уместилась в одну лаконичную фразу, достойную мисс Марпл.

Эрик "Чеддар" Тщеттер — первый, кто написал строки кода того, что станет Druid. К моменту нашего расследования уже перешел в Yahoo, но его роль в истории неоспорима.

Джан Мерлино — технический гений из Caltech, ведущий инженер команды приема данных. Позже станет первым председателем Apache Druid PMC.

Вадим Огиевецкий — магистр компьютерных наук из Стэнфорда, третий соучредитель будущей компании.

Место действия: Metamarkets, стартап по анализу программатической рекламы. Время: эра, когда миллисекунды решают судьбу миллионов долларов в рекламных аукционах.

Глава Вторая: Мотив Преступления

В 2011 году в мире данных царил хаос. Представьте себе: рекламные кампании генерируют миллиарды событий. Клиенты хотят видеть аналитику в реальном времени. Существующие инструменты — Hadoop, традиционные SQL базы данных, NoSQL решения — все они подобны подозреваемым с железным алиби: технически невиновны, но и помочь не могут.

Требования были простыми до абсурдности:

  • Субсекундные запросы к миллиардам строк
  • Потоковый прием данных — события должны быть доступны для анализа немедленно
  • Масштабируемость до петабайтов
  • Возможность произвольного исследования данных без предварительного знания вопросов

«Ни одна база данных не могла поддержать производительность и масштаб для быстрых интерактивных запросов к высокомерным данным такого объема», — вспоминал позже Ян в интервью Datanami.

Глава Третья: Орудие Убийства (Старых Подходов)

Здесь начинается самое интересное. Как истинные детективы, команда Metamarkets принялась за расследование. Они испробовали реляционные базы данных — слишком медленные. Попробовали NoSQL — не поддерживают нужные типы запросов. Проверили существующие OLAP-системы — не справляются с реальным временем.

Вывод был ясен, как отпечаток пальца на месте преступления: нужно создать что-то абсолютно новое.

И тогда в 2011 году Эрик Тщеттер написал первые строки кода. Вскоре к нему присоединился Фанцзинь Ян. Они назвали свое детище Druid — в честь друидов из ролевых игр, способных менять форму и адаптироваться к различным задачам. Идеальная метафора для системы, которая должна была решать разнообразные проблемы данных.

Глава Четвертая: Архитектурная Улика

Druid стал колоночной, распределенной базой данных, написанной на Java. Но дьявол, как всегда, в деталях:

Колоночное хранение — данные хранятся по столбцам, а не по строкам. Это позволяет сканировать только необходимые данные, экономя драгоценные миллисекунды.

Распределенная архитектура — никаких единых точек отказа. Данные реплицируются, система продолжает работать, даже если часть узлов выходит из строя.

Продвинутая индексация — секретное оружие, позволяющее находить иголку в стоге сена размером с петабайт.

Философия разработки была проста и элегантна, как финальное объяснение Пуаро: «Не делай того, что не нужно делать». Никаких лишних операций, максимальная эффективность на каждом этапе.

Глава Пятая: Открытие Тайны

В октябре 2012 года произошло нечто необычное для корпоративного мира — Metamarkets выпустила Druid под лицензией GPL с открытым исходным кодом. Это был смелый ход, но он сработал, как идеальный план убийства... старых подходов к данным.

Проект начал набирать популярность. Netflix, Yahoo, eBay, Cisco — один за другим технологические гиганты стали использовать Druid. К 2015 году стало ясно: это не просто инструмент для одной компании, это новая категория баз данных — real-time analytics databases.

Глава Шестая: Рождение Imply

Но наша история на этом не заканчивается. Как в лучших детективах Кристи, есть еще один поворот сюжета.

В 2015 году Фанцзинь Ян, Джан Мерлино и Вадим Огиевецкий основали Imply — компанию, призванную коммерциализировать Druid и сделать его доступным для более широкой аудитории.

«Мы получали запросы раз в две недели: «Эй, можете помочь с установкой? Вы предоставляете поддержку?»» — вспоминал Ян причины создания компании.

Октябрь 2015 года — $2 миллиона seed-раунда от Khosla Ventures.Декабрь 2019 года — $30 миллионов, оценка $350 миллионов.Июнь 2021 года — $70 миллионов Series C, оценка $700 миллионов.

За четыре года компания увеличила свою стоимость в двести раз. Даже мисс Марпл аплодировала бы стоя.

Глава Седьмая: Масштаб Преступления (Против Старых Методов)

Цифры говорят красноречивее слов:

  • В Metamarkets кластер Druid обрабатывал 50 петабайт данных
  • Более 50 триллионов событий
  • Миллионы запросов в день
  • Субсекундные ответы на запросы к миллиардам строк

Клиенты Imply включают более 100 компаний: Plaid, Cisco ThousandEyes, Netflix, Salesforce, Confluent, Reddit, Twitter, Walmart, Wikimedia Foundation. Список читается как Who's Who технологического мира.

Глава Восьмая: Мотивы Действующих Лиц

Что двигало Фанцзинем Яном? В отличие от загадочных убийц Агаты Кристи, его мотивы были просты и благородны.

«Druid появился, чтобы заполнить пробел в мире данных», — объяснял он. — «Система была спроектирована с несколькими ключевыми атрибутами: субсекундные запросы, чтобы пользователи могли исследовать данные, не прерывая свой рабочий процесс; потоковый прием данных, чтобы события можно было изучать сразу после их возникновения».

Это не было погоней за деньгами или славой. Это была попытка решить реальную проблему, которую никто другой не мог решить.

Глава Девятая: Раскрытие Дела

В 2023 году Datanami назвал Фанцзиня Яна одним из «People to Watch». Apache Foundation приняла Druid в свои проекты. С 2021 года Ян является ангельским инвестором и скаутом для Andreessen Horowitz, помогая находить и поддерживать новых инноваторов.

Но главное раскрытие — это признание новой категории баз данных. Real-time analytics databases стали такой же обыденностью, как реляционные базы данных в свое время.

«Мы наблюдаем появление новой категории инфраструктуры данных», — говорит Ян. — «Потребность в более быстрой производительности запросов в масштабе не замедляется. Это стало game-changer, открывающим новые операционные рабочие процессы».

Эпилог: Кто Виновен?

В конце каждого детектива Агаты Кристи раскрывается личность убийцы. В нашей истории виновных несколько:

Виновен Эрик Тщеттер — в написании первых строк кода, запустивших революцию.

Виновен Фанцзинь Ян — в том, что не смирился с невозможным и создал то, чего не существовало.

Виновны Джан Мерлино и Вадим Огиевецкий — в соучастии в создании технологии, изменившей мир данных.

Виновен весь open source сообщество — в том, что подхватило идею и довело ее до совершенства.

Но главный виновник — это необходимость. Мать изобретений, как говорится. Мир нуждался в решении для анализа данных в реальном времени, и четверо инженеров ответили на этот зов.

Постскриптум от Автора

Дорогой читатель, как вы могли заметить, эта история отличается от классических детективов Агаты Кристи в одном важном аспекте: здесь нет трупов. Напротив, это история о создании, а не об убийстве.

Хотя, если вдуматься, они действительно кое-что убили: старые, неэффективные подходы к анализу больших данных. И за это преступление их никто не будет судить. Наоборот, за него дали $70 миллионов инвестиций.

Фанцзинь Ян продолжает руководить Imply из своего офиса в районе залива Сан-Франциско. Он по-прежнему немногословен. Его LinkedIn профиль содержит всего одну строку о себе: «Мне нравится создавать вещи».

И как показывает история Druid, когда Фанцзинь Ян создает вещи, они меняют мир.

Занавес.

«Дело закрыто. Подозреваемые оправданы. Более того, они герои. Но загадка остается: что они создадут в следующий раз?»

— Э. К. (Эркюль Кристи), частный сыщик по делам технологических революций


Tags: #данных #глава #фанцзинь #миллионов #строк #кристи #более #запросы #запросов #данные #история #виновен #решить #человек #существующие

Дополнительные фотографии

Фанцзин Ян - фотография из архивов сайта

Фанцзин Ян - фотография из архивов сайта

Посмотреть фото

Поделиться

Фанцзин Ян

Фанцзин Ян

один из первых разработчиков Druid и соучредитель Imply

Последние новости

Люди Дня

Последние комментарии

  • 22.04.2026 04:02 Технологии меняют искусство Эта шутка, возможно, не предсказывала точное разви... [ «Актеров заменят роботы»: Как мрачная шутка Уилла Феррелла стала пророчеством ]
  • 22.04.2026 03:57 Семья и спорт в НБА Возможно, это не просто совпадение, а результат до... [ Леброн Джеймс и его сын Бронни совершили историческое событие в НБА ]
  • 22.04.2026 03:30 Психологика на стыке победы и устойчивости Возможно, победа на Мастерс — это не просто резуль... [ «Стальной характер»: Как психолог помог МакИлрою удержать победу на Мастерс ]
  • 22.04.2026 03:29 Политика как рычаг для биткойна Интересно, как слова Трампа могут раскачать биткой... [ Слова президента как рычаг: как комментарии Трампа раскачивают курс биткойна ]
  • 22.04.2026 02:03 Заявление и реакция Возможно, заявление Медведева вызвало разные реакц... [ Пражский запрос: как заявление Медведева о целях для ударов взбудоражил соцсети ]
  • 22.04.2026 02:02 Политика и наследие Интересно, как люди воспринимают использование изв... [ Дочь Фрэнка Синатры назвала «святотатством» использование песни отца в ролике Трампа ]
  • 22.04.2026 01:02 Венгрия в своих интересах Венгрия, как и многие страны, стремится к балансу ... [ Песков: Орбан служил Венгрии, а не был «русским союзником» в ЕС ]
  • 22.04.2026 00:57 Память как основа единства Володин прав, что подвиги Гагарина и Терешковой пр... [ Володин призвал чтить подвиг Гагарина и Терешковой: «Они принадлежат миру» ]
  • 22.04.2026 00:04 Соперничество как честь Возможно, Кросби видит в Овечкине не просто соперн... [ Кросби о легендарном соперничестве: «Играть против Овечкина — честь» ]
  • 22.04.2026 00:04 Сложность выживания в хаосе Фильм «Собаки-звезды» может показать, как люди ста... [ «Собаки-звезды»: Джейкоб Элорди в постапокалиптическом триллере Ридли Скотта ]

Оставьте Комментарий

Имя должно быть от 2 до 50 символов
Введите корректный email
Заголовок должен быть от 3 до 200 символов
Сообщение должно быть от 15 до 6000 символов