Шрея Шанкар исследователь ИИ
Шрея Шанкар исследователь ИИ
Автор: Алексей Вавилов [07.09.2026]

Исследователь ИИ, которая учит системы проверять собственные ошибки

Большие языковые модели умеют писать тексты, анализировать документы и отвечать на вопросы, но за впечатляющими результатами скрывается неудобная проблема: как понять, когда искусственный интеллект ошибся?

Именно вокруг этого вопроса построена научная работа Шреи Шанкар — исследователя в области систем обработки данных, машинного обучения и взаимодействия человека с ИИ. Её интересует не столько создание очередной модели, сколько инфраструктура вокруг неё: как обрабатывать огромные массивы неструктурированной информации, как контролировать качество результатов и как системно оценивать работу ИИ-приложений.

В 2026 году её научная карьера перешла на новый этап: Шанкар завершила докторскую подготовку в Калифорнийском университете в Беркли и объявила о начале академической карьеры в Питтсбурге с 2027 года.

Стэнфорд и первые шаги в инженерии

Шанкар получила образование в области компьютерных наук в Стэнфордском университете. Ещё до докторской программы она успела поработать инженером по машинному обучению и данным.

Опыт индустрии оказался для неё важным не меньше университетской подготовки. Работа с реальными ML-системами показала, насколько сильно поведение моделей зависит от качества данных, процессов тестирования и постоянного мониторинга.

В исследовании, посвящённом практикам машинного обучения в компаниях, Шанкар вместе с коллегами изучила работу 18 инженеров, отвечавших за внедрение ML-моделей. Исследователи обнаружили, что производственные системы требуют постоянного цикла подготовки данных, экспериментов, оценки и мониторинга. Среди ключевых проблем они выделили скорость разработки, проверку результатов и управление версиями.

Это направление впоследствии стало одной из основ её собственной исследовательской программы.

Беркли: данные, ИИ и человеческий фактор

В UC Berkeley Шанкар стала частью Data Systems and Foundations Group и работала под руководством профессора Адитьи Парамешварана.

Её исследования оказались на пересечении сразу нескольких областей: систем управления данными, больших языковых моделей и человеко-компьютерного взаимодействия. Такой подход позволил рассматривать ИИ не как отдельную модель, а как сложную систему, которой человек должен уметь управлять.

Особенно Шанкар заинтересовала проблема неструктурированных данных.

Таблицу легко представить в виде строк и столбцов. Но огромная часть информации, с которой работают организации, существует в другом виде: документы, отчёты, судебные материалы, медицинские тексты, письма и другие массивы текста.

LLM сделали возможной автоматизированную работу с такими данными, но одновременно создали новую проблему: результаты языковой модели могут быть непредсказуемыми.

SPADE: когда ошибку ИИ нужно заметить вовремя

Одним из наиболее заметных проектов Шанкар стал SPADE — система для автоматического создания проверок качества результатов LLM.

Идея довольно проста: если языковая модель используется внутри конвейера обработки данных, нельзя просто принять каждый её результат за правильный. Необходимо заранее определить признаки потенциальной ошибки и автоматически проверять получившийся результат.

SPADE анализирует историю версий промптов и на её основе помогает создавать наборы проверок. В опубликованном исследовании система тестировалась на девяти реальных LLM-конвейерах. Авторы сообщили о сокращении количества необходимых проверок на 14% и уменьшении числа ложных срабатываний на 21% по сравнению с базовыми методами.

Важной частью проекта стало и практическое применение. SPADE был интегрирован в LangSmith и использовался для генерации проверок качества более чем для 2000 конвейеров.

Так исследовательская идея вышла за пределы лаборатории.

Главный вопрос: кто проверяет проверяющего?

Следующим важным направлением стала оценка самих систем оценки.

Если одна языковая модель проверяет ответы другой модели, возникает естественный вопрос: насколько можно доверять этому судье?

Этой проблеме посвящена работа Who Validates the Validators? Aligning LLM-Assisted Evaluation of LLM Outputs with Human Preferences.

Шанкар исследовала инструменты, которые помогают согласовать автоматическую оценку ИИ с человеческими предпочтениями. Проект получил почётное упоминание за лучшую работу на конференции UIST 2024.

Именно здесь особенно хорошо видна специфика её подхода: автоматизация не должна означать полное исключение человека из процесса.

Сначала необходимо понять, какие ошибки действительно важны для конкретной задачи. Затем эти критерии можно превратить в систему автоматической проверки.

DocETL: ИИ начинает работать с огромными массивами документов

Одним из центральных проектов Шанкар стал DocETL — открытая система для обработки неструктурированных документов с использованием языковых моделей.

Вместо того чтобы рассматривать работу LLM как единичный запрос, исследователь предлагает мыслить категориями традиционных систем обработки данных. Сложные операции можно разбивать на этапы, оптимизировать и оценивать по качеству и стоимости.

DocETL позволяет использовать семантические операции для анализа больших массивов текста. Исследования Шанкар показывают, как привычные идеи из мира баз данных приходится переосмысливать, когда вместо структурированных таблиц система работает с текстами и возможностями LLM.

К 2026 году проект получил тысячи звёзд на GitHub, а его решения использовались в различных областях, где требуется масштабная обработка документов.

От научной статьи к инструментам для инженеров

Шанкар стремится сделать исследования практически применимыми.

Она участвовала в создании образовательного курса по оценке ИИ-приложений, ориентированного на инженеров и менеджеров. Курс собрал тысячи участников из сотен компаний. В центре программы — анализ ошибок, создание оценщиков, тестирование ИИ-систем и постоянное измерение их качества.

В 2026 году вышла также книга Evals for AI Engineers, написанная Шанкар совместно с Хэмелом Хусейном. В ней систематизируется подход к оценке современных ИИ-приложений.

Таким образом, её работа постепенно выходит за рамки академической среды: исследовательские идеи превращаются в методики, которыми могут пользоваться разработчики.

2026 год: новый этап карьеры

2026 год стал для Шанкар переходным.

На её профессиональном сайте указано, что летом она официально завершила обучение в Беркли. В течение года она также участвовала в академических конкурсах на преподавательские позиции. В марте 2026 года Шанкар выступила в Carnegie Mellon University в рамках факультетского конкурса с докладом о системах обработки неструктурированных данных.

Позднее она сообщила о получении академической должности и планах начать работу в Питтсбурге в 2027 году.

Одновременно продолжается её исследовательская работа. Среди новых направлений 2026 года — оптимизация агентных преобразований неструктурированных данных, снижение стоимости обработки и развитие методов оценки ИИ-систем.

Почему её работа становится всё важнее

Современные ИИ-системы становятся частью реальных рабочих процессов. Они анализируют документы, помогают искать информацию, классифицируют материалы и выполняют последовательности операций.

Но чем больше полномочий получает система, тем важнее становится возможность проверить её результат.

В этом и заключается основная тема исследований Шреи Шанкар. Она работает на участке между моделью и человеком — там, где необходимо превратить впечатляющие возможности генеративного ИИ в предсказуемый и измеримый процесс.

Её путь показывает, как меняется сама роль специалиста по искусственному интеллекту. Сегодня недостаточно создать модель, которая умеет отвечать. Нужно понимать, где она ошибается, как обнаружить эти ошибки, сколько стоит исправление и каким образом доказать, что система действительно стала лучше.

Именно поэтому исследования Шанкар связаны не только с большими языковыми моделями, но и с более фундаментальным вопросом: как построить ИИ-системы, которым можно доверять в реальной работе.


Tags: #ШреяШанкар #ShreyaShankar #биографияШреиШанкар #ШреяШанкарисследователь #ShreyaShankarAI #LLMjudges #оценкаLLM #AIevals #datapipelines #DocETL #SPADE #UCBerkeley #искусственныйинтеллект #исследованиеИИ #системыобработкиданных

Дополнительные фотографии

Шрея Шанкар исследователь ИИ

Шрея Шанкар исследователь ИИ

Поделиться

Шрея Шанкар

Шрея Шанкар

Иисследователь и специалист по оценке конвейеров данных

Родился: 30.10.1996 (29)
Место: Патна (IN)

Последние новости

Люди Дня

Последние комментарии

Оставьте Комментарий

Имя должно быть от 2 до 50 символов
Введите корректный email
Заголовок должен быть от 3 до 200 символов
Сообщение должно быть от 15 до 6000 символов