Профессор из Carnegie Mellon University, который с 2013 года работает на кафедре computer science и изучает внутренности современных баз данных, объявил, что переходит в ClickHouse и возглавит новую исследовательскую команду ClickHouse Labs. Он много лет отслеживает каждую новую систему, а про ClickHouse узнал в июне 2016, когда проект представили как open-source. Тогда его первой реакцией было «vaporware» — уж слишком хорошо звучало. ClickHouse был написан на C++ и поддерживал векторное исполнение запросов через SIMD, хотя самые заметные open-source аналитические DBMS того времени работали на JVM и до SIMD доросли только через несколько лет. С тех пор он следил за проектом постоянно. На своих первых дистанционных лекциях в 2020 году даже появился в футболке ClickHouse.
Когда сооснователи ClickHouse позвали его создать и возглавить ClickHouse Labs, он не смог упустить такой шанс. Сравнивает это с супергруппой, которую собрали Killer Mike и El-P. Лаборатория не будет закрытым исследовательским отделом, который перебрасывает идеи инженерам через стену. Она будет работать вместе с инженерами ClickHouse, заказчиками и партнёрами. Отдельное направление — помочь PostgreSQL-команде ClickHouse вывести развивающийся managed service в лидеры по производительности и надёжности. PostgreSQL и ClickHouse справляются с разными нагрузками, но вместе дают широкую основу для исследований и транзакционных, и аналитических задач.
Цель ClickHouse Labs — делать исследования с научной ценностью и превращать лучшие идеи в технологии, которые нужны пользователям. Ориентиры — IBM Research и Microsoft Research. У ClickHouse уже хороший трек: с 2021 года инженеры публикуют подробные статьи о реализации DBMS, а в 2024 вышла VLDB-статья о ядре. Профессор задаёт эти тексты студентам Carnegie Mellon. При этом у команды накопился бэклог идей и оптимизаций, которые ещё не успели полностью проверить и довести до продакшена. Одна из первых задач — ускорить этот процесс.
Дальше займутся вопросом, как ClickHouse и PostgreSQL вписываются в AI и агентные технологии. Нужно понять, какой должна быть DBMS, чтобы лучше поддерживать агентов, и как агенты могут улучшить и автоматизировать разработку самих DBMS. На столе всё: новое железо, алгоритмы, структуры данных, стратегии исполнения, способы сборки и эксплуатации. Ответов пока нет — это же research. Но реляционная модель ClickHouse даёт прочный фундамент, чтобы эволюционировать вместе с такими data-intensive нагрузками.