Клаузиус в 1865 году ввёл энтропию. Разбирая физические процессы как цепочку двигателей, он показал: при необратимых процессах энтропия растёт, при обратимых (идеальный цикл Карно) не меняется. Это второй закон термодинамики. Энтропию нельзя измерить термометром или линейкой, но из неё можно получить измеримые величины.
Автор давно хотел разобраться в идее «жизнь как энтропия», идущей от Шрёдингера и негэнтропии. Жизнь поддерживает порядок, питаясь энергией и снижая локальный беспорядок. Чтобы понять это детально, он строит toy-модели и ищет математически согласованное определение энтропии.
Одна из таких моделей — Dyson's toy model of a cell: Markov chain, которая сходится к одному из трёх равновесий, включая «жизнь» и «смерть». Но энтропия по Клаузиусу — функция работы и температуры, непонятно, как применить её к цепям. Больцман связал энтропию с числом возможных состояний: если зафиксировать макросостояние (температуру, давление, объём), энтропия равна логарифму числа микросостояний, умноженному на постоянную Больцмана: S = k_B ln W. Больцман строил модель газа с конечными скоростями и позициями частиц, и математики до сих пор пытаются строго обосновать его работу.
Вот конкретный пример. Curie's model магнита: атомы могут быть spin up или spin down. Энергия E = n↑ − n↓. Для системы из 5 атомов с E = 1 нужно 3 атома вверх и 2 вниз. Число способов — C(5,3) = 10. Энтропия S = k_B ln 10 = 2.3026 k_B, или 3.32 бита.
Теперь можно посчитать энтропию для Markov chain Дайсона. Когда процесс сходится к равновесию, вероятности состояний фиксированы. Пусть 1/2 шанс, что сайт пуст, 1/4 — активен, 1/4 — неактивен. Для 8 сайтов это даёт 4 пустых, 2 активных и 2 неактивных. Число конфигураций W = 8!/(4!2!2!) = 420. Энтропия S = k_B ln 420 ≈ 6.0403 k_B.
В следующем посте автор обещает объяснить, как энтропия меняется со временем и при каких условиях она растёт. Благодарит Дэвида Пфау за обсуждения.