В один прекрасный день на моем тестовом сервере поломался Prometheus. Произошло это досадное недоразумение по причине исчерпания дискового пространства. Причем демон был остановлен и стартовать отказывался.
Итак, удалять метрики можно через API, но в моем случае демон остановлен и API недоступна, поэтому пришлось применять радикальный способ.
Заключается он в удалении содержимого директории базы данных временных рядов /var/lib/prometheus/.
Расположение этой директории можно узнать с помощью команды:
sudo systemctl status prometheus
Выполнив команду, вы увидите —storage.tsdb.path /var/lib/prometheus/ — путь к базе данных временных рядов.
Собственно, после очистки можно запускать Promehheus и все должно заработать.
sudo systemctl start prometheusПосле запуска данные начнут копиться, а старые пропадут.
