Чем собирать и показывать статистику по временам запросов?
Чем не устраивает awk + graphviz?
graphvizЭтого слишком мало. Мне надо статистику по запросам хранить, скажем, за последний месяц. Надо какой-то UI, чтоб её удобно смотреть. В общем graphviz хорош, но не про то.
graphite очень удобен в плане того, что у него простое апи для визуализации, есть множество встроенных функций, но надо осознавать два ограничения/особенности дизайна:
1. каждая метрика хранится с заданным наперед разрешением. т.е. нельзя зарегистрировать 2 события за одну секунду, если выбрана посекундная схема хранения данных
2. каждая метрика имеет свою политику устаревания, т.е. если данных много, то хранить их все за все время будет накладно, для более старых данных надо выбирать способ агрегации. если есть необходимость визуализировать абсолютно честно все данные за всю историю, то тут может быть проблема.
первое ограничение частичное обходится предварительной агрегацией каким-нибудь внешним инструментом
например, по описанию (сам не юзал) похож http://github.com/etsy/logster
1. каждая метрика хранится с заданным наперед разрешением. т.е. нельзя зарегистрировать 2 события за одну секунду, если выбрана посекундная схема хранения данных
2. каждая метрика имеет свою политику устаревания, т.е. если данных много, то хранить их все за все время будет накладно, для более старых данных надо выбирать способ агрегации. если есть необходимость визуализировать абсолютно честно все данные за всю историю, то тут может быть проблема.
первое ограничение частичное обходится предварительной агрегацией каким-нибудь внешним инструментом
например, по описанию (сам не юзал) похож http://github.com/etsy/logster
первое ограничение частичное обходится предварительной агрегацией каким-нибудь внешним инструментомЕщё statsd на эту тему есть.
например, по описанию (сам не юзал) похож http://github.com/etsy/logster
Вместо graphite ещё интересная штука есть tsdb — там вроде данные хранятся все, но только не чаще чем раз в секунду.
для сбора статистики по времени обработки запросов посмотри на pinba
Оставить комментарий
psm-home
Есть сервер. Обрабатывает (удивительно!) запросы. Обработка запроса состоит из нескольких частей. Хочется собирать статистику по временам обработки запросов, как для полного времени, так и для частей. С каждым запросом ассоциированы некоторые теги (например пользователь, от имени которого отправлен запрос). Нужно иметь возможность графически представлять времена обработки запросов в разрезе этих тегов.Вопрос, есть для этой задачи какой-нибудь (полу)готовый инструмент или опять самому пилить? Вот, скажем, graphite мне поможет?
Сырые данные я могу брать из логов/РСУБД/могу даже по UDP слать, прости господи, если это поможет мне не писать с нуля.