Работает ли VirtualDub с форматом mkv?

Catharsis96

и если нет, то есть ли какой-либо его аналог, который работает?

sirius

VirtualDubMod

KISSA

Из аналогов - названный выше VirtualDubMod, но он напрямую не со всеми типами mkv может работать.
Полная поддержка есть в MkvToolNix.