Dan zit daar vermoedelijk je probleem.
De standaard encoding van een MAC is UTF-8, dus als er bij het maken van de .mkv niet is aangegeven welke codering gebruikt wordt dan zal mkvtoolnix de standaard codering van de MAC gebruiken.
Als er in de .mkv het wel netjes is aangegeven zal mkvtoolnix de sub converteren naar UTF-8 ( of zo laten als hij al utf-8 was).
De meeste .mkv's waar al een sub in zit zijn gemaakt op windows systemen en daar gaat het dus fout bij elk speciaal karakter, want als het 8ste bit op een staat dan wordt het karakter opgezocht in de actuele codepage.
Bij utf-8 geeft het 8ste bit aan dat het een adres (van 2, 3 of 4 byte) is in de utf-8 code tabel.
Met behulp van mkvinfo kun je kijken of er een codec opgegeven is en zo ja welke codering gebruikt is.
Ik weet niet hoe het met mkvtoolnix zit, maar zelf gebruik ik ffmpeg om subs uit een mkv te halen en daarmee kun je opgeven welke codec gebruikt moet worden.
Als ik dan windows-1252 gebruikt gaat het altijd goed.
EDIT:
Ik kan wel een python progje voor je schrijven die met behulp van ffmpeg de video,audio en nederlandse sub uit je .mkv haalt en daar weer een nieuwe .mkv van maakt.
Kan allemaal op je NAS draaien en via de taakplanner regelmatig laten draaien.