CPU governor
Userspaceに設定しておけば所望のCPU周波数が適用されるので大丈夫かと思っていたのだけど、PerfomanceとUserspaceで同じkernelでもlatencyがガクッと違った。
調べて資料を読むと、Userspaceはroot権限で実行するプログラムについてscaling_setspeedで周波数を設定するとのことで、MPDなどユーザー名にroot以外を指定して実行しているプログラムも考えるとPerformanceを指定しておくべきらしい。
https://www.kernel.org/doc/Documentation/cpu-freq/governors.txt