Partiet synker, akkurat som SV gjorde i den rødgrønne regjeringen, men tidligere enn det SV opplevde.