Og det var arbeids- og sosialminister-posten som fristet ham mest.