Du siehst es eigentlich schon richtig.Niemand kann und darf dir vorschreiben wann wie wo du die SBV Arbeit erledigst.
Was dein AG hier plant ist für mich eine Mandatsbehinderung !
Wie im SGB 9 verankert stellt dich die anfallende Mandatstätigkeit von "normaler" Arbeit frei. Dies gilt auch für Seminare.
Um des lieben Friedens willen könntest du - wenn du Erfahrung gesammelt hast wie hoch dein Zeitaufwand täglich/wöchentlich/ etc. ist - anbieten dann nach Zeit ...2-3 Monate eine regelmässige Bürozeit aufgrund deiner Planung einzurichten. Mehr aber auch nicht.
In einer Arbeitsplatzbeschreibung hat dies auch nichts zu suchen, da Mandatsarbeit .