Klar, klemm ein Holz, Fliess oder Lappen dazwischen. So ist es geschützt

Ja, wenn man die Schraube fest genug anzieht bewegt sich da nichts mehr, auch wenn die „Zähne“ auf dem Geländer aufliegen.
Hatten wir bei unserem alten Balkon auch so montiert ohne Problem.

Die Idee mit etwas dazwischen zu legen ist aber sicher nicht verkehrt.