Pour cela, il est nécessaire de faire un petit hack et d'utiliser la balise html 'label' :
<label>
<input type="submit" name="myValue" value="myValue" style="display:none;">
<svg class="fill-current h-12 w-12" xmlns="http://www.w3.org/2000/svg" viewBox="0 0 26 28">
<path
d="........">
</path>
</svg>
</label>
Notez l'importance du display:none sur le button pour éviter de l'afficher.
A la place, c'est votre image SVG qui sera affichée et qui déclenchera la soumission du formulaire.
Happy Coding !