J'aurais besoin d'une information pour un site amateur

Le site à été créé pour le CE d'une petite collectivité dans laquelle je travaille : http://apco64.fr/

Ce qui serait intéressant serait d'avoir un petit "bouton suivre", comme le premier site que j'avais fait pour une association dans laquelle je travaillais :
https://omsorthez.wordpress.com/
==> Bouton en bas à droite

Ce qui permettrais à tous les adhérents qui ont enregistré leur adresse mail, de recevoir comme une newsletter, à chaque fois qu'un article est publié.

Voilà j'ai fait des recherche sur internet mais je n'ai pas trouvé de solution, si quelqu'un peut m'aider de ce côté là, je vous en remercie par avance.

Pour un peu plus de détail, voici un lien qui parle de ce fameux bouton : http://pro.clubic.com/creation-de-site-web/cms-blog/wordpress/actualite-448410-wordpress-ajoute-bouton-follow-augmenter-trafic-blogs.html