Récupérer un flux instagram

Récemment, dans le cadre familial nous avons eu un problème de « partage » de vidéos entre instagram et whatsapp.

C’est un peu crétin car il s’agit de deux services de facebook, mais quand on partage une vidéo instagram dans whatsapp, seuls les personnes ayant instagram de validé sur leurs comptes peuvent lire la vidéo… Donc certains utilisateurs pouvaient lire la vidéo, les autres non…

J’ai donc du identifier une méthode pour récupérer des flux instagram (vidéos) et ainsi pouvoir les partager aux utilisateurs n’ayant pas de compte.

Donc oui, il existe une méthode rapide, fiable et linuxienne pour récupérer les vidéos : cela s’appelle instalooter, il faut l’utiliser avec Python :

Le code source sur github:

https://github.com/althonos/InstaLooter

La documentation associée:

https://instalooter.readthedocs.io/

Installation et usage pour un serveur linux

pip3 install --user instalooter --pre 
 ~/.local/bin/instalooter -v -u "monuser" -p "monmodepasse" post

Et voilà, encore une victoire de canard!

Et moi, je retourne au confinement…

Monitorer XTeVe via monit

XteVe est un « proxy » vers des serveurs IPTV via des listes M3U. Je l’utilise avec mon FAI (Free) pour interfacer les chaînes multipostes avec plex. On peut également l’utiliser pour regrouper des multiples playlist d’IPTV gratuites (par exemple : https://github.com/iptv-org/iptv)

Consulter le site officiel pour plus d’informations : https://xteve.de/

Oui mais voilà, parfois lors de l’enregistrement, XteVe plante (grrr…). Donc, j’ai souhaité rapidement ajouter un monitoring automatique à xteve pour permettre de le relancer sans intervention manuelle.

La première étape consiste à « transformer » xteve en démon. Ensuite, il faut utiliser un logiciel de monitoring type monit pour le surveiller. C’est simple donc 🙂

Création d’un démon de service

Créer le fichier de service :

cd /etc/systemd/system/
sudo vi xteve.service

Copier le contenu suivant

[Unit]
Description=xTeVe Service
Wants=network-online.target
After=network-online.target

[Service]
Type=simple
ExecStart=/dossier_installation/xteve -config dossier_configuration
ExecReload=/usr/bin/killall xteve
ExecStop=/usr/bin/killall xteve
KillMode=process
Restart=always
RestartSec=15

User=running_user
Group=running_group
[Install]
WantedBy=multi-user.target

Attention à bien remplir les éléments manquants : dossier_installation,dossier_configuration, running_user et running_group.

On sauvegarde le fichier, puis on active le nouveau service :

sudo systemctl enable xteve
sudo systemctl start xteve

Création du fichier de monitoring pour monit

On crée un nouveau fichier pour ce monitoring ;

sudo vi /etc/monit/conf.d/xteve
check process xteve matching "xteve"
    start program = "systemctl start xteve"
    stop program = "systemctl stop xteve"
    if failed host 127.0.0.1 port 33400 with timeout 30 seconds for 3 cycles then restart

Attention à adapter le numéro de port du monitoring.

Ensuite, il ne reste plus qu’à relancer monit :

sudo /etc/init.d/monit restart

Et voilà, xteve fonctionne désormais tout seul.

… Et les mises à jour ?

Ah… oui… le défaut, c’est que xteve se met à jour uniquement au démarrage de l’application.

Donc, il faut également penser à le relancer de temps à autre pour qu’il puisse faire ces mises à jour. Pour cela, le plus simple reste à rajouter une ligne dans le crontab pour le redémarrer par exemple une fois par semaine le mardi vers 4h du matin (peu de chances d’enregistrer quelque chose…)

Ce qui donne dans crontab :

0 4 * * 1 systemctl restart xteve

Proxifié octoprint derriere un serveur apache

Suite à l’ajout d’une webcam sur notre octoprint, très vite nous avons voulu pouvoir contrôler à distance le résultat du travail. Sauf que… on a déjà un serveur web tournant sur une autre machine.

Deux méthodes sont alors possibles : soit rediriger l’accès via un autre port En utilisant des redirections dans la box internet via, par exemple 8080 => <adresse ip host octoprint:80>

Mais pas idéal quand on a un nom de domaine, et puis on oublie assez vite le numéro de port… Donc, je me suis basé sur le tutorial suivant, dans la version adapté à Apache.

https://discourse.octoprint.org/t/reverse-proxy-configuration-examples/1107

Mais… l’exemple indiqué ne fonctionne pas si apache est installé sur un autre poste que le raspberry pi.

Voici une version corrigée :

<Location /octoprint/>
ProxyPass http://<adresse ip host octoprint>/
ProxyPassReverse http://<adresse ip host octoprint>//
RequestHeader set X-SCRIPT-NAME /octoprint/
RewriteEngine on
RewriteCond %{HTTP:UPGRADE} ^WebSocket$ [NC]
RewriteCond %{HTTP:CONNECTION} Upgrade$ [NC]
RewriteRule .* ws://<adresse ip host octoprint>/:80%{REQUEST_URI} [P]
</Location>

Webmin en 2018

Webmin est un outil d’administration graphique que j’utilise depuis quelques années sur mes serveurs personnels. Il a pas mal d’avantages, gère assez bien la sécurité des utilisateurs connectés et permet de réaliser quasiment toutes les opérations sans se connecter sur une machine en SSH.

Il a aussi l’avantage de s’installer sur quasiment toutes les distributions, même assez exotiques (oui, unraid, c’est à toi que je pense!) et possède son propre serveur web intégré.

Mais comme je ne réalise que les mises à jour régulières de sécurité sans modifier ma configuration, et ben celle-ci est restée la même au cours des 10 dernières années (sic). Bref, c’est stable, mais assez moche … Pour vous donner une idée du résultat, ça ressemblait à ça http://www.stress-free.co.nz/node/139/2/

Oui, j’ai pas osé faire une capture d’écran. En prime, j’ai désormais un ensemble de machines à gérer, que ça soit le RPI de jeedom ou celui d’octoprint. Bref, il est grand temps de dépoussiérer tout ça.

Thème graphique

C’est le point le plus visuel, autant commencer par ça 😉 Désormais, le thème par défaut s’appelle « Authentic Theme ». C’est un thème moderne, bien plus graphique.

Webmin sur Raspberry PI

Il est désormais possible d’installer l’interface webmin sur les raspberry pi de manière assez rapide. Ne rigolez pas, ça n’a rien d’évident, il faut savoir qu’il y a pas si longtemps, on devait le compiler soi-même. Bref, les bibliothèques et dépendances sont toutes disponibles, et ça fonctionne « presque » tout seul. En prérequis, il faut avoir raspbian, ou tout autre distib basé sur raspbian et en s’aidant de ce genre de tutorial comme celui-ci https://www.instructables.com/id/Adding-Webmin-to-manage-a-Raspberry-Pi/

Bon, si vous voulez pas cliquer (bande de feignasse !!!) voilà rapidement ce qu’il faut faire avec un compte sudo et en se connectant en ssh sur votre RPI raspbian (et à jour). Attention, la ligne de commande pour récupérer la bonne version est à vérifier ici : http://www.webmin.com/deb.html

sudo apt-get install perl libnet-ssleay-perl openssl libauthen-pam-perl libpam-runtime libio-pty-perl apt-show-versions python
mkdir ~/webmin_tmp
cd ~/webmin_tmp
wget https://prdownloads.sourceforge.net/webadmin/webmin_1.890_all.deb
sudo dpkg -i webmin_1.890_all.deb
cd - ; rm -rf ~/webmin_tmp

Une fois l’installation finie, vous pouvez accèder à webmin via un navigateur à l’URL suivante 
https://<adresse_ip_RPI>:10000

Attention à bien taper le httpS

Il faut utiliser un compte local à la machine, de préférence qui a les droits sudo (c’est important).

Selon votre besoin, vous pouvez désactiver les SSL (accès en http vs https) surtout si la machine ne sera jamais accessible par internet OU que celle-ci sera proxifié derrière une autre machine / serveur web.

Un Webmin pour les contrôler tous…

Non, je vais pas tourner ténébreux…

Si vous avez plusieurs instances webmin sur le réseau, ça va vite devenir ingérable d’aller ouvrir chacune des machines pour les contrôler (et se rappeler des mots de passes etc…), savoir qui est en ligne et qui ne l’est pas, ou tout bêtement contrôlé à distance tout ce petit monde sans ouvrir 36.000 ports externes. Il permet également de savoir si tout va bien sans installer l’artillerie lourde tel qu’heartbeat et compagnie

Heureusement webmin possède d’excellents modules pour gérer tout ça de manière efficace en 5 étapes

Etape 1 : définir le webmin principal et votre organisation réseau derrière. Faites un dessin s’il le faut vraiment ;-). Vous avez choisi ? Très bien, passez à l’étape 2

Etape 2 : sur votre webmin principal, démarrer le module webmin server index. Derrière ce nom barbare se cache la base permettant de référencer toutes les autres instances de webmin. Le module est décrit ici https://doxfer.webmin.com/Webmin/Webmin_Servers_Index

En gros, je vous conseille de les ajouter manuellement en indiquant pour chacun si vous vous connectez en https, le compte éventuel de la machine

Etape 3 : toujours sur votre webmin principal, utilisez le module « System and server status ». La documentation est disponible à l’adresse suivante https://doxfer.webmin.com/Webmin/System_and_Server_Status

Je vous conseille d’activer dans un premier temps des moniteurs de type « alive system » sur vos différents équipements. Mais enfin, là, ça dépend vraiment de votre installation. Attention, si vous devez vous envoyer un email, n’oubliez pas de le configurer au préalable dans webmin.

Proxifier webmin derrière apache

Alors tout ça c’est beau, mais s’il faut ouvrir des ports dans tous les sens pour y accéder depuis l’extérieur, on a pas fini. Personnelement, j’ouvre le minimum de port à l’extérieur et les services web/http je me débrouille pour tous y accéder en port 80 /443 via des sous URL xxxxxx/<logiciel>

Mais pour webmin, c’est assez compliqué de le « proxifier » via un autre serveur web type apache car il ne supporte pas bien de se retrouver en sous-domaine. Après quelques temps, j’ai trouvé la méthode pour proxifier webmin

Par exemple : pour y accéder via http://monnomdedomaine.extension/webmin

Préalable : pouvoir se connecter en ssh sur le serveur sur lequel réaliser les manipulations.

Vérifier que mod_proxy est présent ET activé sur votre installation d’apache via la commande

sudo a2enmod mod_proxy

Dans le fichier de configuration d’apache, rajouter les directives.

<Location "/webmin/">
ProxyPass http://localhost:10000/
ProxyPassReverse http://localhost:10000/
</Location>

Attention, si l’installation de webmin à provifier est sur une autre machine, il faudra remplacer localhost par l’adresse ip / nom de votre machine.

Sur la machine hébergeant le webmin que vous voulez proxifier, dans le fichier /etc/webmin/config, ajouter les lignes suivantes:

webprefix=/webmin
webprefixnoredir=1
referer=1

Si nécessaire, il faut supprimer la redirection ssl vers le https (forcément…) en éditant le fichier /etc/webmin/miniserv.conf

ssl_redirect=0
ssl=0

Redémarrer les services apache et webmin de la machine.

All requests to /webmin on the Apache server will then be passed through to the Webmin server on localhost port 10000. All features should work fine, including themes, with the exception of IP access control (because as far as Webmin is concerned, all connections will be coming from localhost).

Voir la documentation associée.

Ci-après, une méthode pour également rediriger les ports 443: (SSL) https://ubuntuforums.org/showthread.php?t=2167370


Quels sont les manques à Webmin en 2018?

  • En premier point : un mode « simple » et visuel, une vraie supervision de pro. c’est quand même dommage de ne pas pouvoir visualiser rapidement sur une interface l’intégralité de son réseau / serveur pour avoir un état de la supervision. Des actions correctives rapides accessibles dans ce mode (par exemple, redémarrer le service …)
  • L’intégration d’outils de communication plus efficace. Sérieusement, envoyer un mail à l’admin? Sachant que l’on est rarement à côté des serveurs mais toujours avec un téléphone portable, il vaudrait mieux utiliser des outils tels que Pushbullet, telegram, des SMS… ou autres messageries instantanées.

Peut être des modules pour régler wordpress? Un meilleur gestionnaire de fichier à distance (java…)

Samba et les liens extérieurs (wide links)

Dans les partages samba, il est parfois pratique de créer des liens linux pointant vers des dossiers hors du partage (par exemple, un share regroupant plusieurs données éparpillées sur plusieurs disques..)

La solution est alors de définir dans le share les options suivantes

[share] follow symlinks = yes wide links = yes

Oui mais voilà, samba est devenu râleur en version 3 :

log de samba :

Share 'share' has wide links and unix extensions enabled. These parameters are incompatible. Wide links will be disabled for this share.

Et pourtant, testparm est silencieux sur le sujet.

Bon… on va dire qu’on va forcer la main à samba et mettre « unix extensions = no » sauf qu’évidement, ça ne fonctionne pas… (oui, ça semblait logique pourtant!)

La solution est de forcer dans la section global les liens « non sécurisés »…

[global]
allow insecure wide links = yes

Voir la documentation (en anglais) sur le sujet :

https://www.samba.org/samba/docs/using_samba/ch08.html#samba2-CHP-8-TABLE-1