Informations sur l'autodécouverte MQTT Home Assistant

README.md

@@ -156,21 +156,136 @@ python snmp2mqtt.py -c config.yaml
 
 ## Intégration Home Assistant
 
+### MQTT Discovery (Découverte automatique)
+
+Le script implémente le protocole **MQTT Discovery** de Home Assistant pour une intégration transparente et automatique. Aucune configuration manuelle n'est nécessaire dans Home Assistant.
+
+#### Fonctionnement de l'autodécouverte
+
+1. **Au démarrage** : Publication des configurations de découverte
+2. **Pendant l'exécution** : Mise à jour continue des états des capteurs
+3. **Surveillance** : Gestion des statuts de disponibilité (online/offline)
+
 ### Topics MQTT générés
 
-Le script génère automatiquement les topics MQTT suivants :
+#### Topics de découverte (Discovery)
+Chaque capteur génère un topic de configuration individuel :
+```
+homeassistant/{platform}/{node_id}/{object_id}/config
+```
 
-- **Configuration** : `homeassistant/device/{device_id}/config`
-- **État** : `SNMP/{device_name}/state`
+**Exemples** :
+```bash
+# Capteur de trafic réseau
+homeassistant/sensor/mikrotik_hex/mikrotik_hex_starlink_in/config
 
-### Découverte automatique
+# Statut de connectivité  
+homeassistant/binary_sensor/mikrotik_hex/mikrotik_hex_starlink_status/config
+```
 
-Les équipements et capteurs sont automatiquement découverts dans Home Assistant via MQTT Discovery. Chaque équipement apparaîtra avec :
+#### Topics de données
+- **État** : `SNMP/{device_name}/state` - Données JSON des capteurs
+- **Disponibilité** : `SNMP/{device_name}/availability` - Statut online/offline
 
-- Un identifiant unique basé sur le nom et l'IP
-- Des capteurs groupés par équipement
-- Des icônes et unités appropriées selon la classe d'équipement
-- Des modèles de valeurs JSON pour extraire les données
+### Configuration automatique des capteurs
+
+Chaque capteur est configuré avec :
+
+```json
+{
+  "name": "mikrotik_hex starlink_in",
+  "unique_id": "mikrotik_hex_192_168_10_2_starlink_in",
+  "state_topic": "SNMP/mikrotik_hex/state",
+  "value_template": "{{ value_json.starlink_in }}",
+  "device_class": "data_size",
+  "unit_of_measurement": "bit",
+  "icon": "mdi:network",
+  "device": {
+    "identifiers": ["snmp2mqtt_mikrotik_hex_192_168_10_2"],
+    "name": "mikrotik_hex",
+    "model": "SNMP Device",
+    "manufacturer": "Network Equipment"
+  },
+  "availability": {
+    "topic": "SNMP/mikrotik_hex/availability",
+    "payload_available": "online",
+    "payload_not_available": "offline"
+  }
+}
+```
+
+### Découverte automatique dans Home Assistant
+
+#### Regroupement par équipement
+Tous les capteurs d'un même équipement sont automatiquement regroupés sous une seule carte d'équipement :
+
+- **Identifiant unique** basé sur `device_name` + `ip`
+- **Nom d'affichage** basé sur le nom de l'équipement
+- **Métadonnées** : modèle, fabricant, version du logiciel
+
+#### Types de capteurs supportés
+
+| Type HA | Platform | Description | Icône |
+|---------|----------|-------------|-------|
+| `sensor` | `sensor` | Valeurs numériques (trafic, CPU, etc.) | Selon device_class |
+| `binary_sensor` | `binary_sensor` | États binaires (online/offline, actif/inactif) | mdi:network-outline |
+
+#### Classes d'équipements et icônes
+
+| Device Class | Utilisation | Icône Auto | Unité Suggérée |
+|--------------|-------------|------------|----------------|
+| `data_size` | Trafic réseau, volumes de données | mdi:network | bit, byte, MB, GB |
+| `connectivity` | Statut des interfaces, connexions | mdi:network-outline | - |
+| `power_factor` | Pourcentages (CPU, mémoire) | mdi:gauge | % |
+| `temperature` | Températures d'équipements | mdi:thermometer | °C, °F |
+| `signal_strength` | Qualité des signaux | mdi:signal | dBm, % |
+
+### Surveillance de disponibilité
+
+#### Statuts de disponibilité
+- **Online** : Équipement accessible et données mises à jour
+- **Offline** : Équipement inaccessible ou erreurs SNMP
+
+#### Mécanisme de heartbeat
+- Mise à jour du statut à chaque cycle de surveillance
+- Marquage offline automatique en cas d'erreur
+- Statut offline lors de l'arrêt du script
+
+### Persistance et redémarrages
+
+#### Configuration Discovery retenue
+- **Flag retain=true** sur les topics de configuration
+- **Redécouverte automatique** après redémarrage de Home Assistant
+- **Pas de perte de configuration** lors des redémarrages
+
+#### Données d'état temps réel
+- **Flag retain=false** sur les données d'état  
+- **Données fraîches uniquement** après redémarrage
+- **Historique préservé** par Home Assistant
+
+### Intégration dans l'interface Home Assistant
+
+Après démarrage du script, vous verrez automatiquement :
+
+1. **Page Équipements** : Nouveaux équipements SNMP avec leurs capteurs
+2. **États et Historiques** : Données temps réel et graphiques
+3. **Cartes automatiques** : Ajout facile aux tableaux de bord
+4. **Notifications** : Alertes sur les changements d'état
+5. **Automations** : Utilisation des capteurs dans les règles
+
+### Exemple d'équipement découvert
+
+```
+📱 mikrotik_hex (SNMP Device)
+├── 📊 mikrotik_hex starlink_in (123.45 MB)
+├── 📊 mikrotik_hex starlink_out (67.89 MB)  
+├── 🔌 mikrotik_hex starlink_status (Online)
+├── 📊 mikrotik_hex lan_bridge_in (234.56 MB)
+├── 📊 mikrotik_hex lan_bridge_out (78.90 MB)
+└── 🔌 mikrotik_hex lan_bridge_status (Online)
+
+Statut: Online | Dernière mise à jour: il y a 2 secondes
+```
 
 ## Exemple de configuration complète
 
@@ -263,7 +378,63 @@ ping 192.168.10.202
 
 ## Support multi-équipements
 
-**Note** : Le support complet multi-équipements nécessite une implémentation avec threading/multiprocessing. Actuellement, le script traite le premier équipement de la liste et affiche un avertissement pour les autres.
+Le script supporte nativement la surveillance simultanée de plusieurs équipements grâce à une architecture **multi-threading** :
+
+### Fonctionnement
+
+- **Thread indépendant** pour chaque équipement configuré
+- **Surveillance parallèle** : tous les équipements sont surveillés simultanément
+- **Isolation des erreurs** : la défaillance d'un équipement n'affecte pas les autres
+- **Clients MQTT séparés** : chaque thread utilise son propre client MQTT
+- **Arrêt gracieux** : tous les threads s'arrêtent proprement sur signal
+
+### Avantages
+
+- ⚡ **Performance optimale** : pas de blocage entre équipements
+- 🔄 **Traitement parallèle** : requêtes SNMP simultanées
+- 🛡️ **Robustesse** : isolation des défaillances
+- 📊 **Scalabilité** : facilement extensible à des dizaines d'équipements
+- 🔧 **Maintenance** : logs clairement identifiés par équipement
+
+### Configuration multi-équipements
+
+```yaml
+devices:
+  routeur_principal:
+    ip: "192.168.10.1"
+    snmp_community: "public"
+    oids:
+      # ... configuration OID ...
+  
+  switch_bureau:
+    ip: "192.168.10.5"
+    snmp_community: "public" 
+    oids:
+      # ... configuration OID ...
+  
+  point_acces_wifi:
+    ip: "192.168.10.10"
+    snmp_community: "private"
+    oids:
+      # ... configuration OID ...
+```
+
+### Logs multi-threading
+
+Chaque thread est clairement identifié dans les logs :
+
+```
+(INFO) [Device-routeur_principal] Starting monitoring thread
+(INFO) [Device-switch_bureau] MQTT client connected
+(DEBUG) [Device-point_acces_wifi] Published state to SNMP/point_acces_wifi/state
+```
+
+### Gestion des ressources
+
+- **Clients MQTT uniques** : ID client basé sur le nom de l'équipement
+- **Topics séparés** : chaque équipement a ses propres topics MQTT
+- **Discovery HA indépendante** : configuration Home Assistant par équipement
+- **Disponibilité individuelle** : statut online/offline par équipement
 
 ## Logs et debugging
 

config.yaml

@@ -82,18 +82,6 @@ devices:
         HA_device_class: "connectivity"
         HA_platform: "binary_sensor"
 
-# Example of how to add another device:
-#  another_device:
-#    ip: "192.168.10.3"
-#    snmp_community: "public"
-#    oids:
-#      - name: "cpu_usage"
-#        oid: ".1.3.6.1.4.1.14988.1.1.3.14.0"  # MikroTik CPU usage
-#        type: "int"
-#        HA_device_class: "power_factor"
-#        HA_platform: "sensor"
-#        HA_unit: "%"
-
 # OID Configuration Reference:
 # - name: Unique identifier for this metric (used in MQTT topics and Home Assistant)
 # - oid: SNMP Object Identifier

snmp2mqtt.py

@@ -11,12 +11,99 @@ import yaml
 import argparse
 import sys
 import os
+import threading
+import signal
+import time
 
 logging.basicConfig(
-        format='(%(levelname)s) %(message)s',
+        format='(%(levelname)s) [%(threadName)s] %(message)s',
         level=logging.DEBUG
         )
 
+# Global shutdown flag
+shutdown_event = threading.Event()
+
+
+class DeviceMonitorThread(threading.Thread):
+    """Thread class for monitoring a single device"""
+    
+    def __init__(self, device_name, device_config, mqtt_config, sleep_interval=2):
+        super().__init__(name=f"Device-{device_name}")
+        self.device_name = device_name
+        self.device_config = device_config
+        self.mqtt_config = mqtt_config.copy()
+        self.sleep_interval = sleep_interval
+        self.daemon = True  # Dies when main thread dies
+        
+        # Create unique client ID for this device
+        self.mqtt_config['client_id'] = f"snmp-mqtt-{device_name}-{random.randint(0, 1000)}"
+        
+        # Create device request object
+        self.req = {
+            "device_name": device_name,
+            "ip": device_config["ip"],
+            "snmp_community": device_config["snmp_community"],
+            "oids": device_config["oids"]
+        }
+    
+    def run(self):
+        """Main thread execution"""
+        logging.info(f"Starting monitoring thread for device: {self.device_name} ({self.device_config['ip']})")
+        
+        try:
+            # Setup MQTT connection
+            client = connect_mqtt(self.mqtt_config)
+            client.loop_start()
+            
+            state_topic = f"SNMP/{self.device_name}/state"
+            availability_topic = f"SNMP/{self.device_name}/availability"
+            
+            logging.info(f"[{self.device_name}] MQTT client connected")
+            
+            # Publish Home Assistant autodiscovery configuration (only once on startup)
+            publish_ha_autodiscovery_config(client, self.req)
+            
+            # Mark device as available
+            publish(availability_topic, client, "online", True, 1)
+            
+            logging.info(f"[{self.device_name}] Starting monitoring loop")
+            
+            # Main monitoring loop
+            while not shutdown_event.is_set():
+                try:
+                    # Get SNMP data and publish state
+                    state = asyncio.run(get_snmp(self.req))
+                    publish(state_topic, client, state, False, 0)
+                    logging.debug(f"[{self.device_name}] Published state to {state_topic}: {json.dumps(state)}")
+                    
+                    # Update availability (heartbeat)
+                    publish(availability_topic, client, "online", False, 1)
+                    
+                except Exception as e:
+                    logging.error(f"[{self.device_name}] Error in monitoring loop: {e}")
+                    # Mark as offline on error
+                    publish(availability_topic, client, "offline", False, 1)
+                
+                # Wait for next iteration or shutdown signal
+                shutdown_event.wait(timeout=self.sleep_interval)
+            
+            # Cleanup - mark device as offline
+            publish(availability_topic, client, "offline", True, 1)
+            client.loop_stop()
+            client.disconnect()
+            logging.info(f"[{self.device_name}] Monitoring thread stopped gracefully")
+            
+        except Exception as e:
+            logging.error(f"[{self.device_name}] Fatal error in monitoring thread: {e}")
+            # Try to mark as offline on fatal error
+            try:
+                publish(availability_topic, client, "offline", True, 1)
+                client.disconnect()
+            except:
+                pass
+        
+        logging.info(f"[{self.device_name}] Thread {self.name} finished")
+
 
 def parse_arguments():
     """Parse command line arguments"""
@@ -103,7 +190,11 @@ def connect_mqtt(mqtt_config):
 
 
 def publish(topic, client, data, retain, qos):
+    if isinstance(data, str):
+        msg = data
+    else:
         msg = json.dumps(data)
+    
     result = client.publish(topic=topic, payload=msg, qos=qos, retain=bool(retain))
     status = result[0]
     if status == 0:
@@ -146,97 +237,144 @@ async def get_snmp(req):
     return data
 
 
-def ha_create_config(req):
-    ha_config = {}
-    device = {
-            "ids": f"{req['device_name']}_{req['ip']}".replace(".", "_"),
+def create_ha_device_info(req):
+    """Create device information for Home Assistant MQTT Discovery"""
+    return {
+        "identifiers": [f"snmp2mqtt_{req['device_name']}_{req['ip']}".replace(".", "_")],
         "name": req['device_name'],
+        "model": "SNMP Device",
+        "manufacturer": "Network Equipment",
+        "via_device": "snmp2mqtt"
     }
-    origin = {
-            "name": "snmp2mqtt"
-            }
-    ha_config.update({"dev": device, "o": origin})
-    ha_config.update({"state_topic": f"SNMP/{req['device_name']}/state"})
-    ha_config.update({"qos": 2})
-    cmps = {}
-    for oid in req['oids']:
-        cmps.update(
-                {
-                    f"{req['device_name']}_{req['ip']}_{oid['name']}".replace(".", "_"):
-                    {
-                        "p": oid['HA_platform'],
-                        "device_class": oid['HA_device_class'],
+
+
+def create_ha_sensor_config(req, oid):
+    """Create Home Assistant MQTT Discovery configuration for a single sensor"""
+    device_info = create_ha_device_info(req)
+    sensor_id = f"{req['device_name']}_{req['ip']}_{oid['name']}".replace(".", "_")
+    
+    config = {
+        "name": f"{req['device_name']} {oid['name']}",
+        "unique_id": sensor_id,
+        "state_topic": f"SNMP/{req['device_name']}/state",
         "value_template": f"{{{{ value_json.{oid['name']} }}}}",
-                        "unique_id": f"{req['device_name']}_{req['ip']}_{oid['name']}".replace(".", "_"),
-                        "name": oid['name']
+        "device": device_info,
+        "origin": {
+            "name": "snmp2mqtt",
+            "sw_version": "1.0.0",
+            "support_url": "https://git.antoineve.me/AntoineVe/snmp2mqtt"
         }
-                    })
-        if "HA_unit" in oid.keys():
-            cmps.update(
-                 {f"{req['device_name']}_{req['ip']}_{oid['name']}".replace(".", "_"):
-                    {"unit_of_measurement": oid['HA_unit']}})
-    ha_config.update({"cmps": cmps})
-    logging.debug(f"config : {json.dumps(ha_config)}")
-    return ha_config
-
-
-def send_to_mqtt(device_name, device_config, mqtt_config, sleep_interval=2):
-    """Send SNMP data to MQTT for a single device"""
-    # Create device request object
-    req = {
-        "device_name": device_name,
-        "ip": device_config["ip"],
-        "snmp_community": device_config["snmp_community"],
-        "oids": device_config["oids"]
     }
     
-    config = ha_create_config(req)
-    client = connect_mqtt(mqtt_config)
-    client.loop_start()
-    config_topic = f"homeassistant/device/{config['dev']['ids']}/config"
-    state_topic = config['state_topic']
+    # Add device class if specified
+    if 'HA_device_class' in oid:
+        config['device_class'] = oid['HA_device_class']
     
-    while True:
-        try:
-            publish(config_topic, client, config, True, 0)
-            logging.info(f"{config_topic} -> {config}")
-        except Exception as e:
-            logging.error(f"Error publishing config for {device_name}: {e}")
-            pass
-        try:
-            state = asyncio.run(get_snmp(req))
-            publish(state_topic, client, state, False, 0)
-            logging.info(f"{state_topic} -> {state}")
-        except Exception as e:
-            logging.error(f"Error getting SNMP data for {device_name}: {e}")
-            pass
-        sleep(sleep_interval)
+    # Add unit of measurement if specified
+    if 'HA_unit' in oid:
+        config['unit_of_measurement'] = oid['HA_unit']
+    
+    # Add icon based on device class
+    icon_mapping = {
+        'data_size': 'mdi:network',
+        'connectivity': 'mdi:network-outline',
+        'power_factor': 'mdi:gauge',
+        'temperature': 'mdi:thermometer',
+        'signal_strength': 'mdi:signal'
+    }
+    if 'HA_device_class' in oid and oid['HA_device_class'] in icon_mapping:
+        config['icon'] = icon_mapping[oid['HA_device_class']]
+    
+    # Add availability topic
+    config['availability'] = {
+        "topic": f"SNMP/{req['device_name']}/availability",
+        "payload_available": "online",
+        "payload_not_available": "offline"
+    }
+    
+    return config
+
+
+def get_ha_discovery_topic(req, oid):
+    """Get the correct Home Assistant MQTT Discovery topic for a sensor"""
+    platform = oid['HA_platform']  # 'sensor' or 'binary_sensor'
+    node_id = req['device_name']
+    object_id = f"{req['device_name']}_{oid['name']}".replace(".", "_")
+    
+    # Format: homeassistant/<platform>/<node_id>/<object_id>/config
+    return f"homeassistant/{platform}/{node_id}/{object_id}/config"
+
+
+def publish_ha_autodiscovery_config(client, req):
+    """Publish Home Assistant MQTT Discovery configuration for all sensors of a device"""
+    logging.info(f"[{req['device_name']}] Publishing Home Assistant autodiscovery configuration")
+    
+    # Publish availability as online
+    availability_topic = f"SNMP/{req['device_name']}/availability"
+    publish(availability_topic, client, "online", True, 1)
+    
+    # Publish discovery configuration for each OID/sensor
+    for oid in req['oids']:
+        config = create_ha_sensor_config(req, oid)
+        topic = get_ha_discovery_topic(req, oid)
+        
+        # Publish with retain=True so HA discovers it after restarts
+        publish(topic, client, config, True, 1)
+        logging.info(f"[{req['device_name']}] Published discovery config for {oid['name']} to {topic}")
+        
+        # Small delay to avoid overwhelming the broker
+        time.sleep(0.1)
+
+
+def signal_handler(signum, frame):
+    """Handle shutdown signals gracefully"""
+    logging.info(f"Received signal {signum}, initiating graceful shutdown...")
+    shutdown_event.set()
 
 
 def process_devices(config):
-    """Process multiple devices from configuration"""
+    """Process multiple devices using threading"""
     mqtt_config = config['mqtt'].copy()
-    mqtt_config['client_id'] = f"snmp-mqtt-{random.randint(0, 1000)}"
-    
-    # Get sleep interval from config or use default
     sleep_interval = config.get('sleep_interval', 2)
     
-    if len(config['devices']) == 1:
-        # Single device mode - run directly
-        device_name = list(config['devices'].keys())[0]
-        device_config = config['devices'][device_name]
-        logging.info(f"Starting monitoring for single device: {device_name}")
-        send_to_mqtt(device_name, device_config, mqtt_config, sleep_interval)
-    else:
-        # Multiple devices mode - would need threading/multiprocessing
-        # For now, let's process the first device and warn about others
-        logging.warning(f"Multiple devices detected ({len(config['devices'])}), but only processing the first one")
-        logging.warning("Multi-device support will require threading implementation")
+    # Setup signal handlers for graceful shutdown
+    signal.signal(signal.SIGINT, signal_handler)
+    signal.signal(signal.SIGTERM, signal_handler)
     
-        device_name = list(config['devices'].keys())[0]
-        device_config = config['devices'][device_name]
-        logging.info(f"Starting monitoring for device: {device_name}")
-        send_to_mqtt(device_name, device_config, mqtt_config, sleep_interval)
+    device_threads = []
+    
+    try:
+        logging.info(f"Starting monitoring for {len(config['devices'])} device(s)")
+        
+        # Create and start a thread for each device
+        for device_name, device_config in config['devices'].items():
+            thread = DeviceMonitorThread(
+                device_name=device_name,
+                device_config=device_config,
+                mqtt_config=mqtt_config,
+                sleep_interval=sleep_interval
+            )
+            device_threads.append(thread)
+            thread.start()
+            logging.info(f"Started thread for device: {device_name}")
+        
+        # Wait for all threads to complete or shutdown signal
+        while any(thread.is_alive() for thread in device_threads) and not shutdown_event.is_set():
+            time.sleep(0.5)
+            
+    except Exception as e:
+        logging.error(f"Error in process_devices: {e}")
+        shutdown_event.set()
+    
+    # Wait for all threads to finish
+    logging.info("Waiting for all monitoring threads to finish...")
+    for thread in device_threads:
+        if thread.is_alive():
+            thread.join(timeout=5.0)  # Wait max 5 seconds per thread
+            if thread.is_alive():
+                logging.warning(f"Thread {thread.name} did not stop gracefully")
+    
+    logging.info("All monitoring threads have finished")
 
 
 def main():