El SenseCAP Watcher es un asistente físico de IA activado por voz, diseñado específicamente para monitorizar espacios utilizando LLMs

Seeed Studio ha lanzado una campaña en Kickstarter para el SenseCAP Watcher, un innovador agente físico de IA diseñado para monitorizar diversos entornos y responder a eventos situacionales. Este dispositivo se presenta como el “primer Agente LLM Físico del Mundo para Espacios Más Inteligentes”, conectando eficazmente la inteligencia digital con aplicaciones físicas prácticas a través de una combinación de tecnologías en la nube y procesadores a bordo.

El SenseCAP Watcher utiliza un microcontrolador ESP32-S3 emparejado con el chip Himax WiseEye2 HX6538 (ARM Cortex-M55 y Ethos-U55 microNPU) para el procesamiento de datos de imagen y vectoriales. Compacto y aproximadamente un tercio del tamaño de un iPhone estándar, incorpora el módulo Grove Vision AI V2. Entre sus características clave se encuentran una cámara, una pantalla táctil, un micrófono y un altavoz, que facilitan el reconocimiento de comandos por voz y la integración de sensores multimodales.

Funcionando con la suite de software SenseCraft, el Watcher integra modelos de aprendizaje automático ligeros con potentes modelos de lenguaje grande que pueden operar en un ordenador local, como los sistemas basados en Nvidia Jetson, o en un servidor en la nube. SenseCraft es una plataforma de código abierto y sin necesidad de programación que permite a los usuarios entrenar y validar modelos de IA. La IA a bordo del dispositivo identifica objetivos, mientras que el modelo de lenguaje grande (LLM) genera información detallada y accionable basada en estos datos.

Las especificaciones del SenseCAP Watcher incluyen:

– Microcontrolador Inalámbrico: ESP32-S3 de doble núcleo a 240MHz, 8MB PSRAM
– Procesador de IA: Himax HX6538 (ARM Cortex-M55 + Ethos-U55 NPU)
– Almacenamiento: 32MB Flash para ESP32-S3, 16MB Flash para Himax, ranura para tarjeta microSD (hasta 32GB)
– Pantalla: Pantalla táctil de 1.45”, resolución de 412×412
– Cámara: 5MP OmniVision OV5647, campo de visión de 120°
– Conectividad: Wi-Fi de 2.4GHz, Bluetooth 5 (LE)
– Conexión: USB-C para alimentación y programación, interfaz Grove I2C para expansión de sensores

El SenseCAP Watcher permite la entrada de comandos a través de una función de Push to Talk y una aplicación móvil, siendo compatible con diferentes sistemas, incluidos Raspberry Pi y placas Arduino. La campaña de crowdfunding ha superado con éxito su objetivo de financiación, con un precio del dispositivo de 89 dólares (aproximadamente 84 euros), ofreciendo un mes gratuito del servicio de IA SenseCraft. Las aplicaciones potenciales abarcan desde la automatización del hogar inteligente y la monitorización ambiental hasta la supervisión de la salud, la vigilancia de mascotas y la seguridad. Para más información, la página wiki del producto ofrece detalles adicionales.

Fuente