Division axée sur la recherche fondamentale et appliquée, Google Research a introduit SensorLM, une nouvelle famille de modèles de fondation sensorielle-langage conçus pour améliorer l'interprétation des données de capteurs portables à haute dimension. Entraîné sur un vaste ensemble de 59,7 millions d'heures d'entrées multimodales de capteurs provenant de plus de 103 000 individus, SensorLM est capable de produire des descriptions détaillées et lisibles par des humains à partir de signaux de capteurs complexes, établissant ainsi une nouvelle référence dans le domaine de l'analyse des données de capteurs.
Afin de développer l'ensemble de données d'entraînement pour SensorLM, environ 2,5 millions de jours-personnes de données de capteurs dé-identifiées ont été échantillonnées auprès de 103 643 participants dans 127 pays. Ces données ont été collectées à partir des dispositifs Fitbit et Pixel Watch pendant la période du 1er mars au 1er mai 2024, tous les participants ayant donné leur consentement éclairé pour l'utilisation de leurs données anonymisées dans des recherches visant à faire progresser les connaissances générales en santé et en science.
Des chercheurs ont mis en œuvre un pipeline hiérarchique automatisé qui génère des légendes descriptives en calculant des statistiques, en reconnaissant des motifs et en résumant des événements directement à partir des données des capteurs pour relever le défi de l'étiquetage des données à grande échelle. Cette approche a permis la création de ce qui est actuellement le plus grand ensemble de données connu alignant les entrées de capteurs avec le langage, dépassant l'échelle des ensembles de données utilisés dans des recherches antérieures.
L'architecture de SensorLM intègre et harmonise des méthodologies de pré-entraînement multimodal largement utilisées, notamment l'apprentissage contrastif et le pré-entraînement génératif, dans un cadre unifié. Dans la phase d'apprentissage contrastif, le modèle est formé pour associer des segments de données de capteurs avec les descriptions textuelles appropriées sélectionnées parmi un groupe d'alternatives.
Ce processus permet au modèle de différencier avec précision diverses activités physiques ou états physiologiques, comme distinguer entre une nage légère et un entraînement axé sur la force. Dans la phase de pré-entraînement génératif, le modèle apprend à produire des descriptions textuelles directement à partir des entrées des capteurs, améliorant ainsi sa capacité à transmettre des interprétations complexes et sensibles au contexte de données de haute dimension. L'intégration de ces stratégies d'entraînement permet à SensorLM de former une compréhension multimodale complète et nuancée de la manière dont les données des capteurs se traduisent en langage naturel.
Les expériences révèlent les capacités avancées de SensorLM en classification zéro-shot, apprentissage few-shot et compréhension cross-modal.
Selon les recherches de Google, les performances de SensorLM ont été évaluées dans divers scénarios du monde réel impliquant la reconnaissance d'activités humaines et des applications de santé, montrant des améliorations claires par rapport aux modèles leaders existants dans ces domaines. SensorLM fonctionne particulièrement bien dans des environnements avec des données étiquetées limitées. Il a démontré de fortes capacités de classification zéro-shot, identifiant correctement 20 activités différentes sans nécessiter de réglage du modèle, et a montré un apprentissage peu supervisé efficace, s'adaptant rapidement à de nouvelles tâches avec un minimum d'exemples. Sa fonctionnalité de recherche cross-modal permet également une interprétabilité mutuelle entre les données des capteurs et le langage naturel, permettant aux utilisateurs de rechercher des motifs de capteurs à l'aide de textes ou de générer des descriptions pertinentes à partir des entrées des capteurs — une approche qui soutient les flux de travail d'analyse d'experts.
En plus de la classification, SensorLM est capable de générer des résumés textuels structurés et contextuels basés uniquement sur les entrées de capteurs portables. Les comparaisons expérimentales indiquent que ces résultats sont généralement plus cohérents et précis que ceux générés par des modèles de langage non spécifiques au domaine. La recherche a également observé que la performance de SensorLM évolue de manière cohérente avec l'augmentation des données d'entraînement, de la taille du modèle et des ressources informatiques, s'alignant sur des principes précédemment établis en matière d'échelle de modèle. Ces résultats suggèrent que l'approche reste à un stade précoce de son potentiel et mérite une exploration continue.
Le développement de SensorLM introduit un cadre pour interpréter des données complexes de capteurs portables à travers le langage naturel. Cela est rendu possible grâce à une méthode de légende hiérarchique récemment développée et ce qui est considéré comme le plus grand ensemble de données capteur-langage assemblé à ce jour. En conséquence, la famille de modèles SensorLM représente un pas en avant dans l'amélioration de l'accessibilité et de l'utilité des données de santé personnelles. En permettant aux machines d'interpréter les signaux physiologiques à travers le langage, ce travail jette les bases d'un retour d'information sur la santé plus personnalisé et informatif. Les efforts futurs exploreront l'expansion dans des domaines tels que le profilage métabolique et la surveillance avancée du sommeil, avec l'objectif plus large de soutenir des outils de bien-être personnalisés, des systèmes de surveillance clinique et des assistants de santé numérique capables d'interaction en langage naturel. Le développement et le déploiement de futurs produits basés sur cette recherche peuvent être soumis à une validation clinique et à une supervision réglementaire.
Voir l'original
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
Google présente SensorLM qui traduit les signaux des capteurs en informations de santé centrées sur l'humain
Division axée sur la recherche fondamentale et appliquée, Google Research a introduit SensorLM, une nouvelle famille de modèles de fondation sensorielle-langage conçus pour améliorer l'interprétation des données de capteurs portables à haute dimension. Entraîné sur un vaste ensemble de 59,7 millions d'heures d'entrées multimodales de capteurs provenant de plus de 103 000 individus, SensorLM est capable de produire des descriptions détaillées et lisibles par des humains à partir de signaux de capteurs complexes, établissant ainsi une nouvelle référence dans le domaine de l'analyse des données de capteurs.
Afin de développer l'ensemble de données d'entraînement pour SensorLM, environ 2,5 millions de jours-personnes de données de capteurs dé-identifiées ont été échantillonnées auprès de 103 643 participants dans 127 pays. Ces données ont été collectées à partir des dispositifs Fitbit et Pixel Watch pendant la période du 1er mars au 1er mai 2024, tous les participants ayant donné leur consentement éclairé pour l'utilisation de leurs données anonymisées dans des recherches visant à faire progresser les connaissances générales en santé et en science.
Des chercheurs ont mis en œuvre un pipeline hiérarchique automatisé qui génère des légendes descriptives en calculant des statistiques, en reconnaissant des motifs et en résumant des événements directement à partir des données des capteurs pour relever le défi de l'étiquetage des données à grande échelle. Cette approche a permis la création de ce qui est actuellement le plus grand ensemble de données connu alignant les entrées de capteurs avec le langage, dépassant l'échelle des ensembles de données utilisés dans des recherches antérieures.
L'architecture de SensorLM intègre et harmonise des méthodologies de pré-entraînement multimodal largement utilisées, notamment l'apprentissage contrastif et le pré-entraînement génératif, dans un cadre unifié. Dans la phase d'apprentissage contrastif, le modèle est formé pour associer des segments de données de capteurs avec les descriptions textuelles appropriées sélectionnées parmi un groupe d'alternatives.
Ce processus permet au modèle de différencier avec précision diverses activités physiques ou états physiologiques, comme distinguer entre une nage légère et un entraînement axé sur la force. Dans la phase de pré-entraînement génératif, le modèle apprend à produire des descriptions textuelles directement à partir des entrées des capteurs, améliorant ainsi sa capacité à transmettre des interprétations complexes et sensibles au contexte de données de haute dimension. L'intégration de ces stratégies d'entraînement permet à SensorLM de former une compréhension multimodale complète et nuancée de la manière dont les données des capteurs se traduisent en langage naturel.
Les expériences révèlent les capacités avancées de SensorLM en classification zéro-shot, apprentissage few-shot et compréhension cross-modal.
Selon les recherches de Google, les performances de SensorLM ont été évaluées dans divers scénarios du monde réel impliquant la reconnaissance d'activités humaines et des applications de santé, montrant des améliorations claires par rapport aux modèles leaders existants dans ces domaines. SensorLM fonctionne particulièrement bien dans des environnements avec des données étiquetées limitées. Il a démontré de fortes capacités de classification zéro-shot, identifiant correctement 20 activités différentes sans nécessiter de réglage du modèle, et a montré un apprentissage peu supervisé efficace, s'adaptant rapidement à de nouvelles tâches avec un minimum d'exemples. Sa fonctionnalité de recherche cross-modal permet également une interprétabilité mutuelle entre les données des capteurs et le langage naturel, permettant aux utilisateurs de rechercher des motifs de capteurs à l'aide de textes ou de générer des descriptions pertinentes à partir des entrées des capteurs — une approche qui soutient les flux de travail d'analyse d'experts.
En plus de la classification, SensorLM est capable de générer des résumés textuels structurés et contextuels basés uniquement sur les entrées de capteurs portables. Les comparaisons expérimentales indiquent que ces résultats sont généralement plus cohérents et précis que ceux générés par des modèles de langage non spécifiques au domaine. La recherche a également observé que la performance de SensorLM évolue de manière cohérente avec l'augmentation des données d'entraînement, de la taille du modèle et des ressources informatiques, s'alignant sur des principes précédemment établis en matière d'échelle de modèle. Ces résultats suggèrent que l'approche reste à un stade précoce de son potentiel et mérite une exploration continue.
Le développement de SensorLM introduit un cadre pour interpréter des données complexes de capteurs portables à travers le langage naturel. Cela est rendu possible grâce à une méthode de légende hiérarchique récemment développée et ce qui est considéré comme le plus grand ensemble de données capteur-langage assemblé à ce jour. En conséquence, la famille de modèles SensorLM représente un pas en avant dans l'amélioration de l'accessibilité et de l'utilité des données de santé personnelles. En permettant aux machines d'interpréter les signaux physiologiques à travers le langage, ce travail jette les bases d'un retour d'information sur la santé plus personnalisé et informatif. Les efforts futurs exploreront l'expansion dans des domaines tels que le profilage métabolique et la surveillance avancée du sommeil, avec l'objectif plus large de soutenir des outils de bien-être personnalisés, des systèmes de surveillance clinique et des assistants de santé numérique capables d'interaction en langage naturel. Le développement et le déploiement de futurs produits basés sur cette recherche peuvent être soumis à une validation clinique et à une supervision réglementaire.