Sentropy lance un outil permettant aux gens de se protéger des abus sur les réseaux sociaux, à commencer par Twitter

L’année dernière, au milieu d’une campagne électorale présidentielle américaine particulièrement pointue, une startup appelée Sentropy est sortie de la furtivité avec une plate-forme basée sur l’IA destinée aux médias sociaux et à d’autres entreprises qui rassemblaient les gens pour une conversation en ligne.

Sentropy avait construit un ensemble d’algorithmes, utilisant le traitement du langage naturel et l’apprentissage automatique, pour aider ces plates-formes à détecter quand un langage abusif, des tendances au harcèlement et d’autres contenus nuisibles tournaient autour du virage, et pour agir sur ces situations avant qu’elles ne deviennent un problème.

Aujourd’hui, la startup dévoile un nouveau produit, désormais destiné aux consommateurs.

Utilisant la même technologie qu’il avait initialement conçue pour la plate-forme d’entreprise, Sentropy Protect est un produit de consommation gratuit qui détecte le contenu nuisible sur le flux de médias sociaux d’une personne et, au moyen d’un tableau de bord, permet à une personne de mieux contrôler la façon dont ce contenu et les personnes. le produire sont manipulés.

En commençant initialement avec Twitter, le plan est d’ajouter plus de flux sociaux au fil du temps, en fonction initialement des services qui fournissent des API pour permettre à Sentropy de s’intégrer avec eux. (Tous ne le font pas.)

Le PDG de Sentropy, John Redgrave, a décrit que le lancement du produit de consommation n’est pas un pivot mais une expansion de ce que l’entreprise est en train de construire.

L’idée est que Sentropy continuera à travailler avec les entreprises clientes – ses deux produits dans ce département s’appellent Sentropy Detect, qui fournit un accès basé sur API à ses technologies de détection d’abus; et Sentropy Defend, une interface basée sur un navigateur qui permet des workflows de modération de bout en bout pour les modérateurs.

Mais en même temps, le produit de consommation Protect donnera aux gens une option supplémentaire – que Sentropy soit utilisé ou non par une plate-forme particulière – pour prendre les rênes et avoir plus de contrôle pratique sur leur graphique de harcèlement, pour ainsi dire.

«Nous avons toujours été profondément convaincus de poursuivre l’entreprise comme point de départ, mais Sentropy est bien plus que cela», a-t-il déclaré. «La cybersécurité doit avoir à la fois des composants d’entreprise et des composants grand public.»

Il est rafraîchissant d’entendre parler de startups qui créent des services, qui affectent potentiellement des millions de personnes, sachant également comment les individus eux-mêmes veulent conserver un élément d’autodétermination dans l’équation.

Ce n’est pas seulement «eh bien, c’est votre choix si vous utilisez le service X ou non», mais une compréhension du concept que lorsque quelqu’un choisit d’utiliser un service, en particulier un service populaire, il devrait y avoir et peut être plus qu’un simple espoir que la plate-forme sera toujours à la recherche des meilleurs intérêts de cet utilisateur, en fournissant des outils pour aider l’utilisateur à le faire également.

Et ce n’est pas un problème qui disparaît, et cela ne concerne pas seulement les plates-formes les plus en vogue aujourd’hui, qui continuent à chercher des moyens de gérer un contenu complexe , mais aussi sur les plates-formes émergentes.

La popularité récente de Clubhouse, par exemple, met en évidence non seulement les nouvelles frontières des plates-formes sociales, mais aussi comment, par exemple, ces nouveaux modèles – avec Clubhouse basé sur des «salles» pour les conversations et une dépendance à l’audio plutôt qu’au texte écrit pour les interactions – sont le traitement des questions de harcèlement et d’ abus . Certains exemples frappants jusqu’à présent indiquent que le problème doit être résolu avant qu’il ne s’agrandisse.

Protect est gratuit aujourd’hui, et Redgrave a déclaré que Sentropy travaillait toujours à décider comment et si elle le facturerait. Un scénario probable sera que Protect pourrait venir dans des niveaux freemium: un produit gratuit et limité pour les individus avec des services «pro» avec des outils améliorés, et peut-être un niveau pour les entreprises qui gèrent des comptes pour le compte d’une ou plusieurs personnes de haut niveau.

Bien sûr, des services comme Twitter, Reddit, Facebook, YouTube et bien d’autres ont fait un gros point au fil des ans – et surtout récemment – pour mettre en place plus de règles, de modérateurs et d’algorithmes automatisés pour aider à identifier et arrêter le contenu abusif dans ses voies, et pour aider les utilisateurs à signaler et arrêter le contenu avant qu’il ne leur parvienne.

Mais si vous faites partie des personnes qui sont ciblées régulièrement, ou même occasionnellement, vous savez que cela ne suffit souvent pas. Sentropy Protect semble également avoir été conçu dans cet esprit.

En effet, Redgrave a déclaré que même si l’entreprise avait toujours des consommateurs sur sa feuille de route, sa stratégie a été accélérée après le lancement de son produit d’entreprise l’année dernière en juin. 

«Nous avons commencé à être cinglés par des gens qui disaient, je suis victime de violence en ligne. Comment puis-je accéder à votre technologie? » Il a rappelé que la société s’était rendu compte que le problème était à la fois plus grand et plus granulaire que Sentropy ne pouvait le résoudre simplement en parcourant une liste d’entreprises, dans l’espoir de les convaincre en tant que clients, puis en intégrant avec succès son produit.

«Nous avions une décision difficile à prendre alors», se souvient-il. «Est-ce que nous passons 100% de notre temps à nous concentrer sur les entreprises, ou prenons-nous une partie de notre équipe et commençons à créer quelque chose pour les consommateurs également?» Il a décidé d’emprunter cette dernière voie.

Du côté de l’entreprise, Sentropy continue de travailler avec les réseaux sociaux et d’autres types d’entreprises qui hébergent des interactions entre les gens – par exemple des babillards connectés à des expériences de jeu ou des applications de rencontres. Il ne divulgue publiquement aucun nom de client pour le moment, mais Redgrave les décrit comme des entreprises principalement plus petites et à croissance rapide, par opposition à des plates-formes plus grandes et plus anciennes.

Le vice-président des produits de Sentropy, Dev Bala – qui a déjà été universitaire et a également travaillé chez Facebook, Google et Microsoft – a expliqué que les plates-formes plus importantes et héritées ne sont pas en dehors des attributions de Sentropy. Mais le plus souvent, ils travaillent sur des stratégies de confiance et de sécurité plus importantes et disposent de petites armées d’ingénieurs travaillant en interne sur les produits de construction.

Alors que les plus grands réseaux sociaux apportent des technologies tierces pour certains aspects de leurs services, ces accords prendront généralement plus de temps à conclure, même dans des cas urgents tels que la lutte contre les abus en ligne.

«Je pense que les abus et le harcèlement évoluent rapidement pour devenir un défi existentiel pour Facebook, Reddit, YouTube et les autres», a déclaré Bala. «Ces entreprises auront une organisation de 10 000 personnes qui ne pense qu’à la confiance et à la sécurité, et le monde voit les maux de ne pas le faire. Ce qui n’est pas aussi évident pour les gens de l’extérieur, c’est qu’ils adoptent également une approche de portefeuille, avec des armées de modérateurs et un portefeuille de technologies. Tout n’est pas construit en interne.

«Nous pensons que Sentropy a de la valeur pour ces plus gros joueurs, mais nous savons également qu’il y a beaucoup d’optiques autour des entreprises utilisant des produits comme les nôtres. Nous voyons donc l’opportunité d’aller plus tôt, dans les cas où l’entreprise en question n’est pas un Facebook, et d’avoir une approche moins sophistiquée.

Comme signe de l’évolution des marées et du sentiment sur le marché. Il semble que la lutte contre les abus et les contenus commence à être prise au sérieux en tant que concept d’entreprise. Et donc Sentropy n’est pas la seule entreprise à saisir cette opportunité.

Deux autres startups – l’une appelée Spectrum Labs et l’autre appelée L1ght ont également construit un ensemble d’outils basés sur l’IA destinés à diverses plates-formes où des conversations ont lieu pour aider ces plates-formes à détecter et à mieux modérer les cas de toxicité, de harcèlement et d’abus.

Un autre, Block Party , cherche également à travailler sur différentes plates-formes sociales pour donner aux utilisateurs plus de contrôle sur la façon dont la toxicité les touche et, comme Sentropy, s’est d’abord concentré sur Twitter.

Avec Protect, une fois le contenu détecté et signalé, les utilisateurs peuvent configurer des blocs permanents plus larges contre des utilisateurs spécifiques (qui peuvent également être mis en sourdine via Protect) ou des thèmes, gérer les mots filtrés et surveiller le contenu qui est automatiquement signalé comme potentiellement abusif, en si vous souhaitez remplacer les indicateurs et créer des utilisateurs «de confiance». Les tweets sont étiquetés lorsqu’ils sont accrochés par Sentropy par le type d’abus (par exemple, menace de violence physique, d’agression sexuelle ou d’attaques d’identité).

Puisqu’il est basé sur une plate-forme d’apprentissage automatique, Sentropy prend ensuite tous ces signaux, y compris les Tweets qui ont été signalés, et les utilise pour enseigner à Protect à identifier le contenu futur dans le même sens. La plate-forme surveille également les discussions sur d’autres plates-formes tout le temps, ce qui alimente également ce qu’elle recherche et modère.

Si vous connaissez la propre protection contre les abus de Twitter, vous saurez que tout cela va encore plus loin que les contrôles fournis par Twitter.

C’est toujours une version une. Pour le moment, vous ne voyez pas votre chronologie complète via Protect, cela signifie donc essentiellement que vous basculez entre Protect et le client Twitter que vous utilisez. Certains pourraient trouver cela pénible, bien que Bala ait noté que le signe du succès de Sentropy est que les gens le laisseront fonctionner en arrière-plan et que vous ne ressentirez pas le besoin de vous enregistrer constamment.

Redgrave a également noté que le service étudie toujours comment ajouter d’autres fonctionnalités, par exemple la possibilité de filtrer également les messages directs.

Source : TechCrunch