Présentation de Multigres : Vitess pour Postgres

Appuyez sur Entrée ou cliquez pour afficher l’image en taille réelle

Lorsque YouTube a dû faire évoluer MySQL pour gérer des milliards de vues vidéo quotidiennes, il n’a pas seulement optimisé les requêtes ou ajouté davantage de copies en lecture. Ils ont créé Vitess, un système de regroupement de bases de données qui fonctionnera sur certaines des plus grandes plates-formes Internet. Aujourd’hui, Sugu Sugumaran, un ingénieur qui a co-créé Vitess, apporte la même innovation à l’écosystème Postgres avec Multigres.

Problème : Postgres atteint le plafond

Récemment, Postgres a connu une croissance explosive en popularité. Cependant, à mesure que ces bases de données se développent, les utilisateurs sont confrontés à une limite stricte s’ils exploitent au maximum la plus grande machine disponible. C’est un problème que connaissent tous ceux qui exécutent des applications à fort trafic : votre base de données devient un goulot d’étranglement et la mise à l’échelle verticale ne peut vous mener que jusqu’à un certain point. Les solutions traditionnelles telles que la mise en cache de couches, les réplicas en lecture et la segmentation au niveau des applications présentent toutes une complexité et des compromis importants. Et s’il y avait une meilleure façon ?

Entrez dans Multigres : la solution pour faire évoluer Postgres

Multigres est un nouveau proxy qui se trouve devant votre base de données Postgres et a les mêmes objectifs que Vitess, mais se concentre sur l’écosystème Postgres. Considérez-le comme un middleware qui rend votre base de données Postgres évolutive à l’infini sans vous obliger à réécrire votre application.

Vision est complet et offre une croissance incrémentielle pour les bases de données de toute taille. Au niveau d’entrée, Multigres fournit un regroupement de connexions pour les petites charges de travail. Il ajoute des fonctionnalités de haute disponibilité à mesure que vos besoins augmentent. Et si vous avez vraiment besoin d’évoluer, il fournit une solution entièrement segmentée capable de traiter des données à l’échelle du pétaoctet.

En quoi Multigres est-il différent ?

Basé sur l’architecture Vitess éprouvée, Multigres apporte plusieurs fonctionnalités importantes à Postgres :

• Partage du renseignement. Distribuez de manière transparente vos données sur plusieurs instances Postgres sans écraser les applications.
• Regroupement de connexions intelligent. Gérez efficacement les connexions aux bases de données pour maximiser le débit et minimiser l’utilisation des ressources.
• Demander le routage. Acheminez automatiquement les requêtes vers les fragments ou copies appropriés en fonction des données consultées.
• Réactivité et tolérance aux pannes. La haute disponibilité intégrée garantit que votre base de données reste en ligne même en cas de panne de nœuds individuels.
• Conception cloud. Orchestration prête pour Kubernetes et conforme aux modèles de déploiement modernes.

Mais surtout, la compatibilité est une priorité absolue. C’est ce que la communauté Postgres apprécie le plus. Multigres vise à fonctionner de manière transparente avec les applications Postgres existantes, en minimisant les frictions généralement associées aux décisions de segmentation.

Appuyez sur Entrée ou cliquez pour afficher l’image en taille réelle

Pourquoi maintenant ? Pourquoi Postgres ?

Dans ses propres mots, Sugu a expliqué qu’il envisageait depuis un certain temps d’adapter Vitess pour Postgres. La récente explosion de popularité de Postgres n’a fait que pousser cela vers une “obsession à part entière”.

Le temps est pris en compte. Il estime que le projet visant à résoudre les problèmes de mise à l’échelle de Postgres devrait démarrer maintenant et estime que Vitess fournit le cadre le plus prometteur. Grâce à des années de tests sur YouTube et d’adoption par de grandes entreprises technologiques, Vitess a prouvé sa force architecturale. Adapter ces leçons pour Postgres est stratégique.

Sugu a trouvé un foyer pour ce projet ambitieux chez Supabase, attiré par leur état d’esprit open source et leur culture de travail entièrement à distance. C’est naturel : Supabase est devenue l’une des plates-formes Postgres à la croissance la plus rapide, et les problèmes de mise à l’échelle deviennent de plus en plus importants pour la base d’utilisateurs.

Appuyez sur Entrée ou cliquez pour afficher l’image en taille réelle

Ouvrir la source ?

Après Vitess, Multigres sera open source sous licence Apache 2. Le projet est déjà disponible sur GitHub, même si l’équipe se concentrera dans un premier temps sur la stabilité avant d’ouvrir les contributions à la communauté au sens large. Cet engagement envers l’open source signifie que, que vous utilisiez Postgres sur Supabase ou que vous l’hébergeiez vous-même, vous aurez accès à la même technologie de mise à l’échelle puissante.

Qu’est-ce que cela signifie pour les utilisateurs de Supabase ?

Pour les utilisateurs actuels de Supabase, il n’y aura pas de changements fondamentaux dans le fonctionnement de la plateforme, notamment à des charges plus faibles. L’expérience existante reste intacte.

En coulisses, Supabase évaluera comment Multigres s’intègre à son infrastructure existante, en particulier Supavisor, son pool de connexions actuel. De plus, Supabase continue d’investir dans OrioleDB, un système de stockage de données évolutif pour Postgres qui viendra compléter Multigres. Ces deux projets abordent différents niveaux de la pile de bases de données et seront développés simultanément.

Une chose est sûre : Supabase reste 100 % axé sur Postgres. Pour les utilisateurs de MySQL, ils recommandent de s’en tenir au Vitess d’origine.

Quelle est la prochaine étape ?

Le projet Multigres rassemble une équipe de programmeurs Go pour développer une vision. Ils recherchent également des partenaires de conception et des utilisateurs précoces, en particulier des organisations qui ont déjà atteint les limites d’évolutivité de Postgres, pour les aider à façonner le produit en fonction de cas d’utilisation réels.

Il ne s’agit pas seulement de résoudre les défis actuels en matière de dimensionnement. Il s’agit de garantir que Postgres, qui est devenue la base de données de choix pour les applications d’aujourd’hui, dispose d’une voie claire pour gérer les charges de travail massives de demain.

Si l’ingénieur qui a fait évoluer les bases de données de YouTube souhaite résoudre le même problème pour Postgres, cela vaut la peine d’y prêter attention. La combinaison de l’architecture éprouvée de Vitess, de l’expertise de Sugu et de la plate-forme centrée sur Postgres de Supabase crée une base convaincante pour ce qui pourrait devenir la solution de mise à l’échelle standard pour les bases de données Postgres.

L’avenir de l’évolutivité de Postgres s’écrit actuellement. Et c’est open source.