Com o Dolt 2.0, muitas coisas mudaram no mecanismo de armazenamento da versão do banco de dados SQL. Alguns recursos importantes agora estão habilitados por padrão pela primeira vez: coleta automática de lixo e um novo formato de arquivo para dados históricos. Há também suporte beta para dados vetoriais e um novo processo chamado Adaptive Storage para tipos de dados como JSON ou BLOBs. De acordo com os desenvolvedores, o Dolt está atualmente obtendo melhores pontuações no Sysbench do que o MySQL.
Leia mais depois do anúncio
O projeto de código aberto Dolt é um banco de dados relacional com gerenciamento de versão modelado no Git. Os desenvolvedores podem criar bancos de dados, ramificar, mesclar e comparar diferenças entre conjuntos de dados. Tecnicamente, o projeto integra uma camada SQL compatível com MySQL com sua própria versão do mecanismo de armazenamento. Dolt é usado, entre outras coisas, para manutenção colaborativa de dados, conjuntos de dados reproduzíveis, auditoria ou fluxos de trabalho de engenharia de dados.
Limpezas automáticas
A coleta de lixo, que agora está ativa por padrão, remove blocos de dados que não são mais referenciados em segundo plano e é usada principalmente para simplificar a operação de bancos de dados grandes ou altamente ramificados. As necessidades de armazenamento aumentam rapidamente, especialmente com bancos de dados versionados, porque o Dolt registra todas as alterações. Até agora, os administradores muitas vezes tinham que iniciar a limpeza manualmente ou através de trabalhos agendados. O projeto introduziu uma coleta de lixo online que também pode ser usada durante as operações em andamento.
O novo formato de arquivo também está habilitado por padrão. Ele armazena dados históricos de forma mais compacta e, portanto, reduz os requisitos de armazenamento. Durante o desenvolvimento, o projeto relatou economias de até 50%. O formato destina-se principalmente a bancos de dados com muitos instantâneos ou longos históricos de alterações e visa facilitar cenários de arquivamento e armazenamento frio.
Mais rápido que MySQL
Quando se trata de desempenho, o DoltHub mostra seus próprios resultados do Sysbench, onde o Dolt está ligeiramente à frente do MySQL em geral. Sysbench é uma ferramenta de benchmarking geral para cargas de trabalho OLTP e mede operações típicas de banco de dados, como inserções, atualizações e leituras. De acordo com a documentação, o Dolt tem um desempenho cerca de 10% mais rápido que o MySQL para operações de gravação, enquanto o acesso de leitura ainda é um pouco mais lento, cerca de 5%. Anteriormente, o desempenho era considerado um dos maiores obstáculos para bancos de dados versionados.
Leia mais depois do anúncio
O suporte beta para dados vetoriais também é novo. São incorporações numéricas, como aquelas usadas por aplicativos de IA para busca semântica ou sistemas de recuperação. Extensões PostgreSQL, como pgvector ou bancos de dados de vetores personalizados, agora também oferecem funcionalidade semelhante. No entanto, as notas de lançamento indicam claramente o status beta.
Armazenamento adaptativo de grandes valores
Com o Adaptive Storage, a Dolt também apresenta novas estratégias de armazenamento para os tipos TEXT, JSON, GEOMETRY e BLOB. O mecanismo codifica dinamicamente conteúdo grande de maneira diferente ou o terceiriza. Os desenvolvedores compararam o mecanismo com o TOAST do PostgreSQL, que também armazena automaticamente valores grandes fora das linhas reais da tabela. O objetivo é menor consumo de memória e acesso de E/S mais eficiente, por exemplo, com documentos JSON ou dados binários extensos.
Detalhes sobre todas as mudanças podem ser encontrados nas notas de lançamento no GitHub. Segundo o desenvolvedor, o Dolt 2.0 permanece fundamentalmente compatível com o banco de dados 1.x. No entanto, nem todos os bancos de dados criados com 2.x também podem ser lidos por clientes 1.x mais antigos. Qualquer pessoa que opere uma implantação mista ou planeje uma reversão precisa estar atenta ao migrar.
(foo)
