5 Primeiros Passos Para Melhorar o Performance do Firebird

Em geral, os usuários do Windows precisam fazer os seguintes 3 passos:

No Linux, existem 2 passos obrigatórios para servidores Firebird:

Você está usando o arquivo firebird.conf padrão que acompanha o Firebird regular (vanilla), instalado a partir do instalador padrão ou repositório Linux? Se sim, temos más notícias para você. Seu arquivo firebird.conf não é o melhor para o seu banco de dados Firebird.

O arquivo firebird.conf padrão é feito para funcionar no hardware ou VM mais simples e pequenos. Mas isso não é o que a maioria dos servidores de produção precisa.

Se você está usando HQbird com Firebird, está em uma situação melhor. O HQbird fornece um arquivo firebird.conf que é melhor para o servidor médio.

Você quer melhorar seus arquivos firebird.conf (e databases.conf) para o seu hardware ou VM? Essa é uma ideia inteligente. Temos um serviço gratuito que pode ajudá-lo com isso. É chamado “Calculadora de Configuração para Firebird”, e pode fazer seu banco de dados Firebird usar seus recursos de maneira mais eficiente. O serviço criará uma configuração melhor que a padrão para você e, mais importante, ajudará você a evitar erros comuns na configuração do Firebird.

Se você quiser melhorar ainda mais sua configuração, podemos fazer mais coisas para você no âmbito dos nossos [Serviços de Otimização](https://ib-aid.com/en/firebird-interbase-performance-optimization-service/), como analisar suas consultas, a estrutura do seu banco de dados e mais.

Para experimentar a Calculadora de Configuração, basta clicar neste link: https://cc.ib-aid.com/democalc.html ou, melhor ainda, registre-se em https://cc.ib-aid.com, para acessar outras ferramentas para Firebird.

Selecione a versão do Firebird, arquitetura e depois detalhes do seu hardware/VM (RAM/núcleos de CPU), e características do banco de dados e carga: tamanho do banco de dados, tamanho da página do banco de dados e clique em “Criar”:

Em seguida, você precisa copiar e colar os resultados nos seus arquivos firebird.conf e databases.conf.

Mas antes de fazer isso, certifique-se de deletar tudo que já está nesses arquivos, até mesmo os comentários. Dessa forma, você não terá problemas com as configurações antigas e novas.

Certifique-se de que você não tenha valor para a linha de Buffers de Página na página de cabeçalho do seu banco de dados!

Se você tiver que garantir isso, execute no terminal (prompt de comando):

ou (para Windows)

Output será assim:

Verifique se a linha com o parâmetro Page Buffers está em 0.

Se estiver configurado para outro valor, ele substituirá as configurações em firebird.conf e databases.conf.

Para usar os valores da configuração, defina Page Buffers no cabeçalho para 0 com o comando

Para aplicar a nova configuração, reinicie todas as instâncias do Firebird.

Como resultado, você verá um desempenho melhorado da sua instância Firebird.

Existem várias ferramentas universais para medir o desempenho do disco de maneira comum, elas fornecem a estimativa em MB/seg ou em IOPS. A mais popular é o CrystalDiskMark ([https://crystalmark.info](https://crystalmark.info)).

Em nossa experiência, o CrystalDiskMark fornece uma estimativa adequada da velocidade do disco e pode ser usado como um ponto de partida. O exemplo de saída do CrystalDiskMark em formato de texto:

No entanto, esse teste não é suficiente para ter uma garantia de que o disco é realmente rápido para o Firebird, porque o teste é muito sintético.

Para medir o desempenho do disco a partir do Firebird, a IBSurgeon desenvolveu um script que cria o banco de dados, insere 1 milhão de registros, atualiza esses registros e, em seguida, os exclui.

O script é executado pela ferramenta padrão isql.exe, com a configuração atual do Firebird.

Essencialmente, é um teste de thread único que mede o desempenho do Firebird para o caso de uma operação de processamento de “pico” — o resultado do teste é um arquivo de banco de dados com tamanho de 3.6 Gb.

O resultado é apresentado na forma ou número de milissegundos para realizar Inserção de 1 Mln, Atualização de 1 Mln, Exclusão de 1 Mln. registros separadamente para a operação e para o tempo de commit.

Desde a criação do script, as pessoas o executaram em centenas de servidores (muitas pessoas da comunidade executaram o teste em vários servidores e enviaram seus resultados), e agora há a tabela e o diagrama com os resultados.

Para facilitar a comparação, o resultado é apresentado no formato de Inserções/segundos, Atualizações/segundos, Exclusões/segundo.

Índices de banco de dados Firebird podem existir em um de três estados: ativo, inativo ou não ativado.

Para inspecionar o estado dos índices em um banco de dados Firebird, execute a seguinte consulta:

Se o resultado for 0, todos os índices estão ativos. Se o resultado não for 0, faça a seguinte consulta para ver a lista de índices problemáticos:

e verifique os estados dos índices listados. O valor 1 significa que o índice está inativo, e o valor 3 significa que o índice está em estado não ativo.

Para ativar um índice, execute o comando para cada índice:

O otimizador no Firebird (e no InterBase) usa 2 critérios principais ao analisar uma consulta e escolher um plano de execução — o tamanho das tabelas (cardinalidade) e a seletividade dos índices (seletividade).

A seletividade dos índices é calculada como 1 dividido pelo número de valores únicos na coluna indexada (ou colunas). Por exemplo, se este é um índice em uma chave primária, e há 10 mil registros na tabela, então sua seletividade será igual a 1 / 10000 = 0.0001. E se a mesma tabela tem uma coluna com 10 valores diferentes, então o índice nesta coluna terá uma seletividade de 1 / 10 = 0.1. Para o otimizador, quanto menor a seletividade do índice, melhor.

Se o otimizador sempre determina o tamanho da tabela mais ou menos precisamente, então a seletividade dos índices não é recalculada automaticamente. Como resultado, o otimizador poderia estimar a seletividade que está longe da realidade. Então, a seletividade precisa ser recalculada manualmente.

O recálculo da seletividade dos índices ocorre quando eles são criados, quando ALTER INDEX ACTIVE, e quando SET STATISTICS INDEX nomedoindice.

Por exemplo, você criou uma tabela, criou índices, e então preencheu a tabela com dados. A seletividade de todos os índices desta tabela permanecerá 0 até você recalcular a seletividade.

Ou, você criou uma tabela, índices, preencheu-a com dados, fez um backup-restauração (quando restaurando, os índices são recriados, e a seletividade será relevante). E então você mudou 30-40% dos dados em algumas tabelas (adicionados, deletados ou modificados). E a seletividade também será irrelevante.

Você pode visualizar a seletividade armazenada dos índices com uma consulta (a seletividade dos índices inativos será igual a -1)

Recalcular as estatísticas dos índices no banco de dados Firebird é uma maneira de melhorar o desempenho de suas consultas. As estatísticas informam ao Firebird quão seletivos são seus índices e ajudam a escolher o melhor plano de execução. Aqui estão os passos para recalcular as estatísticas dos índices no banco de dados Firebird:

É isso. Você recalculou as estatísticas dos índices no banco de dados Firebird. Você pode fazer isso periodicamente, especialmente após grandes alterações em seus dados, para manter seus índices eficientes.

Para verificar o estado dos índices com o HQbird, siga estes passos:

Seu banco de dados Firebird é composto por peças que têm todas o mesmo tamanho. Essas peças são chamadas de páginas. O tamanho das páginas depende da versão do Firebird que você usa. No Firebird 1, o tamanho padrão das páginas era de 1024 bytes. No Firebird 2.5, o tamanho padrão da página era de 4096 bytes. E no Firebird 3.0 e posteriores, os bancos de dados são criados com tamanho de página de 8192 bytes. Para bancos de dados maiores, o Firebird 2.5 e 3 têm opções de até 16384, e a v4 + tem 32768 bytes.

Para ver qual é o tamanho da página do seu banco de dados, por favor, use o comando:

No Windows

No Linux

e veja a linha “Page size”.

O tamanho das páginas é muito importante para o seu banco de dados Firebird, então você precisa escolher o certo.

Para alterar o tamanho da página, você precisa usar a ferramenta gbak para fazer backup e restaurar seu banco de dados, e adicionar a opção -page <NNN>. Mas tenha cuidado, isso pode levar muito tempo se o seu banco de dados for grande. Então, é melhor escolher o tamanho de página certo desde o início.

Como você escolhe o tamanho de página certo para o seu banco de dados Firebird? Há as seguintes coisas a considerar:

Vamos considerar todos esses pontos:

Como você pode entender, o tamanho da página não pode ser menor que o padrão no banco de dados específico. Se o banco de dados for criado com o comando CREATE DATABASE sem a opção PAGE_SIZE, o banco de dados será criado por padrão com o tamanho de página padrão. Se o banco de dados foi criado em uma versão anterior do Firebird e convertido com backup/restauração, o tamanho da página pode ser preservado, e pode ser menor que o padrão, ou seja, não otimizado. Neste caso, você precisa mudar o tamanho da página para o padrão ou superior. Na prática, isso significa 8192 como mínimo.

Para bancos de dados menores que 20Gb em tamanho, ou sem intenção de crescer além deste tamanho sem backup/restauração (quando haverá a possibilidade de mudar o tamanho da página), a recomendação geral é usar 8192 bytes como tamanho de página (e é o tamanho padrão para as versões 3+).

Para bancos de dados maiores use 16384 bytes.

E quanto a 32768, seria melhor usar a maior opção disponível?

Nós fizemos testes com bancos de dados de até 1Tb em tamanho, e não encontramos melhoria direta de desempenho em comparação com 16384. Um de nossos clientes com um banco de dados de 4Tb relatou que a página de 32768 melhorou o desempenho. Então, a decisão de usar o tamanho de página de 16K ou 32K dependerá dos próximos passos.

Para manter o desempenho dos índices no nível ótimo, eles devem ter profundidade ⇐3.

Como verificar a profundidade?

Usando apenas a ferramenta padrão, é um processo um pouco longo:

No HQbird, você precisa usar a ferramenta HQbird Database Analyst do pacote HQbird Admin, que é projetada para analisar estatísticas de bancos de dados.

Abra o HQbird Database Analyst, recupere as estatísticas do banco de dados (ou abra o arquivo com estatísticas coletadas manualmente pelo gstat -r), vá para a aba Índices e ordene por Profundidade:

Se você ver índices com Depth > 3, é necessário aumentar o tamanho da página do banco de dados.

Se você já estiver usando o tamanho máximo possível de página, por exemplo 16384 na v3, considere a migração para v4-5, onde o tamanho máximo de página é 32768.

O Firebird mantém os dados das tabelas em forma comprimida. Você pode ver nas estatísticas dos bancos de dados do passo anterior uma informação sobre o tamanho dos registros na tabela, algo assim: (a saída pode ser diferente para diferentes versões):

É necessário verificar o tamanho dos registros para as maiores tabelas e compará-lo com o tamanho da página.

A ideia é calcular quantos registros são armazenados em uma única página — se houver registros com tamanho médio de 700 bytes em páginas de 4096 bytes, o Firebird precisará ler muitas páginas de dados.

Claro, isso depende da estrutura do banco de dados e da lógica de negócios, mas quanto maior o tamanho dos registros, maior o tamanho da página necessário.

No “HQbird Database Analyst” podemos ver os tamanhos dos registros para tabelas em forma de tabela simples: abra ou recupere estatísticas, aba “Tabelas” (“Tables”), e ordene por Comprimento do Registro.

Além do “Record Length” (“Comprimento do Registro”), o “HQbird Database Analyst” mostra o parâmetro “Average Fill” (“Preenchimento Médio”) e calcula o parâmetro derivado “Preenchimento Real”, para mostrar quão eficientemente os dados são armazenados nas páginas do banco de dados.

Lembre-se de que o tamanho do cache do Firebird é medido em páginas? Se o tamanho da página for alterado, o tamanho absoluto do cache também será alterado. Se você definiu 1 milhão de páginas para o tamanho de página de 8192, o tamanho absoluto do cache é de 8Gb, e se o tamanho da página for aumentado para 16384 bytes, o tamanho absoluto do cache se tornará 16Gb.

Para evitar problemas com um cache muito grande, após a mudança do tamanho da página, recalcule a configuração no Calculador de Configuração cc.ib-aid.com.