Cabeças falantes rápidas e baratas a partir de um retrato com o FlashHead Pro no ComfyUI

Status: Testado no RunPod. Renderizei com este template no RunPod em uma RTX 5090 e uma RTX 4090. Os tempos e custos deste guia vêm dessas execuções.

Estes são os avatares falantes mais rápidos que renderizei até agora. O SoulX-FlashHead Pro é um modelo aberto pequeno da Soul AI Lab (1,3 bilhão de parâmetros, licença Apache-2.0) que transforma um retrato e uma locução de qualquer duração em um vídeo de cabeça falante de 512 × 512 a 25 fps com o seu áudio original.

Em uma RTX 5090, ele precisa de cerca de 1,8 segundo de GPU por segundo de vídeo, aproximadamente US$ 0,04 por minuto pronto. Também é leve o bastante para placas de consumo, então dá para rodar localmente.

O porém: ele foi treinado com recortes do rosto de 512 × 512, então você não tem o busto completo das minhas configurações com LTX-2.5 e LongCat. Só o rosto.

Velocidade e custo comparados com meus outros modelos de avatar

Comparo meus quatro templates de avatar, incluindo o MiniMax H3, em um guia separado.

O porém: só o rosto

O FlashHead Pro é programado para sempre recortar o rosto. Dê a ele um retrato de busto ou de meio corpo e ele recorta um quadrado em volta da cabeça.

A qualidade é razoável, não excepcional. Pelo preço e pela velocidade, é o melhor que encontrei. Serve bem para locuções longas em que a qualidade importa menos que o volume, por exemplo um apresentador no canto da tela.

Rode localmente ou no RunPod

Tudo é gratuito no GitHub. Para rodar localmente no ComfyUI, peça ao Claude (ou a qualquer IA) para baixar os arquivos e instalá-los na ordem do setup.sh.

Em uma placa de 8 GB fica mais lento, porque o Windows move parte do modelo para a RAM do sistema. No vídeo, estimo cerca de 10 segundos de render por segundo de vídeo em uma placa de consumo. O README do template registra 12–79 segundos por segundo em uma RTX 3080 Laptop GPU de 8 GB, dependendo da pressão sobre a memória. Com 12 GB ou mais fica confortável.

Para trabalhos grandes, alugo GPUs no RunPod. Se você é novo nele, minha introdução ao RunPod cobre o básico.

Configure o pod

Armazenamento: use um volume global

Abra o link do template e clique em Configure Pod. O RunPod oferece criar um volume de rede, mas recomendo um volume global: vá em Storage → New volume → Global volume e crie-o.

Um volume global cresce com os seus arquivos em vez de obrigar você a reservar 50 ou 80 GB de antemão, e é cobrado por hora, não pelo mês inteiro de uma vez. Ele pode ser anexado a uma GPU em qualquer data center, o que importa porque muitas vezes é difícil encontrar GPUs com um volume de rede. A única desvantagem: o ComfyUI é configurado de novo a cada novo pod, o que leva alguns minutos.

Na página de implantação, o filtro ainda diz Network volume e parece vazio. É confuso, mas você está no volume global mesmo assim, com todas as GPUs disponíveis.

Escolha uma GPU e implante

A 4090 é mais lenta, mas mais barata por hora, então o custo por minuto acaba saindo mais ou menos o mesmo. Usei a 5090. Deixe o container disk nos 20 GB predefinidos pelo template.

Implante e acompanhe a configuração nos Logs (abas System e Container). A primeira inicialização baixa cerca de 6,9 GB de modelos, uma única vez, então leva só alguns minutos. Um aviso “Unsupported volume type” na página de implantação pode ser ignorado sem problema com este template.

Quando o ComfyUI disser que está pronto, abra-o pelo menu Connect. O JupyterLab, seu navegador de arquivos, pode continuar dizendo «initializing» mesmo quando já está pronto.

O fluxo de locução única

Abra a barra lateral Workflows e escolha flashhead_pro_1_continuous. Ele abre com um retrato de exemplo e uma locução de exemplo, então você pode rodá-lo na hora ou conectar os seus.

O grafo é simples: um nó Render recebe o modelo, o retrato e a locução, e entrega o vídeo.

• anchor: continuous (o padrão) significa que cada trecho continua a partir do anterior, e o render nunca volta ao retrato. reset_seconds só é usado pelo anchor “refresh at a pause”.
• color_correction: 1.00 é o padrão original; ele mantém as cores de cada trecho próximas às do retrato.
• name_suffix: o resultado recebe o nome da locução mais este sufixo, por exemplo sample_voiceover_pro_continuous.mp4.

Dica: recorte o retrato você mesmo

O nó Render encontra o rosto e recorta em volta dele um quadrado com cerca de duas vezes a largura do rosto. Uma foto de busto perde os ombros, e o enquadramento pode parecer um pouco aleatório.

Recomendo preparar um retrato quadrado, recortado em volta do rosto, antes de carregá-lo.

Por que a primeira execução é lenta

O modelo em si é muito rápido. A parte chata é iniciar a tarefa: em um pod novo, a primeira execução gasta cerca de 4–5 minutos carregando o modelo e compilando-o (torch.compile). Uma locução de um minuto que renderiza em dois minutos pode levar seis na primeira execução.

No meu teste na RTX 5090, a primeira execução renderizou 57,5 segundos de vídeo em 352,5 segundos, a maior parte deles de aquecimento. Depois disso, 28 segundos de vídeo levaram 51 segundos, com pico de 6,4 GB de VRAM.

Se aparecer um erro no log quando o primeiro render começar, ele vem do fluxo em lote rodando em uma pasta input/batch_audio vazia. Isso não afeta o render único.

É por isso que o FlashHead brilha em volume: com uma hora de locuções, você paga o aquecimento uma vez. O vídeo pronto fica em ComfyUI/output/; abra-o no JupyterLab para reproduzir ou baixar.

Lote: uma pasta inteira de locuções

Para muitas locuções, use flashhead_pro_2_batch_folder_continuous. Defina o retrato, e ele pega todos os arquivos de áudio em ComfyUI/input/batch_audio/ e os renderiza um por um, um vídeo para cada. Arquivos já renderizados são pulados.

Os únicos ajustes a mexer são a pasta e, se quiser, o sufixo do nome.

Trabalhos grandes: vários pods, uma pasta para cada

Você pode criar mais pastas (batch_audio_2, batch_audio_3 ou qualquer nome) e apontar o fluxo de cada pod para a sua própria pasta. Com um volume global, todos os pods veem os mesmos arquivos, então dá para dividir um trabalho realmente grande entre várias GPUs.

Mais um aquecimento por execução. Uma GPU mais barata também funciona, só que mais devagar.

Acompanhar e retomar um render longo

Segundo o README do template, um render longo vai sendo salvo em partes de cerca de 30 segundos (output/flashhead_parts/<name>/part_001.mp4 e assim por diante), que você pode abrir enquanto o resto renderiza. O ComfyUI não tem botão de pausa: cancele a execução, e enfileirá-la de novo com as mesmas entradas retoma depois da última parte pronta. Quando todas as partes estão prontas, elas são unidas e o áudio original é colocado sobre o vídeo inteiro.

Quando terminar

Volte ao pod no RunPod e clique em Stop. Não deixe um render já pronto rodando na conta da GPU.

Erros a evitar

• Esperar um busto completo. O FlashHead Pro só renderiza o rosto.
• Um retrato aberto demais. Recorte-o você mesmo em quadrado em volta do rosto.
• Julgar a velocidade pela primeira execução. O aquecimento de 4–5 minutos acontece uma única vez por execução.
• Uma locução por execução. Junte-as em lote, para pagar o aquecimento uma vez.
• Esquecer de parar o pod.

Cadastre-se pelo meu link de indicação do RunPod e você recebe de US$ 5 a US$ 500 em créditos no RunPod. Sem um link de indicação, não há bônus. Eu recebo o mesmo bônus e uso em computação.

Anton Tenitsky é artista 3D com mais de 15 anos em computação gráfica, que trabalhou com Nickelodeon, Gameloft, Marvel Rivals e muitos outros clientes. Mais sobre mim