ThinkSound: Generazione Audio Multimodale con Chain-of-Thought in PyTorch

ThinkSound è un framework unificato per la generazione audio da qualsiasi modalità (Any2Audio) che sfrutta il flow matching guidato dal ragionamento Chain-of-Thought (CoT). In termini semplici, ThinkSound è in grado di generare o modificare audio partendo da video, testo e audio, tramite un processo di ragionamento passo-passo basato su modelli linguistici multimodali (MLLM). Questo approccio permette di 'pensare' attraverso una serie di passaggi logici per arrivare alla generazione audio finale, simulando un processo creativo umano.

Le caratteristiche principali di ThinkSound includono:

• Any2Audio: Generazione audio da diverse modalità di input (video, testo, audio o combinazioni). Questo significa che puoi fornire un video di una foresta e ThinkSound genererà i suoni ambientali appropriati.
• Video-to-Audio SOTA: Risultati all'avanguardia (state-of-the-art) nei benchmark V2A (Video-to-Audio). ThinkSound eccelle nel generare audio realistico e sincronizzato con il video.
• CoT-Driven Reasoning: Utilizzo del Chain-of-Thought per una generazione audio controllabile e composizionale tramite MLLM. Invece di generare audio direttamente, ThinkSound ragiona attraverso una serie di passaggi, rendendo il processo più interpretabile e controllabile. Immagina di poter 'chiedere' a ThinkSound di aggiungere il suono di un uccello specifico in un determinato momento del video.
• Interactive Object-centric Editing: Possibilità di raffinare o modificare specifici eventi sonori cliccando su oggetti visivi o tramite istruzioni testuali. Puoi letteralmente 'puntare' ad un oggetto nel video e chiedere a ThinkSound di modificare il suono associato.
• Unified Framework: Un singolo modello di base supporta generazione, editing e workflow interattivi. Questo semplifica notevolmente il processo di sviluppo e implementazione.

L'architettura di ThinkSound decompone il processo di generazione ed editing audio in tre fasi interattive, tutte guidate dal ragionamento Chain-of-Thought (CoT) basato su modelli linguistici multimodali (MLLM):

1. Foley Generation: Generazione di soundscape di base, semanticamente e temporalmente allineati con il video. Questa fase crea l'ambiente sonoro di base, come il vento, la pioggia o il rumore del traffico.
2. Object-Centric Refinement: Raffinamento o aggiunta di suoni per oggetti specificati dall'utente tramite click o regioni nel video. Qui, l'utente può intervenire per aggiungere o modificare suoni specifici associati a oggetti nel video, come il suono di un'auto che passa o il cinguettio di un uccello.
3. Targeted Audio Editing: Modifica dell'audio generato utilizzando istruzioni in linguaggio naturale di alto livello. In questa fase, è possibile modificare l'audio utilizzando semplici istruzioni testuali, come 'Rendi il suono dell'esplosione più forte' o 'Aggiungi un effetto eco'.

Per visualizzare meglio l'architettura di ThinkSound, considera il seguente diagramma:

graph LR
    A[Video/Text Input] --> B(MLLM - Chain-of-Thought Reasoning)
    B --> C{Foley Generation}
    C --> D{Object-Centric Refinement}
    D --> E{Targeted Audio Editing}
    E --> F[Output Audio]

    style B fill:#f9f,stroke:#333,stroke-width:2px
    style F fill:#ccf,stroke:#333,stroke-width:2px

Prima di iniziare, è necessario configurare l'ambiente di sviluppo. Segui questi passaggi:

1. Clona il repository di ThinkSound da GitHub:

   git clone https://github.com/FunAudioLLM/ThinkSound.git
   cd ThinkSound

2. Installa le dipendenze necessarie:

   pip install -r requirements.txtCopia

3. Installa ffmpeg:
   conda install -y -c conda-forge 'ffmpeg<7'
4. Scarica i pesi pre-allenati del modello da Hugging Face nella directory ckpts/.
5. Installa Git LFS (Large File Storage):

   git lfs installCopia

6. Clona il repository dei checkpoint:

   git clone https://huggingface.co/liuhuadai/ThinkSound ckptsCopia

Una volta configurato l'ambiente, puoi eseguire ThinkSound utilizzando lo script demo.sh:

1. Rendi lo script eseguibile:
   chmod +x scripts/demo.sh
2. Esegui lo script:

   ./scripts/demo.sh  

Nota: Aggiungi use-half alla fine del comando per abilitare l'inferenza in mezza precisione, riducendo l'utilizzo della memoria GPU.

I parametri dello script sono:

• : Percorso del file video di input.
• : Titolo del video.
• : Descrizione Chain-of-Thought per la generazione audio.
• [use-half]: Parametro opzionale per abilitare l'inferenza in mezza precisione.

Ecco un esempio pratico di come potresti eseguire lo script:

Per un'esperienza più interattiva, puoi avviare l'interfaccia web di Gradio:

python app.pyCopia

Questo comando avvierà un server web locale che ti permetterà di sperimentare con ThinkSound tramite un'interfaccia grafica. Potrai caricare video, inserire descrizioni Chain-of-Thought e ascoltare l'audio generato in tempo reale.

In questo tutorial, abbiamo esplorato ThinkSound, un framework potente per la generazione audio multimodale guidata dal Chain-of-Thought reasoning. Abbiamo visto come configurare l'ambiente di sviluppo, eseguire ThinkSound e utilizzare l'interfaccia web. ThinkSound apre nuove frontiere nel campo della generazione audio, permettendo di creare sistemi più controllabili, composizionali e interattivi.

Speriamo che questo tutorial ti sia stato utile. Sentiti libero di esplorare il codice sorgente su GitHub e di sperimentare con diverse modalità di input per scoprire le potenzialità di ThinkSound. Cosa ne pensi? Quali applicazioni creative ti vengono in mente utilizzando questo framework? Condividi le tue idee e sperimentazioni!