CISYNTH

  • Porteur du projet : reso-nance & Patrick Reybaud
  • Date : 20/05/2018

Synthé multimédia d'après le capteur lumineux d'un scanner à plat

Inspiré du synthétiseur ANS d'Evgeny Murzin, et détournant l'usage des scanners à plat de bureau, cet instrument permet de produire un son a partir du dessin artificiel d'une onde sonore, tout en offrant la représentation graphique du son.

C.I.S

C.I.S (Contact Image sensor) est le standard technologique des “scanners à plat”. Les images sont numérisées lignes par lignes, avec plus ou moins de finesse (le standard actuel est de 10200 point par ligne, avec une définition de 24 bits).

Inspiré des logiciels d'analyse spectrale audio, ce synthétiseur permet d’obtenir une table d'onde à partir des valeurs envoyées au capteur. La table d'onde est lue en permanence, à une fréquence de 20 hz, ce qui permet d'obtenir des fréquences basses, puis avec la reproduction de motifs d’obtenir des partielles audibles jusqu’à 40 Khz. Un spectre plat autorise le silence, c’est la valeur de référence de la table, qui s’initialise avec l’image placée devant le capteur au moment de sa mise en tension.

analyse spectrale

L’analyse spectrale d’un son repose sur la décomposition de Fourier, elle permet de connaître les fréquences des différentes fonctions sinusoïdales présentes dans un son (appelées harmoniques).

concept

Ce synthé repose sur la théorie selon laquelle tous sons complexes est une somme d'ondes pures. Un nombre limité d'oscillateur doit pouvoir reproduire tous les sons de la nature…

insiration logicielle

sorties souhaitées

  • digital RVB to audio
  • digital to vidéo

entrées souhaitées

  • MIDI ou OSC

V 1 Beta

Cette version beta fonctionne en niveau de gris et repose sur la constitution d'une unique table d'onde lue a vitesse constante. work in progress…

Calibration | Mise sous tension

  • La sensibilité du scanner se définie en fonction de l’image mise en contact du capteur au moment de sa mise sous tension.
  • L’amplitude maximale s’obtient en initialisant le scanner avec du noir.
  • La calibration peut fonctionner sans rien mettre devant, dépend de l’éclairage de la pièce… Pour obtenir un silence parfait lorsque rien n’est à proximité du capteur, utiliser une valeur de gris moyen a la calibration.

Fragilité de la nappe

Parfoit le synth ne donne que du bruit blanc (presque identique au son qu'l produit normalement ! mais sans aucune variation, dans ce cas il faut verifier le branchement de la nappe qui est tres sensible…

  1. enlever la vitre (clippé entre les parties plastique noires)
  2. retirer le panneau bois coté nappe
  3. contrôler les connections de la nappe
  4. verifier les variations de signal en approchant le capteur a moins de 5mm (si ca module c bon !)
  5. replacer le panneau
  6. la vitre doit être clippée (vraiment a fleur du capteur)

cahier des charges techniques

utopie de départ

A partir d'un scanner à plat et d'une partition graphique, obtenir une création temps réelle composée de l'image obtenue (sortie vidéo), et de la synthèse spectrale de cette image (sortie audio mono). Pouvoir “jouer” le son d'un objet graphique, lu depuis le capteur (CIS) d'un scanner à plat, lisant une partition graphique. (cf. jeu sur l'onde spectrographique d'un son dans le logiciel Audiosculpt).

Inspiré des logiciels d'analyse audio, cet instrument permettrait d’obtenir un table d'onde à partir de ce que l'on place au dessus du capteur, sur la vitre du scanner. La table d'onde est lue en permanence, variant (en amplitude?) sur chacune des fréquences de l'ensemble du spectre. Le top serait de pouvoir implémenter SuperVP de l'Ircam. A partir de l'analyse de chacun des senseurs du capteur CIS (10200?), produire une forme d'onde (synthèse spectrale?) résultant (de la somme?) de l'amplitude de l'ensemble des fréquences fixes (par bandes?).

objectif audio : Créer des analogies arbitraires entre les valeurs colorimétriques (niveau de gris pour commencer) de chacun des senseurs, et l'amplitude d'une plage de fréquence associée.

objectif graphique : Récupérer les valeurs colorimétriques et fabriquer de l'image avec (produirait un genre de slitscan, mais peut etre arbitraire aussi?)

Acquisition des données

Choix du sensor

CCD, inline CMOS, CIS… ?
L'idée serait de partir des capteurs CIS, des scanners à plat, (sensibilité de 24 bits par capteurs et un nombre de capteur de 10200 en général). Trouvable facilement en recup car rendu obsoletes par des drivers logiciels non compatibles aux OS actuels… si la procédure d'acquisition de ce type de sensor est assez rapide ?

stockage des données

Interprétation des données du capteur

Génération du signal audio

Génération du signal vidéo

Matériaux

  • vieux scanner a plat 5V, ici le canonscan LIDE25
  • micro controleur pour lire les CIS (STM 32)
  • motor stepperLien externe, arduino
  • la vitre du scanner
  • ici un soft capable de parler avec ces vieux scanners. type Vuescan
  • chassis cnc (voir comment conserver le chassis du scanner

test partitions graphiques Processing

Photos

V1