CISYNTH

Synthé multimédia d'après le capteur lumineux d'un scanner à plat

C.I.S (Contact Image sensor) est le standard technologique des “scanners à plat”. Les images sont numérisées lignes par lignes, avec plus ou moins de finesse (le standard actuel est de 10200 point par ligne, avec une définition de 24 bits).

Inspiré des logiciels d'analyse spectrale audio, ce synthétiseur permet d’obtenir une table d'onde à partir des valeurs envoyées au capteur. La table d'onde est lue en permanence, à une fréquence de 20 hz, ce qui permet d'obtenir des fréquences basses, puis avec la reproduction de motifs d’obtenir des partielles audibles jusqu’à 40 Khz. Un spectre plat autorise le silence, c’est la valeur de référence de la table, qui s’initialise avec l’image placée devant le capteur au moment de sa mise en tension.

caracteristiques souhaitées :

  • digital RVB to audio
  • digital to vidéo

Inspirations :

V 1 Beta

Cette version beta fonctionne en niveau de gris et ne contient pas de notion temporelle (pas de mise en cache des valeurs). work in progress…

Calibration | Mise sous tension

  • La sensibilité du scanner se définie en fonction de l’image mise en contact du capteur au moment de sa mise sous tension.
  • L’amplitude maximale s’obtient en initialisant le scanner avec du noir.
  • La calibration peut fonctionner sans rien mettre devant, dépend de l’éclairage de la pièce… Pour obtenir un silence parfait lorsque rien n’est à proximité du capteur, utiliser une valeur de gris moyen a la calibration.

Fragilité de la nappe

Parfoit le synth ne donne que du bruit blanc (presque identique au son qu'l produit normalement ! mais sans aucune variation, dans ce cas il faut verifier le branchement de la nappe qui est tres sensible…

  1. enlever la vitre (clippé entre les parties plastique noires)
  2. retirer le panneau bois coté nappe
  3. contrôler les connections de la nappe
  4. verifier les variations de signal en approchant le capteur a moins de 5mm (si ca module c bon !)
  5. replacer le panneau
  6. la vitre doit être clippée (vraiment a fleur du capteur)

cahier des charges techniques

utopie de départ

A partir d'un scanner à plat et d'une partition graphique, obtenir une création temps réelle composée de l'image obtenue (sortie vidéo), et de la synthèse spectrale de cette image (sortie audio mono). Pouvoir “jouer” le son d'un objet graphique, lu depuis le capteur (CIS) d'un scanner à plat, lisant une partition graphique. (cf. jeu sur l'onde spectrographique d'un son dans le logiciel Audiosculpt).

Inspiré des logiciels d'analyse audio, cet instrument permettrait d’obtenir un table d'onde à partir de ce que l'on place au dessus du capteur, sur la vitre du scanner. La table d'onde est lue en permanence, variant (en amplitude?) sur chacune des fréquences de l'ensemble du spectre. Le top serait de pouvoir implémenter SuperVP de l'Ircam. A partir de l'analyse de chacun des senseurs du capteur CIS (10200?), produire une forme d'onde (synthèse spectrale?) résultant (de la somme?) de l'amplitude de l'ensemble des fréquences fixes (par bandes?).

objectif audio : Créer des analogies arbitraires entre les valeurs colorimétriques (niveau de gris pour commencer) de chacun des senseurs, et l'amplitude d'une plage de fréquence associée.

objectif graphique : Récupérer les valeurs colorimétriques et fabriquer de l'image avec (produirait un genre de slitscan, mais peut etre arbitraire aussi?)

Acquisition des données

Choix du sensor

CCD, inline CMOS, CIS… ?
L'idée serait de partir des capteurs CIS, des scanners à plat, (sensibilité de 24 bits par capteurs et un nombre de capteur de 10200 en général). Trouvable facilement en recup car rendu obsoletes par des drivers logiciels non compatibles aux OS actuels… si la procédure d'acquisition de ce type de sensor est assez rapide ?

stockage des données

Interprétation des données du capteur

Génération du signal audio

Génération du signal vidéo

Matériaux

  • vieux scanner a plat 5V, ici le canonscan LIDE25
  • micro controleur pour lire les CIS (STM 32)
  • motor stepperLien externe, arduino
  • la vitre du scanner
  • ici un soft capable de parler avec ces vieux scanners. type Vuescan
  • chassis cnc (voir comment conserver le chassis du scanner

test partitions graphiques Processing

Photos

V1