Table des matières

Images et IA

(page créée le 8 nov 2021)

“Text-to-image is the new Sudoku.”, Mario Klingemann

Listes de ressources

Génération d'images en ligne «Text-to-image»

Stable Diffusion

Stable Diffusion est un modèle de génération d'images, créé par Stability AI, le modèle a été entrainé sur 2,3 milliards d'images du dataset LAION-5B

mage.space

Service gratuit / réseau social permettant d'utiliser Stable Diffusion (NSFW) en ligne (version 1.5 le 28/11/2022). Permet aussi de partir d'une image existante pour en modifier une partie («img2img»).

dreamstudio

(Accès gratuit limité) Service d'accès à Stable Diffusion par StabilityAI

PlaygroundAI

(?) Service d'accès à Stable Diffusion

moteur de recherche

Dans des images créées par Stable Diffusion, images présentées avec les prompts :

explorer le dataset

aide à l'écriture de prompt

temps réel avec Streamdiffusion

divers

vocabulaire

Des principes/procédés/logiciels qu'on retrouve dans l'univers de Stable Diffusion :

auto1111 / automatic1111 : interface web pour utiliser Stable Diffusion avec de nombreuses options, automatic1111 est l'auteur original qui a donné son nom au logiciel, mais le nom du projet est plutôt Stable Diffusion web UI

checkpoint / .ckpt

ControlNet : permet d'utiliser une image comme guide, avec beaucoup de subtilités! (utilisable dans automatic1111) par exemple : utiliser une image d'une pose corporelle comme guide appliquera cette pose au personnage créé par le prompt. Il existe différents parfums de ControlNet : ControlNet Canny, ControlNet openpose, ControlNet HED avec leurs spécificités

deforum : création d'animations à partir de prompts et d'indications sur l'animation (rotation, zoom, etc.)

deforum/parseq : parseq est un séquenceur de paramètres pour deforum

diffusion : procédé de création des images qui part d'une image bruitée pour la débruiter en la faisant correspondre au prompt

dreambooth : méthode pour compléter l'entrainement d'un modèle à partir de photos personnelles

embeddings

img2img : image to image = modifier une iamge de base par un prompt

inpainting : modifier uniquement une partie d'une image préexistante

instruct pix2pix ; une forme particulière d'img2img qui permet de modifie des images existantes par une instruction tout en gardant leur structure, ex : “swap sunflowers with roses”, “turn it into a still from a western”

invisible watermark

invokeAI : logiciel web pour générer des iamges (inpainting, outpainting, etc.)

Latent Couple : composition controlée, segmentation, plusieurs prompts

latent diffusion

latent space

LoRA (Low-Resource Adaptation) : entrainement complémentaire d'un modèle, “fine-tune” / réglages fins (voir aussi dreambooth, textual inversion, qu iosnt des méthodes alternatives)

model

modifier

outpainting : “agrandir” une image en la complétant avec un prompt

paint-with-words : segmentation d'iamges, multiples prompts

prompt : énoncé texte fourni pour produire l'image, selon les logiciels cet énoncé peut être renforcé par des signes de ponctuation (parenthèses, crochets, etc.) pour donner plus ou moins de poids à certains mots ou expressions

sampler / sampling method

T2I adapter : transfert de style, composition controlée

textual inversion

token : plus petit élément quand un prompt est décomposé (une sorte d'“atome” de langage, syllabe mais pas vraiment, etc.)

tokenizer

txt2img : text to image = générer une iamge depuis un prompt

upscale

Dall-E mini

Création d'images à partir d'un énoncé («prompt») basé sur le modèle Dall-E Mini. Rapide et facile à utiliser

https://www.craiyon.com/

Dall-E 2

(Accès gratuit limité) Création d'images à partir d'un énoncé («prompt»)

MidJourney

(Accès gratuit limité) Création d'images à partir d'un énoncé («prompt»). Accessible sur Discord

Ressources

NijiJourney

= MidJourney x Spellbrush (Accès gratuit limité). Modèle entrainé et spécialisé sur les images d'anime)

VQGAN+CLIP

Création d'images à partir d'un énoncé («prompt»)

Explication du principe : https://ljvmiranda921.github.io/notebook/2021/08/08/clip-vqgan/

Des exemples sur reddit

Une plateforme de publication : https://creator.nightcafe.studio/top

Une analyse des artistes/bédéistes/illustrateur·ice·s dans VQGAN : https://remidurant.com/artists/# (déjà la préhistoire en 2023)

ruDALL-E

Autres modèles, russes cette fois : https://rudalle.ru/en/

Le prompt qui va bien

Des ressources : https://pharmapsychotic.com/tools.html#sec-1f7f

How-to, books

image to prompt

Plusieurs services en ligne proposent des prompts à partir d'une image qu'on leur envoie

Comment ça marche ? : https://medium.com/@silkworm/diversify-photo-database-with-clip-interrogator-5dd1833be9f5

Conversion de prompts

De stable Diffusion v1.x à SD v2.0 : https://huggingface.co/spaces/fffiloni/prompt-converter

Vocabulaire

Animation d'image fixe

AdaMPI

3D Photo inpainting

Services privés en ligne

Plusieurs applications et services en ligne proposent d'animer des images fixes, par exemple : pour animer le visage d'un portrait, d'une photo ancienne, etc.

cutout.pro AI photo animer https://www.cutout.pro/photo-animer-gif-emoji email + gratuit pour le téléchargement basse définition avec watermark, payant pour une meilleure qualité

deep nostalgia https://www.myheritage.fr/deep-nostalgia (attention à la société qui propose ce service!)

leai.pix https://convert.leiapix.com/ transformation d'images fixes en images 3D lightfield (utilise depthy et BoostingMonocularDepth)

Augmentation de la définition d'une image

Restauration d'images

swinir (usage gratuit sur Replicate) : https://replicate.com/jingyunliang/swinir

D'autres possibilités sur replicate (gratuits ou payants)

Real ESRGAN

Augmentation de la définition d'une image

Article : https://github.com/xinntao/Real-ESRGAN#Portable-executable-files

Interpolation

FILM

RIFE

RealBasicVSR

«Real-World Video Super-Resolution»

Autres principes

https://toonify.photos/

Recherche

DragGAN

Edition d'images basée sur l'apprentissage automatique

DAIN (Depth-Aware Video Frame Interpolation)

Interpolation d'images : à partir d'une vidéo en stop motion, recréer la fluidité d'un tournage classique

Dreambooth

Génération fine d'images à partir d'une image source avec changements de contexte, de propriétés, etc.

CLIP (Contrastive Language-Image Pre-Training)

Mitsua

«This model is trained from scratch using only public domain/CC0 or copyright images with permission for use, with using a fixed pretrained text encoder (OpenCLIP ViT-H/14, MIT License).»

A installer

Stable Diffusion

Stable Diffusion Web UI

Art numérique et IA génératives

Paragraphica is a context-to-image camera that uses location data and artificial intelligence to visualize a “photo” of a specific place and moment. The camera exists both as a physical prototype and a virtual camera that you can try. ( https://bjoernkarmann.dk/project/paragraphica )

90 miles controverse sur l'utilisation de l'IA générative pour créer des iamges “documentaires” d'évènements passés : https://www.blind-magazine.com/fr/stories/comment-limagerie-ia-ebranle-le-photojournalisme/

Ressources diverses