画像 | 在宅勤務.com

すでに一度Stable Diffusionを動作させたことがある方向けになります。 まだ試したことがない人は、以下をまず実施してみてください。 https://zaitakukinmu.com/2022/08/25/stable-diffusion/ 以下のページにアクセスして、同意します。(Hugging Faceのアカウントが作成されていることが前提です) https://huggingface.co/runwayml/stable-diffusion-v1-5 同意していきます。 colabを立ち上げて、ノートブックを作成しておきます。 以下のコマンドを入力します。(2023/01/29時点で動作しないので後述するものを参照ください) !pip install diffusers==0.5.1 transformers scipy ftfy 以下が表示されたら成功です。 Successfully installed diffusers-0.5.1 ftfy-6.1.1 huggingface-hub-0.10.1 tokenizers-0.13.1 transformers-4.23.1 Hugging Faceのアクセストークンを確認します。 以下にアクセスして確認します。 https://huggingface.co/settings/tokens colabで、以下を入力し実行します。 YOUR_TOKEN="Hugging Faceのアクセストークン" 続いて以下を実行します。(2023/01/29時点で動作しないので後述するものを参照ください) from diffusers import StableDiffusionPipeline import torch model_id = "runwayml/stable-diffusion-v1-5" device = "cuda" pipe = StableDiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.float16, revision="fp16",use_auth_token=YOUR_TOKEN) pipe = pipe.to(device) この記事を書いた際は、上記コードで動作していのですが、以下のエラーが出て動かなくなっていました。 --------------------------------------------------------------------------- ValueError Traceback (most recent call last) &lt;ipython-input-3-e2de96012da6> in &lt;module> ----> 1 pipe = StableDiffusionPipeline.from_pretrained(MODEL_ID, torch_dtype=torch.float16, revision="fp16", 2 use_auth_token=YOUR_TOKEN) 3 pipe = pipe.to(DEVICE) /usr/local/lib/python3.8/dist-packages/diffusers/pipeline_utils.py in from_pretrained(cls, pretrained_model_name_or_path, **kwargs) 492 class_obj() 493 --> 494 raise ValueError( 495 f"The component {class_obj} of {pipeline_class} cannot be loaded as it does not seem to have" 496 f" any of the loading methods defined in {ALL_IMPORTABLE_CLASSES}." ValueError: The component &lt;class 'transformers.models.clip.feature_extraction_clip.CLIPFeatureExtractor'> of &lt;class 'diffusers.pipelines.stable_diffusion.pipeline_stable_diffusion.StableDiffusionPipeline'> cannot be loaded as it does not seem to have any of the loading methods defined in {'ModelMixin': ['save_pretrained', 'from_pretrained'], 'SchedulerMixin': ['save_config', 'from_config'], 'DiffusionPipeline': ['save_pretrained', 'from_pretrained'], 'OnnxRuntimeModel': ['save_pretrained', 'from_pretrained'], 'PreTrainedTokenizer': ['save_pretrained', 'from_pretrained'], 'PreTrainedTokenizerFast': ['save_pretrained', 'from_pretrained'], 'PreTrainedModel': ['save_pretrained', 'from_pretrained'], 'FeatureExtractionMixin': ['save_pretrained', 'from_pretrained']}. 以下のように修正して実行します。一旦colabのセッションを切る必要があります。0.9.0に固定しています。 !pip install diffusers==0.9.0 transformers scipy ftfy pretrainedのパラメータが、model_idのみとなっています。 from diffusers import StableDiffusionPipeline import torch model_id = "runwayml/stable-diffusion-v1-5" device = "cuda" pipe = StableDiffusionPipeline.from_pretrained(model_id) pipe = pipe.to(device) すべてのDLが完了したら準備完了です。 以下のコマンド実行で、cat.pngが生成されます。 prompt = "cute cat paly with ball" image = pipe(prompt).images[0] image.save(f"cat.png") 以前のコマンドは、以下でした。 prompt = "cute cat paly with ball" image = pipe(prompt)["sample"][0] image.save(f"cat.png") 生成された画像は、以下になります。 前回の画像がこちら。たまたまかもしれませんがよくなっている気がします。 前回やったコマンドもバージョン1.5でも試してみます。 prompt = "cute cat paly with ball, professionally retouched, soft lighting, wide angle, 8 k high definition, intricate, elegant, art by brian miller, peter mohrbacher, Lens flare effect" image = pipe(prompt, height=512, width=768).images[0] image.save(f"cat.png") これは前回の方が好きな感じです。 アニメのキャラクター的なものを出してみようと思います。 なんかそれっぽいw prompt="cute girl, anime, japan, high quality, warrior" image = pipe(prompt, height=512, width=768).images[0] image.save(f"girl.png") もう一つ挑戦 prompt="cute girl, anime, japan, high quality, sword warrior, whole body, face, 4k, 8k" image = pipe(prompt, height=512, width=768).images[0] image.save(f"girl5.png") なかなかいいのではないでしょうか ほんと呪文しだいですが、遊びとしては楽しいですね。 2023/01/29に同じコマンドで再生成したら、こんな感じの画像になりました。

Stable Diffusion1.5を試してみる