miiboで実現！和歌と画像AIの融合：tadokuno氏の挑戦【完全版】

プログラミング不要で実現するAI時代の和歌体験：開発プロセスから実装まで徹底解説

Sep 10, 2024

miiboDesigner の岡大徳です。

今回は、プロトアウトスタジオでtadokuno氏が手がける「LLMで和歌をたしなむ？！」プロジェクトの全貌をお届けします。miiboとHugging Faceを駆使して、日本の伝統文化である和歌とAI技術を融合させた革新的なアプリケーションの開発過程を、技術的な側面から詳細に解説します。

プロジェクト概要：AIが選ぶ和歌と画像で感性を表現

tadokuno氏の「今の気持ちを伝えたい」プロジェクトは、ユーザーの感情や情景をAIが理解し、適切な和歌を選択し、さらにその和歌をイメージした画像を生成するという、これまでにない体験を提供します。

主な特徴

miiboのAIチャットボット機能を使用した和歌選定
Hugging Face Inference APIを利用した画像生成
ノーコード開発によるスピーディーな実装

技術的実装の詳細

miiboの活用：和歌選定AIの実現

エージェント設定プロンプト：

あなたは和歌選定AIです。
ユーザーが入力したキーワードに基づいて、関連するものを過去の和歌から３つ選択してください。
作者不詳は禁止する。勝手に作るのも禁止、必ず実在の和歌にすること。

API活用

エンドポイント：https://api-mebo.dev/api
リクエスト例：

curl -H "Content-Type: application/json" -X POST -d '{"api_key":"MY_API_KEY","agent_id":"MY_AGENT_ID","utterance":"高揚している、紅葉、川が流れる","uid":"MY_UID"}' https://api-mebo.dev/api

Hugging Faceの活用：画像生成

選択されたモデル：

stabilityai/stable-diffusion-xl-base-1.0
stabilityai/stable-diffusion-2-1-base
stabilityai/stable-diffusion-3-medium-diffusers
sd-community/sdxl-flash

開発環境とファイル構造

開発環境：ローカルのLinux環境(WSL)
Webサーバー：Node.js
ファイル構造：

my-project/
├── .env
├── package.json
├── server.js
├── public/
│ ├── index.html
│ └── script.js
├── img/
│ ├── 生成された画像ファイル

開発プロセスと直面した課題

miiboエージェントの設定と和歌選定API実装
DeepLを使用した和歌の英語翻訳
Hugging Face Inference APIを使用した画像生成
生成された画像と和歌の合成

直面した課題と解決策

APIエンドポイントの修正（DeepL）
Content-Typeの適切な設定
Hugging Face APIの並列処理の制限への対応
エラー処理とタイムアウト対策

今後の展望と改善点

ローカルの画像生成AIの活用
Hugging Face API呼び出しのエラー時のリトライ機能実装
和歌の戻り値フォーマットの標準化
AIの応答品質低下問題の調査と対策
UIのデザイン改善

Q&A

Q: このプロジェクトでmiiboを選んだ理由は何ですか？

A: miiboは、カスタマイズ可能なAIエージェントの作成と、APIを通じた外部アプリケーションとの連携が容易であるため選ばれました。和歌選定という特殊なタスクに対して、柔軟にAIを調整できる点が大きな利点となっています。

Q: 画像生成に複数のモデルを使用する理由は何ですか？

A: 複数のモデルを使用することで、多様な画風や表現を生成し、ユーザーにより多くの選択肢を提供することができます。また、各モデルの特性を活かし、より適切な画像生成を行うことが可能になります。

Q: プロジェクトの今後の展開について、どのようなビジョンをお持ちですか？

A: 今後は、ローカルの画像生成AIの活用やUI/UXの改善を通じて、よりシームレスで高速な体験を提供することを目指しています。また、和歌以外の日本文学や芸術分野へのAI活用の可能性も探っていきたいと考えています。

miiboの詳細なFAQについては、以下のURLをご覧ください： https://daitoku0110.net/faq/

miiboコミュニティ最新情報

miiboコミュニティでは、tadokuno氏のプロジェクトに触発された様々な文化とAIの融合プロジェクトのアイデアが共有されています。

皆様も、miiboを活用して日本文化とAI技術を融合させるアイデアがありましたら、ぜひコミュニティでシェアしてください。他のユーザーとのアイデア交換が、新たなイノベーションを生み出す鍵となります。

miiboコミュニティはこちら：https://discord.gg/efYdWpvNWY

まとめ

tadokuno氏の「LLMで和歌をたしなむ？！」プロジェクトは、miiboの可能性を広げる画期的な事例です。このプロジェクトは以下の点で革新的です：

伝統文化（和歌）とAI技術の融合
miiboの柔軟性を活かしたカスタムAIエージェントの実現
複数のAI技術（miibo, Hugging Face）の統合
ノーコード開発によるスピーディーな実装
ユーザーの感性を重視した体験設計

このプロジェクトは、AIによる文化体験の新しい形を示すとともに、miiboの潜在的な可能性を明らかにしています。miiboユーザーの皆様も、この事例を参考に、新しいアイデアや分野でのAI活用を検討してみてはいかがでしょうか。

技術と文化の融合は、私たちの生活や経験を豊かにする大きな可能性を秘めています。miiboを活用することで、そのような革新的なプロジェクトを、プログラミングの専門知識がなくても実現できるのです。

皆様の創造力と、miiboの技術力が結びつくことで、さらに多くの興味深い取り組みが生まれることを期待しています。

それでは、また次回のニュースレターでお会いしましょう！ miiboを楽しんでください！

miiboDesigner岡大徳：https://daitoku0110.net/

miiboガイドページ：https://daitoku0110.net/miibo-guide/

岡大徳のメルマガ

Discussion about this post