毎日暑くて外に出られない酷暑日が続きましたね、家の中で何もしないでボーとしていた日が多々あり、後期高齢者になる私がこんなことをしていたら認知症を疑われそうなので動き出します。
Google Voice Kit が発売されたのは2017年頃だったでしょうか、すぐに購入して楽しんでいたのを思い出しました。
あれからほぼ10年経ち、AIは格段に進化を遂げ生活に無くてはならないものへとなりつつあります。
AI Voice Assistantも高価なラズパイではなくESP32 などのマイコンでも作成でき手軽に楽しめるようになりましたので作成してみようと思います。
使用パーツ
ESP32-S3 CAM 16M FLASH 8M PSRAM
ディスプレイ
1.8インチ ST7735S これを使用すると参考記事のやり方で作成できます。
2.8インチILI9341 手持ちのこれで作成できないかやってみました。
その他
配線用ワイヤー、ブレッドボード など
参考にしようとした記事
XiaoZhi AI
ESP32-S3 Camera with 1.8 inc TFT Display
www.oceanlabz.in
Webインストーラーからインストールするタイプでソースが公開されてないので、紹介されているパーツで組まないと動きません。
手持ちのLCDディスプレイ ILI9341 で作成出来ないかやってみました。
ChatGPTで同じようなものが作成できるか？
無料版のChatGPTで会話をしながらの作成してみました
Codeを最初から作成するので、参考にした記事や回路図・使用パーツなど設定。
指示されたESP-IDFをインストールし、会話しながら進めました無料版ChatGPTは一日の容量制限があるので途中で終了します。
24時間経たないと継続できないので翌日まで待ち続きを行うなど時間が掛かります。
２日目にようやく日本語で会話ができる状態まで出来上がり、３日目からカメラ絡みの設定に入りました、写真を取ってとの問いかけに反応して撮影はされますがLCDに表示される画像はネガ画像でここでまたつまずき４日目に突入しました。
チャットのログが大きくなりすぎてすぐ終了するようになったので、これまでの要約を作成指示してそれを元にに新しいチャットで行うことにしました。
カメラ絡みは正常に動作するようになり、最終段階でウェイクワードからの起動が出来ない問題が解決できずここで終了としました。
したがって起動はブートボタンを押して起動する設定のままです、これは参考記事でも同じでブートボタンを押しての会話でした。
ウェイクワード関連とカメラはPSRAMを多く使用するらしくメモリーのオバーフローが原因でしょうか。
時間は掛かりましたがなんとか当初の目的が達成されたとは思います。
回路図
AIに指示された回路図をfritzingで作成しました
ブレッドボードに配線
配線がごちゃごちゃしていますが動いています。
ソースは整理できなくて公開出来ませんあしからず、この回路図をAIに見せて作成することが出来るかも。
各パーツの接続
ILI9341
SCK → GPIO 47
MOSI → GPIO 21
CS → GPIO 2
DC → GPIO 45
RST → GPIO 20
BL → GPIO 3.3V
INMP441
SCK → GPIO 3
WS → GPIO 14
SD → GPIO 46
MAX98357A
BCLK → GPIO 42
LRC → GPIO 41
DIN → GPIO 1
XiaoZhi AI はまだ発展途上だが気軽に楽しめる
日本語にも対応しているがまだ表現が変なところがあります。
写真を撮って⇛これはなんですか？の問いかけに写っているものを答えます。
紙に書いた計算式例えば 25✖25＝ を写真に取りこれを計算してと言うと625と答えます。
子どもの遊び道具としては面白いかも。
一旦設定した自宅のWiFiを初期設定の192.168.4.1に戻す方法
最初の設定で 192.168.4.1に接続し、自宅のWiFiに設定して使用しますが、他のWiFiに設定し直すには以下のようにします。
デバイスを再起動
青色LEDが点滅している間にBOOTボタンを押す
Wi-Fi設定モードに入る
192.168.4.1 から新しいWi-Fiを設定
今回分かった重要な点として、BOOTボタンを通常時に押すと会話モードになるが、起動直後の青色LED点滅中に押すとWi-Fi再設定モードになる、ということですね。
進化し続ける生成AI
AIvoice Assistant を無料版のChatGPT で最初から作成を試みました、紆余曲折はありましたが結果的に参考動画のような動作が実現できました。
プログラムの経験が少ない私でも対話型AIによりプログラム作成が出来ることに驚きです、これからも進化し続けるのでしょうね、時の流れに追いつけません。
