GPT-4Vでグラフや数表の画像データから傾向を読み取らせてみました。
結論としましては、英語であればそこそこうまく読み取ってくれそうです。
棒グラフおよび数表（日本語）
はじめに使用したデータは、観光庁の旅行・観光消費動向調査 2023年4-6月期（速報）です。旅行需要も回復傾向と聞いていますが、どうでしょうか。
以下のとおり、図表1～3の画像データをアップして、シンプルにデータからわかることを聞いてみます。
GPT-4Vの回答です。
「年別国内旅行消費額の推移」は、回答のとおりかと思います。
「四半期別の比較」と「成長率の変動」は画像データと異なっているかと思います。図表2では、2022年の四半期別データの2019年同期比すべてマイナスですが、7-9月、10-12月は増加と答えています。「年間成長率」の回答は画像データと合っていますが、「月別の消費額」は合っていないようです。
画像ファイル上、COVID-19の記述はありませんが、回答に記載しているのはよいですね。
細かい数値の読み取りは苦手そうです。
今後について聞いてみます。
無難な回答は出せるようです。
他のデータも併せてアップロードすると他の視点、見解を得られそうです。
データの変換
「四半期別の国内旅行消費額のデータを縦展開で出力してください。」という指示を出してみます。
前年同期比に2019年同期比が入っていたり、旅行消費額が異なっていたり、単位が違ったり、この状態だと使えないですね。
人間が雑に見たときのようなミスをしますね。
GPT-4Vの登場前にGPT-4でクロス集計表の読み取りをさせた時もいまいちだったので、この辺りは苦手かもしれません。
数表やグラフを減らしたり、何らか画像ファイルやプロンプトを変更したりすれば改善の可能性もあると思いますが、もう少し色々試す必要がありそうです。
折れ線グラフ（英語）
ここまで日本語データの画像を使用しましたが、結果はいまいちでしたので、英語のグラフを使用してみます。
世界気象機関（WMO）年次報告書：気候変動は進行し続けている（2023年4月21日付 WMO プレスリリース・日本語訳）の画像を使用させていただきました。https://www.unic.or.jp/news_press/info/48045/
GPT-4Vの回答です。
こちらの結果は結構よいのではないかと思います。
折れ線グラフとの相性がよかった、文字数が少なかったから解読しやすかったなどの可能性もありますが、他のデータで試してみても、英語の方が正確に出力していそうでした。
