生成AI・LLM — 08 / 30
文章だけでなく、画像・音声・動画・PDFなど、種類の違う情報をまとめて理解したり作ったりできるAIのことです。「モーダル」は情報の種類という意味で、写真を見せて質問する、音声を聞かせて要約させるといった使い方ができます。
以前のAIは、文章用、画像用、音声用と、扱う情報ごとに別々の仕組みになっているのが普通でした。マルチモーダルAIは、それらを1つのAIの中で結びつけて扱います。そのため「この写真の中の表を、文章で説明して」のように、種類をまたいだ指示ができるようになりました。
できることは大きく分けて、受け取る側と作る側の2つです。受け取る側は、画像・音声・PDFなどを読んで理解すること。作る側は、文章から画像や音声を作り出すことです。サービスによって、どちらにどこまで対応しているかが異なります。
画像を読み込ませる場合、AIは写真の中の文字だけでなく、配置や図の形もある程度読み取ります。ただし、細かい図面の寸法や、重なった文字、光の反射がある写真は苦手なことが多く、撮り方を工夫するだけで結果が変わることもあります。
画像や音声は、文章に比べて扱うデータの量が多くなりがちです。従量課金のサービスでは、画像を何枚も送ると費用が増えることがあります。また、写真には顔や名札、書類の個人情報が写り込みやすいため、送る前に確認する習慣が大切です。
中小企業では、手書きの注文書や紙の伝票を写真に撮って内容を読み取らせる、現場の写真から気になる点を挙げさせる、ホワイトボードの写真から議事メモを作るといった使い方が広がっています。文字に打ち直す手間が減るのが大きな利点です。
従業員15人ほどの金属加工会社が、手書きの作業日報を写真に撮ってAIに読み込ませ、作業時間や不良の内容を表の形に整えるといった使い方が考えられます。集計の前に、担当者が数字を元の日報と照らし合わせます。
地域の工務店が、現場の写真とメモをまとめてAIに渡し、施主向けの進み具合の報告文の下書きを作らせるといった例が考えられます。写真に近隣の住宅や人の顔が写っていないかは、送る前に確認します。
個人経営の定食屋が、紙のメニュー表を撮影し、外国人のお客様向けの英語メニューの案を作らせるといった使い方ができます。料理名の訳やアレルギー表示は、店主が内容を確認したうえで使います。
※ 特定の企業の事例ではなく、よくある場面をもとにした想定例です。
かすれた文字や小さな数字、くせの強い手書きは読み間違えることがあります。金額や数量は、元の紙と照らし合わせて確認します。
代表的な対話型AIサービスの多くが、すでに画像やファイルの読み込みに対応しています。まずは手元のサービスで試せます。
多くのサービスでは、スマホで撮った写真をそのまま読み込ませることができます。明るい場所で、書類を真上からまっすぐ撮ると読み取りの精度が上がりやすいです。影や反射が入らないように撮るのがコツです。
OCRは主に文字を読み取ってデータにする道具です。マルチモーダルAIは、読み取った内容をもとに要約したり、表に整えたり、質問に答えたりまでできる点が違います。一方で、決まった帳票を大量に読む用途では、専用のOCRのほうが安定することもあります。
動画に対応したサービスも出てきていますが、対応しているかどうか、長さの上限、費用の条件はサービスごとに違います。使う前に、各サービスの公式サイトで最新の対応状況を確認してください。
「紙や写真を、打ち直さずにAIへ渡せるようになった、と考えるとわかりやすいです」