Appsheet & Machine Learning

Appsheetには、いくつかのマシンラーニング機能が実装されています。

イメージ・写真ファイルからテキストを抽出するOCR機能や、ユーザーデータ入力の値から別途データを予測するPredictive Model。アプリ内のデータを自然言語で検索するAssistant機能の３つに整理されます。但し、実務に耐えられるようになるためには、精度の更なる向上が必要というのが筆者の見方です。但し、昨年加えられたOCR機能。登場当初は「日本語が読み取れない。。」という致命的な不足があり、顧客へ提供するアプリへの実装は控えていましたが、再度試してみたところ、どうやら日本語を含め、英語以外の言語にも対応してきたようで、アプリから撮影したファイル、ローカルのフォルダから上げた画像ファイルから日本語もテキスト変換してくれています。有難う、APPSHEET。

更に精度や本機能のユースケースについて検証してみるつもりです。

一枚の写真画像に入るすべてのテキストを一斉にテキストとして抽出するためには、OCRTEXT()という関数を利用します。（毎度の通り分かり易い関数名）

これにより指定したカラムに画像ファイルから抽出した文字列をテキストデータとして返します。さながらスクレープ作業をしているようです。但し、すべてのデータをテキストに起こすだけでは、利用の用途が限られてくるかもしれません。

そこで、APPSHEETは『OCR　MODEL』なる機能を提供しています。

 

 

左のGIF画像はアップシートのホームページから抜粋したものです。

紙ベースのフォームに手書きで入力された「データ」を写真として読取り、必要なデータを必要な項目にテキスト変換してくれる、という驚きの機能です。

当然に「フォーム」は千差万別。アップシートに正確に読み込ませるためには、事前のトレーニングが必要です。仮に異なるデータ入力フォームが１０個あるのであれば、それぞれに対し「モデル」を作成する必要がありますが、こちらも簡単な作業で実装できてしまいます。これは凄い。

現在紙ベースで進められている作業をデータ・デジタル化するためにアプリを導入。といっても反対勢力や政治的な理由によりプロジェクトが前に進まないといったことは日常茶飯事。また、アプリを使うにも「ユーザーの大半がお年寄りなので使いこなせるかどうか？」といったお話も良く耳にします。その話をしだしてしまうと、林先生ではありませんが、「じゃあ、いつなならいいの？　ユーザーが全員若返ったら？その障害は消えるのかしら？」と思ってしまいますが、実際の現場を見渡すと、アプリを作成し、携帯電話からバシバシデータを入力していくよりも、『紙の良さ』、や「紙でしかできない」仕事もあるのは事実です。例えば、石油製品や危険物を扱う現場では、携帯電話からの発火を懸念し、防爆機能の電子機器しか使えないなどなど。

そんな場合、アプリでのデータ入力の機能のほかに、この例のように事前に定型の紙ベースの入力フォームを作成。ユーザーはこれまで通り、手書きで粛々とデータを入力。完了後にアプリに読み込ませることで自動変換！

当然に手書きであっても、PCから書き落としたテキストであっても１００％の精度のテキスト変換を実現するのは難しいでしょう。但し、これまでのテストでは、相当の精度で綺麗にテキストデータに変換してくれます。

更に精度検証を続け、また、こちらの機能を利用する「ユースケース」についても検討していく所存です。

Google にはVision APIという画像処理系のAPIが容易されています。APPSHEETのVISION API対応はまだですが、こちらも時間の問題でしょうか？写真を撮影。保存しただけで、BACKENDで写真へのタグ付けをしてくれる。。。。犬の写真を取れば、犬。犬の色云々。

既に覚えきれないほどの機能を提供しているAPPSHEETですが、それらの機能をどんな場面でどのように使うのか？　アプリ利用によるユーザーの効用を最大化することが常に目的ですから、様々な案を容易し、最適解を見つけていくという作業は今後も必要とされるものと思います。

こちらのOCR機能ですが、記載の通り、事前のトレーニングが必要です。定型フォームでない、つまりは、毎度体裁が異なってしまうようなフォームの読取には適しません。但し、フォーム・体裁が都度変わるフォームという方が少ないでしょうから、定格化された紙ベースのフォームをお使いの現場であれば、業種・業態を問わず用途の幅は広がってくるのではないでしょうか？

アップシートのオリジナルのページのリンクはこちらです。