ヘッダーメニュー

2020/04/19

AI系調査ツールの特性を考察する~「Spotifyに似ているツール」とは?



こんにちは!酒井美里です   →プロフィール

この記事では
AI系調査ツールの特性について「感覚的(定性的)」に考察します。

あくまでも、私個人の感覚です。

「違うよ!」という感想を持たれる方もいると思いますが、
こんな視点もあるよ、という切り口の提示として
広いお心でお付き合い頂ければ幸いです。

さて、数ヶ月前に

[雑談] 「サブスク」の話と AI系サービスを見る評価軸

という記事を書きました。こちらの記事では、

各種音楽配信サービスの「レコメンド機能」を
私はこんな風に捉えていますよ、という切り口から


もしも、それぞれが特許調査ツールだったら?
1)Apple Music 風 特許調査ツール
質問文に沿った公報が上位に無駄なく提示される。めっちゃ優秀!

2)Spotify 風 特許調査ツール
質問文に沿った特許がちゃんとヒットする。
けれど、何か「構成が違うけど効果が似てる」とか「構成自体は似てるけど製品が違う」とか、微妙に違う感じの公報が たくさん混じってくる感じなんだよね・・・

3)Youtube Music 風 特許調査ツール
ちゃんとヒットはする・・・ヒットもするんだけど
突拍子もない公報も提示されるから「もうちょっと的確にヒットするツールに乗り換えた方がいいのかな・・・」と、時々思う。
こんな風↑に言われそうな気がします。

と書きました。

基本的には、この延長線上の話です。
ということで、折り畳みます。



従来型(AND/ORが主軸のブール演算系)のツールと、AI系ツールとの違い

とても「ざっくり」ではありますが
複数の異なるデータベース(検索ツール)に、
同時に同じ質問(検索条件)を送った場合

従来型(ブール演算系)のツール:同じ質問には同等の答えが出る
AI系ツール:同じ質問でも異なる答えが出る可能性が高い

と考えられます。

たとえばブール演算系のツール、複数に
日本特許、実用新案で
要約=乳酸菌飲料 を含むもの
と質問したら、同等の件数と公報番号群が提示されます。

実際のツールでは件数差が出る事が多いですが
それは「収録年数が違う」とか
「公開/登録を別カウントするか、しないか」等の理由が大きくて、

「検索対象を2019年発行の公開日本特許のみ」という風に限定すると、
ツール間の差はほとんどなくなります。

この性質は、
「従来型ツールの検索結果にはブラックボックス的要素が少なく、
調査後に日数が経過した後でも、検索条件を再現できる」
点にも繋がっている、と考えられます。


一方、AI系調査ツールでは、文章や公報番号を「質問文」とする事が多いです。
たとえば・・・
花粉症は体内に入った花粉を異物として誤って認識して抗体を作る「免疫反応」が過剰になって起こると言われている。免疫反応は身体にとって必要な機能であるが、特にIgEと呼ばれている抗体を多量にに産生すると辛いアレルギー症状が現れます。本発明ではロイテリ属の乳酸菌の一種、およびこの乳酸菌を使った乳酸菌飲料を摂取する事により、花粉症の症状を緩和できる事を見いだした。

このような質問文を、異なる複数のAI系調査ツールに投入した場合、
どんな結果が得られるかというと・・・

あくまでも「傾向として」ですが、

・「該当件数」という概念を持っていないツールが多い。
(上位から100件公報を表示する、等)
・一番上(ここでは「第1位」とします)に表示される公報は一致する事も多いが
・二番目以降の公報には差が出る事が多い。

つまり、
「ブール演算系のツールは、同じ質問には同等の答えを出す可能性が高いが」
「AI系調査ツールは、同じ質問文に異なる答えを出す」
性質があって、


その「性質」と「適した用途」には
何かしら関係があるのでは・・・?

と思ったのが、この「感覚的評価」の動機です。


従来型評価と感覚的評価、それぞれの利点と問題点

このAI系調査ツール、あるいは従来からある「概念検索ツール」に対する評価として

・上位100件中、投入した質問文に関連するものは何件か?
・上位100件中、人間のサーチャーと一致するものは何件か?
・上位100件中、人間のサーチャーが発見できなかったものは何件か?

といった評価方法を、論文等で見かけます。
ツールの差を客観的に評価できる「定量的評価」ですね。
多くの方の参考になる情報として、
私も「定量的評価」は客観情報として重要だと考えています。

しかし、
賛否両論あるとは思いますが、
冒頭で挙げた「音楽配信サービスのレコメンデーション機能」のように、
「ベンチマークを設けた定量評価」をすると、
必ずしも「第1位」にはならない可能性もある。
けれども、定量評価には乗りにくい特徴を持ったAI系ツールがある・・・?
と感じ始めたのが、
「感覚的評価」というアイデアを持ったキッカケです。

一言でいうと
「感覚的(定性的)評価 ≓ 私が評価したAIツールの性格」
ということになります。

あくまでも感覚なので、定量的・客観的ではないです。

ただ、AIツール導入の「相性」の一部になり得るかも?と思っており、
評価軸のひとつとして、切り口を提示してみようと思いました。



AI系調査ツールを感覚的に評価すると・・・?


このような評価の契機となった
「音楽配信サービスのレコメンデーション機能が、特許調査ツールだったら?」を、
ここでもう一度、挙げておきます。

1)Apple Music 風 特許調査ツール
質問文に沿った公報が上位に無駄なく提示される。めっちゃ優秀!

2)Spotify 風 特許調査ツール
質問文に沿った特許がちゃんとヒットする。
けれど、何か「構成が違うけど効果が似てる」とか「構成自体は似てるけど製品が違う」とか、微妙に違う感じの公報が たくさん混じってくる感じなんだよね・・・

3)Youtube Music 風 特許調査ツール
ちゃんとヒットはする・・・ヒットもするんだけど
突拍子もない公報も提示されるから「もうちょっと的確にヒットするツールに乗り換えた方がいいのかな・・・」と、時々思う。

・・・と言われそうな気がします。

・・・ということだったのですが

ここ数ヶ月、色々なツールを試してきた結果
現時点では「感覚的評価」の軸として

ピークが尖っているか/高原状か

という点を評価しています。


下図で赤いは質問文を投下した位置、と思ってください。
山形は回答集合のイメージです。 (あくまでも私の感覚ですよ!)



ピークが尖っているタイプは
AppleMusicに似ている気がします。
質問文と、それに近い公報が「ちゃんと」ヒットします。

ただ・・・トップ10件とか、
質問文によっては30件くらいになることもありますが、
とにかく、
トップ集合から下位は、急速に質問文から離れていく感じです。


高原状のタイプは、Spotifyに似ている印象でした。
こちらももちろん、質問文に近い公報はちゃんとヒットします。

特徴的なのは「質問と違う・・・違うんだけど、そうくるの?」という感じ。
「構成が違うけど効果が似てる」とか「構成自体は似てるけど製品が違う」やつです。


そして、先ほど
AIツール導入の「相性」の一部になり得るかも?
と書きました。
やはり、導入用途によって相性が違うと思うんですよね。


私自身のことを、率直に書くならば、
AppleMusic型のツールは、相性は良くありませんでした。

なぜなら、ピークの高い検索なら
自分でもある程度高速にできるからです。

ただ、質問文に類似した公報を短時間でチェックできるので、
出願前の先行例調査などには向いていそうです。


一方、Spotify型のツールは面白いと思いました。
自分では気付かなかった観点に気付く事ができて、
私の業務ですと、
検索式の弱点補強や見直しに利用できそうです。

また、発明の現場でのアイデア補強にも使えそうな・・・
と思っていた矢先、
TechnoProducer様とAmplified.aiとで「発明創出プログラム」が始まるそう。


そうなんです。
以前こちらの記事で、2つのツールを試していますと書きましたが、


Spotifyに似た「高原状」の特性が面白いな、と思って、
継続して使っているのが、Amplified.aiです。




国内外で、試用できていないツールの方が多いので
他に同様の(Spotify的な)性質のツールがあるか?というと、
正直、そこはわからないのですが、

従来の調査の延長線上で使う、というよりは
新しい使い方を考えたくなる、面白いツールだと思います。


以上、感覚的なとらえ方ではありますが、
ツール評価に、こんな切り口も考えられるかも?という観点で
記事とさせて頂きました。






■ご案内■

0 件のコメント:

コメントを投稿