こんにちは！酒井美里です →プロフィール
この記事では
あくまでも、私個人の感覚です。
「違うよ！」という感想を持たれる方もいると思いますが、
こんな視点もあるよ、という切り口の提示として
広いお心でお付き合い頂ければ幸いです。
さて、数ヶ月前に
[雑談] 「サブスク」の話と AI系サービスを見る評価軸
という記事を書きました。こちらの記事では、
各種音楽配信サービスの「レコメンド機能」を
私はこんな風に捉えていますよ、という切り口から
もしも、それぞれが特許調査ツールだったら？
こんな風↑に言われそうな気がします。
と書きました。
基本的には、この延長線上の話です。
ということで、折り畳みます。
従来型(AND/ORが主軸のブール演算系)のツールと、ＡＩ系ツールとの違い
とても「ざっくり」ではありますが
複数の異なるデータベース（検索ツール）に、
同時に同じ質問（検索条件）を送った場合
と考えられます。
たとえばブール演算系のツール、複数に
と質問したら、同等の件数と公報番号群が提示されます。
実際のツールでは件数差が出る事が多いですが
それは「収録年数が違う」とか
「公開／登録を別カウントするか、しないか」等の理由が大きくて、
「検索対象を2019年発行の公開日本特許のみ」という風に限定すると、
ツール間の差はほとんどなくなります。
この性質は、
「従来型ツールの検索結果にはブラックボックス的要素が少なく、
調査後に日数が経過した後でも、検索条件を再現できる」
点にも繋がっている、と考えられます。
一方、ＡＩ系調査ツールでは、文章や公報番号を「質問文」とする事が多いです。
たとえば･･･
このような質問文を、異なる複数のＡＩ系調査ツールに投入した場合、
どんな結果が得られるかというと･･･
あくまでも「傾向として」ですが、
・「該当件数」という概念を持っていないツールが多い。
（上位から100件公報を表示する、等）
・一番上（ここでは「第1位」とします）に表示される公報は一致する事も多いが
・二番目以降の公報には差が出る事が多い。
つまり、
「ブール演算系のツールは、同じ質問には同等の答えを出す可能性が高いが」
「ＡＩ系調査ツールは、同じ質問文に異なる答えを出す」
性質があって、
その「性質」と「適した用途」には
何かしら関係があるのでは･･･？
と思ったのが、この「感覚的評価」の動機です。
従来型評価と感覚的評価、それぞれの利点と問題点
このＡＩ系調査ツール、あるいは従来からある「概念検索ツール」に対する評価として
・上位100件中、投入した質問文に関連するものは何件か？
・上位100件中、人間のサーチャーと一致するものは何件か？
・上位100件中、人間のサーチャーが発見できなかったものは何件か？
といった評価方法を、論文等で見かけます。
ツールの差を客観的に評価できる「定量的評価」ですね。
多くの方の参考になる情報として、
私も「定量的評価」は客観情報として重要だと考えています。
しかし、
賛否両論あるとは思いますが、
冒頭で挙げた「音楽配信サービスのレコメンデーション機能」のように、
「ベンチマークを設けた定量評価」をすると、
必ずしも「第１位」にはならない可能性もある。
けれども、定量評価には乗りにくい特徴を持ったＡＩ系ツールがある･･･？
と感じ始めたのが、
「感覚的評価」というアイデアを持ったキッカケです。
一言でいうと
「感覚的(定性的)評価 ≓ 私が評価したＡＩツールの性格」
ということになります。
あくまでも感覚なので、定量的・客観的ではないです。
ただ、ＡＩツール導入の「相性」の一部になり得るかも？と思っており、
評価軸のひとつとして、切り口を提示してみようと思いました。
ＡＩ系調査ツールを感覚的に評価すると･･･?
このような評価の契機となった
「音楽配信サービスのレコメンデーション機能が、特許調査ツールだったら？」を、
ここでもう一度、挙げておきます。
･･･ということだったのですが
ここ数ヶ月、色々なツールを試してきた結果
現時点では「感覚的評価」の軸として
ピークが尖っているか／高原状か
という点を評価しています。
下図で赤い▼は質問文を投下した位置、と思ってください。
山形は回答集合のイメージです。 （あくまでも私の感覚ですよ！）
ピークが尖っているタイプは
AppleMusicに似ている気がします。
質問文と、それに近い公報が「ちゃんと」ヒットします。
ただ･･･トップ10件とか、
質問文によっては30件くらいになることもありますが、
とにかく、
トップ集合から下位は、急速に質問文から離れていく感じです。
高原状のタイプは、Spotifyに似ている印象でした。
こちらももちろん、質問文に近い公報はちゃんとヒットします。
特徴的なのは「質問と違う･･･違うんだけど、そうくるの？」という感じ。
「構成が違うけど効果が似てる」とか「構成自体は似てるけど製品が違う」やつです。
そして、先ほど
ＡＩツール導入の「相性」の一部になり得るかも？
と書きました。
やはり、導入用途によって相性が違うと思うんですよね。
私自身のことを、率直に書くならば、
AppleMusic型のツールは、相性は良くありませんでした。
なぜなら、ピークの高い検索なら
自分でもある程度高速にできるからです。
ただ、質問文に類似した公報を短時間でチェックできるので、
出願前の先行例調査などには向いていそうです。
一方、Spotify型のツールは面白いと思いました。
自分では気付かなかった観点に気付く事ができて、
私の業務ですと、
検索式の弱点補強や見直しに利用できそうです。
また、発明の現場でのアイデア補強にも使えそうな･･･
と思っていた矢先、
TechnoProducer様とAmplified.aiとで「発明創出プログラム」が始まるそう。
そうなんです。
以前こちらの記事で、２つのツールを試していますと書きましたが、
Spotifyに似た「高原状」の特性が面白いな、と思って、
継続して使っているのが、Amplified.aiです。
国内外で、試用できていないツールの方が多いので
他に同様の（Spotify的な）性質のツールがあるか？というと、
正直、そこはわからないのですが、
従来の調査の延長線上で使う、というよりは
新しい使い方を考えたくなる、面白いツールだと思います。
以上、感覚的なとらえ方ではありますが、
ツール評価に、こんな切り口も考えられるかも？という観点で
記事とさせて頂きました。
■ご案内■
0 件のコメント:
コメントを投稿