元 Google 社員の 2 人が未来の検索エンジンの作成に着手しました。彼らは、より速く、よりシンプルで、広告のない検索エンジンを作成しました。では、なぜ Neeva について聞いたことがないのですか?

著者: David Pierce編集: Cointime.com QDD

The Vergecast の編集長兼共同アンカーは、消費者向けテクノロジーに関するレポートで 10 年以上の経験があります。彼はプロトコル、ウォール・ストリート・ジャーナル、ワイアードで働いていました。

Sridhar Ramaswamy は、別の検索エンジンを構築するために Google を辞めたわけではありません。少なくとも最初はそうではありません。 Google での 15 年間、ラマスワミ氏は会社の広告部門全体を率い、10,000 人以上の従業員を監督しており、検索を適切に行うために必要な作業量を誰よりもよく知っています。

検索における Google の優位性を強調しすぎることはほとんど不可能です。ほとんどの研究は、世界の検索市場における Google のシェアが約 90% であることに同意しており、この数字は 20 年間着実に成長しています。 Google は、ほぼすべてのブラウザ、ほぼすべてのデバイスのデフォルトの検索エンジンです。私たちはインターネットを検索するのではなく、Google で検索します。 Bing と Yahoo は 2 番目と 3 番目に大きい検索エンジンです。最後に Bing または Yahoo で検索したのはいつですか? Google はこの地位を維持するために、莫大な政治的、技術的、財政的資本を費やしてきました。

しかしラマスワミ氏は、検索エンジンに抜本的な変更を加えることができないこと、また、それが結果ページであれ、新しいビジネスモデルであれ、ユーザーの検索を減らす可能性のあるものであれ、そのような変更を加える勇気がないことを誰よりもよく知っている。 (実際、ラマスワミー氏はかつて、一部のサイトで広告なしのエクスペリエンスに対して料金を支払うことができる Google Contributor と呼ばれる機能をテストしましたが、うまくいきませんでした)。ここには、Google には絶対にできない、あるいはやろうとしないものを生み出すチャンスがあります。そこで、ラマスワミ氏が 2018 年に Google を退職したとき、ラマスワミ氏と Google と YouTube の幹部を長年務めたヴィヴェク ラグナタン氏は、未来の検索エンジンを構築するために Neeva という会社を共同設立しました。

その後の道のりは険しいものでしたが、Neeva チームは最終的に誇りに思える検索エンジンを構築することができ、Neeva の内部指標とユーザー調査において Google をほぼ超えるところまで到達しました。試してみた人には好評でした。Neeva は検索を改善するためのアイデアが満載の長期計画を立てています。もう少し時間があれば、検索の未来を構築できる可能性は十分にあります。しかし、Neeva はわずか 4 年間の営業後に閉店しました。

ある意味、Neeva の短い存在は、過去 20 年間の検索エンジンの優位性について知るべきことのすべてを物語っています。検索エンジンを構築するのは難しいですが、Google よりも優れた検索エンジンを構築するのはさらに難しいです。しかし、Google を超えたいのであれば、より優れた検索エンジンは出発点にすぎません。これからの道はさらに困難です。

検索エンジンは巨大かつ複雑なものであると同時に、比較的単純な概念でもあります。

実際、検索エンジンが行うことは、Web ページのデータベース (「検索インデックス」と呼ばれます) をコンパイルすることだけです。その後、クエリを発行するたびに、検索エンジンはこのデータベースを参照して、最適かつ最も関連性の高い Web ページのコレクションを提供します。それがすべての仕事です。

プロセスの小さなステップごとに、重要かつ複雑なトレードオフを必要とする非常に複雑な作業が存在します。その多くは、時間とお金という 2 つの要因によって決まります。

たとえインターネット上に数十億ページの常に更新されるデータベースを構築できたとしても、ストレージと帯域幅のコストだけで、どの企業も廃業してしまうほどの金額になります。それは、1 日に何百万、何十億もの検索を行うコストを計算する前の話です。また、ミリ秒単位が重要であり、Google は依然として検索結果の上部に広告でクエリにかかる時間を宣伝しているため、データベース全体をチェックする時間がないことも考慮してください。

しかし、まず、独自の検索エンジンを構築することは、「良い Web ページとは何か?」という驚くべき哲学的な質問から始まります。何が正当な論争であり、何が誤った情報であるかを判断する必要があります。広告が多すぎるのはやりすぎであることを理解する必要があります。明らかに AI によって書かれた、SEO のくだらないサイトで埋め尽くされたサイト: おっと。人が書いた、SEO のくだらない情報が満載のレシピ ブログ: ほとんどは問題ありません。ポルノ？うまくいくこともあれば、うまくいかないこともあります。

これらすべての議論を行って独自の境界を設定したら、おそらく、検索エンジンに確実に含めたい数千のドメイン名が特定されるでしょう。 CNN から Breitbart までのニュース サイト、Reddit や Stack Overflow などの人気の掲示板、Twitter、Wikipedia や Craigslist などの便利なサービス、YouTube や Amazon などの大規模なプラットフォーム、インターネットの最高のものすべてが含まれます。レシピ/スポーツ/ショッピング/その他関連サイト。これらのサイトを利用すると、各ページを個別に閲覧することなく、構造化された方法でデータを取得できる場合があります。大規模なプラットフォームの多くでは、これが簡単に、場合によっては無料で行われます。

独自の検索エンジンの構築は、Web ページを優れたものにするものは何か?という驚くべき哲学的な質問から始まります。

その後、クモの解放があります。これらのボットは、特定の Web ページ上のコンテンツをクロールし、ページ上のすべてのリンクを見つけてたどり、それらのすべてのページにインデックスを付け、すべてのリンクを見つけてたどり、インデックスを付け、検索し、フォローします (Web 上を巡回するため、スパイダーと呼ばれます)。 。スパイダーがページに到達するたびに、設定した良好なページ基準に照らしてそのページを評価します。送信されたコンテンツはサーバーのどこかにダウンロードされ、検索インデックスが増加し始めます。

ただし、すべての Web サイトがクモを歓迎しているわけではありません。 Web クローラーが Web ページを開くたびに、プロバイダーは帯域幅コストを追加します。ここで、検索エンジンが Web サイト上のすべてのページを毎秒読み込んで保存しようとして、ページが最新であることを確認することを想像してください。料金はどんどん加算されていきます。

したがって、ほとんどの Web サイトには、どのロボットがコンテンツにアクセスできるか、どの URL をクロールできるかを定義する robots.txt というファイルがあります。検索エンジンは技術的には robots.txt の要件に従う必要はありませんが、これは Web の基盤と文化の一部です。見つけやすさが帯域幅コストを上回るため、ほとんどすべてのサイトで Google と Bing が許可されています。多くのサイトは、Amazon によるサイトのクロールと分析を望まないショッピング サイトなど、特定のプロバイダーをブロックしています。さらに、Google と Bing 以外の検索エンジンは許可されないという包括的なルールを設定する人もいます。

Web クローラーがインターネットのかなり広範なスナップショットを提供するのに、それほど時間はかかりません。 Neeva チームが Bing から移行したとき、そのクローラーは 1 日あたり約 2 億の URL をクロールしていました。

次のタスクは、これらすべてのページを検索エンジンの各クエリの順序でランク付けすることです。ページをトピックごとに並べ替えて、1 つの巨大な一枚岩ではなく、より小さく検索しやすいインデックスに分割することができます。ローカル検索結果にはローカル検索結果、ショッピング検索結果にはショッピング結果、ニュース検索結果にはニュース結果があります。特定のページのトピックとコンテンツを分析するには、多くの機械学習に加えて、多くの人的支援を使用することになります。評価者のチームを編成し、クエリと結果を示し、その結果がどの程度優れているかを 0 から 10 で評価してもらいます (明らかな場合もあります。誰かが「Facebook」を検索し、最初の結果が Facebook でなかった場合) .com、明らかに問題があります）。しかし、ほとんどの場合、多くの入力からの評価を結合し、それをインデックスとトピック モデルにフィードバックし、プロセスを最初からやり直すことになります。

これは実際には問題の半分にすぎません。同時に、いわゆる「クエリの理解」も向上させて、「ザ ロック」と「ドウェイン ジョンソン」を検索している人は同じものを探しているが、「ザ ロック」と「ドウェイン ジョンソン」を検索している人は同じものを探していることがわかるようにする必要があります。 「ロック」はそうではないかもしれない。最終的には同義語と類似点の膨大なライブラリができ、より検索しやすくするためにクエリを書き直す方法を見つけます。しかし Google は、毎日の検索の 15% はまったく新しい検索であるため、人々がどのようにオンラインで検索するかについて常に新しいことを学んでいるとよく言います。

しばらくすると、一般に公開され、人々がクリックしたものやフォローしたものに関するデータがさらに取得され始めます。 (リンクが 1 回クリックされ、その後検索やクリックが行われないことは、業界で最も優れたシグナルです。) ユーザーがクリックすればするほど、ユーザーが実際に何を探しているのかが理解できるようになります。

検索エンジンを実行するということは、速度、コスト、品質の間で常に三角測量を行うことを意味します。

検索エンジンを実行するということは、速度、コスト、品質の間で常に三角測量を行うことを意味します。

検索エンジンを実行するということは、速度、コスト、品質の間で常に三角測量を行うことを意味します。誰かが「YouTube」と入力して Enter キーを押すたびにデータベース全体を検索することもできますが、そのような検索には時間がかかりすぎ、帯域幅とストレージを大量に使用します。インターネットと同じくらい大きなデータベースを持つこともできますが、ストレージのコストがかかるとどの企業も破産してしまいますし、ストレージと検索が遅すぎます。 Web 上で最も人気のある 100 サイトのみを検索するように制限することもできますが、それは誰にとってもあまり役に立ちません。 Web サイトは常に変化しているため、クローラーとランキング システムは常に変化に適応する必要があります。

検索エンジンをゼロから構築するのは難しく、費用がかかります。多くの企業がそうしないのはそのためです。Bing に 10 ドルから 25 ドルでデータのライセンスを供与し、独自の機能やインターフェイスを追加し、それを忘れてしまいます。 Bing は非常に優れており、検索システムを自分で構築するのは大変な作業であるため、DuckDuckGo、Yahoo、その他ほとんどの小規模な検索エンジンはこれを行っています。ニーヴァも最初はそうでした。

しかし、Neeva は検索を改善する方法について多くのアイデアを持っていたため、最終的には基礎となるデータも管理する必要があると判断しました。 「より高速な検索、豊富なプレビュー、優先サプライヤー、個別の検索には障壁がある」とラグナタン氏は語った。 Bing からの API リンクはこれらの追加機能を提供しないため、Neeva はビルドできません。 Neeva がより優れた検索エンジンになりたいのであれば、ある時点で独自のより優れた検索エンジンを構築する必要があります。

2 年間の構築、トレーニング、最適化、再トレーニング、再最適化を経て、ついに Neeva の検索エンジンは完全に独自のテクノロジーで動作するようになりました。誤解のないように言っておきますが、Neeva は自社がおそらくより優れた検索エンジンを構築したとは考えていません。同社はかつて約 500 種類のクエリを比較し、人間の評価者に結果の評価を依頼したところ、Google がわずかに優れていることがわかりました。しかし、Neeva はそれに近いものを持っており、ユーザー エクスペリエンスにおいては自社が大きくリードしていると確信しています。

Neeva 氏の計画は、Google のビジネス モデルが問題だという単純な洞察から始まりました。ラマワミ氏は、この広告モデルでは長期的には良いコンテンツは生み出せないと考えている。

考えてみてください。検索エンジンが非常にうまく機能する場合、検索は 1 回だけで済みます (広告も 1 回だけ表示されます)。これらの広告は検索の品質を低下させる可能性もあります。 Google で何かを検索するときは、何かを探していることになります。 Google の最初の仕事は、他の人があなたに見てもらいたいものをあなたに示すことであり、2 番目の仕事はあなたが望むものをあなたに示すことです。

より良い検索エンジンを構築するということは、インセンティブを変えることを意味します。

ラマワミ氏は、できるだけ多くの広告を表示することに注力するのではなく、ユーザー エクスペリエンスを最優先できると信じています。人々にクエリを入力させ続ける必要も、広告主のためにユーザー データを収集する必要もありません。あなたはただ道を切り開き、人々がそこに辿り着くのを助けるだけです。

Neeva チームは、大きな画像と役立つ比較情報を備えたショッピング ページを作成しました。 Reddit や Quora などの場所から人間が作成した結果を優先します。スポーツ検索は、全画面スコアボードを備えた優れた機能を備えています。 「Brad Pitt IMDB」または「WhatsApp Web」を検索すると、Neeva のオートコンプリートにより、結果ページにアクセスせずに Web サイトに直接移動できるようになりました。 Neeva はクリーンでシンプルであり、初期のユーザーは、だまされて広告を見させられないことが気に入っていると述べています。

Neeva は独自の検索インデックスを構築した 2 年間、モバイル デバイス上のブラウザの開発も継続し、人工知能に多額の投資を行いました。独自の検索インデックスを構築すると、同時に大規模な言語モデルに役立つトレーニング データも大量に収集されるという副次的な効果があります。 Neeva は、検索結果を要約し、場合によってはページの上部でユーザーの質問に答えようとする、NeevaAI と呼ばれる AI を活用した検索コンパニオンを立ち上げた最初の企業の 1 つです。

ただし、優れた製品を開発することと、ユーザーにそれを試してもらうことはまったく別のことです。特に、インターネット上で最も単純で最も根付いているものさえ放棄しなければならない場合は、まったく別のことです。

ただし、優れた製品を開発することと、ユーザーにそれを試してもらうことはまったく別のことです。特に、インターネット上で最も単純で最も根付いているものさえ放棄しなければならない場合は、まったく別のことです。

テクノロジー業界には、デフォルト設定を変更しないという長年の実証済みの決まり文句があります。プライバシー制御、システム機能、アプリのいずれであっても、すでに存在するものに勝るものはありません。多くの場合、これらのデフォルトのポジションを管理している企業は、そのポジションを維持するために必要なことは何でもします。

私が早い段階で聞いたラマスワミー氏の言葉は、「デフォルトの使用法を修正することは、私たちが直面する最大のハードルの 1 つです。Google の成功は単に製品が優れたことだけではないことを人々は忘れています。ディストリビューションに関して賢明な決定を下す必要がたくさんあります。」実現させる。"

伝えられるところによると、Googleはさまざまなデバイス上のAppleのSafariブラウザのデフォルトの検索エンジンとして、Appleに年間150億ドルもの金額を支払っているという。 Googleはまた、Firefoxブラウザのメイン検索エンジンとしてMozillaに年間4億5000万ドルもの報酬を支払っていると伝えられている。また、他のデバイスメーカーやブラウザ開発者、無線通信事業者とも同様のパートナーシップを締結している。 ウォール・ストリート・ジャーナルは、サムスンが一時、2023年にグーグルとの提携を解消することを検討したが、「グーグルとの広範なビジネス関係への影響」などさまざまな理由から撤回したと報じた。

Google の本当の強みは他の製品にあります。 Android は世界で最も人気のあるモバイル オペレーティング システムであり、市場シェアの約 78% を占めています。 Chrome が最も人気のあるブラウザで、約 62% を占めています。 Google がこれら 2 つのプラットフォームにおけるデフォルトの検索エンジンの地位を揺るがすことはほとんどありません。

「人々は、Google の成功は単に製品が優れたことだけではないことを忘れています。それを可能にした多くの賢明な流通上の決定があったのです。」

長年にわたり、マップや YouTube などの Google アプリを配信したい携帯電話やタブレットは、モバイル アプリケーション配布契約と呼ばれる契約に署名する必要がありました (実際、これはほぼすべての Android スマートフォンに適用されます)。この契約は、契約の対象となる Android デバイス上で Google のアプリがどのように読み込まれ、表示されるかを規定しており、検索は常に重点的に機能してきました。

2010 年に Oracle が Google に対して提出した訴訟で提出された HTC との合意書には、Google が別段の承認を指定しない限り、「デバイス上のすべての Web 検索アクセス ポイントのデフォルトの検索プロバイダとして Google Mobile Top Search を設定する必要がある」と記載されています。また、HTC は、デバイスのホーム画面上の検索ホームページから 1 ページ以内の場所に検索ウィジェットを配置する必要があります。

「（元グーグルCEOの）エリック・シュミット氏は『競争相手はクリック1回で決まる』と言っていたが、実際はそうではない。クリック数と140億ドルが必要だ」とブレイブの検索責任者ジョセップ・プジョル氏は語る。

この状況は近年、規制当局による厳しい監視の対象となっている。欧州委員会は2018年、EU独占禁止法違反などのEU規制違反でGoogleに対し43億4000万ユーロの罰金を科した。これは「インターネット検索全般におけるGoogleの優位性を強固にするためのAndroid端末メーカーやモバイルネットワーク事業者に対する違法な制限」だという。

この判決を受けて、ヨーロッパと英国のほとんどのユーザーが初めて Android スマートフォンまたはタブレットをセットアップするときに、新しい画面が表示されます。 「検索プロバイダーを選択してください」と表示され、選択できるオプションのリストが表示されます。

このリストに掲載されている検索エンジンのほとんど（ちなみに、このリストは Google によって管理されており、リストに掲載を希望する企業に最初に料金を請求する）では、ユーザー数の大幅な増加は見られていない。できるだけ早くセットアップしようとする人々は、すでに 90% の市場シェアを獲得しているオプションなど、最も使い慣れたオプションを選択する傾向があります。

抵抗を追加しない場合でも、慣性を克服することは困難です。そして、周囲にはそのような抵抗がたくさんあります。 DuckDuckGo は、Android でデフォルトの検索エンジンを切り替えるには15 クリックが必要であることを発見しました。

抵抗を追加しない場合でも、慣性を克服することは困難です。そして、周囲にはそのような抵抗がたくさんあります。 DuckDuckGo は、Android でデフォルトの検索エンジンを切り替えるには15 クリックが必要であることを発見しました。

同様に、iOS では、検索エンジン プロバイダーは、iOS を Safari の検索エンジン オプションのリストに単に追加することはできません。 Google、Yahoo、Bing、DuckDuckGo、Ecosia という 5 つの組み込みオプションを除けば、他人が iPhone に参入する唯一の方法は、独自のアプリを構築することでした。もちろん、Neeva のような小規模なスタートアップの場合、モバイル ブラウザーの構築には多くのリソースが必要になります。そして、ブラウザを入手すると、別の問題が発生します。既存のアプリケーションを置き換えるために新しいアプリケーションをダウンロードするようユーザーを説得する必要があります。

DuckDuckGo は、 Android でデフォルトの検索エンジンを切り替えるには15クリックが必要であることを発見しました。

デスクトップではプラットフォームの制限が緩いため、このプロセスはもう少し簡単になるはずです。 Neeva は切り替えをできる限り簡単にしようとしています。Mac または PC では、ユーザーはブラウザ拡張機能をインストールするだけで、Neeva がデフォルトの検索エンジンになります。 (この拡張機能は、追跡保護やその他の機能も提供します。) 他の検索エンジン プロバイダーは、独自の拡張機能の構築を試みています。しかし、これらの拡張機能を Chrome にインストールしたユーザーには、「Google 検索に戻しますか?」と尋ねるポップアップが表示されました。 「元に戻す」ボタンの色は明るい青ですが、「維持」ボタンはくすんだ白です。

Neeva 氏は早い段階で、新規ユーザーに恐ろしいポップアップ ウィンドウを通過させて実際に検索エンジンを使い始めてもらうことができれば、3 か月後もまだ検索エンジンを使用していることに気づきました。 Neeva を試したユーザーの中には、より健全な検索エクスペリエンスを得るために月に数ドルを支払うことさえいとわない人もいます。

ユーザーがわざわざ Neeva に切り替えると、Neeva の支持者になりますが、問題は、デフォルト設定とリダイレクトというハードルを乗り越えられるユーザーがほとんどいないことです。ラマスワミー氏と彼のチームは、ユーザーに最初の問題を克服するよう説得する方法を最終的に見つけるまで、何度も試みました。プライバシーを重視した誇大広告は一部のユーザーには効果がありましたが、主流になることはありませんでした。この人工知能機能は多少の話題を呼びましたが、Bing、Google、その他の企業が同様の機能を導入するにつれて、その話題は消えていきました。

結局のところ、Neeva は理解しようと努めなければならない製品です。私はここ数年、主な検索エンジンとしてこれを使用していますが、再設計されたスポーツスコアページと Reddit やその他のソースの優先順位に非常に感謝しています。それでも、再度検索する必要がなく、オートコンプリート ウィンドウからサイトに直接アクセスできるのがどれほど気持ちがよいか、あるいはその豊富なレシピ ページが Google のページにある無限に同一のリンクよりもどれほど優れているかを誰かに説明するのは私には難しいです。百聞は一見に如かず、現在の検索市場の状況により、Neeva は闇の中に閉じ込められています。

どちらかといえば、規制当局から始まる可能性が高い。 2018年の欧州委員会の判決以来、米国司法省もまた、Googleとデバイスメーカーやブラウザ開発者との販売契約は「Googleの検索競合他社の流通を制限し、競争相手の選択肢となっている」として、反競争を理由にGoogleを提訴している。消費者と広告主は規模を拡大できないからです。」

Googleは、ユーザーとパートナーがGoogleを選ぶのは、それが最良の製品であるためであり、デフォルトの選択肢が排他的ではないと答えた。 「私たちは、急速に変化しダイナミックな分野で熾烈な競争をしており、毎年数十億ドルを研究開発に投資し、最も有用な結果をすべての人に無料で提供するために何千もの品質改善を行っています」と、政策コミュニケーションマネージャーのネッド・アドリアンス氏は述べています。グーグル。 「他の無数の企業と同様に、シリアルブランドがスーパーマーケットに商品を列の最後尾や目の高さの棚に並べてもらうためにお金を払うのと同じように、私たちもサービスを宣伝するためにお金を払っています。しかし、いずれの場合も、消費者は簡単にアクセスできます。彼らが望むなら他の選択肢もある。」

DuckDuckGoやBraveなどの競合企業は、Googleのデフォルトの優位性が崩れれば急速に成長すると考えている。多くの競合他社は待つしかないと考えています。 Braveのプジョル氏は、「われわれが十分長く生き残ることができれば、Googleのディストリビューションがクラッシュするか破綻する変曲点が訪れるだろう。そのときはいつでも、われわれは備えておかなければならない」と語った。

DuckDuckGoやBraveなどの競合企業は、Googleのデフォルトの優位性が崩れれば急速に成長すると考えている。多くの競合他社は待つしかないと考えています。 Braveのプジョル氏は、「われわれが十分長く生き残ることができれば、Googleのディストリビューションがクラッシュするか破綻する変曲点が訪れるだろう。そのときはいつでも、われわれは備えておかなければならない」と語った。

Neeva には待つ余裕がなかったので、2023 年 4 月に同社は検索エンジンの永久停止を発表しました。経済が悪化して投資資金が枯渇する中、ラマスワミ氏と彼のチームは「消費者検索で持続可能なビジネスを生み出す道はもはや存在しない」と判断した。もちろん、それは完全に真実ではありません。Google は昨年、消費者検索で約 1,600 億ドルを生み出しました。ニーバや他の潜在的な競争相手にとっての問題は、現在ポジションがまったく残っていないことだ。 (Neeva は最終的にビジネス ソフトウェア大手の Snowflake に買収され、完全に AI に軸足を移されました。)

ニーヴァは大変な仕事をした。同社は、人工知能を搭載した検索エンジンとプライバシー最優先のブラウザーの完全なスイートを初期予算で運用しています。しかしそれだけでは十分ではありません。

なぜなら、たとえあらゆる正しい決断を下し、手を抜かず、すべての基準を満たし、インデックスを完成させ、史上最高の検索エンジンを構築したとしても、少なくとも現時点では、まだ Google に勝つことはできないからです。