スマートデータクローラー

処理の流れ

flow

  1. ユーザがストアに来訪すると、ウィジェット用タグが品番をVirtusizeサーバに問い合わせる。
  2. もしVirtusizeサーバに品番が存在していない場合は、自動フィードサーバに品番取得を依頼する。
  3. 自動フィードのワーカープロセスがストアの商品詳細ページをクロールする。
  4. ストアの商品詳細ページがHTMLを返却する。
  5. 自動フィードの解析プロセスがHTMLの解析・変換を行う。
  6. もし商品カテゴリが特定できなかった場合は、画像認識AIサーバにカテゴリー検知を依頼する。
  7. もし画像認識AIが検知できなかった場合は、VirtusizeフィリピンのQAチームに目視マッピングを依頼する。
  8. カテゴリーマッピングを返却する。
  9. 自動フィードがVirtusizeサーバに非同期で寸法データを送信する。
  10. Virtusizeサーバに寸法データがセットされると、以降のユーザはすぐにVirtusizeの試着室を使用できる。

導入する前

品番を決める

クローラーが商品詳細ページを取得するためには、ウィジェット用タグに適切な品番がセットされている必要があります。

  1. 品番から商品詳細ページのURLを特定できる場合

例えば品番がA001, URLがhttp://example.com/item/A001.htmlである場合は品番から商品詳細ページのURLを特定できる状態です。 この場合、ストア側は何もしなくても自動フィードが連携できます。

  1. 品番から商品詳細ページのURLを特定できない場合

例えば品番がA001, URLがhttp://example.com/item/jacket.htmlである場合は品番から商品詳細ページのURLを特定できない状態です。

この場合、クローラーが品番を特定するためのリダイレクタをストアに設置してください。

リダイレクタは以下のようなフローを満たす処理を行ってください。

  • クローラーがhttp://example.com/redirect?product-id=A001にアクセス。
  • リダイレクタがGETパラメータproduct-id=A001を解析し、マッチする商品詳細ページを特定する。例えば http://example.com/item/jacket.html
  • リダイレクタがHTTPレスポンス時にHTTP 301ヘッダを付与して、クローラーをhttp://example.com/item/jacket.htmlに誘導する。

マスタデータを共有する

もしストアにマスタデータがCSVなどで取り出せる場合は、担当者に共有してください。

例えば、カテゴリマスタや採寸ポイントマスタなどです。

もしマスタデータが無い場合は、Virtusize側で作成します。