以前、半自動→全自動のASIN取得ツールについて、
無事に全自動取得ツールの開発に成功しました( ゚Д゚)
と記載しました。
今回はその内容についてかんたんに紹介します。
全自動ASINツールの構造
今回のツールでやっていることの基本は半自動時代にLinkclumpやGoogle Developer Toolsでやってたことをそのまま、
「繰り返し」「プログラム内で行う」という点にあります。
そのために必要だったプロセスは下記になります。
- 任意のURLを与えて表示されるWebページの中に含まれているリンクのASIN部分をまとめて抽出~表示するロジックの作成
- 指定したセラーのストアページやキーワード検索結果のURLに対して、1ページ目、2ページ目~といった、URLを機械的に生成→Webページ読み込みを繰り返す処理の作成
- 読み込んだWebページから含まれているASINを取得してCSVファイルに書き出す処理の実装
といった手順で開発~拡張を行いました。
そう、ついにWebスクレイピングまでド素人が到達しました!(小声)
ただご存じのとおり、WebスクレイピングはAmazonの規約で禁止されているため、大手を振って実行ができません。。
というか、実行するとわりと早い段階でアクセス不能になっていろいろ不便です!(実験済み)
どういう場合にアクセス不能になるのか、アクセス不能になったら何が起きるのか・・・そして考えられる回避策は・・・など自分で試した範囲でわかっていることもありますが、所詮推測にすぎません。
そんなわけでボクがスクレイピングを走らせる時のポイントは・・・手動でクリックするのと同じくらいゆっくり動作することと、あとは機密事項なので明かせません(‘◇’)ゞ
それでもとりあえず作成が成功したのは大きな前進でした!
あいかわらずPHPベースで作成しました。Webページの読み込みで特に参考にしたのは下記ページになります。興味と技術がある方は自己責任でどうぞ!
[PHP] WEBページ内に存在する外部へのリンクを全て取得する
セラーID→ASINツール開発のきっかけ
元々ASIN取得ツールをプログラム化しようと考えた発端は、あるブログで
「僕はセラーIDを入力するとそのセラーの扱っているアイテムがリスト化されるツールを持っています」
といった記載があったことです。
「マジかよ!どうやって!」
という純粋な興味と感嘆、そして
「誰かがやっていることなら、自分にだってできるはず」
という負けず嫌いで身の程知らずな挑戦心から、何とかツールを使った半自動まで自力でたどり着き、
「あとは今の半自動でやってる手動部分を自動化すればいいだけ」
のあと数歩がなかなか進まず足踏みしていましたが、
「Webページを読み取って内容を抽出する処理さえあればなー」
というところまで来ました。
そして最終的には、上記参考リンクのUrlScraperクラスの実装で課題を乗り越えることができました。
ツールを作り始めてから強く感じるボクの座右の銘は、
「後発のボクが抱える悩みなど、たいてい先人がすでに解決してくれている」
です!
自作以外の方法
そしてその座右の銘の通り、ボクは自作してしまいましたが、このようなツール、実は他にもきっとあると思います。
というか悲しいくらい当たり前のようにあります!
ボクが目にしたものだけでもこれまでに2つ。
自分では使っていないので、実際の使い勝手やスピードはわかりませんが、かんたんに紹介しておきます。
ASIN Getter
セラーIDからそのセラーの取り扱いASINを一気に引っこ抜けるツールです!
年に何回か?期間限定で販売が再開されているイメージです。紹介動画を見た印象ではボクの単純なツールに比べてセラー管理の機能もあり、だいぶ高機能に見えます。
ボクのツールでできて、ASINGetterにできないこと・・・うーん、あるとすれば、ボクのツールはセラーIDにかぎらずURLであれば何でもその表示結果からASINを抜き出すので、アマゾンのキーワード検索結果等からASINを取得できること、くらいかなー。新規登録品などを探すにはキーワード検索結果の方が手っ取り早い場合もあります。
とはいえ、同じ開発者が作成した在庫チェッカーは、ボクも活用しています。
在庫チェッカーをボクが自力で開発せずに使う理由は・・・
「これはボクには開発できない!料金払った方が絶対速い」と素直に認めてしまったからです。すごいツールです。
zon ASIN Hunter
こちらは海外製のツールです。
サイトを見るかぎり、ボクのツールと同様にアマゾン上での「検索結果」志向でその細かい設定含めて理にかなっていて、見つけたときは「やっぱりこのアプローチで正しいんだ!」となぜか自分が認められたかの気持ちになるくらいうれしかったです!
もっと早く知ってたら、そして宣伝文句通りにきちんと動くのなら、自分で開発などせずにzon ASIN Hunterを使っていたのでは、と思っています。
特にセラー分析等不要で、特定の条件に合致するASINを大量に集めたい
という目的には非常に有効だと思っています・・・そのうち試してみるかもしれません!
(両ツールともに、スクレイピングに伴うアマゾンサーバーへの負荷、そしてアクセス停止問題どんな風にクリアできているのかな?という懸念と興味があります)
とはいえ、自力でセラーID→ASINごっそり獲得ツールを作れたことは、他のいろんなツールの開発にもつながったのでよしとします!
ASIN購入サービス等の活用
さらには、ここで直リンクを載せるのは避けておきますが(興味ある方がいればご連絡ください~)、ASINそのものをダウンロードできる有料サービスを見たことがあります!手っ取り早く手に入れるならその道もありなのか?とも思いますが、私のメモ書きによると
「単純価格差が1000円ある商品だと50円/ASIN・・・10,000円で200ASINしか買えない!」
とメモがあったので、よっぽどのレアもの?じゃなければ自作/市販ツールで取った方が割がよさそうに感じました。
他の方のブログを徘徊していると、「ASIN抽出代行サービス」などを回数限定で提供している方も見ましたので、そういう方に相談するのも方法のひとつです。
今回も読んでいただきありがとうございました!
よろしければ↓クリックお願いします!
スポンサーリンク
はじめまして。
zon ASIN Hunter購入しました。
スクレイピングでのデータ取得なので不安なのですが、
リモートデスクトップ等での使用が厳しい環境です。
実際使用されている方々はどうされているのか気になります。
リモートデスクトップ等でなくても
問題なく使用できるのでしょうか?
ぴよひこさん、はじめまして。
ご質問ありがとうございます。
私はツールを自作したためzonのユーザーではないのでたしかなことは言えませんが、私の周辺ではリモートでやっているという人を見ないので、通常の範囲ならおそらく使用できると思います。