自作でも市販でも・・・ASINを丸ごと取得するツール

以前、半自動→全自動のASIN取得ツールについて、

無事に全自動取得ツールの開発に成功しました( ﾟДﾟ)

と記載しました。

今回はその内容についてかんたんに紹介します。

全自動ASINツールの構造
セラーID→ASINツール開発のきっかけ
自作以外の方法

全自動ASINツールの構造

今回のツールでやっていることの基本は半自動時代にLinkclumpやGoogle Developer Toolsでやってたことをそのまま、

「繰り返し」「プログラム内で行う」という点にあります。

そのために必要だったプロセスは下記になります。

任意のURLを与えて表示されるWebページの中に含まれているリンクのASIN部分をまとめて抽出～表示するロジックの作成
指定したセラーのストアページやキーワード検索結果のURLに対して、1ページ目、2ページ目～といった、URLを機械的に生成→Webページ読み込みを繰り返す処理の作成
読み込んだWebページから含まれているASINを取得してCSVファイルに書き出す処理の実装

といった手順で開発～拡張を行いました。

そう、ついにWebスクレイピングまでド素人が到達しました！（小声）

ただご存じのとおり、WebスクレイピングはAmazonの規約で禁止されているため、大手を振って実行ができません。。

というか、実行するとわりと早い段階でアクセス不能になっていろいろ不便です！（実験済み）

どういう場合にアクセス不能になるのか、アクセス不能になったら何が起きるのか・・・そして考えられる回避策は・・・など自分で試した範囲でわかっていることもありますが、所詮推測にすぎません。

そんなわけでボクがスクレイピングを走らせる時のポイントは・・・手動でクリックするのと同じくらいゆっくり動作することと、あとは機密事項なので明かせません(‘◇’)ゞ

それでもとりあえず作成が成功したのは大きな前進でした！

あいかわらずPHPベースで作成しました。Webページの読み込みで特に参考にしたのは下記ページになります。興味と技術がある方は自己責任でどうぞ！

[PHP] WEBページ内に存在する外部へのリンクを全て取得する

セラーID→ASINツール開発のきっかけ

元々ASIN取得ツールをプログラム化しようと考えた発端は、あるブログで

「僕はセラーIDを入力するとそのセラーの扱っているアイテムがリスト化されるツールを持っています」

といった記載があったことです。

「マジかよ！どうやって！」

という純粋な興味と感嘆、そして

「誰かがやっていることなら、自分にだってできるはず」

という負けず嫌いで身の程知らずな挑戦心から、何とかツールを使った半自動まで自力でたどり着き、

「あとは今の半自動でやってる手動部分を自動化すればいいだけ」

のあと数歩がなかなか進まず足踏みしていましたが、

「Webページを読み取って内容を抽出する処理さえあればなー」

というところまで来ました。

そして最終的には、上記参考リンクのUrlScraperクラスの実装で課題を乗り越えることができました。

ツールを作り始めてから強く感じるボクの座右の銘は、

「後発のボクが抱える悩みなど、たいてい先人がすでに解決してくれている」

です！

自作以外の方法

そしてその座右の銘の通り、ボクは自作してしまいましたが、このようなツール、実は他にもきっとあると思います。

というか悲しいくらい当たり前のようにあります！

ボクが目にしたものだけでもこれまでに２つ。

自分では使っていないので、実際の使い勝手やスピードはわかりませんが、かんたんに紹介しておきます。

ASIN Getter

セラーIDからそのセラーの取り扱いASINを一気に引っこ抜けるツールです！

ASINGetterサイト

年に何回か？期間限定で販売が再開されているイメージです。紹介動画を見た印象ではボクの単純なツールに比べてセラー管理の機能もあり、だいぶ高機能に見えます。

ボクのツールでできて、ASINGetterにできないこと・・・うーん、あるとすれば、ボクのツールはセラーIDにかぎらずURLであれば何でもその表示結果からASINを抜き出すので、アマゾンのキーワード検索結果等からASINを取得できること、くらいかなー。新規登録品などを探すにはキーワード検索結果の方が手っ取り早い場合もあります。

とはいえ、同じ開発者が作成した在庫チェッカーは、ボクも活用しています。

在庫チェッカーをボクが自力で開発せずに使う理由は・・・

「これはボクには開発できない！料金払った方が絶対速い」と素直に認めてしまったからです。すごいツールです。