スクレイピング作業終了

もどってまいりました

人より依頼されていたスクレイピング作業が終わったので戻ってまいりました。
javascriptを触るのは初めてでしたし、スクレイピングも殆ど知識が無かったため、
手探りでの作業が続きましたが、なんとか形になりました。

casperjsはスクレイピング初心者でも非常に扱いやすいライブラリとなっており、
少しプログラムをしたことがある方であればすぐに使えるようになるよいライブラリだと思います。
使い方を覚えてしまえば、あとは目的のサイトとのにらめっこの日々となります。

やっぱりwebAPIは素晴らしい

スクレイピングをしていて感じたのは、
『力技でデータを吸い出すのは大変』ということでしょうか。
目的の処理を列挙しても、相手のサーバのレスポンスを考慮してwait文を挟んだり、
対象のオブジェクトを取得するため、効率の良いコーディングを考えたりと、
普通のコーディングとは違う部分に時間をかける毎日でした。

こういうことをしていると、AmazonやDMMが提供してくれている
WebAPIは非常にありがたい機能なんだなぁと考えさせられます。
コンテンツ提供側も、スクレイピングされるよりは、API使ってもらったほうが負荷は少ないですからね。

と、いうことでワタクシは普通のブロガーに戻って、
細々と記事を更新する作業に戻ろうと思います。
WebAPIとか、Wikiとかやってみたいことがいくつかありますゆえ・・・。

今回の作業の中で得たノウハウなどは、時期を見てまた連携しようと思います。では。