読者です 読者をやめる 読者になる 読者になる

zowのプログラムな日々

日々のプログラミングとか

RabbitMQの勉強をしている訳だけども中断する

そもそもクローラを作るのがメインタスクでRabbitMQの勉強は復習って感じな訳だけれども、あまりにもサボり過ぎた為にクローラから離れすぎてるし、勉強はここら辺で切り上げてクローラ作りに戻ろうと思う。勉強は落ち着いたら再開って事で。

そんな感じでRabbitMQ&Python&Pikaで非同期動作のベースを作って、そこにクローラを載せていきたいと思うが、その前にやる事がある。スクリプトの書き直しだ。

スパイダとクローラに分けて今まで作ってきたけども、これを書き直す。クラス化してしまう。

今考えてるのは以下の4つに分けてしまう方法

  • spider スパイダ
  • crawler クローラ
  • scraper スクレイパー(クローラで使う)
  • db DB周り(スパイダ・クローラで使う)

上記の4つのクラスを非同期動作ベースになるスクリプトへ組み込んで使う感じにしたいと思う。