SeleniumでWebページをスクレイピングする

自分はバッチ大好きなので、何かを毎日チェックしたいときには、なるべくコードで自動化することを考える。たとえば最近MinecraftサーバをPaperMCで立てたのだが、PaperMCは(上流を含めて)開発が活発で頻繁にアップデートされる。これを定期的にチェックして常に最新版にしておきたいのだが、アップデート情報はWebページに記載されているのみの状況だ。具体的には

のページを見に行って、リストの一番上にあるものがアップデートされたものかどうか確認しなければならない。いちいちこれを目でチェックして手動でダウンロードするのは面倒なので避けたいわけだ。こういうときはWebページをバッチで読んで該当部分をparseしてやればよいわけだが、問題は該当ページがJavascriptによる動的生成である場合だ。このようなページはLWP::UserAgentのようなライブラリでは読めない。そこで動的にページ生成して、その結果を読むような仕組みが必要だ。

Seleniumはブラウザ自動化とそれを支えるツール・ライブラリ群のプロジェクトだ。

これと、APIをサポートしたブラウザを組み合わせれば、簡単にページをparseできるようになる。本稿ではAlmaLinux上のPerlでparseできるように環境を構築する手順を示す。

[続きを読む]

さくらのクラウド10年間を振り返る

自分には、日常のどうでもいいスナップ写真を撮るという趣味というか癖みたいなものがある。毎日写真を撮っているわけではないのだが、きっと5年後、10年後に見返したら面白いだろうなと思えるときに目立たずサッと写真を撮るようにしている。

写真が気軽なものになったのはデジタルカメラが登場してからだと思う。自分はQV-10は持っていなかったが、CAMEDIAのごく初期の機種を持っていて、それで記録を残していた。そういうわけで20年前のさくらインターネット株式会社のオフィスや社員の様子を写した写真は、ほとんどすべて自分が撮ったものだ。これらは広報や総務に供出していて、イベントで利用されたりすることもある。その後、デジカメは広く普及し、ケイタイでも高画質化が進み、今では誰でも気軽にスナップが撮れるようになった。とはいえ日常を撮る趣味の人はそんなにいない。ということで今でも、社内のイベントの写真は自分で記録するようにしている。

さて、2011年11月15日は石狩データセンターの開所日かつさくらのクラウドサービスの開始日だった。自分は11月初旬からサーバのセットアップのために石狩に詰めていて、11月15日は東京に戻ってサービスローンチを指揮していた。そのデータセンターでの作業の様子は、もちろん写真に撮って残してある。10年後に見たら面白いだろうと思っていたのだ。

[続きを読む]

エムガルティ治療を始めた

7月初旬からエムガルティを試し始めたので、その効果についてまとめてみたい。なお当ブログは専門家による監修は受けていないので、詳しいことはかかりつけの医師に確認していただきたい。

背景

片頭痛がどんな病気でどのように対処するかということは、以前の記事で書いた。

前回は主に「頭痛になった際に痛みを抑える緩和治療薬」について述べた。今回は「頭痛にならないようにする予防治療薬」の話である。

[続きを読む]

AlmaLinuxを試してみる

2020年12月のCentOSを取り巻く環境が大きく変化するというニュースは非常に大きいものだったが、これまで本ブログでは取り上げてこなかった。個人ユースではStreamに移行してもなんとかなるかなという程度の問題だからだ。それにサポート終了までの猶予もまだある(あんまりないが)。それまでに状況を見極めてもいいんじゃないかと思っていた。案の定、現在に至るまでにいろいろなことが起こっていて選択肢は広がっている印象だ。

さて表題のAlmaLinuxなのだが、これはRHELのコミュニティ版ディストリビューションで、CentOSのポジションを引き継ぐ目的で開発されたものだ。

個々に書かれている特徴をかいつまんでみると

  • CentOSと同じRHEL互換OSで、1対1に対応している
  • ほとんど手間をかけずにCentOSから移行できる
  • 無償サポートで、2029年まではコミットする

ということで、CentOS8が反故にした約束をそのまま引き継ぎますよ、ということだ。

AlmaLinuxはなんといっても、ごく短期間のうちにリリースまで持ってきた開発力が注目されている。正式リリースは2021年3月30日、CentOSの発表からほとんど4か月間でリリースしている。これってちゃんと動くのかな? と疑問に思わないでもない……ということで、本稿ではそれを確かめてみたい。

[続きを読む]

コーヒーを止めてひどい目にあった(ている)

記憶が判然としないのだが(←これがすでにヤバい)2月19日のこと、コーヒー豆が切れたので買いに行こうかどうしようかと思ったとき、急に「カフェイン絶ちをしてみよう」と決心した。

[続きを読む]