スクレイピング

GoogleColaboratoryにSeleniumの実行環境を用意する(失敗)

一昨日に引き続き、GoogleColaboratoryでスクレイピングを試しています。 今日は自動テストなどに用いるSeleniumをGoogleColaboratoryで動かせないかチャレンジしてみました。 参考にしたのはこちらのQiita記事。 qiita.com 結論から言いますと、ぼくも失敗…

JavaとSeleniumで自分のツイートを抽出する

今日3本目の投稿。さすがにエンジンかけすぎて疲れてきた。 次は宣言通り、こちらの記事と同じことをJavaでやります。 taikomegane.hatenablog.jp 今回のコードはこちらから getTweet_var.java · GitHub 目次 目次 やりたいこと まずは下準備 実際にやって…

PythonとSeleniumで自分のツイートを抽出する

本日2件目。PythonとSeleniumを使って自分のツイートを抽出します。 API叩けばすぐ済むことを敢えてスクレイピングでやる。熱い。 やりたいこと 今回試した方法 1. PhantomJSのブラウザを取得 2. Twitterにアクセス 3. ログインする 4. マイページに移動 5.…

NewsPicksでスクレイピングやってみた

こんにちは。駆け出しエンジニアの太鼓眼鏡です。 まだまだ研修中の身ですが、今日も書いたものや学んだことをシェアしていきます。 今日作ったのは、NewsPicksの記事をpicksした人から、影響力の大きい人だけを抽出する仕組みです。 先日から研修ではJSPや…