Follow #ソシム販売部Twitterアイコン

   

JS+Node.jsによるWebクローラー/ネットエージェント開発テクニック

クジラ飛行机

まだ、Webデータを手で集めていますか?
サーバーサイドJavaScriptでクローラーが簡単に作れる!
WebAPI経由でデータをゲット!レポートやPDF/Excel文書を自動作成!
豊富なスクリプトがすべてダウンロード可能!

定価
3,520円(本体価格 3,200円)
  • 発売日
    2015年9月2日
  • 判型/ページ数
    B5変型/320ページ、オール2色
  • ISBN
    978-4-88337-993-4

まだ、Webデータを手で集めていますか?

サーバーサイドJavaScriptでクローラーが簡単に作れる!
WebAPI経由でデータをゲット!レポートやPDF/Excel文書を自動作成!
豊富なスクリプトがすべてダウンロード可能!

JavaScriptとNode.jsをベースに、さまざまなモジュールを駆使してWebのデータを集めよう!
そして、集めたデータの解析やレポート化もプログラムで自動化!

本書で紹介している技術
機械学習、画像認識、形態素解析、マルコフ連鎖、ベイジアンフィルタ、
GoogleCharts、各種SNSのWebAPIアクセス、HTML解析、リンク抽出、画像抽出他
本書で使用しているライブラリやモジュール
PhantomJS/CasperJS/CoffeScript/Electron/Node.js/Rhino/Nashorn/JScript

第1章 開発環境の準備

01節 JavaScript実行エンジンいろいろ
02節 エージェントとは何か?
03節 開発環境を構築しよう
04節 Node.jsモジュールのインストール
05節 開発効率を高める

第2章 Web データの収集

01節 Webページのダウンロード
02節 HTMLの解析(リンクと画像の抽出)
03節 サイトを丸ごとダウンロード
04節 XML/RSSの解析
05節 定期的にダウンロードする

第3章 ログインの必要なWebサイトをクロールする

01節 PhantomJSとCasperJS
02節 ログイン後のデータをダウンロードする
03節 DOM解析手法とCSSセレクタ
04節 Electronでデスクトップアプリを作る
05節 Electronでスクリーンキャプチャ

第4章 データの整形と保存

01節 データの文字コードと変換について
02節 データの整形と正規表現について
03節 データ形式の基礎知識
04節 CoffeeScriptは必修項目
05節 データベースの使い方
06節 レポートの自動生成

第5章  形態素解析で日本語を扱う

01節 形態素解析について
02節 文章にフリガナを振ろう
03節 マルコフ連鎖で文章を要約する
04節 簡単な文章校正ツールを作ろう
05節 語句の出現頻度を調べよう

第6章 クローラーのためのデータソース

01節 有益なデータソースの一覧
02節 Twitterからのダウンロード
03節 Facebookからのダウンロード
04節 はてなブックマークからのダウンロード
05節 Amazonからのダウンロード
06節 Flickrから写真のダウンロード
07節 YouTubeから動画のダウンロード
08節 Yahoo!Financeから為替や株のダウンロード
09節 Wikipediaからのダウンロード

第7章  データの分類と予測と機械学

01節 データの活用法について
02節 ベイジアンフィルタによる分類
03節 移動平均を利用した予測とグラフの描画
04節 人工無能と会話しよう
05節 サポートベクターマシンで文字認識しよう(前編)
06節 サポートベクターマシンで文字認識しよう(後編)

第8章 データの視覚化と応用

01節 Google Chartsで簡単チャート作成
02節 D3.jsで自由度の高いチャート作成
03節 D3.jsで地図を描画しよう
04節 D3.jsから派生したライブラリ

APPENDIX

 WindowsやOS X上に開発環境を構築しよう
 HTML/XMLのパースを簡単に行う

ダウンロードデータ

本書で解説したサンプルデータをダウンロードできます。
なお、使用方法などに関しては、必ず書籍の該当箇所をご確認の上、ご利用ください。
ダウンロード後、解凍したファイル内に「readme.txt」ファイルなどが含まれる場合は、使用前にこちらもご確認ください。

正誤情報

お問い合わせ

本書に関するお問い合わせは、下記のボタンをクリックしてお問い合わせフォームよりお問い合わせください。

この書籍を問い合わせる

[ この書籍をシェアする ]

新刊から本を探す

もっと見る

カテゴリから本を探す

シリーズから本を探す

本を探す