cover_fix_ol

  • Amazonで購入

JS+Node.jsによるWebクローラー/ネットエージェント開発テクニック

まだ、Webデータを手で集めていますか?
サーバーサイドJavaScriptでクローラーが簡単に作れる!
WebAPI経由でデータをゲット!レポートやPDF/Excel文書を自動作成!
豊富なスクリプトがすべてダウンロード可能!

著者
クジラ飛行机
定価
3,456円(本体価格 3,200円)
発売日
2015年9月2日
判型/ページ数
B5変型/320ページ、オール2色
ISBN
978-4-88337-993-4
備考
-

まだ、Webデータを手で集めていますか?



    サーバーサイドJavaScriptでクローラーが簡単に作れる!
    WebAPI経由でデータをゲット!レポートやPDF/Excel文書を自動作成!
    豊富なスクリプトがすべてダウンロード可能!


JavaScriptとNode.jsをベースに、さまざまなモジュールを駆使してWebのデータを集めよう!
そして、集めたデータの解析やレポート化もプログラムで自動化!



本書で紹介している技術
機械学習、画像認識、形態素解析、マルコフ連鎖、ベイジアンフィルタ、
GoogleCharts、各種SNSのWebAPIアクセス、HTML解析、リンク抽出、画像抽出他
本書で使用しているライブラリやモジュール
PhantomJS/CasperJS/CoffeScript/Electron/Node.js/Rhino/Nashorn/JScript

ジャンル

読者サポート

  • ダウンロード

目次

第1章 開発環境の準備
01節 JavaScript実行エンジンいろいろ
02節 エージェントとは何か?
03節 開発環境を構築しよう
04節 Node.jsモジュールのインストール
05節 開発効率を高める

第2章 Web データの収集
01節 Webページのダウンロード
02節 HTMLの解析(リンクと画像の抽出)
03節 サイトを丸ごとダウンロード
04節 XML/RSSの解析
05節 定期的にダウンロードする

第3章 ログインの必要なWebサイトをクロールする
01節 PhantomJSとCasperJS
02節 ログイン後のデータをダウンロードする
03節 DOM解析手法とCSSセレクタ
04節 Electronでデスクトップアプリを作る
05節 Electronでスクリーンキャプチャ

第4章 データの整形と保存
01節 データの文字コードと変換について
02節 データの整形と正規表現について
03節 データ形式の基礎知識
04節 CoffeeScriptは必修項目
05節 データベースの使い方
06節 レポートの自動生成

第5章  形態素解析で日本語を扱う
01節 形態素解析について
02節 文章にフリガナを振ろう
03節 マルコフ連鎖で文章を要約する
04節 簡単な文章校正ツールを作ろう
05節 語句の出現頻度を調べよう

第6章 クローラーのためのデータソース
01節 有益なデータソースの一覧
02節 Twitterからのダウンロード
03節 Facebookからのダウンロード
04節 はてなブックマークからのダウンロード
05節 Amazonからのダウンロード
06節 Flickrから写真のダウンロード
07節 YouTubeから動画のダウンロード
08節 Yahoo!Financeから為替や株のダウンロード
09節 Wikipediaからのダウンロード

第7章  データの分類と予測と機械学
01節 データの活用法について
02節 ベイジアンフィルタによる分類
03節 移動平均を利用した予測とグラフの描画
04節 人工無能と会話しよう
05節 サポートベクターマシンで文字認識しよう(前編)
06節 サポートベクターマシンで文字認識しよう(後編)

第8章 データの視覚化と応用
01節 Google Chartsで簡単チャート作成
02節 D3.jsで自由度の高いチャート作成
03節 D3.jsで地図を描画しよう
04節 D3.jsから派生したライブラリ

APPENDIX
 WindowsやOS X上に開発環境を構築しよう
 HTML/XMLのパースを簡単に行う

この書籍の購入

  • Amazonで購入する