キャスレーコンサルティング 技術ブログ

こんにちは、SD部の江本です。
今回は、C#によるスクレイピング処理について記述したいと思います。

構成

  • はじめに
  • 何か活用できるの?
  • 注意事項
  • 環境
  • 実際に取得してみよう!
  • 終わりに

はじめに

ネット社会になって随分経ちますが、ネット上には無数の情報が眠っています。
スマホ、タブレット、PCと色々な方法でネットにアクセスできる端末が増えてきていますね。

それらの端末が各サイトへアクセスし、どのように情報を取得しているのか?
また、それらの情報を取得して、データの分析や解析等を実施してみたいなと思った人はいらっしゃいませんか?

その中でも今回は、ウェブスクレイピングという技術です。
簡単に説明しますと。。。

ウェブスクレイピングとは

Webスクレイピングとは、WebサイトからWebページのHTMLデータを収集して、

特定のデータを抽出、整形し直すことである。

ウェブスクレイピング – Wikipedia

WEBサーバと通信してHTMLを取得してみるという試みです。
この技術を知った当時、少し調べてみたらPHPでのスクレイピング処理が数多く検索にHITしました。
今回は、そのスクレイピング処理をC#で書いてみたい!と思い企画してみました。

本稿は、DB周りなどの処理も書かないで、基本的なところであるURLからHTML取得。

取得したHTMLから特定の情報を取得する、というところをゴールとして記載しようと思います。 (続きを読む…)


こんにちは、SI部の藤沢です。
今回は、LinuxでC#プログラミングを行うためのMonoの導入を行います。

構成

  • Ubuntu 14.04 LTS(仮想イメージ)
  • Mono
  • MonoDevelop

今回は、Ubuntuを使用してC#の実行環境を構築していきます。

Ubuntuのインストール

Ubuntuのサイトに仮想マシン用のファイルがあるため、これを使用します。
VirtualBoxをインストールし、ダウンロードした仮想イメージ(Ubuntu 14.04 LTS)を展開し仮想マシンの登録を行います。
Ubuntuのサイト通りに設定します。
VirtualBoxを起動し、[新規]をクリックします。仮想マシン作成ウィザードが開くので、画面の指示に従って入力していきます。
OSタイプは「Ubuntu」を選択します。 (続きを読む…)


SI部のオールドルーキー内田です。

今回は、「JavaScript大規模開発はじめの一歩」と題しまして、Webアプリケーション開発におけるクライアントサイド、
HTML+JavaScriptの記述方法についてのTipsをお届けしたいと思います。

対象読者は「ちょっとJavaScriptが苦手なWebアプリケーション開発者」を想定していますよ。

さっそく始めます

とりあえず下記のようなHello World的なHTMLファイルがあるとします。

casley0.html

<!doctype html>
<html>
  <head>
    <meta charset="utf-8">
    <script type="text/javascript">
    function sayHello(msg){
      window.alert(msg);
    }
    </script>
  </head>
  <body>
    <div>
      <input id="button" type="button" value="押してね" onClick="sayHello('こんにちは、キャスレー')"></input>
    </div>
  </body>
</html>

スクリーンショット 2015-09-14 22.11.08

「ある程度の規模でのチーム開発を想定したWebアプリケーションを構築する」という観点に立つと、「表示と実装を分離したい」という要望が出てくると思います。 先の例に当てはめると「HTMLファイルから処理記述を排除したい」ということで、まずHTMLファイルに処理が混入しているのが良くないように見えます。 (続きを読む…)


こんにちは。システムデザイン部の秦(はた)です。

Google社のGoogleAppsは法人・個人を問わず普及しているクラウドサービスですが、
今回はGoogleAppsのアプリケーションにプラグインするGoogleAppsScriptについてご紹介します。

1. ゴール

最終的には実務で使えるプログラムを書けることをゴールとしますが、
今回はGoogleAppsScriptの言語仕様について理解するところまでをゴールとします。

2. GoogleAppsScriptについて

それでは早速、GoogleAppsScriptについてご説明します。
詳しい説明はGoogle社の公式サイトをご覧頂ければと思いますが、
ここではポイントを掻い摘んでご説明します。

GoogleAppsとは?

まず、GoogleAppsについてですが、Google社の紹介ページがとてもわかりやすいので、
下記のリンクに目を通しておいてください。 (続きを読む…)


こんにちは。

SI部の安井です。

今回はSQL ServerのReporting Servicesについて紹介します。

Reporting Servicesとは

Reporting Servicesとはデータベースに蓄積されたレコードを、
表やグラフで表示するレポートを作成するツールです。

作成したツールはWebで公開することもできます。

では、さっそくどういったものか見ていただきましょう。 (続きを読む…)



  • Profile
    キャスレーコンサルティングの技術ブログです。
    当社エンジニアが技術面でのTips、技術系イベント等についてご紹介いたします。
  • CSV社長ブログ
  • チーム・キャスレーブログ