キャスレーコンサルティング 技術ブログ

こんにちは。SI部の杉光です。

今回はAmazon Web Serviceの一つであるAmazon Elastic MapReduce(以下EMRと省略)を利用して
簡単に大規模データの分散処理を行う方法とEMRでサポートされているHadoopエコシステムの利用例をご紹介したいと思います。

Amazon EMRとは

EMRはAWSが提供するHadoopクラスターのサービスです。

クラウドサービスなので、わずか数分で仮想サーバーのクラスターを立ち上げ可能にし、
計算能力の需要に合わせクラスターを構成するサーバー数を調整することが可能です。
時間単位の課金なので、大量のデータを直ぐに短期間で処理したい場合も高いコストパフォーマンスで対応できます。

また、他AWSサービスとの連携が可能で、S3、RDSやDynamoDBに保存されたデータにクラスターからアクセスが可能です。
とりわけ、S3はHDFSと分けて意識することなくデータを保存することができます。 (続きを読む…)


こんにちは。SI部の安江です。

今回は、DBA(DataBaseAdministator)になりたての技術者向けに
「SQL文を作るSQL文」の活用方法を紹介したいと思います。

 

SQL文を作るSQL文って?

RDBMSを扱うシステムにおいて、DBAはデータベースに対して様々な作業をSQLを使用して行います。
その中の作業の一つに、RDBMS実機情報をインプットにして、SQLを作成し実行するといったことがあります。

例えば、これから次のような作業を行うとします。

  • 開発中のシステムに作成している、テーブル名とテーブル毎の件数を実機から取得し一覧化したい

単純に作業を進めていくと、
①RDBMSにログインして、テーブル一覧取得のSQLを実行、テーブル一覧をファイルに保存
②テーブル一覧から、テーブル毎の件数を取得するSQLを作成するために、EXCELやテキストエディタを使って加工
③加工したSQLを用いてRDBMSに再度ログインしSQLを実行、結果を各テーブルと件数の一覧をファイルに保存
と、地道に作業していきます。
しかし、②の加工作業などある程度時間を要してしまう事、加工する際に人為的ミスが発生するリスクが発生します。

そこで、①と②のSQLを作成する作業を「SQL文を作るSQL文」を使って作成し、作業の効率化と人為的ミスを減らす方法を紹介していきたいと思います。

RDBMSによって若干手法が異なるため今回は、OracleDatabase・MySQL・PostgreSQL、3つのRDBMSで検証してみました。

(続きを読む…)


こんにちは、キャスレーコンサルティングSI部の清水です。

プロジェクト内に一人ぐらいは物凄いコーディングが早い方がいるものですが、そのような方は決まってショートカットキーの達人だったりします。
今回はすでにご存じのものが多いかもしれませんが、私が独断でEclipseで使えると思うショートカットを10個挙げてみました。
ショートカットキーはおぼえるというより、身に浸み込ますようなものです。
日ごろから積極的に使用し、ショートカットキーマスターを目指しましょう。

補完機能を利用する [Ctrl + Space]

変数名やメソッド名、クラス名等を途中まで入力し「Ctrl + space」を押すと、それ以降のキーワードを検索しを補完してくれます。

(続きを読む…)



  • Profile
    キャスレーコンサルティングの技術ブログです。
    当社エンジニアが技術面でのTips、技術系イベント等についてご紹介いたします。
  • CSV社長ブログ
  • チーム・キャスレーブログ