4年前にトレジャーの人から聞いてまとめた表を見直すと現状といろいろ違うことに気づきました。
一部、分かる範囲ですが修正してみました。
| Big Query | Treasure Data | |
| 機械学習 | 不可 → 利用可（2020年現在） | 可能（Hivemallを利用） |
| データ構造変更 | drop & create table が必要 → 自動で設定できる（2020年現在） | Schema less のためdrop table が不要 |
| Jobスケジュール機能 | 無 → スケジュール機能あり（2020年現在） | 有 |
| ログ欠損率 | 高 参考：BigQueryのstreaming insertでログが欠損する http://qiita.com/shibacow/items/199a17f07c525d3dbb2d | 低 Fluentdのchunk毎にID管理を行い重複制御を実装 |
| クエリ安定性 | 中程度 → 百回に一回くらい同じクエリでも極端に処理が遅いときがあるものの高くなっている気がする（2020年現在） | 高い |
| 他システム連携 | GCP製品 Google Analytics Premiumからのデータフィード （3回/1日） | TDユーザ間でのデータ連携 "GCP/AWS/SFDC DB（MySQL, PostgreSQLなど） その他、FTP、BI、SDK、SMP、外部データ等" |
| サポート | エンタープライズ向けサポートが不足 追加費用が発生 参考：ドリコムを支えるデータ分析基盤がTD+AWSに移行した話 http://ka-nipan.hatenablog.com/entry/2015/12/07/002702 | 標準サービスに含む → チャットでインタラクティブに対応 → SQL構文/性能改善にも対応 |
| 料金体系 | 従量課金（ストリーミングインサート量、ストレージ量、クエリ数） 参考：BigQueryで150万円溶かした人の顔 http://qiita.com/itkr/items/745d54c781badc148bb9 使い方を誤らなければ安い | 月額固定 "スタンダード利用で月$3300 保存レコード上限：150億レコード、クエリ数等は制限無し" ＊2020年現在はスタンダード利用の価格が倍くらいに上がっているとのこと 高いが大規模データを扱う際に料金を気にしなくても良い |
最近のBQはかなり使いやすくなりました。
あと、クエリのスピードもかなり速いです。
他社とのデータ連携ではまだまだTDの方が使いやすいですが、日々のデータ抽出などはBQの方が爆速かつ関数も豊富なのでかなり良いです。
トレジャーデータがんばれ！
少しトレジャーの肩を持つと、サポート体制はトレジャーの方が圧倒的に良いです。チャットで質問したら直ぐに答えてくれます。
また、td_global_id というユーザ認証基盤があるので他社サイトの訪問ユーザと連携させることができます。これはTDの大きな強みです。
◇トレジャーデータあれこれ
- 【トレジャーデータ】トレジャーデータの結果をタブローオンラインに出力する
- 【トレジャーデータ：Presto】自動でMAUを集計する（TD_TIME_TRUNC）
- 【トレジャーデータ:Presto】cronの設定（任意のスケジュールでSQLを自動実行）
- 【トレジャーデータ】時間文字列をタイムスタンプに変換する（presto）
- 【トレジャーデータ：Presto】SQLでのクロス集計は？caseとmap_aggならどっち？表頭項目を指定しない方法は？
- 【トレジャーデータ：Ower権限】Ower権限を別のアカウントに移行するには？OwerとAdminの違いは？
- 【トレジャーデータ：Treasure Workflow】今注目のTreasure Workflowとは？その導入手順と活用例（SQL文ループ処理）の紹介
- 【トレジャーデータ：Presto】ユーザの継続利用状況を可視化するⅡ（エンゲージメント推移）
- 【トレジャーデータ】コマンドプロンプトからデータベース(DB)を作成
- 【トレジャーデータ：Presto】ユーザの継続利用状況を可視化するⅠ（アクセス日数遷移）
- 【トレジャーデータ：Presto】各ユーザの曜日別アクセス率を集計してライフスタイルに合ったアプローチをする
- 【トレジャーデータ】複数のグーグルアカウントを登録する方法
- 【トレジャーデータ】output result よりinsertの方が早く実行結果をテーブルに出力できる
- 【トレジャーデータ】データベース名が数字の場合（sql:presto）
- 【トレジャーデータ】先頭のバックスペース（\b）を除去（regexp_replace）
- 【トレジャーデータ】記事別DAU階級推移（SQL：case文を使う）
- 【トレジャーデータ】昨日及び一昨日の各記事のuu,pvを集計して比較する
- 【セミナー報告】TUG (Treasure Data User Group) vol.3 - Biz Dev編
- 【トレジャーデータ】自社サイトから他社サイトへ遷移する日数の分布集計（日数差分はdate_diffを用いる）
- 【トレジャーデータ】SQL：複数のテーブル間で重複するユーザ数の日時の推移を集計する
- 【トレジャーデータ】任意の期間のデータを消す
- 【トレジャーデータ】コマンドプロンプトからデータをダウンロード(mode: cli)
- 【トレジャーデータ】UDFs（User Defined Functions：ユーザー独自の定義関数）一覧
データ分析備忘録より記事を移管中