現場で役立つデータ分析を学ぶ

データ分析大学

BigQuery Treasure Data

Treasure Data と Big Query の違い

更新日:

4年前にトレジャーの人から聞いてまとめた表を見直すと現状といろいろ違うことに気づきました。

一部、分かる範囲ですが修正してみました。

Big QueryTreasure Data
機械学習不可
→ 利用可(2020年現在)
可能(Hivemallを利用)
データ構造変更drop & create table が必要
→ 自動で設定できる(2020年現在)
Schema less のためdrop table が不要
Jobスケジュール機能
→ スケジュール機能あり(2020年現在)
ログ欠損率
参考:BigQueryのstreaming insertでログが欠損する http://qiita.com/shibacow/items/199a17f07c525d3dbb2d

Fluentdのchunk毎にID管理を行い重複制御を実装
クエリ安定性中程度
→ 百回に一回くらい同じクエリでも極端に処理が遅いときがあるものの高くなっている気がする(2020年現在)
高い
他システム連携GCP製品
Google Analytics Premiumからのデータフィード (3回/1日)
TDユーザ間でのデータ連携
"GCP/AWS/SFDC
DB(MySQL, PostgreSQLなど)
その他、FTP、BI、SDK、SMP、外部データ等"
サポートエンタープライズ向けサポートが不足
追加費用が発生
参考:ドリコムを支えるデータ分析基盤がTD+AWSに移行した話
http://ka-nipan.hatenablog.com/entry/2015/12/07/002702
標準サービスに含む
→ チャットでインタラクティブに対応
→ SQL構文/性能改善にも対応
料金体系従量課金(ストリーミングインサート量、ストレージ量、クエリ数)
参考:BigQueryで150万円溶かした人の顔 http://qiita.com/itkr/items/745d54c781badc148bb9

使い方を誤らなければ安い
月額固定
"スタンダード利用で月$3300
保存レコード上限:150億レコード、クエリ数等は制限無し"
*2020年現在はスタンダード利用の価格が倍くらいに上がっているとのこと

高いが大規模データを扱う際に料金を気にしなくても良い



最近のBQはかなり使いやすくなりました。

あと、クエリのスピードもかなり速いです。

他社とのデータ連携ではまだまだTDの方が使いやすいですが、日々のデータ抽出などはBQの方が爆速かつ関数も豊富なのでかなり良いです。

トレジャーデータがんばれ!

少しトレジャーの肩を持つと、サポート体制はトレジャーの方が圧倒的に良いです。チャットで質問したら直ぐに答えてくれます。

また、td_global_id というユーザ認証基盤があるので他社サイトの訪問ユーザと連携させることができます。これはTDの大きな強みです。

◇トレジャーデータあれこれ



データ分析備忘録より記事を移管中

-BigQuery, Treasure Data

Copyright© データ分析大学 , 2020 All Rights Reserved Powered by STINGER.