svnからgitlabに移行してみた

gitがかわいくて仕方が無いので、gitを使いたかったからちょっと頑張った。
svnが居たところはしにそうなので、別のサーバに移し替えた。
以下メモ。


1.svnから該当のプロジェクトをexport
svnadmin dump /svn/hoge > ~/hoge.dump

2.scpでgitサーバにコピー
scp hoge.dump user@192.168.1.1:~/

3.import用のレポジトリ作成
mkdir /svn/hoge
svnadmin create --fs-type fsfs /svn/hoge

4.svnにimport
svnadmin load /svn/hoge < ~/hoge.dump

5.適当なディレクトリにsvnからgitにclone
mkdir ~/temp
cd /temp
git svn clone -s file:///svn/hoge

6.gitlabへ入れる
git remote add origin git@192.168.1.1:hoge.git
git push origin master
※先にgitlabからレポジトリを作っておく
※GitLabのなんかのユーザに鍵を設定しておく

GAEのbackendsからdefaultのインスタンスを呼びたかった

backendsで動いている処理からdefault queueにtaskをaddするとbackendsのインスタンスで動く事に今日気づいた。
後からaddしている処理はbackendsでは動かしたく無かったからどうすればいいのか調べたけどそれらしい記述が無かったのでメモ。

taskqueue.add(url=url, target='default')

targetにdefaultを指定するだけ。

BigQueryでRow larger than the maximum allowed size

適当にデータを入れていたら、Row larger than the maximum allowed sizeと言われた。
そう言えば最大っていくつなんだろうと思ってググったら64KBだそうな。
https://groups.google.com/forum/?fromgroups#!topic/bigquery-discuss/vGAtQ5Q3IE4

なんでもかんでも入れておけばいいというわけでも無さそう。

BigQueryのINTEGERでIS NULL

今度は数値で0と存在しないものを分けたかったが、
こっちもうまく行かなかった。勝手に0に変換されて返ってくる。
IS NULLがおかしいのかなと思って以下のようなクエリを試してみたら、
クエリ
SELECT NULL, IS_NULL(NULL), IS_NULL(col) FROM hoge
結果
null, true, false


前2つはちゃんと期待通り、colをis nullで見ている所は中身が0に変わっているので、falseになるっぽい。
ブラウザツールがおかしいのかもと思って、念のためGASからも実行してみたけど、同じだった。

BigQueryをGASで動かしてSpreadSheetに結果を書いたらtimeoutになった

あまり実行時間が長くなるとまずいらしい。
自分で書いたコードが、BigQueryが早いとは言え、
何本かクエリを実行せざるを得なくて、1分ぐらいはとられる。
なので、scriptの方でどうにかした。以下が詳しい。
http://stackoverflow.com/questions/7854573/exceeded-maximum-execution-time-in-google-apps-script

書き込み回数を減らす事だけで、解決した。
毎行ごとに書き込んでいた時はtime outになる事があったが、
500件ごとにしたら、Queryの実行時間+α位の所に落ち着いた。

BigQueryとSpreadSheetを連携する時の権限

SpreadSheetを共有してみんなで見れるようにしようとしたら、
権限が無いとエラーが出てスクリプトがうまく実行されなかった。
API Keyだけあればできるかと思っていたけど、
API自体の参照権限も必要だった。
これをつけたら問題無く共有したSpreadSheetでBigQueryのデータを取得出来た。
でもこうするとCloud Storageとか、他のも見れるようになるからなんだかむずがゆい。

BigQueryのSTRINGでIS NULL

BigQuery Browser ToolのPreviewで見ると「null」と表示されているSTRINGのデータに対して、IS NULLで評価しようとすると期待した値が戻ってこない。 = "" (空文字)だと期待通り。
Previewがおかしいのかどうかは分からないが、そのうちnullの扱いが変わったりしそうだから、nullを使うのを避けて、明示的に空文字にしておいた方が良さそう。
sampleのgithub_timelineでもそうなるから、データの問題ではなさそう。

BigQueryにservice accountでアクセス

Cloud Strage経由でimportするから、同じように扱いたかったから調べた。
これで出来た。
http://code.google.com/p/google-api-python-client/issues/detail?id=133