技術的なこと
CIDR 2003SSDに対して、「神話」的に信じられていることが実はそうでもない場合があることを示唆している論文。 また、DBコミュニティに対して、SSDへのアクセスIFをOSのコミュニティが構築することになるだろうが、 そこへのコミットをしたほうが良いという…
自分のためのエントリというところがあるので、説明は最小限です。 本当にあらゆる分野での進歩が早いことを思い知らされる分野。 netstat // そのまま iostat // そのまま vmstat // そのまま free // そのまま iotop // そのまま slabtop // ページキャッ…
直前エントリのあおりで、はてなのパスワードを変えてみたら、何故かデフォルトでSSLが選択されていなかった。 うーん、よくわからないなあ。まあ、セキュリティは詳しくないんだけど、別にSSLをデフォルトにしても何も問題ないと 思うんだけど。と思って、…
なんか、とあるキーワードでやたらと参照があったみたいなんだけど、ブログエントリとそのキーワードには 関連性がまるでない。リンク先の結果を見ても全然関係ないのだけれど、一時的に検索結果に乗ったのかなあ？こういうのって、一瞬乗っ取られたのかと思…
http://lists.apple.com/archives/studentdev/2001/Apr/msg00299.html問題なく動作していたパーサが、ちょこまかと色々ソースをいじってコンパイルするとmultiple definition of 'main' が発生。何でそんなことになるか探してみると、上記のリンク先に回答が…
mallocのフラグメンテーションって、それなりに苦しむのですが、jemallocなるallocライブラリがあるんですね。http://www.mew.org/~kazu/material/2008-malloc.pdfフラグメンテーションの不思議さは、どこかでサチること。もちろん、変な使いたすればどこま…
久々にパーサ書いている。emacs のいい感じのモードが ないので、探してみると。;flex/bison (autoload 'flex-mode "flex-mode.el") (add-to-set! auto-mode-list '("\\.l$" . flex-mode) (autoload 'bison-mode "bison-mode.el") (add-to-set! auto-mode-li…
カラムストアにおいて、いつ最終的なRowを実体化するかについての トレードオフをまとめた論文。 late materialization という概念をとりいれている。 late materialization のメリットは、不必要なjoinを減らせることであるが、デメリットは、2回同じカラム…
これまで、私はミドルウェアのアーキテクトになりたいと思いながらがむしゃらにやってきました。その思いは、さらに強くなっていて、ありがたい事に今のところそういったキャリアを積めていると思う。日本発のミドルウェアで世界を席巻したい。
http://db.csail.mit.edu/projects/cstore/vldb.pdf:M. Stonebraker, "C-Store: A Column-oriented DBMS, " VLDB(2005).を読んでみてのメモ。 これまでは、DBMSでOLAP（キューブタイプ）をになっていたが、比較的複雑なアドホッククエリへのレスポンスタイム…
S. Idreos et al. "Database Cracking," CIDR(2007). メモ。 MonetDBプロジェクトのなかで生じた話。 そもそもインデックスを作成したりするのは、ユーザが自分の行うクエリについてよく知っている場合である。 OLAPでアドホッククエリを考えると、そもそも…
書きたいけど、かけないことが多くあるので、そのへんはちょっと悲しい。日本の情報産業を何とかして、輸出産業にしたいと思いながら、日々がんばっている今日この頃。
P. Selinger, et. al. "Access Path Selection in a Relational Database Management System," SIGMOD(1979). C-Storeで引用されていたクエリオプティマイザの話。読書メモ。多分、この論文がオプティマイザの礎と思う。古い。 System-RというIBMのRDMBの初…
うーん、read2ch.com - read2ch リソースおよび情報は、ちょっととんがりすぎてる気がするなあ。まあ、こそっと使われるより堂々としていていいけど、例えば、他人の著作物はおけないわけですよね。それはちょっと利用できないなあ。あやうく、DropBoxか…
sCOOP projectというのをちょっと見てみた。STREAMというストリーム処理エンジンプロジェクト率いていた教授のプロジェクトのひとつ。 Amazon Mechanical Turkといった人力系タスクの処理と最適化にフォーカスしている。 あるタスクが、自動的にはできない、…
ギジュ的でもなんでもない気がしますが、アップデートしたら連絡先が消えました。世の中には、似たような憂き目にあっている人が多いので、かなり色々試したけど、全部ダメ。うーん、充電がすぐに無くなる心配はしていたけど、まさかの連絡先クリア。
CS 4611 Home Pageを見て、勉強してみる。特に、Transaction Management。次は、http://www.d.umn.edu/~rmaclin/cs4611/notes/Ch17_CC.pdf。 衝突の順番が同じスケジュール？ 衝突の概念と定義がよくわからない。 依存関係グラフ ノードは、トランザクション…
CS 4611 Home Pageを見て、勉強してみる。特に、Transaction Management。まずは、http://www.d.umn.edu/~rmaclin/cs4611/notes/Ch16_Overview_Xacts.pdfから。 トランザクションとは？ そもそも、DBMSでのボトルネックはディスクへのアクセス。だから、複数…
最初、NetBSDという名前がかっこいいので、選択してディスクまで作成した後に、対応してないことを知る。次に、若干対応しているFreeBSDのamd64のイメージディスクを作成して、インストール使用としようとしたら、なんかディスク領域がデカすぎみたいなエラ…
今、SQLiteのソースを読んだりしているのだが、ふと、昔のソースはどんなだったかが知りたくなったので、探しているとhttp://www.fossil-scm.org/index.html/doc/trunk/www/index.wiki:Fossilなる分散CVSを使っていることをが分かった。なんかもう、最近色々…
port日記:macport死んでた - fu7mu4’s diaryで記述されていることと同じように、bsdtarのCPUが極端に高いままselfupdateが終わらない状況になりました。前記のブログを見る限り良いことなさそうなので、プロセスをkillしました。んで、多分portsの状態がおか…
前回のエントリでちょっと気になったことがある。http://research.yahoo.com/Web_Information_Management/YCSBにおいて、HBaseに対するベンチマークをかけるときに、AutoFlushがonなのか、否か。ちょっとYCSBを見てみると、HBaseClient.java L108に、以下の…
HBaseのクライアントが書き込みを行った時に、読み込み可能になるのはいつなのかというのが気になってきたので、調べてたらApache HBase – Apache HBase (TM) ACID Propertiesにバッチリなページを発見したので読んでみることにした。 ACID定義 Atomicity:オ…
gets, sprintf, strcat, strcpy, vsprintfなど危ない関数がありますが、バッファオーバーランを気おつけるべき関数は他にないのかなという感じで、google先生にお伺いを立ててみると、なんかものすごいまとまっているサイト発見6-2. バッファオーバーラン そ…
Your Ideal Performance: Consistency Tradeoff | DataStaxにとても面白い記事が載ってます。Cassandraでは、一貫性(データ工学の文脈ではなく、CAP定理のConsistencyの意味)のレベルを変更できて、CAP定理で言うところの、CP(Bigtable)CA(Dyanamo)を行き来…
このエントリは、H-Storeのプレゼン資料 - kuangue’s blogに対して付いたブックマークに、 トランザクションメモリ？ OLTP向け高速化？ Vertica入ってるし。というコメントが付いていたので、 H-Store(=>VoltDBとしてスピンアウト) C-Store(=>Verticaとして…
SQLiteの内部を見てみたときのメモというエントリ([前回は、Pager.c を読んでみる (1) - kuangue’s blog)。今回は、pagerPlaybackSavepoint()という関数の中身を追って見る。この関数は、pageに対するrollbackを行うときに呼び出されるとのこと。pSavepoint…
なぜか、CPU100%を使っているようで、アプリケーションではないようだからリソースモニタで見てみると、stacsv.exeが95%以上使ってる。グーグル先生に聞いてみると、wimblog » stacsv.exe？経由で http://h10025.www1.hp.com/ewfrf/wc/genericSoftwareDownlo…
http://h10032.www1.hp.com/ctg/Manual/c01597750.pdfに、分解するための資料があった。キーボードにお茶がかかったので、緊急停止、基本的に分解して乾かしたら、とりあえず、なんとか動作してる。よかった。それにしても、最近のノートパソコンは、ノリで…
何から、これを見てみたいと思ったか忘れたけど、Object Storage on CRAQ - USENIX 2009 - Part 1/3 - YouTubeにビデオ見てみたので、その時のメモ 背景 Eventual Consistencyはスループットが出せるが、アプリ開発者はこれまでと違うプログラミングを強いら…
