(U)
2012 SPACES / 空間 Museum of Contemporary Art Tokyo

(U) is an Audio / Visual Installation involving you and your iPhone. By the simple act of plugging in your phone, private data, including GPS coordinates of where you've been and photos, are "syphoned" into the system and visualized on the iPad. We tend to forget what our phones do not, (U) attempts to remind the participate of this while making your data momentarily public in the gallery space.

(U)は観る人とその人のiPhoneを巻き込む形で展開するオーディオ ビジュアル インスタレーション。自分のスマートフォンをプラグインするだけで、GPS座標、位置情報の履歴、写真といったの個人のデータがシステムに吸い上げられ、iPad上に視覚化されます。我々は得てして自分のスマートフォンが記憶していることを忘れがちです。(U)では個人データをギャラリーという場で一時的に公にすることによりその事実を思い起させようと試みました。

Shown at the Bloomberg Pavilion, designed by Akihisa Hirata, for the MOT.



   



   



   



   

Why I made this piece

At Qosmo we are constantly working on apps for smartphones. For iOS or Android, for an advertisement campaign or product, we try to push the boundaries of the device and what consumers expect. As developers we are acutely aware of the information we have access to, and could potentially use to hone advertisement campaigns.

Qosmoはスマートフォン向けアプリの開発に日々取り組んでいます。iOSやアンドロイドに関しても、また広告キャンペーンや製品開発に関しても、スマートフォンの既成概念や消費者の予想を超えるようなものを制作しようと心がけています。だからこそ、開発者として、自分たちがアクセスできる情報がどのようなものなのかを日頃から強く意識しており、且つ、そういったデータを使って手がける広告キャンペーンに更に磨きをかけることができないか、常に考えています。

Smart phones (iPhone, Android, etc.) have changed how we store data. Think back to the heyday of analog phones. Your contact list was an address book or rolodex, singular and usually stationary. The storage medium was paper, difficult to gain free physical access to and time consuming to copy in bulk. Now our contact lists are digital, saved on our phones, synced to our computers and stored in the cloud. If you lose or upgrade your phone, don't worry, all your data will be restored from the cloud. In essence, our data - our phones' memories, so to speak, have been extended beyond their physical instantiations. Beyond the address book they store our music, email, when we ran (if you use Nike gear), photos, and even more importantly, GPS data. Our phones are an abbreviated, punctuated version of our lives. In making (U) we hope to remind the visitor how interwoven our lives and smartphones have become.

iPhoneやアンドロイド等のスマートフォンはデータ管理方法そのものに変革をもたらしました。アナログ電話の時代を思い出してみてください。連絡先リストは住所録やローロデックス(名刺ファイラー)で管理されていました。こういったものはスタンドアローンで往々にして動かすことができないものでした。また、紙媒体を使用しており、手元になければ実際に見ることはできませんでしたし、書き写すには相当な時間がかかりました。現在、連絡先リストはデジタル化され、スマートフォンに保存されつつ、PCとも同期化され、大元はクラウドに格納されるようになりました。もしスマートフォンを紛失したり、アップグレードしたりしても、クラウドから新しい機器にデータを保存し直せば良いだけなので、簡単です。端的に言うと、私達のデータ、つまり、我々のスマートフォンの記憶とでも呼べるものは、その物理的な形態を超越するのです。連絡先リストだけでなく、音楽、eメール、(ナイキフュールバンド等を利用している場合は)ランニング記録、写真、それ以上に重要なGPS位置情報まで保存しています。いわば我々の生活そのものに区切り目を入れ、省略化したのがスマートフォンなのです。ギャラリーに訪れた人に生活とスマートフォンがどれだけ密接に絡み合っているかを想起してもらいたいと考え(U)を制作しました。

The second chord we hope to strike upon came from asking ourselves these questions: If our phones could talk about us, what would they say? If they had personalities would they come to resemble a digital version of ourselves like the caricatures of pets and their owners? If ten years from now we die and our children or grandchildren (or those we don't know) look through our phones will our personality pervade through the device?

また、自分にいくつかの質問を投げかける中で、ふたつめの観点が浮かび上がってきました。もし、スマートフォンが持ち主について語れるとしたら何を語るだろう。もし、スマートフォンにそれぞれ性格があったとしたら、スマートフォンは、まるでペットと飼い主の似顔絵のように、持ち主のデジタル版生き写しのようになるのだろうか。或いはもし、10年後に私達が死に、子供や孫(はたまたそれ以外の知らない人たち)がスマートフォンの中身を見たら、そこから持ち主の性格や特徴を読み取ることはできるのだろうか。

The most visceral experience of art occurs when it connects to something deep within our psyche.

我々の根底を揺さぶるような強烈なアートエクスペリエンスは芸術作品と精神がつながった時に訪れます。

There is also something romantic in the notion that the viewer must participate in the work to complete it. Akihisa Hirata designed a beautiful pavilion for the Museum of Contemporary Art Tokyo, where (U) was displayed. We focused our attention on how we could connect the space and (U) to the viewer. The answer was simple: through the data on visitors phones.

鑑賞者がアートに参加することによって初めて作品が完成するという考え方はどこかしらロマンティックでもあります。平田晃久氏が手がけた東京都現代美術館の美しいパヴィリオンに(U)は展示されました。我々はこの空間と(U)をどのように観る側と繋げられるかを考えました。至った答えはシンプルなものでした。鑑賞者のスマートフォン上のデータを介する、というのが編み出した答えでした。

A pedestal was designed and placed in the center of the space. Out of its center snakes an iPhone cable, its head resting listlessly, beckoning a mate. On the wall in front of the pedestal is an iPad, seemingly floating on the wall. (U), white text on a black screen, is matter-of-factly displayed. Without a participate the piece is a motionless monolith. Once the cable finds a mate, the piece comes alive.

スペースの中心に台座があり、その台座からiPhoneケーブルがニョロリと出ています。その先端にはヘッドが横たわっていて、プラグインされるiPhoneをやる気のない表情で待っています。台座の前の壁面にはぽかりと宙に浮かぶようにiPadが置かれ、(U)はブラックスクリーンに白文字という無味乾燥なスタイルでディスプレイされます。観る人の参加なしではこの作品は単なる動きのないモノリスです。ケーブルがiPhoneという相棒を見つけて初めて作品に命が吹き込まれるのです。

As if awakened, sound fills the space. Taeji Sawai (partner at Qosmo, sound artist, known for collaborating with the Boredoms and Daito Manabe) created the sound for (U) which is integral to the experience. First data is sucked into the monolith. The visualization begins with GPS coordinates, dates and specific addresses (in Japanese) of where you've been. In its second stage photos are mixed in, and finally the piece crescendos with a rapid fire display of photos. (U) ends with the iPad reminding you, 'Do you remember that day? I'll never forget'.

まるで眠りから覚めたように音楽が空間を満たします。(U)のサウンドは澤井妙治氏(Qosmoパートナー。ボアダムズや真鍋大度氏とのコラボレーションで知られるサウンドアーティスト)が手がけました。このサウンドも作品体験における必要不可欠な要素です。まず、はじめにモノリスにデータが吸い上げられます。GPS座標情報, 日付、日本語での訪問履歴が視覚化されます。徐々にiPhoneに保存されていた写真が組み込まれていきます。そして終盤にかけて写真がかわるがわる高速でディスプレイされ、最後に「あの日のこと覚えている?ぼくは忘れられない。」というフレーズがiPad画面に浮かび上がり、(U)は完了します。

By showing specific addresses of where the viewers had visited, we attempted to remind them of the depth of information stored on their phones. By then making this, and their photos viewable in the gallery the participant became a part of the piece, but more importantly those attentively watching suddenly had a voyeuristic window into a strangers life. This was potentially humorous, revealing and embarrassing.

過去に訪れた具体的な住所を開示することによって、自身のスマートフォンに保存されている情報の深さについて思いを馳せてもらいたいと考えました。訪問先履歴と写真をギャラリーという空間で公開することによって、参加者は作品の一部となります。しかしそれより重要なのは、積極的に鑑賞しているその他の人々が他者の生活を覗き見る小窓を手に入れられるという点です。これは時に愉快な体験になったり、事実を露見するようなことになってしまったり、はたまた恥ずかしい経験になったり・・・

The photos displayed are random, and some visitors ripped out the cable suddenly reminded of 'something' they may not want seen (there is a warning on the plate introducing (U)). With (U) one can remove the cable to stop the piece, but on the web we are unable to fully track or control how all our data spreads through the ether. By using 'free' sites such as Facebook or Twitter we are sharing access to our data in exchange for a service. (U) is an attempt to remind us of forgotten details embedded in our data (such as addresses) and how we are often unaware of how they may be viewed, 'mined' or distributed.

ディスプレイされる写真は無作為に選ばれます。参加者の何名かは途中で急にケーブルを引き抜いてしまいました。きっと人に見られたくないなにかがあることを思い出したのでしょう。((U)の紹介プレートにはちゃんと注意書きがあったのですが。)(U)は、ケーブルを引き抜くことによって止めることができますが、ウェブの世界では自分のデータを完全にトラッキングすることも、拡散していくのをコントロールすることもできません。Facebookやツイッターなどの無料サイトの利用は、サービスと引き換えに個人データへのアクセスを他者に付与することになります。データに組み込まれた(住所のような)忘れ去られた細かい情報を思い出してもらい、そのような情報が閲覧され、掘り起こされ、流通するかも知れないという我々が忘れがちな事実を想起する契機になればと考えていました。

Being in the space and watching visitors reactions to (U) from a distance was fascinating. Some were hesitant to expose their data while their friends were present, but curious enough to come back later alone. Watching people use (U) offered a glimpse into personalities: did they relish the attention? Or as soon as the photos started popping up get the jitters and rip out the cable? As I've noticed with the expression of personal biometric data (like the Butterfly Dress) viewing ones photos through (U) gives a new impression of familiar data.

この空間の中で、観る人の(U)への反応を遠くから眺めるのは非常にワクワクする体験でした。友人の前で自分のデータを開示することを躊躇った鑑賞者の中には後でわざわざ一人で戻ってきた人もいました。また、人々が(U)を使用するところを観察することで、彼らの性格の一片を垣間見ることもできました。注目を楽しんでいるのか。あるいは、写真画像が出現した途端、そわそわしてケーブルを引っこ抜くのか。(U)を通して写真を見るという行為は、既視の情報に新しい印象を与えるのです。バタフライドレスのバイオメトリックスデータ表現と同様に参加者の顔を眺めていて、そう感じました。

On the unexpected side I imagined most people had GPS tagging enabled. Apple asks the user whether to enable location services the first time the device is turned on after purchase. I don't know the exact number, but I'd say close to half of the visitors had it turned off. Often, they weren't even aware of this fact, as it had been enabled later on a per app basis (iOS asks you each time a new app requests location data, and is enabled only for that app). I imagine different cultures have varying degrees of openness in regards to enabling location based services.

当初、私は大半の人がGPS追跡機能をオンにしているだろうと予想していました。なぜならアップルは機器購入後初めて電源を入れる際に位置情報サービスをオンにするかユーザーに確認するからです。無意識にYES=オンとする方が殆どではないかと思っていました。しかしながら、具体的な人数はわかりませんが、参加者の半数程度がGPS追跡機能をオフにしていました。多くが、その事実すら認識していませんでした、各アプリ利用のためにオンにしたとき初めて気づいた人もいたようです。(iOSは、新しいアプリが位置情報を要求する場合毎回ユーザーの許可をとります。ユーザーが許可する場合、位置情報はそのアプリにのみ適用されます。)位置情報へのアクセスを前提とするサービスの利用に関して言うと、情報開示に対する考え方が文化によって異なるのかもしれません。

Given the timeline to complete the project (weeks), and the space (museum funded by tax revenue) the scope of data we could use was limited. In future versions we plan to delve deeper, more starkly posing questions about private data in public spaces. I am also particularly interested to see how various cultures (New York vs. Berlin vs. Shanghai) react to the piece.

数週間でプロジェクトを完成させなくてはいけなかったため、また税金によって建設された美術館であったため、利用できるデータ範囲は限定されていました。将来的には公の場における私的データに関しての問題提起をより深く、そしてより赤裸々な表現方法で行っていきたいと考えています。個人的に他の文化圏(ニューヨーク、ベルリン、上海等の地域)がこの作品にどう反応するかにも興味があります。

(U) is a robust patchwork of custom software. To explain the pieces I'll start from the plugging in of the iPhone. A daemon monitoring USB connections detects that an iPhone was connected and mounts the device as if it were another file system. Once the iPhone is accessible another program launches and inspects the phones contents, determining if there are enough photos or GPS data to visualize (U). At the same time a message is sent to the iPad via OSC telling the (U) app that a device has been connected and to start playing music. Speakers are embedded into the pedestal for superior sound quality.

(U)はカスタム ソフトウェアを組み合わせた荒削りなパッチワークです。はじめにiPhoneをプラグインする段階について説明します。USB接続を常時モニタリングしているデーモンがiPhoneが接続されたことを感知し、あたかも別のファイルシステムかのようにマウントします。iPhoneがアクセス可能になると別プログラムが起動し、(U)の視覚化に十分なだけの写真画像やGPS情報が入っているか、スマートフォン内のコンテンツを調べます。同時にOSCを通じてアプリケーションにデバイスが接続されたことがiPadに伝達され、音楽が鳴りはじめます。より高品質な音を実現するため、台座にスピーカーが内蔵されています。

The core of (U) runs on a MacBook Air inside the pedestal and is written in openFrameworks (c++). Several programs do different tasks during the initial loading phase: extracting GPS data (bash), reverse geocoding (PHP, lookups are cached to keep query count low), photo resizing / downsizing (c). The MacBook Air and iPad communicate wirelessly via OSC, and the iPad app is written in objective-c. Everything except for the iPad app is written to be instance based; once the iPhone is removed all the instances die, are restarted, and any saved data is deleted.

(U)の核となる部分は台座内のMacbook Airによって動作しており、openFrameworks(C++)で書かれています。初期ローディング段階では複数のプログラムが異なるタスクを行います。GPS情報の抽出はbash、逆ジオコーディングはPHP(クエリ数を低く保つためlookupはキャッシングされます)、写真のリサイズ及びダウンサイズはC、といった具合です。Macbook AirとiPadはOSCを通じてワイヤレスで交信し、iPadアプリがobjective-cで書かれます。iPadアプリ以外はすべてインスタンスベースなので、iPhoneが台座から外されると、全部のインスタンスが消滅し、再起動しますので、保存データはすべて削除されます。

(U) also has a small red button. In installation environments, anything and everything that could possibility go wrong will; machines need to be restarted. The iPad app is easy: kill the app and restart it. The MacBook Air on the other hand, is hidden in the pedestal. So in case something goes wrong (which it will when you're dealing with low level device communications where the cable is suddenly removed while data is being copied) the gallery staff can just hit the red button.

また、(U)には小さな赤いボタンがついています。インスタレーションの設置環境では考え得るすべての不具合が実際に生じてしまうものですので、機材には必ず再起動が必要になります。その点を考えると、iPadアプリはとても扱いやすいのです。問題が起きればアプリを強制終了し、また再起動すればいいからです。一方で、MacBook Airは台座に隠されていますから、なにか不具合が起きたら(そしてデータコピー時に突然ケーブルが引き抜かれるような状況で低レベルデバイスの交信を実施している時は大抵なにかがおかしくなるのですが、)ギャラリー関係者が赤いボタンを押せば簡単にトラブルを解決できます。