2017-02-21

運動を読み取る/フルダイブVR

真のVR/フルダイブ実現には「運動意図の読み取り」が必須だ.
これが実現すれば、現実世界でコントローラーを持たずに、仮想世界で生きることができる.
本記事では、最先端の科学でどこまで「運動(意図)の読み取り」が可能になったか紹介する.

内容

アメリカ BrainGate計画
- 2012 “reach and grasp” Nature
2013 “high-performance neuroprosthetic” LanCet
EEG quadcopter

記事を書く私への注意事項

EEGとか細胞外記録とかはあくまで「実現のための技術」である。
なので、それで分類しないように。

intra-Skeltal, human

2015. clinical translation of a high-performance neural prosthesis.

decoding法の改良による radial-8課題とcircle-tracking課題の成績向上
decoding: ReFIT-KF/recalibrated feedback intention–trained Kalman filter
“A high-performance neural prosthesis enabled by control algorithm design"にNHPでのReFIT-KF結果.
サプリに素晴らしい説明がついている雰囲気.
http://www.nature.com/neuro/journal/v15/n12/full/nn.3265.html
http://web.b.ebscohost.com.ez.wul.waseda.ac.jp/ehost/detail/detail?sid=ebe4409e-9da1-4b2b-96a0-cf01b807edf5%40sessionmgr112&vid=0&hid=128&bdata=Jmxhbmc9amEmc2l0ZT1laG9zdC1saXZl#AN=83621663&db=pbh
VKFのヒト結果は
"Neural control of cursor trajectory and click by a human with tetraplegia 1000 days after implant of an intracortical microelectrode array"に
http://iopscience.iop.org.ez.wul.waseda.ac.jp/article/10.1088/1741-2560/8/2/025027/meta;jsessionid=0969B6C05BA1E5F3987180155626F016.c3.iopscience.cld.iop.org#jne364722s2

VKFについて
“Point-and-Click Cursor Control With an Intracortical Neural Interface System by Humans With Tetraplegia"に http://ieeexplore.ieee.org.ez.wul.waseda.ac.jp/xpls/icp.jsp?arnumber=5703131
ただしこの論文はVKF+clickの論文

VKF自体については
Neural control of computer cursor velocity by decoding motor cortical spiking activity in humans with tetraplegia
http://iopscience.iop.org/article/10.1088/1741-2560/5/4/010/meta

posterior parietal cortex(PPC)からの信号がBMIに使えることのPoC

. decoding motor imagery from the posterior parietal cortex of a tetraplegic human.
http://www.sciencemag.org/content/348/6237/906.abstract

高いDoF

. high-performance neuroprosthetic control by an individual with tetraplegia.
DoFが7
http://www.thelancet.com/journals/lancet/article/PIIS0140-6736(12)61816-9/fulltext
. an electrocorticographic brain interface in an individual with tetraplegia.
http://journals.plos.org/plosone/article?id=10.1371/journal.pone.0055344
ECoG-BMIは手術中の簡易な評価で行われてきた？が、きちんと評価してみよう、とのことみたい？

かの有名な

. reach and grasp by people with tetraplegia using a neurally controlled robotic arm.
http://www.nature.com/nature/journal/v485/n7398/full/nature11076.html
BrainGate2臨床研究の一部だったはず。
. neuronal ensemble control of prosthetic devices by a human with tetraplegia.
http://www.nature.com/nature/journal/v442/n7099/abs/nature04970.html
The participant described in this report, the first in the BrainGate trial, …
BrainGate臨床研究の第1報告と思われる。
. Direct Control of a Computer from the Human Central Nervous System.
http://ieeexplore.ieee.org/xpl/login.jsp?tp=&arnumber=847815&url=http%3A%2F%2Fieeexplore.ieee.org%2Fiel5%2F86%2F18398%2F00847815
. Restoration of neural output from a paralyzed patient by a direct brain connection.
https://www.researchgate.net/publication/13618522_Kennedy_P_R_Bakay_R_A_Restoration_of_neural_output_from_a_paralyzed_patient_by_a_direct_brain_connection_Neuroreport_9_1707-1711

2017-02-14

spatial mappingの空間解像度を弄る

HoloLens AR/MR/VR 3D フルダイブ

HoloLensのspatial mapping空間解像度(spatial resolution)を弄る.
机の上の小物をmappingして欲しい、みたいなのがバックグラウンドにある.
Navigationで避けたりごにょごにょ

HoloLensはsuper high resolution用じゃないよ、的なこと書いてある.
HoloLens - Introduction to the HoloLens, Part 2: Spatial Mapping

HoloLens forumにもトピック立ってる.
forums.hololens.com

TrianglesPerCubicMeterが鍵とみた.

まだHolographic academyまともにやってないので、ひとまずそっちを触る所存.

2017-02-01

unity

3D AR/MR/VR フルダイブプログラミング

ぽちぽちしながら3Dアニメーション/ゲームが作れる.

開発言語

事実上、2種類.

哀しきBoo

BooというPython likeな言語があった.
2017-02-01現在、deprecatedではない.
しかし、消えつつある言語のよう.

Documentation

Default language for code snippets in the Scripting Reference is C#, with many more examples in C# available, with Javascript as a secondary language, and Boo removed.
unity3d.com

2017-01-26

ベーシックインカム試算と根拠

根拠

費用

○ 5万円/月
年間合計 76,185,758,400,000 円 (約76兆円/year)
総人口: 126,976,264 人 (2016-08確定値)
http://www.stat.go.jp/data/jinsui/pdf/201701.pdf

減る支出

多くの社会保障費
社会保障を実行/運営/監督する行政費
(時間)

社会保障

2017-01-21

空間的注意 / spatial attention

空間的注意

　脳はすべての感覚入力を等しく処理しているわけではなく、その一部だけを優先的に処理して外界の認知や行動の制御に用いている。このように感覚入力を選択し、処理を促進させる神経機構を注意（attention）という。注意は特定の感覚種（modality）や属性(attribute)に受動的、能動的に向けられる。例えば、オーケストラの特定の楽器の音色にだけ注意を向けることができるし、文字列の中から数字だけを選び出すことができる。また、視野内に不意に現れたボールに反射的に注意が向けられることもある。こうした属性のうち、特定の位置に向けられるものを空間的注意とよび、その神経機構と脳損傷による障害が主に視覚系を中心に詳しく調べられている。

　空間的注意は、空間上のある位置からくる感覚入力に対して、検出力・弁別力が高まる現象として知られている。また逆に、この機能が失われると特定の位置にある物体に気づくことができなくなる（半側空間無視の項を参照）。注意一般と同様に、顕著な刺激に対して受動的（外発的・ボトムアップ）に誘導される場合と、目的指向性に能動的（内発的・トップダウン）に誘導される場合がある。いずれの場合も、ある位置に注意を向けることで、そこに呈示された視覚刺激に対する神経応答が増強することが知られている。最近、眼球運動関連領域が注意のトップダウン信号を生成していることが示唆され、注目されている。
空間的注意 - 脳科学辞典

eye tracking

対象を指定する

今

ポインタをマウスで動かし(てクリック)

VR/AR/MR

ポインタを視線(eye tracking) / IRポインタで動かし(てクリック)

フルダイブ

現実と同様に腕を動かしてタップ(?)
=> 身体から解き放たれるのに、現実と同じようにやるの？

あくまで視野から出れない -> attentionは全方位にある(はず)

2017-01-19

HoloLensの開発 with javascript

3D javascript プログラミング AR/MR/VR フルダイブ HoloLens

JSでホログラムは創れる
(我ながらキャッチーな言葉)

HoloLensを始めとした、Windows Holographicでアプリを作成する.
嬉しいことに、javascriptでそれが可能なんです。
Windows Holographic

Windows Holographicsにおけるアプリ

Windows Holographicのアプリは2種類に大別される(はずなんだがどこで見た？文献ロストした)。

2D apps / 2Dアプリ Building 2D apps
holographic apps

2Dアプリは従来のデスクトップアプリに相当する。MR空間にウインドウが出現し、そこで平面のアプリが動く.
holographicアプリはまさしくホログラム, 3D.

Windows Holographicのアプリはそれ専用ではない

HoloLensはWin10デバイスである。
つまりほぼ全てのUWPアプリを2Dアプリとして利用できる (な、なんだってー！).

At its core, the HoloLens is a Windows 10 device; this means that the HoloLens is able to run almost all of the Universal Windows Platform (UWP) apps in the Store as 2D apps.
Building 2D apps

従来のWin10用デスクトップアプリをUWPアプリとして作成する.
そのUWPアプリをWindows Holographicへ2Dアプリとして持っていけるのだ.
さすがユニバーサル・ウインドウズ・プラットフォーム/UWP！

どうやってアプリつくるの

2Dアプリ

UWPアプリとして作ればOK.
UWPは複数の言語による開発をサポートしてる.
C# + XAMLとか。
その中になんと、javascript + HTML/CSSがある！
よって、JSで2Dアプリは作れる！(というかあらゆるWinプラットフォーム{デスクトップ・スマホetc}向けのアプリをJSで作れる！！)

holographicアプリ

さて、ホログラムはjavascriptでつくれるのか.
メジャーなholographicアプリの作り方はUnity, うん、Unityはすごい、ほんと.
そこで登場するのが、Microsoft謹製、
HoloJS ！！！

HoloJS

Provides a framework for creating holographic apps using JavaScript and WebGL.
github.com

これは Universal Windows Platform (UWP) アプリを開発するためのフレームワークです。
blogs.msdn.microsoft.com

オープンソース(MIT licence)
HoloJS/license.txt at master · Microsoft/HoloJS · GitHub

まだアセス中なので、なんとも言えないけど。
たぶん、こういう事.
javascript & webGL_API(js) -> Chakra_engine & ANGLE -> ??? + directX -> win holo

レポジトリのサンプルのぞいてきた.
app.jsにwebGL_APIを使ったコード(3Dオブジェクトを作るjsコード)が書いてある.
これをHoloJSが翻訳して、HoloLensでホログラム化してくれるみたい.

js & webGLが使えるということは…
この２つに乗っかってるライブラリが使える(のでは？)
たとえばThree.jsとか
webでのVRと、Windows HolographicでのMRが近づいてる感じがして、おらワクワクすっぞ

つまるところ、webGLでホログラフィック・アプリをガリガリつくれると.
(インタラクションとかのアプリ性はどうするんだろ？要アセス)

雑記

HoloLensが欲しくて情報集めしてたらこうなった、ドウシテコウナッタ.
~~(すぐに自分で買うけど)誰かHoloLens買ってください.~~
買った。すげえなこれ、世界が変わるわ.

雑記2

“ここ"に"実在する"んだ、決してホログラムなんかじゃない.
メガネをかけろ、ここにある！
原子の有無が実在を決めるんじゃない、メモリ内の電子を皆が共同幻想として見れば、それはもう実在なんだ.

おまけ

以下、調べ物おまけ

UWPについて

www.buildinsider.net

HoloLensについて

HoloLensはPC不要

HoloLensはスタンドアロン(PC接続不要)のホログラフィック・コンピュータである.

Microsoft HoloLens is the first fully untethered holographic computer running Windows 10. It is completely self-contained, with no wires, phones, or connection to a PC needed.
www.microsoft.com

プロセッサ

CPU/GPUに加え、Microsoft HPUを備えている.

Processors
Intel 32 bit architecture
Custom-built Microsoft Holographic Processing Unit (HPU 1.0)
In addition to the CPU/GPU, HoloLens comes with a Microsoft HPU. This custom silicon efficiently processes a large amount of data per second from the sensors. HoloLens understands gestures and where you look, and maps the world all around you, all in real time.
www.microsoft.com