HTML5 Webook

15/102

知条件下における脳機能の解明を目指すものである。このため、基礎から応用までのステップが比較的少なく、学術及び社会実装の両面において多様な展開を見据えた研究が可能である。例として、本稿では主にfMRIを用いた脳活動計測の成果について述べたが、同様の枠組みは侵襲的計測手法（手術等を必要とするが、より詳細な活動計測や刺激が行える手法）と組み合わせることが可能である。これにより、脳情報伝達の基本単位である神経細胞単位の情報表現の解明[17]や、頭蓋内埋め込み電極を用いたBMIの実現等の臨床応用を目指す研究[18]を並行して推進している。また眼球運動等の各種行動・生理指標と脳情報の関係性を調べる[19][20]ことで、物理的な感覚入力とヒトが感知する知覚内容の乖離に関する脳内メカニズムの解明等に関する研究も進めている。これらの試みは、将来的には簡易的な生理指標から脳情報を推定する技術等の応用につながる可能性がある。また多様な個性や趣味嗜好を脳機能面から理解するため、音楽や絵画等の芸術面に着目した脳情報表現を解明する研究も進めている[21]。さらには、本稿で紹介した符号化・逆符号化モデルは、深層学習や再帰的ネットワークといった近年進展が著しい人工知能技術との融合的活用が可能である[4][22]。今後も関連分野の進展を逐次取り入れることで、より高次の脳機能の定量理解、またその知見を利用した応用等、多様な展開を見据えた研究を推進する。【参考文献【1J.L. Gallant, S. Nishimoto, T. Naselaris, and M.C.K. Wu, “System identification, encoding models and decoding models: a powerful new approach to fMRI research,” In Kriegeskorte N and Kreiman G (eds.), Visual Population Codes (pp.163-188), Cambridge: MIT press., 2011.2S. Nishimoto, “エンコーディングモデルを用いた視覚情報処理研究：情報表現，予測，デコーディング” 日本神経回路学会誌, vol.19, pp.39-49, 2012.3S. Nishida, and S. Nishimoto, “Decoding naturalistic experiences from human brain activity via distributed representations of words,” NeuroImage, 2017, http:// dx.doi.org/10.1016/j.neuroimage.2017.08.017.4E. Matsuo, I. Kobayashi, S. Nishimoto, S. Nishida, and H. Asoh, “Generating natural language descriptions for semantic representations of human brain activity,” Proceedings of the ACL 2016 Student Research Workshop, pp.22-29, 2016.5T. Naselaris, C.A. Olman, D.E. Stansbury, K. Ugurbil, and J.L.Gallant, “A voxel-wise encoding model for early visual areas decodes mental images of remembered scenes,” Neuroimage, vol.105, pp.215-228, 2015.6T. Naselaris, K.N. Kay, S. Nishimoto, and J.L. Gallant, “Encoding and decoding in fMRI,” Neuroimage, vol.56, no.2, pp.400-410, 2011.7R.C. Fong, W.J. Scheirer, and D.D. Cox, “Using human brain activity to guide machine learning,” Scientific Reports, vol.8, no.1, Article 5397, 2018.8K. Patterson, P. J. Nestor, and T. T. Rogers, “Where do you know what you know? The representation of semantic knowledge in the human brain,” Nature Reviews Neuroscience, vol.8, no.12, pp.976-987, 2007.9T. Mikolov, K. Chen, G. Corrado, and J. Dean, “Distributed representa-tions of words and phrases and their compositionality,” Advances in Neural Information Processing Systems, vol.26, pp.3111-3119, 2013.10S. Nishida, A. G. Huth, J. L. Gallant, and S. Nishimoto, “Word statistics in large-scale texts explain the human cortical semantic representation of objects, actions, and impressions,” 45th Annual Meeting of the Society for Neuroscience, 333.13, 2015.11A. G. Huth, S. Nishimoto, A. T. Vu, and J. L. Gallant, “A continuous semantic space describes the representation of thousands of object and action categories across the human brain,” Neuron, vol.76, no.6, pp.1210-1224, 2012.12S. Nishida, A. G. Huth, J. L. Gallant, and S. Nishimoto, “Voxelwise modeling with distributed word representations reveals the similarity and dissimilarity of semantic structures between a large-scale text corpus and the human brain,” 第39回日本神経科学大会, I-139, 2016.13A. G. Huth, T. Lee, S. Nishimoto, N. Y. Bilenko, A. T. Vu, and J. L. Gallant, “Decoding the semantic content of natural movies from human brain activity,” Frontiers in Systems Neuroscience, vol.10, Article 81, 2016.14S. Nishida and S. Nishimoto, “A brain-mediated computational model to estimate perceptual experiences evoked by arbitrary naturalistic visual scenes,” Vision Science Society Annual Meeting 2018, 33.347, 2018.15K. Simonyan and A. Zisserman, “Very deep convolutional networks for large-scale image recognition,” ICLR, 2015.16U. Güçlü and M. A. J. van Gerven, “Deep neural networks reveal a gradient in the complexity of neural representations across the ventral stream,” Journal of Neuroscience, vol.35, no.27, pp.10005–10014, 2015.17K. Ikezoe, M. Amano, S. Nishimoto, and I. Fujita, “Mapping stimulus feature selectivity in macaque V1 by two-photon Ca2+ imaging: Encoding-model analysis of fluorescence responses to natural movies,” NeuroImage, 2018, http:// dx.doi.org/10.1016/j.neuroimage.2018.01.009.18R. Fukuma et al., “Decoding visual stimulus in semantic space from electrocorticography signals,” IEEE International Conference on Systems, Man, and Cybernetics (SMC), accepted, 2018.19S. Nishimoto, A.G. Huth, N.Y. Bilenko, and J.L. Gallant, “Eye movement-invariant representations in the human visual system,” Journal of Vision, vol.17, no.1, Article 11, 2017.20H. Yamaguchi, S. Nishida, and S. Nishimoto, “An encoding model re-veals spatiotemporal specificity of eye-related effects during natural vi-sion,” Cosyne 2018, III-35, 2018.21T. Nakai, N. Koide-Majima, and S. Nishimoto, “Encoding and decoding of music-genre representations in the human brain,” IEEE International Conference on Systems, Man, and Cybernetics (SMC), accepted, 2018.22C. Fujiyama, I. Kobayashi, S. Nishimoto, S. Nishida, and H. Asoh, “A study on a correlation between a predictive model of motion pictures imitating the predictive coding of the cerebral cortex and brain activity,” 第31回人工知能学会全国大会, 2K3-OS-33a-1in2, 2017.西本伸志 （にしもと　しんじ）脳情報通信融合研究センター脳情報通信融合研究室主任研究員博士（理学）神経生理学、認知神経科学、脳情報デコーディング西田知史 （にしだ　さとし）脳情報通信融合研究センター脳情報通信融合研究室研究員博士（医学）認知神経科学、脳情報デコーディング、ニューロマーケティング112-1　視覚と認知をつかさどる脳機能の定量的理解とその応用に関する研究