SOINN：Self-Organizing Incremental Neural Network

このページでは，東工大長谷川修研究室で独自に開発した、ノイズに強く、追加学習可能なオンライン教師なし学習手法である自己増殖型ニューラルネットワーク（SOINN：Self-Organizing Incremental Neural Network）についてご紹介します．

大幅に性能改善した第2世代 SOINN を、「人工脳SOINN」として合同会社 長谷川研究所（東工大発ベンチャー）にて商業化しております。ぜひ、御活用ください。

SOINN とは？

自己増殖型ニューラルネットワーク（SOINN）は，Growing Neural Gas（GNG）と自己組織化マップ (SOM) を拡張した，追加学習可能なオンライン教師なし学習手法です．

具体的には，非定常（動的に形状が変化する）で，かつ複雑な形状を持つ分布からオンラインで得られる入力に対して，ネットワークを自己組織的に形成し，適切なクラス数と入力分布の位相構造を出力することができます．

また，事前にネットワークの構造を決定する必要がないほか，高いノイズ耐性を有し，計算が軽いなどの特長があります．

そのため，SOINNは特に実世界のデータ処理に有効であり，画像や音声などのパターンの学習・認識や，実環境でオンライン・リアルタイムに稼働する知能ロボットなどに効果的に活用できます．

これまでの発表文献

1. 博士論文
   • Shen Furao, “An Algorithm for Incremental Unsupervised Learning and Topology Representation”, Ph.D Thesis, Tokyo Institute of Technology, (2006) [PDF]
     
     View more presentations from Tokyo Institute of Technology
2. SOINN チュートリアル
   • Furao Shen and Osamu Hasegawa, "Self-organizing Incremental Neural Network and its Applications", Tutorial, International Joint Conference on Neural Networks (IJCNN 2009) [スライド資料]
     ABSTRACT
     What is SOINN? The SOINN is an unsupervised online-learning method, which is capable of incremental learning, based on Growing Neural Gas (GNG) and Self-Organizing Map (SOM). For online data that is non-stationary and has a complex distribution, it can approximate the distribution of input data and estimate appropriate the number of classes by forming a network in a self-organizing way. In addition, it has the following features: unnecessity to predefine its network structure and high robustness to noise. Thus, we consider the SOINN to be a very efficient method for real-world applications.
3. Original SOINN
   • Furao Shen and Osamu Hasegawa, "An Incremental Network for On-line Unsupervised Classification and Topology Learning", Neural Networks, Vol.19, No.1, pp.90-106, (2006) [PDF]
     ABSTRACT
     This paper presents an on-line unsupervised learning mechanism for unlabeled data that are polluted by noise. Using a similarity thresholdbased and a local error-based insertion criterion, the system is able to grow incrementally and to accommodate input patterns of on-line nonstationary data distribution. A definition of a utility parameter, the error-radius, allows this system to learn the number of nodes needed to solve a task. The use of a new technique for removing nodes in low probability density regions can separate clusters with low-density overlaps and dynamically eliminate noise in the input data. The design of two-layer neural network enables this system to represent the topological structure of unsupervised on-line data, report the reasonable number of clusters, and give typical prototype patterns of every cluster without prior conditions such as a suitable number of nodes or a good initial codebook.
     
     View more presentations from Tokyo Institute of Technology
4. E-SOINN
   • Furao Shen, Tomotaka Ogura and Osamu Hasegawa, "An enhanced self-organizing incremental neural network for online unsupervised learning", Neural Networks, Vol.20, No.8, pp.893-903, (2007)
     ABSTRACT
     An enhanced self-organizing incremental neural network (ESOINN) is proposed to accomplish online unsupervised learning tasks. It improves the self-organizing incremental neural network (SOINN) [Shen, F., Hasegawa, O. (2006a). An incremental network for on-line unsupervised classification and topology learning. Neural Networks, 19, 90–106] in the following respects: (1) it adopts a single-layer network to take the place of the two-layer network structure of SOINN; (2) it separates clusters with high-density overlap; (3) it uses fewer parameters than SOINN; and (4) it is more stable than SOINN. The experiments for both the artificial dataset and the real-world dataset also show that ESOINN works better than SOINN.
   • 小倉和貴，申富饒，長谷川修：“オンライン教師なし分類のための追加学習手法”, 電子情報通信学会論文誌, D Vol. J90-D, No.6, pp.1610-1622 (2007) [PDF]
     ABSTRACT
     オンライン教師なし学習手法であるSelf-Organizing Incremental Neural Network (SOINN) (Shen & Hasegawa, 2006) を改良した新しい手法として，Enhanced-SOINN (ESOINN) を提案する．ESOINN はSOINN のもつオンライン教師なし学習の機能を失うことなく追加学習を可能とした．改良点は以下のとおり である．(1) 二層構造で学習を行うSOINN に対し，一層構造による学習が可能である．(2) 分布に高密度の重 なりをもつクラスを分離できる．(3) SOINN と比べて少ないパラメータで動作する．(4) SOINN と比べて安定 性が高い．人工データ及び実データを用いた実験により，ESOINN はSOINN より優れていることを示す．
     
     View more presentations from Tokyo Institute of Technology
5. SOINN-NN（超高速・超高圧縮最近傍探索手法）
   • Furao Shen and Osamu Hasegawa, "A Fast Nearest Neighbor Classifier Based on Self-organizing Incremental Neural Network", Neural Networks, Vol.21, No.10, pp1537-1547, (2008)
     ABSTRACT
     A fast prototype-based nearest neighbor classifier is introduced. The proposed Adjusted SOINN Classifier (ASC) is based on SOINN (self-organizing incremental neural network), it automatically learns the number of prototypes needed to determine the decision boundary, and learns new information without destroying old learned information. It is robust to noisy training data, and it realizes very fast classification. In the experiment, we use some artificial datasets and real-world datasets to illustrate ASC. We also compare ASC with other prototype-based classifiers with regard to its classification error, compression ratio, and speed up ratio. The results show that ASC has the best performance and it is a very efficient classifier.
   • 神谷祐樹，申富饒，長谷川修, "自己増殖型ニューラルネットワークを用いたプロトタイプ生成による高速最近傍識別", 電子情報通信学会論文誌, Vol. J90-D, No. 11, pp. 3000-3013, (2007) [PDF]
     ABSTRACT
     本論文では，プロトタイプに基づく高速識別器の構成手法，Adjusted SOINN Classifier（ASC） を提案する．提案手法は自己増殖型ニューラルネットワーク，adjusted SOINN に基づいている．提案手法は， 識別境界の決定に必要なプロトタイプ数を自律的に学習し，追加的な学習データに容易に対処することができる． また，ノイズの影響を受けたプロトタイプを削除可能であり，ノイズの多い学習データに対しても頑健に学習可 能である．更に，識別に不要なプロトタイプを削除し，高速識別器を構成することが可能である．独自に作成し た人工データセットを用いた実験により，提案手法の学習の性質を示した．また，UCI データセットを用いた実 験を行い，従来の様々なプロトタイプに基づく識別手法と比較した結果，ASC が最も高い識別性能を達成し，プ ロトタイプ削減効率も高い能力を示した．
6. SOINN-DP（オンライン・追加学習可能な時系列パターン認識手法）
   • 岡田将吾，長谷川修，“自己増殖型ニューラルネットワークを用いた時系列パターンの学習・認識”, 電子情報通信学会論文誌, D Vol.J91-D, No.4, pp.1042-1057 (2008) [PDF]
     ABSTRACT
     本研究では，オンライン教師なし学習手法であるSelf-Organizing Incremental Neural Network (SOINN) を用いて各状態の出力分布を自己組織的に近似可能な時系列データの学習モデルを提案する．提案手法 は従来手法であるストキャスティックDP 法[12] を拡張した新規の手法である．ストキャスティックDP 法では 各状態を一つの多次元正規分布で近似しているのに対し，提案手法では各状態の出力分布がSOINN によって自 己組織的に近似される上，各状態の出力分布が詳細に近似されるため，時系列データの頑健なモデル化が可能と なる．提案手法の有効性を検証するために，動画像から得られる動作及び音素を用いた認識実験を行った．HMM (Hidden Markov Model) 及びストキャスティックDP 法と認識精度を比較することで提案手法の有効性を示す．
7. SSA-SOINN（オンライン・追加学習可能な半教師あり能動学習手法）
   • Furao Shen, Hui Yu, Keisuke Sakurai and Osamu Hasegawa, “An incremental online semi-supervised active learning algorithm based on self-organizing incremental neural network”, Neural Computing & Applications, Springer London, pp.1-14, (2010)
     ABSTRACT
     An incremental online semi-supervised active learning algorithm, which is based on a self-organizing incremental neural network (SOINN), is proposed. This paper describes improvement of the two-layer SOINN to a single-layer SOINN to represent the topological structure of input data and to separate the generated nodes into different groups and subclusters. We then actively label some teacher nodes and use such teacher nodes to label all unlabeled nodes. The proposed method can learn from both labeled and unlabeled samples. It can query the labels of some important samples rather than selecting the labeled samples randomly. It requires neither prior knowledge, such as the number of nodes, nor the number of classes. It can automatically learn the number of nodes and teacher vectors required for a current task. Moreover, it can realize online incremental learning. Experiments using artificial data and real-world data show that the proposed method performs effectively and efficiently.
   • 桜井啓介，神谷祐樹，長谷川修, "競合型ニューラルネットを用いたオンライン準教師付き能動学習手法", 電子情報通信学会論文誌, Vol.J90-D, No.11, pp.3091-3102, (2007) [PDF]
     ABSTRACT
     一般に，教師付学習は入力データと出力ラベルの組を用いて行われる．しかし通常，入力データに 対する出力ラベルの付与は人手によって行われるため，コストがかかる．そこで，より少ない出力ラベルの付与 でより良い学習結果を得るための学習法として，準教師付学習と能動学習が提案されている．本論文では，オン ライン教師なし学習手法の一つである自己増殖型ニューラルネットワークに，準教師付学習と能動学習の機能を 加えることにより，オンライン準教師付能動学習手法を提案する．また，計算機実験によって，提案手法が有効 に働くことを示す．
     
     View more presentations from Tokyo Institute of Technology
8. SOINN-SVM（高速Support Vector Machine）
   • 笠井，戸部，申，長谷川："オンラインプロトタイプ生成による大規模データに対する高速SVM構築法", 電子情報通信学会論文誌 D, Vol.J92-D, pp.784-792, (2009) [PDF]
     ABSTRACT
     本論文では，自己組織化マップに基づくサポートベクターマシン(SVM) の学習高速化に有効なプ ロトタイプ生成法について提案する．提案手法はSVM の学習に必要なプロトタイプ構成をオンラインかつ自律 的に取得するものである．生成されたプロトタイプは分布間の距離を導入したSVM によって高速に学習される． 複数のデータセットに対して比較実験を行い処理速度についての有効性が確認できた．

これまでの発表動画

YouTubeのHasegawaLab's Channel  では、本研究室の成果を動画で多数公開しています。そちらもぜひ御覧ください。

1. SOINNのデモアプレット

ページトップへ