뇌의 지원 벡터 머신

지원 벡터 기계 (SVM) 는 중요한 기계 학습 분류기로서, 비선형 변환을 능숙하게 사용하여 낮은 차원의 특성을 높은 차원으로 투사하여, 비교적 복잡한 분류 작업을 수행할 수 있다. SWM은 수학적인 기법을 사용하는 것처럼 보이지만, 실제로는 뇌의 코딩 메커니즘과 일치한다. 우리는 2013년 Nature 논문에서 기계 학습과 뇌의 작동 원리의 깊은 연관성을 이해할 수 있다. 논문 제목: The importance of mixed selectivity in complex cognitive tasks (by Omri Barak al. ) 복잡한 인지 작업에서 혼합 선택의 중요성 (by Omri Barak al. )

• #### SVM

이런 놀라운 연결은 어디서 볼 수 있을까요? 먼저 신경코딩의 본질에 대해 이야기해 봅시다. 동물은 특정한 신호를 받아 그에 따라 특정한 행동을 합니다. 하나는 외부의 신호를 신경전기 신호로 변환하는 것이고, 다른 하나는 신경전기 신호를 의사결정 신호로 변환하는 것입니다. 첫 번째 과정은 코딩이라고 하며, 다음 과정은 디코딩이라고 합니다. 신경코딩의 진짜 목적은 바로 해독을 통해 의사결정을 하는 것입니다. 따라서, 기계학습을 이용한 시각적 해독을 하는 가장 간단한 방법은 분류기를 보는 것입니다. 심지어는 논리학 모델의 선형 분류기를 이용해서 입력 신호를 특정 특성에 따라 분류하는 것입니다. 예를 들어, 호랑이가 도망가는 것을 보는 것, 새끼를 먹는 것을 보는 것 등. 물론, 때때로 코드가 잘 되기도 합니다. 예를 들어, 신경 신호가 결국 운동으로 변환될 때, 신경계 신호의 대부분을 신경계로 변환하는 것은 신경계 신호의 연속적인 변화를 모방하는 것이 필요합니다. 따라서, 기계학습을 이용한 시각적 해독을 하는 가장 간단한 방법은 분류기를 보는 것입니다. 심지어는 논리학 모델의 선형 분류기를 이용한 선형 분류기에도 입력 신호를 넣는

이제 신경 코딩이 어떻게 이루어지는지 보겠습니다. 우선 신경세포는 기본적으로 외부 전압에 따라 저항과 용량을 조정하는 RC 회로로 볼 수 있습니다. 외부 신호가 충분히 크면, 유도하고, 그렇지 않으면 닫습니다. 특정 시간 동안 방출되는 주파수를 통해 신호를 표시합니다. 그리고 우리는 코딩에 대해 이야기합니다. 종종 시간에 대한 분산 처리를 합니다. 작은 시간 창에서, 방출율은 변하지 않습니다. 그래서 신경망이 이 시간 창에서 세포 방출율을 함께 볼 수 있습니다.

그래프: 수직축은 세포이고, 수직축은 시간입니다. 그리고 이것은 우리가 신경 코드를 추출하는 방법을 보여줍니다.

물론 N-차원 벡터와 신경코딩의 실제 차원은 다릅니다. 신경코딩의 실제 차원은 어떻게 정의할 수 있을까요? 먼저, 우리는 이 N-차원 벡터로 표시된 N-차원 공간에 들어가고, 그 다음 우리는 모든 가능한 작업 조합을 제시합니다. 예를 들어, 당신에게 1,000개의 그림을 보여드리겠습니다. 이 그림들이 전 세계를 대표한다고 가정하고, 우리가 얻는 각각의 신경코딩을 이 공간의 한 점으로 표시합니다. 그리고 마지막으로 우리는 벡터 대수학적 사고를 사용하여 이 1,000개의 점을 구성하는 하위 공간의 차원을 봅니다. 즉, 신경표현의 실제 차원이라고 인식합니다.

코딩의 실제적인 차원 이외에도, 우리는 외부 신호의 실제적인 차원이라는 개념을 가지고 있습니다. 여기서 신호는 신경망에 의해 표현된 외부 신호를 의미하며, 물론 외부 신호의 모든 세부사항을 반복해야 합니다. 그건 무한한 문제입니다. 하지만 우리가 분류하고 결정하는 근거는 항상 중요한 특징입니다. 이것은 축소 과정입니다. 이것은 PCA의 생각입니다. 여기 우리는 실제 임무의 핵심 변수를 임무의 실제적인 차원으로 볼 수 있습니다. 예를 들어, 당신이 팔의 움직임을 제어하고, 당신은 일반적으로 관절의 회전 각도를 제어해야 합니다.

그래서 과학자들이 직면한 핵심 문제는 왜 이 문제를 실제 문제보다 훨씬 더 큰 크기의 코딩과 신경 세포 숫자로 해결해야 하는지에 대한 것입니다.

그리고 컴퓨터 신경과학과 기계학습이 함께 말해주는 것은, 신경표현의 고차원적 특성이 바로 그 강력한 대학 학습 능력의 기반이라는 것입니다. 코딩의 차원이 높을수록, 학습의 능력이 더 강해집니다. 여기서 우리는 심지어 깊이 네트워크에 대해 언급하지 않았습니다. 왜 그런가요? 여기서 우리는 신경코딩의 메커니즘이 SVM와 비슷한 원리를 사용한다고 말합니다. 우리는 낮은 차원의 신호를 높은 차원으로 투사할 때, 우리는 더 많은 분류를 할 수 있습니다. 심지어는 선형적인 분류기, 당신은 수많은 문제를 해결할 수 있습니다.

참고로 여기서 논의되는 신경코딩은 주로 상급 신경 센터의 신경코딩을 가리킨다. 예를 들어 글에서 논의된 전두엽 Prefrontal Cortex (PFC) 와 같이, 낮은 수준의 신경 센터의 코딩 법칙은 분류와 의사결정에 거의 관여하지 않기 때문이다.

PFC가 대표하는 뇌의 고차원 영역

신경코딩의 비밀은 바로 신경세포의 개수 N, 그리고 실제 문제 K의 차원 (이 차이는 200배에 달할 수 있다) 의 관계에서 밝혀진다. 왜 겉보기에 불필요한 신경세포의 개수가 질적 도약을 가져올 수 있는가? 첫째, 우리는 우리의 코딩 차원이 실제 작업에서 중요한 변수의 차원과 같을 때, 선형 분류기를 사용하여 비선형 분류 문제를 처리할 수 없을 것이라고 가정한다 (만약 당신이 사탕수수에서 사탕수수를 분리하려고 한다면, 당신은 선형 경계로 사탕수수에서 사탕수수를 제거 할 수 없다). 이것은 또한 우리가 딥러닝과 SVM이 기계학습에 들어가지 않은 상태에서 해결하기 어려운 전형적인 문제이다. 이러한 종류의 문제에 대한 SVM의 핵심 해법을 재표현으로 사용한다. 즉, 우리의 원래의 좌표를 새로운 더 높은 차원 좌표 체계로 바꾸면, 우리는 여전히 초선형 분류법을 사용할 수 있다. (이 경우에도, 이 패턴은 다음과 같이 나타납니다.

SVM ((지원 벡터 기계):

SVM은 비선형적인 분류를 할 수 있는데, 예를 들어 그림의 빨간 점과 파란색 점을 분리할 수 있는데, 선형적인 경계로 우리는 빨간 점과 파란색 점을 분리할 수 없다 (왼쪽 그림), 따라서 SVM의 방법은 바로 차원을 높이는 것이다. 하지만 단순히 변수의 수를 증가시키는 것은 불가능하다. 예를 들어, (x1,x2) 를 (x1,x2, x1+x2) 시스템에 매핑하는 것은 실제로 2차원의 선형 공간이다 (개인 그림은 빨간 점과 파란색 점이 같은 평면에 있다는 것이다), 비선형 함수만 사용한다 (x1^2, x1)*x2, x2^2) 이 때 우리는 실질적으로 낮은 차원에서 높은 차원으로 넘어갑니다. 그래서 여러분은 파란색 점을 공중에 던져서, 그리고 여러분은 공중에 평면을 그려서, 파란색 점을 빨간 점으로부터 분리합니다.

사실, 진짜 신경망이 하는 일은 정확히 비슷합니다. 이런 선형적인 분류기 (解码器) 가 할 수 있는 분류 종류가 크게 증가했습니다. 즉, 우리는 이전보다 훨씬 더 강력한 패턴 인식 능력을 얻었습니다. 여기서, 고차원은 높은 에너지이고, 고차원 타격은 진실입니다.

그렇다면, 어떻게 신경 코딩의 높은 차원을 얻을 수 있을까요? 광신경의 개수가 더 많다는 것은 쓸모가 없습니다. 왜냐하면 선형 대수학을 배웠기 때문에, 만약 우리가 수많은 N개의 신경 세포를 가지고 있고, 각각의 신경 세포의 방전률은 오직 K개의 핵심적인 특성과만 선형적으로 연관되어 있다면, 우리가 최종적으로 표현하는 차원은 단지 문제의 차원 자체와 같을 뿐이며, 당신의 N개의 신경 세포는 아무런 역할도 하지 않습니다. (더 많은 신경 세포는 K개의 신경 세포의 선형적인 구성입니다.) 이 점을 돌파하려면, 당신은 K개의 특성과 비선형적으로 연관된 신경 세포를 가져야 합니다. 여기서 우리는 비선형 혼합형 신경 세포라고 부르는데, 이러한 신경 세포의 표현은 매우 복잡하며, 그 원칙은 SVM의 중간에 비선형적인 핵을 포함하는 함수와 비슷합니다. 이러한 비선형 신경 세포가 있으면, 신경 코딩의 특성은 특성의 차원의 차원을 돌파하는 데에 사용된다.

도: 신경세포 1과 2는 각각 특징 a와 b에 대해서만 민감하고, 3은 특징 a와 b의 선형적 혼합에 대해서 민감하고, 4은 특징의 비선형적 혼합에 대해서 민감하다. 결국 신경세포 1, 2, 4의 조합만이 신경코딩 차원을 높여준다 (아래 도).

이 코딩의 공식적인 이름은 혼합 코딩 (mixed selectivity) 이며, 사람들이 이 코딩의 원리를 발견하지 못했을 때 우리는 이것이 이해할 수 없다고 느꼈다, 왜냐하면 그것은 어떤 종류의 신호에 대한 신경망의 반응이 엉망이 되기 때문이다. 주변 신경계에서, 신경 세포는 신호의 다른 특성을 추출하고 패턴을 인식하는 센서와 같은 역할을 한다. 각 신경 세포의 기능은 상당히 특정하다, 예를 들어 망막의 rods와 cones는 광자를 수신하는 것에 관한 것이고, 그 다음으로 Gangelion cell는 코딩을 계속한다, 각 신경 세포는 마치 전문적으로 훈련된 경비원이 다름없다. 그리고 뇌의 고위 영역에서, 이 같은 명확한 구별은 보이지 않는다, 우리는 같은 신경 세포가 다양한 특성에 민감할 수 있다는 것을 알게 되었다. 그리고 이 민감성은 선형적이지 않다.

자연의 모든 세부사항은 기본이 되어 있고, 많은 양의 과잉과 혼합된 코딩으로 인해 전문적이지 않은 것처럼 보이는, 혼란스러운 신호로 보이는, 결국에는 더 나은 계산 능력을 얻게 됩니다. 이 원칙을 가지고, 우리는 다음과 같은 작업을 쉽게 처리할 수 있습니다:

이 과제에서, 개미는 먼저 한 이미지가 이전과 동일하는지 여부를 구별하도록 훈련받으며, 그 다음에는 두 개의 다른 이미지가 나타나는 순서를 판단하도록 훈련받는다. 개미는 이러한 과제를 수행하기 위해 과제의 다른 측면을 코드할 수 있어야 한다. 예를 들어, 과제 유형, 이미지 종류 등, 그리고 이것이 혼합된 비선형 코딩 메커니즘이 존재하는지 여부를 테스트하는 훌륭한 실험이다. 실험에서 많은 신경 세포가 혼합된 특성에 민감하고 비선형성이 존재한다는 것이 확인되었다.

이 기사를 읽은 후, 우리는 신경망을 설계하는 데 있어서 비선형적인 단위를 도입하면 패턴 인식 능력이 크게 향상될 수 있다는 것을 알았습니다. 그리고 SVM은 이것을 적용하여 비선형적인 분류 문제를 해결했습니다. 그리고 신경과학과 기계 학습을 계산하는 것은 동전의 양면입니다.

우리는 뇌 영역의 기능을 연구합니다. 먼저 기계 학습의 방법을 사용하여 데이터를 처리합니다. 예를 들어, 문제를 찾는 중요한 차원을 PCA로 찾아내는 방법, 그리고 기계 학습 패턴을 인식하는 사고를 사용하여 신경 코딩과 해독을 이해합니다. 결국 우리는 새로운 영감을 얻으면 기계 학습의 방법을 개선 할 수 있습니다. 두뇌 또는 기계 학습 알고리즘에 대해 궁극적으로 가장 중요한 것은 정보를 가장 적절하게 표현하는 방법을 얻는 것입니다. 그리고 좋은 표현을하면 모든 것이 쉽다.

이이-크라이즈 선박 기술