SAS Tutorial | Machine Learning Fundamentals

안녕하세요 나는 Ari Zitin이고, 나는 당신과 이야기 할 것입니다 오늘날 일부 기계 학습 기본 사항에 대해 우리는 약간의 세부 사항으로 갈 것입니다 일부 의사 결정 트리 모델과 일부 신경망 모델에서 그 일환으로 HMEQ Home Equity를 사용할 것입니다 이 모델에서 시도하고 자세히 설명하는 데이터 세트

우리가 데이터에 들어가기 전에 조금 이야기하겠습니다 머신 러닝에 대해 기계 학습의 아이디어는 컴퓨터를 자동화하고 싶다는 것입니다 무언가를 분류하는 작업 항상 할 수있는 쉬운 예 거의 모든 사람이 경험이 있다고 생각 ATM에 자동으로 수표를 입금하면 수표에 얼마의 돈이 있는지 알아냅니다 입력하지 않아도 믿을 수 없기 때문에 반드시 입력해야합니다 그것이하는 것은 수표 금액을 찍는 것입니다 기본적으로 과거 데이터로부터 학습 그 숫자가 실제로 무엇인지에 대해 주석을 달았습니다

이것이 이미지를 사용한 머신 러닝의 예입니다 우리가 할 일은 과거 데이터를 사용한 기계 학습입니다 은행 데이터, HMEQ 데이터 세트, 데이터 세트에 대한 링크가 있습니다 액세스하려면 아래를 클릭하십시오 공개적으로 사용 가능하며 따라갈 수 있습니다 동일한 데이터로 자신 만의 모델을 만들 수 있습니다

이 HMEQ 데이터 세트는 과거 데이터입니다 은행에서 고객에 대해 수집 한 우리가 예측하고 싶은 것은 그들은 대출을 기본으로합니다 이것이 우리의 목표가 될 것입니다 그들이 우리의 대출에 대한 채무 불이행 여부, 우리는 역사 정보를 사용합니다 시도하고 결정합니다 이전에 자동 확인으로 제공 한 예 스캔 할 때 대상은 검사의 숫자입니다 우리가 제공하는 정보는 실제로 사진입니다

머신 러닝에는 두 가지 다른 예가 있습니다 우리는 역사적인 은행 데이터를 사용하여 작업을 수행 할 것입니다 과거 은행 데이터에 대한 입력 대출 금액과 같은 것들입니다 요청한 담보 대출 금액 은행과의 소득 대비 부채 비율 연체 크레딧 한도 경멸 적 신용 보고서의 수 신용 한도, 직업 정보 대상은 이진 기본값 인 BAD입니다

하지만 나쁘기 때문에 BAD라고 생각합니다 당신이 대출에 불이행하는 경우 따라서 우리의 목표는 불이행 고객들에게는 1이 될 것입니다 대출에 대해서는 0이고 그렇지 않은 고객에게는 0입니다 우리는 사람들이 시도하고 예측하려고합니다 우리는 그들에게주는 것을 피할 수 있도록 대출에 대한 채무 불이행을 우리는 그들이 채무 불이행 될 것이라는 것을 알고 있습니다 이제 기계 학습의 예를 살펴 보겠습니다 알고리즘

우리는 의사 결정 트리로 시작합니다 알고리즘의 작동 방식을 파악한 다음 소프트웨어에서 알고리즘을 빌드하십시오 우리는 또한 신경망에 대해서도 같은 일을 할 것입니다 사진을 보면서 시작하겠습니다 어떤 종류의 데이터가 있는지 볼 수 있습니다 이 예에서는 데이터를 제한했습니다 2 차원으로

우리는 2 차원 데이터에서 파란색 점과 빨간색 점 우리는 논쟁을 위해 우리의 파란 점은-목표는 0입니다 그래서 그들은 그들의 대출을 불이행하지 않았습니다 우리의 빨간 점은 우리의 목표입니다 1은 대출에 대한 채무 불이행을 의미합니다 이 두 축은 입력 치수의 두 개일뿐입니다

그래서 나는 그들 중 몇 가지를 언급했습니다 이를 위해 x 축에서 우리는 연체 신용 한도를 가지고 있습니다 연체 크레딧 한도 고객이 보유한 y 축 우리는 그들이있는 집의 가치를 가지고 있습니다 신용을 빼려고 노력했습니다 그래서 우리는 고객에 대한 정보를 봅니다 보시다시피 클러스터링이 있습니다

파란색 포인트로 인해 대부분의 고객이 그들의 대출과 그룹을 기본으로하지 않았다 빨간색 포인트로 인해 대부분의 고객이 그들의 대출에 불이행했다 우리가하고 싶은 것은 노력하고 이 줄거리에 선을 그리는 방법으로 파란색 점을 빨간색 점과 분리합니다 의사 결정 트리의 경우 직선을 그리는 것 서로 수직입니다 예를 들어 직선 하나를 그리겠습니다 데이터에서 찾을 수있는 분리 점을 나타냅니다 빨간색 점 또는 사람에서 파란색 점을 분리 불이행 한 사람들로부터 불이행하지 않은 사람 이 데이터를 보면 바로 여기 선을 그릴 수 있다고 생각합니다

그리고 우리가 보면, 이것은 분할을 만듭니다 오른쪽에는 일종의 테이블이 있습니다 파란색 점 11 개와 빨간색 점 11 개가 있습니다 사무용 겉옷 이 분할 작업을 수행하면 서로 다른 두 그룹을 만듭니다

왼쪽의 그룹에는 1, 2, 3, 4, 5, 6, 7, 8 개의 파란색 점이 있습니다 그리고 하나의 빨간 점 오른쪽 그룹에는 파란색 점 3 개와 7 개 8 개의 빨간 점 우리가 볼 수있는 것은 우리가 잘한 일을 했어요 그 점은-빨간 점이 그리 웠습니다 우리는 파란색 점을 잘 나누었습니다 왼쪽의 빨간색 점에서, 오른쪽은 아닙니다

이제 우리는 상상할 수 있습니다 우리는 첫 번째 파티션을 완료했습니다 우리는 말할 수 있습니다 이것은 괜찮은 분리처럼 보입니다 스플릿을 더 추가하면 더 잘할 수 있습니다

다른 수직 직선을 그리겠습니다 빨간색 점을 오른쪽의 파란색 점과 분리합니다 여기에 수직선을 넣으십시오 그리고 우리는 왼쪽에 하나를 할 것입니다 이제 알 수 있습니다 우리는 정말 좋은 일을했습니다

하단의 파란색 점과 빨간색 점을 분리합니다 왼쪽 하단은 대부분 파란색이고 오른쪽 하단은 대부분 빨간색입니다 새로운 데이터를 볼 수 있다면 이 데이터에 대해 배웠지 만 우리는 이미 이러한 고객들이 불이행을 알고있었습니다 따라서 우리는 다음과 같은 데이터에서 잘 작동하는 모델을 원합니다 실례합니다

데이터에 잘 맞는 모델을 원합니다 이전에 보지 못했던 새로운 데이터에서 색깔이 무엇인지 모릅니다 우리는 미래에 볼 수 있습니다 왼쪽 하단에있는 대부분의 사람들이 그들이 기본값이 아니라고 예측하게 될 것입니다 오른쪽 하단에있는 대부분의 사람들이 반면 대출에 대출이 불이행 될 것으로 예측합니다 상단에 우리는 더 많은 분할을 원할 수도 있습니다

예를 들어 더 깊이 들어가고 싶을 수도 있습니다 더 많이 분리하기 위해 여기 저기 선을 그릴 수 있습니다 우리가 보게 될 것은 소프트웨어가 자동으로 시각적 해석을 바탕으로이 선을 그렸습니다 이 줄거리의, 그러나 우리는 정말로 알고리즘을 원합니다 그것은 우리를 위해 이것을 할 것입니다

언급하지 않은 것은 이것들이 단지 두 개의 입력이라는 것입니다 세 번째 입력 값이 있다면 세 개의 변수가 있다면 저는 이것을 부채 비율과 주택으로 언급했습니다 우리는 몇 년 동안 일할 수있는 또 다른 것을 가질 수 있습니다 그것은 3 차원이 될 것입니다 페이지에서 나옵니다 내가 두 개만 선택한 이유를 알 수 있으므로 시각화 할 수 있습니다

하지만 실제로 1, 2, 3, 4, 5, 6, 7, 8, 9, 10은 고객에 대해 수집 한 11 개의 입력 변수 머신 러닝을 할 때 수백 개의 입력 변수를 가질 수 있습니다 이 데이터 세트에서 우리는 11 차원 공간에 있습니다 11 차원을 시도하고 시각화 할 수 있습니다 그러나 잘 작동하지 않습니다 실제로 우리는 종종 일을합니다 수백 개의 차원으로

이 그림을 돌리는 것을 상상할 수 있습니다 당신은 모두와 100 차원 공간을보고 이 점들, 그리고 우리는 여전히 평면을 그리고 있습니다 이 경우에는 초평면이됩니다 점을 분리하기위한 100 차원 초평면 분명히 우리는 시각적으로 할 수 없습니다

우리는 컴퓨터가 우리를 위해 그것을하도록해야합니다 알고리즘 방식으로 소프트웨어를보고 결정이 어떻게 진행되는지 살펴 보겠습니다 트리는이 데이터를 기반으로합니다 Model Studio에서 약간의 파이프 라인을 만들었습니다 그리고 내가 만든 방법에 대한 몇 가지 예를보고 싶다면 이 파이프 라인과 Model Studio를 사용하고 시작하는 방법, 시작에 대한 비디오 링크가 아래에 있습니다 Model Studio에서 파이프 라인을 사용합니다

의사 결정 트리 기본값을 마우스 오른쪽 버튼으로 클릭합니다 노드에서 결과를 선택하십시오 의사 결정 트리의 결과를보고 있습니다 이 HMEQ 데이터 세트에 대해 교육했습니다 가장 먼저 살펴볼 것은 트리 다이어그램입니다 이 트리 다이어그램에는 의사 결정 트리의 그림이 있습니다 보시다시피 훨씬 더 깊은 의사 결정 트리입니다 내가 오른쪽에 그린 예보다

상단을 확대하면 우리는 3,000 명으로 시작합니다 실례합니다 3,000 개의 관측치와 약 20 %는 1과 80 %입니다 0입니다 이는 고객의 약 20 %가 불이행을 의미합니다 그들의 대출에

우리는 연체 크레딧 한도에 따라 분할합니다 연체 된 신용 한도가 많으면 그들은 거의 모두 대출에 대한 채무 불이행이 될 것입니다 그래서 우리는 그들이 대출에 대한 채무 불이행이 예상됩니다 12, 15, 7, 6 또는 8 개의 연체 크레딧 한도가있는 경우 그들이 그보다 적은 경우 5, 4, 0, 1, 2, 3 크레딧 한도 그들이 불이행 한 사람들의 일종 인 것 같습니다 불이행하지 않은 사람들은 거기에서 계속 쪼개기 위해 이 의사 결정 트리를 광범위하게 살펴보면 굵은 선이 나타내는 것을 볼 수 있습니다 대부분의 데이터가가는 곳과가는 선 소량의 데이터를 나타냅니다 하단의 상자는 최종 결정 상자입니다 보시다시피이 상자는 이 상자에 들어가서 그들이 따르는 특정한 길이 있습니다

그들은 적은 수의 연체 신용 한도를 가지고 있습니다 그러나 그들의 집의 가치는 $ 474,000 이상입니다 직장 생활은 26 세 미만입니다 우리는이 사람들의 대부분이 대출에 불이행 될 것으로 예상합니다 과거 데이터에서 이 의사 결정 트리에서 확인할 수있는 것 중 하나 내가 읽었던 것처럼 우리는 내가 오버 피팅이라고 부르는 것을 조금했습니다 우리는 훈련 데이터를 기억했습니다

연체 크레딧 한도가 많으면 나는 당신이 대출에 대한 채무 불이행을 말한다 하지만 실제로는 특정한 숫자입니다 12, 15, 7, 6 또는 8 그 숫자는 데이터의 일부입니다 우리는 의사 결정 트리를 배웠습니다 그래서 우리는 더 나은 것을 원할 수도 있습니다 새로운 고객에게 좀 더 나은 일반화를 제공합니다

이 트리 다이어그램을 닫고 결정을 닫습니다 트리 결과 및 다른 의사 결정 트리로 이동합니다 내가 구체적으로 만든 곳에서 만든 내가 생각하지 못한 리프 노드의 일부를 절단하려는 노력 중요했다 실제로 컴퓨터가 자동으로이 작업을 수행하도록했습니다 의사 결정 트리 다이어그램을 열어 보겠습니다 우리는 그것이 다른 나무라는 것을 알 수 있습니다

조금 다르게 훈련했습니다 내가 훈련했을 때 내가 한 일은 훈련 데이터를 암기하는 완전한 의사 결정 트리를 구축했습니다 다시 돌아 가면 우리가 고유하게 선택한 도면으로 돌아 가면 각 상자가 하나의 색상 만 선택하도록 파란색과 빨간색 점 포인트-그래서 그것은 훈련에서 100 % 권리를 얻는 나무입니다 데이터 이 나무를 만들면 다시 자르기 시작합니다 이전에는 본 적이없는 데이터를 살펴 봅니다 우리는이 모델이 결코 가지고 있지 않은 데이터를 봅니다 그것을 훈련시키는 데 사용되지 않았으며 우리는 그것이 어떻게 작동하는지 보았습니다 성능을 개선 할 때마다 줄일 때마다 우리는 계속 나무를 자르고 더 간단하고 간단합니다

결국 여기에서 새 데이터에 대한 성능이 향상됩니다 더 간단한 모델을 사용하는 것이 바람직합니다 여기를 보면,이 가지 치기 오류 도표 내가 논의했던 절차를 정확하게 보여줍니다 우리는 훈련 데이터, 즉 데이터 우리는 모델, 성능을 구축하는 데 사용 점점 더 많은 잎을 가지면서 계속 향상되고 더 복잡한 나무입니다 하지만 검증 데이터는 데이터입니다 나무는 전에 본 적이 없으며 실제로 악화됩니다

그래서 우리는 나무를 멈추고 가장 복잡한 나무를 만듭니다 우리는 훈련 데이터에 대해 나뭇잎을 자르기 시작합니다 실제로 잘 작동하는 것을 만들 수 있도록 유효성 검사 데이터에 어떤 시점에서 모델이 너무 단순하다면 유효성 검사 데이터의 성능이 좋지 않습니다 이것이 의사 결정 트리에 대한 우리의 토론이었습니다 몇 가지 평가 통계를 볼 수 있습니다 그러나 모든 모델을 비교할 때 마지막에 할 것입니다

우리는 결정 트리가 우리는 가지 치기를 만들었습니다 두 번째로 보여 드린 것은 실제로 이 데이터에 대해서는 첫 번째 데이터보다 조금 더 잘 작동합니다 다이어그램으로 돌아가서 이제 신경망을 만들고 있습니다 의사 결정 트리와 어떻게 다른지 생각합니다 다른 모델과 정말 인기있는 모델 요즘은 신경망입니다

그들은 특히 인기가 있기 때문에 보다 복잡한 형태의 기계에 사용 딥 러닝이라는 학습 이미지 처리와 관련이 있습니다 우리는 신경망을 사용하여 의사 결정 트리에서 수행 한 것과 동일한 작업 빨간색 점과 파란색 점을 분리하는 것입니다 가장 큰 차이점은 의사 결정 트리입니다 신경망은 실제로 임의의 비선형을 배우려고합니다 입력을 출력에 매핑하는 기능입니다

이 임의의 비선형 함수 플롯에서 원하는 모양을 취할 수 있습니다 따라서 우리의 경계가 반드시 그런 것은 아닙니다 직선이 될 것입니다 그래서 내가 상상할 수있는 것을 그릴 것입니다 신경망은 생각할 것입니다 보시다시피, 저는 임의의 곡선을 그리는 것입니다 그리고 유일한 요구 사항은 이러한 곡선이 기능이어야합니다- 함수에 의해 정의 될 수 있어야합니다

당신이 볼 수있는 것은 기본적으로 파란색 점을 선택하고 이상적인 결정을 내 렸습니다 경계 신경망은 항상 가장 좋은 모델이지만 단점은 우리는 훈련 데이터를 외우고 싶지 않다는 것입니다 모델을 새 데이터에 적용하려고합니다 그리고 당신은 내가 그린 원의 크기를 볼 수 있습니다 내가 그린 곡선의 크기 그것은 무엇과 매우 다를 수 있습니다 여전히 모든 파란색 점을 캡처하면서 빨간 점은 없습니다

제 개인적 드로잉에는 모호성이 많습니다 신경망이 학습 할 때 이 기능들은 여러 기능 중 하나를 찾습니다 이 작업을 수행 할 것이므로 반드시 유효성 검사 데이터에서 어느 것이 더 잘 작동하는지 알 수 있습니다 따라서 훈련 데이터를 약간 맞추기가 더 쉽습니다 신경망을 통해 다음 예제에서 신경망은 규칙 목록을 생성하지 않습니다 오른쪽에 다이어그램이 없습니다 이 선을 어떻게 그리는지 보여 드리기 위해 그러나 그들은 기능을 생성합니다 함수를 정의하는 숫자 모음입니다

실제로 모델링 할 수있는 방법이 있습니다 하지만 여기에 자세히 표시하지 않습니다 시각적 인 표현이 아니기 때문에 기본적으로 방정식 일뿐입니다 이것이 신경망 사이의 큰 차이점입니다 의사 결정 트리는 의사 결정 트리입니다 이 규칙 목록을 만듭니다 연체 크레딧이 7 개 이상인 경우 우리가 예측하는 것보다 당신의 대출에 대한 채무 불이행

그 이유를 누군가에게 설명해야하는 경우 매우 유용합니다 당신이 당신의 모델에서 한 일을했습니다 신경망과는 달리 장면 아래에 많은 숫자를 생성합니다 모든 숫자를 곱하면 예측 가능성을 알려줍니다 따라서 결과를 전혀 해석 할 수 없습니다 소프트웨어로 돌아갑니다

신경망 모델을 구축했습니다 신경망의 파이프 라인을 볼 수 있습니다 파이프 라인보다 조금 더 복잡합니다 의사 결정 트리 방금 데이터에서 의사 결정 트리로 바로 넘어갔습니다 신경망 노드의 경우 변수 관리 노드, 대치 노드, 및 변수 선택 노드 우리는해야합니다-변수를 관리해야합니다 대치에 대한 메타 데이터를 설정하려면 변수 선택

대치에서 우리는 교체해야합니다 데이터에 누락 된 값이 있습니다 의사 결정 트리는 결 측값이 어느 지점 에나 있습니다 따라서 선을 그리면 결 측값 줄의 어느 쪽이든 갈 수 있습니다 신경망은 방정식을 만들고 방정식에는 숫자가 필요합니다

결 측값은 숫자가 아니므로 교체해야합니다 우리는 그것들을 평균으로 대체 할 것입니다 우리가 결정 트리를 만들 때, 각 분할에서 분할 할 변수를 선택했습니다 예를 들어 첫 분할은 연체 신용 한도였습니다 연체 크레딧 한도 부채 대 소득 비율

신경망은 자동으로되지 않습니다 사용할 변수를 선택하십시오 대신에 그것들을 모두 방정식에 넣습니다 다시 말하지만 방정식이기 때문에 모든 변수 방정식의 숫자를 곱하십시오 변수 선택 노드를 사용합니다 신경망으로 들어가는 변수를 선택합니다 변수의 수를 제한하고 싶습니다 신경망으로 들어가서 유용한 변수를 사용하십시오

의사 결정 트리에서 모든 변수가 아님을 알았습니다 유용했습니다 신경망을 마우스 오른쪽 버튼으로 클릭하고 결과를 선택합니다 가장 먼저 강조 할 것은이 신경망 다이어그램입니다 나는 다양한 정통이기 때문에이 사진을 좋아합니다

이 사진이 마음에 들지 않아서 유용한 정보가 많지 않습니다 누군가를 보여주는 것은 좋은 사진입니다 신경망을 구축했다면 다음과 같습니다 가장 먼저 보는 것은 세 개의 입력 변수를 사용한다는 것입니다 11 개의 변수로 시작했습니다 하지만 우리는 그중 세 가지만 사용하기 때문에 변수 선택 내가 쓸모없는 것 이 점들의 크기는 숫자 가중치의 크기 방정식을 만드는 데 사용되지만 이미 당신은 정말 해석 할 수 없다고 그 방정식의 의미 또는 그 무게의 의미 정말 해석하기 쉽지 않습니다

이 도표는 당신에게 그림을 보여줍니다 나타내는 신경망의 방정식을 만드는 방법 신경망에 익숙하다면 이 다이어그램을보고 적어 둘 수 있습니다 방정식이 어떻게 보일지에 대한 모델 당신은 분명히 거기에 들어가는 모든 숫자가 빠졌을 것입니다 숫자를 뽑아야합니다 알다시피, 우리는 derog를 사용하고 있습니다

그것은 멸시 신용 보고서입니다; 연체 신용 한도 인 delinq; 목표 BAD를 시도하고 예측하기위한 부채 대 소득 비율 이 다이어그램을 닫고 신경의 결과를 닫습니다 네트워크 노드와 모델 비교로갑니다 우리가 다른 모델에서 어떻게했는지 보려고합니다 시각적 결과가 훨씬 적다는 것을 알 수 있습니다 사실에 연결되는 신경망을 위해 의사 결정 트리는 기본적으로 해석 가능합니다 신경망이 생성하는 반면 모델 백엔드에 많은 숫자

많은 결과는 숫자입니다 그 숫자 결과를 가져 와서 적용 할 수 있습니다 모델 비교 노드를 열고 오류가 줄어든 의사 결정 트리와 정리 한 사람 이니까 훈련 데이터에 큰 결정 트리를 구축 한 곳 그런 다음 잘라 내고 실제로 가장 잘 수행했습니다 오 분류 율 신경망의 오 분류 율 약 20 %였습니다 이는 신경망 모델이 실제로 관심있는 정보를 포착하지 못했습니다

설명하는 가장 쉬운 방법은 이것은 의사 결정 트리가 더 간단한 모델이라는 것입니다 이것은 더 간단한 데이터 세트입니다 이 데이터 세트의 한 가지 문제는 신경망을 손상시킬 수 있습니다 직업과 같은 범주 형 입력 변수입니다 우리는 다른 사람들의 직업 목록을 가지고 있습니다 신경망은이 변수들과 잘 어울리지 않습니다 의사 결정 트리로

신경망 모델은 우리가 관심있는 것을 포착하지 못했습니다 실제로이 데이터 세트에서 작동하지 않았습니다 그러나 우리는 결정의 차이점을 강조하고 싶었습니다 나무와 신경망 그리고 일반적으로 찾을 수있는 것 새로운 데이터를 다루면서 작업해야 할 모든 데이터, 일부 모델은 다른 모델보다 더 잘 작동합니다 데이터가 정말 단순하다면 의사 결정 트리 및 선형 회귀 모델을 찾을 수 있습니다

정말 잘 작동합니다 데이터가 정말 복잡하다면 제대로 작동하지 않으면 신경망이 더 나은 모델이라고 제안합니다 제가 말할 한 가지는 의사 결정 트리가 실제로 잘 작동한다는 것을 알았습니다 반드시 제안 할 필요는 없습니다 신경망이 제대로 작동하는지 확인하십시오

두 모델을 비교해 보는 것이 좋습니다 기계 학습에 대해 배우기 위해 함께 해 주셔서 감사합니다 기초 우리는 의사 결정 트리에 대해 조금 이야기했습니다 일부 신경망 모델 구독하고 더 많은 비디오를 확인하십시오

아래 링크를 확인하십시오 질문이 있으시면 의견에 자유롭게 넣으십시오 감사

YOLO Object Detection v2 (MATLAB Tutorial) using Deep Learning!

You Only Look Once-이 딥 러닝 객체 감지 알고리즘은 현재 R-CNN보다 성능이 뛰어난 최신 기술이며 그 변형입니다 몇 가지 다른 물체 감지 알고리즘을 살펴보고 왜 YOLO가 그렇게 잘 작동하는지, 어떻게 자동차를 분류하기 위해 로지스틱 회귀로 자체 YOLO 신경망을 구축 할 수 있을까요? 전체 코드와 패키지 목록은 여기에서 찾을 수 있으며 내 비디오와 함께 코드를 사용하여 30 분 이내에이 YOLO Detector를 작성하는 데 많은 도움이됩니다! https://www

mathworkscom/help/deeplearning/examples/object-detection-using-yolo-v2html Mathworks의 MATLAB r2019a를 사용하고 있습니다 최신 버전의 MATLAB에서이를 복제 할 수 있어야합니다 이 비디오는 Siraj Raval과 그의 YOLO Tensorflow 기술과 튜토리얼에서 영감을 받았습니다

나는 MATLAB을 위해 하나를 만들기로 결정했습니다! 구독하고 좋아요 댓글 어쩌면 공유? 이 중 하나라도 대단히 감사하겠습니다! 그것은 나의 일을 계속하고, 당신들을 위해 AI (인공 지능) 비디오를 계속 만들도록 격려합니다! YOLO 네트워크 Matlab 2019, 딥 러닝 신경 네트워크, CNN, 인공 지능을 만드는 방법 제 이름은 Rishabh Jain이며 오늘 Yolo 버전 2 딥 러닝 비디오에 오신 것을 환영합니다

물체 감지 및 MATLAB 2019 년 오늘 우리는 당신의 세계를 한 번만 살펴볼 것입니다 이 비디오 후에 완성 된 열차 Yolo 감지기를 만들 것입니다 모델이 어떻게 작동하는지 배울 것입니다 다양한 데이터 세트를 다운로드하여 모델을 학습시키고 마지막으로 모델을 감지하여 이 경우 자동차가 될 개체를 설명하십시오 먼저 개요로 Yolo가 무엇인지 살펴 보겠습니다 그런 다음 필요한 다운로드 자동차 이미지가 포함 된 사용 가능한 데이터 세트를로드하는 도구 상자 및 관련 라이브러리 Yolo 감지기를 훈련하고 마지막으로 모델을 평가하고 테스트하여 비디오 내에서 전체 요약을 제공합니다 우선 Yolo가 무엇입니까 Yolo는 한 번만 보이며 여러 단계가 있습니다

이러한 단계는 다음과 같이 먼저 전체 이미지에 신경망을 적용합니다 이미지를 그리드로 나누고 예측과 확률로 상자를 정의하십시오 다음으로 로지스틱 회귀 분석을 사용하여 각 그리드 내의 각 클래스에 대한 확률을 계산합니다 여러 클래스에 대해 서로 다른 회귀 모델을 사용합니다 예를 들어 다른 객체는 하나를 사용합니다 자동차 등을 훈련시키는 로지스틱 회귀 마지막으로 우리는 어떤 상자 또는 미니 그리드 사각형이 더 높은 확률을 갖는지를 결정합니다

로지스틱 회귀 모델을 훈련시키는 객체 또는 클래스는 우리 앞에 모범이 있으면 이해하십시오 예를 들어이 그리드에서 우리는 지구 전체를 볼 수 있으며 지구 내의 모든 국가는 우리가 찾으려고 노력하고 있다고 말합니다 특정 국가 (예 : 미국) 처음에 일어날 일은 먼저이 그리드의 그리드를 상자 전체에 배치하는 것입니다 기본적으로 이미지 전체에 신경망 적용 그럼 우리는 하나의 수업 만 가질 것이고 우리는 단지 예측하려고 노력하기 때문에 미국이라는 것이 있는지 여부 우리는 로지스틱 회귀를 넣을 것이고 우리는 하나의 모델을 가질 것입니다 우리는 미국인 클래스를 하나만 가지고 있으며 우리가 우리에게 가능성을 계산할 것입니다 각 그리드 박스에 있습니다 예를 들어, 왼쪽 상단에 0 0이 있고 그 사실을 알고있을 것입니다 우리를 데려 갈 확률도 05 % 예를 들어 2 3과 같은 상자가있는 동안 멕시코의 일부는 확률이 높을 수 있습니다 어떻게 든 더 가깝고 로지스틱 회귀 모델이 그것을 말할 수 있기 때문에 기본 박스만큼 높지 않기를 바랍니다

2 2에 위치하고 왼쪽은 다양한 이미지에서 신경 네트워크를 훈련시킵니다 예를 들어 훈련시킬 수 있습니다 여러 개의 지구본이 이미지와 같으며 모델에 그리드 선을 그려 확률을 계산할 수 있습니다 각 상자마다 결국, 우리는 어느 박스가 미국을 포함하는지 예측할 수있는 신경망을 보게 될 것입니다 정확하고 좋은 시간에 Yolo를 사용할 때 한 가지만 기억합시다 우리는 실제로 실시간 테스트 및 훈련 절차를 가지고 있습니다 로지스틱 회귀 분석을 사용하고 있기 때문에 상당히 빠른 평가 우리는 일반적으로 필요한만큼의 데이터를 필요로하지 않습니다 로지스틱 회귀 및 데이터 양은 사용중인 클래스에 따라 변경 될 수 있습니다

2 단계로 넘어 갑시다 MATLAB에서 라이브러리 및 도구 상자를 다운로드하는 것은 매우 간단하며 이미 몇 가지가 있어야한다고 가정합니다 전에 기계 학습 또는 딥 러닝 프로젝트를 수행 한 경우 도구 상자 따라서 컴퓨터 비전 툴박스 딥 러닝 툴박스와 병렬 컴퓨팅 툴박스가 필요합니다 선택적으로 네트워크를 직접 훈련시키고 사전 훈련을 필요로하지 않는 경우 작업 속도를 높이고 작업을 좀 더 호환성있게 만드는 NVIDIA GPU 그 외에는 매우 간단합니다 대부분이 이미 설치되어 있어야합니다

이미 딥 러닝 도구 상자가있는 경우 ResNet 50 네트워크에 대한 딥 러닝 툴박스 모델이 있어야합니다 하지만 일단 MATLAB에서 코드를로드하면 그것은 당신에게 경고하고 당신이 잃어버린 것과 우리가 모두 가지고 있기 때문에 지금 당신이 무엇을 필요로하는지 알려 주어야합니다 설치된 모듈 및 라이브러리 사전 훈련 된 검출기 다운로드를 시작하겠습니다 이 예는 사전 훈련 된 감지기를 사용하여 예없이 Train Yolo v2로 감지기를 훈련 시키려면 훈련이 완료 될 때까지 기다려야합니다 코드에서 볼 수 있듯이 객체 감지기 기능은 훈련 훈련 변수를 true로 설정합니다 그렇지 않으면이 코드를 사용하여 사전 훈련 된 검출기를 다운로드하십시오

다음으로 데이터 세트를로드합니다 이 예는 다음을 포함하는 소형 차량 데이터 세트를 사용합니다 각 이미지에 295 개의 이미지에는 하나 또는 두 개의 레이블이있는 차량 인스턴스가 포함되어 있습니다 작은 데이터 세트는 Yolo v2 교육 절차를 탐색하는 데 유용합니다 그러나 실제로 강력한 검출기를 훈련시키기 위해서는 더 많은 라벨링 된 이미지가 필요합니다 훈련 데이터는 테이블에 저장됩니다 첫 번째 열에는 이미지 파일의 경로가 포함되고 나머지 열에는 ROI가 포함됩니다 차량 라벨 다음으로 데이터 세트의 이미지 중 하나를 표시하여 포함 된 이미지 유형을 이해합니다 코드를 사용하여 화면의 오른쪽에 보이는 것처럼이 예제 이미지를 실제로 표시합니다 금후 탐지기를 훈련시키기위한 데이터 세트와 탐지기를 평가하기위한 테스트 세트로 데이터 세트를 분할합니다

교육용 데이터의 60 %를 선택하면 나머지는 평가 용으로 사용됩니다 먼저 이미지 입력 ​​크기와 클래스 수를 지정하십시오 이미지 입력 ​​크기는 훈련 이미지의 이미지 크기보다 커야합니다 이 예에서는 RGB 또는 3 가지 색상이 있으므로 이미지 또는 2 24 x 2 24 x 3 다음으로 앵커 박스의 크기를 지정하겠습니다 다음으로 사전 훈련 된 ResNet 50을로드합니다 피처 레이어를 지정하고 yolo 감지 네트워크 생성 마지막으로 Yolo 물체 탐지기를 훈련시킵니다 아래 설명에서 나머지 코드와 함께이 코드 섹션을 찾을 수 있습니다

화면의 공간이 부족하여 코드를 모두 표시 할 수 없기 때문에 코드의이 부분은 설명에 있습니다 기본적으로 테스트 세트에있는 다양한 이미지가 모두 포함 된 테이블을 만든 다음 실행합니다 각 이미지의 검출기는 평균 정밀도뿐만 아니라 로그 평균 미스율을 계산합니다 그래프를 작성하면 다음과 같은 것을 찾을 수 있습니다 이 예제는 딥 러닝을 사용하여 차량 감지기를 훈련시키는 방법을 보여줍니다

교통 표지판 탐지기를 훈련시키기 위해 비슷한 단계를 따를 수 있습니다 딥 러닝에 대해 더 배우기위한 보행자 또는 기타 대상 아래 설명을 확인하고이 비디오에서 다시 언급 한 다른 코드를 다운로드하거나 배우십시오 설명을 확인하십시오 시청 해주셔서 감사합니다 이 채널을 좋아하고 구독 해주세요 다음에 you겠습니다

Boosting Machine Learning Tutorial | Adaptive Boosting, Gradient Boosting, XGBoost | Edureka

헤아릴 수 없을만큼 많은 양의 데이터를 생성하고 있으므로 더 진보되고 복잡한 기계 학습 기술을 개발하십시오 부스팅 기계 학습은 복잡한 문제를 해결하는 데 사용할 수있는 기술 중 하나입니다

안녕하세요, 저는 모두 에드 레카 (Edureka)의 줄 라카이 (Zulaikha)입니다 이 세션에서 기계 학습을 향상시키는 것을 환영합니다 오늘 의제를 통해 우리가 세션을 시작할 것입니다 왜 부스팅이 사용되었는지 이해하면 정확히 무엇을 이해할 수 있을까요? 기계 학습의 수단을 강화하면 우리는 계속해서 알고리즘이 작동하고 마침내 다양한 ​​유형의 부스팅에 대해 논의 할 것입니다 적응 형 증폭, 그라디언트 증폭 및 XGBoost가 포함됩니다

파이썬에서 실제 구현을 살펴봄으로써 세션 기계 학습 알고리즘을 향상시키는 것이 어떻게 컴퓨터 학습 알고리즘을 향상시키는 데 사용될 수 있는지 이해합니다 모델의 정확성은 내가 더 이상 움직이지 않기 전에 당신이 구독하는지 확인하십시오 가장 인기있는 트렌드 이상으로 업데이트 된 상태를 유지하려면 Edureka youtube 채널로 기술은 이제 우리의 첫 번째 주제를 살펴 보겠습니다 내가 무엇인지 말해주기 전에 부스터 머신 학습 기술을 사용합니다 무엇이 기계 학습을 향상시켜야하는지 이해하도록하자

복잡한 첨단 기술을 필요로하는 복잡하고 복잡한 문제를 해결하십시오 이제 고양이와 개를 포함하는 이미지의 데이터 세트가 주어 졌다고 가정 해 봅시다 이러한 이미지를 분류 할 수있는 기계 학습 모델을 작성하도록 요청받습니다 다른 두 사람과 같은 두 개의 클래스로 나눠서 시작합니다 몇 가지 규칙을 사용하여 이미지를 식별하면 이미지에 포인트가 있다고 가정 해 봅시다

이미지에 포인트 귀가있는 경우 규칙이 적용됩니다 그렇다면 바로 고양이입니다 마찬가지로 이미지에 cat이라는 다른 규칙을 만들었다 고 가정 해 봅시다 다시 고양이를 의미하는 모양의 조명 이제 이미지가 더 큰 사지를 가지고 있다면 그것은 강아지이고 이미지가 있다면 날카롭게 한 발톱 그 때 심상에는 더 넓은 입이있는 경우에 유사하게 고양이이다 구조 다음에는 개들이 이제 우리가 정의하는 몇 가지 규칙입니다

이 규칙 중 하나를 사용하여 고양이인지 개인지를 식별하기 위해 그것을 이해하지 못하는 이미지를 분류하라 좋아, 고양이가 다른 품종과 그것보다 큰 다리가 있고 당신은 입력 이미지를주고 규칙은 이미지가 더 큰 팔다를 가지고 있다고보고있다 이미지에 개별적으로 적용되는 규칙은 당신에게 정확한 결과 바로이 모든 규칙을 적용하고 이미지가 제대로 표시되는지 확인해야합니다 이러한 모든 규칙을 통해 결과를 예측하여 규칙은 개별적으로 약한 학습자라고 부릅니다 고양이 나 개로 이미지를 분류 할만큼 충분히 강함

말하자면 이미지를 고양이 나 개로 분류하는 규칙을 하나만 사용하면 당신의 예측은 대부분 잘못 될 것입니다 고양이 나 개로 이미지를 분류하고 분류하여 확인하십시오 우리의 예측은 더 정확합니다 이 약한 학습자는 다수 규칙 또는 가중 평균을 사용하고 위의 예에서 강력한 학습자 모델이 무엇인지 정확히 알 수 있습니다 우리는 약한 학습자 5 명을 정의했으며 이러한 규칙의 대부분은 우리에게 우리의 최종 결과가 고양이 인 이유는 이미지가 고양이라는 예측입니다

바로 여기에서 세 가지 규칙이 이미지를 고양이로 분류한다는 것을 알 수 있습니다 두 마리가 개로 분류되어 대다수가 고양이라고 말합니다 우리는 고양이와 함께 갈 것입니다 이것은 강력한 학습자 모듈이 바로 그것입니다 모든 약한 학습자를 결합하여 더 정확하고 더 많은 것을 제공하십시오

정확한 예측이 이제 정확히 무엇이 부스트되고 있는지에 대한 질문을하게됩니다 부스팅 (boosting)은 기계 집합을 사용하는 예제 학습 기법입니다 약한 학습자를 강하게 변환하거나 결합하기 위해 학습 알고리즘 학습자는 모델의 정확성을 높이기 위해 그래서 부스트를 늘리는 것은 실제로 효과적인 방법입니다 위에서 본 대부분의 대회에서 모델의 효율성 Kaggle 또는 모든 기계 학습 경쟁 최대 승자가 일반적으로 컴퓨터를 보강하고 짐을 싣고 다니는 것을 알고 있습니다 또는 무엇이 모르는 당신을 위해 지금 다른 어떤 매춘부 학습 기술 초보자 학습은 걱정하지 않아도됩니다

다음 줄에서 다루겠습니다 우리가 얻은 결과물이나 예측을 결합하여 그림에서 볼 수 있습니다 강력한 학습자를 얻으려면 모든 차량 소유자 또는 우리의 규칙에서 그래서 이것은 지금 증폭의 기본 원리입니다 ensamble 학습은 Semba 학습은 기본적으로 모델 성능과 정확성을 높이십시오 이것이 바로 샘플 내에서의 이유입니다

방법은 Netflix와 같은 시장을 선도하는 경쟁에서 이기기 위해 사용됩니다 추천 경쟁 및 기타 Kaggle 대회는 최대 귀하의 승자는 항상 아래의 ensamble 학습 모델을 구현할 것입니다 ensamble 학습 우리는 순차적 인 두 가지 유형과 기호와 병렬을 가지고있다 당신이 혼란에 빠지기 전에 남자들이 기호를 사용하여 배가 부 풀리기 및 배깅을 학습하는 형식의 두 가지 유형입니다 당신이 ensamble 학습을 수행 할 수 있도록 첫 번째 유형의 모델이 순차적 인 ensamble 모델은 여기에서 boosting으로 널리 알려져있다

약한 학습자는 훈련 단계에서 순차적으로 생산된다 모델의 성능은 이전 베타에 더 높은 베타를 할당함으로써 향상됩니다 샘플을 잘못 분류하면 부스팅의 예가 적응 형입니다 증폭 및 샘플링 알고리즘에서 증폭 알고리즘 전체 데이터를 알고리즘에 설정하면 알고리즘이 예측을 통해 알고리즘이 일부 데이터를 잘못 분류했다고 가정 해 봅시다 당신이 잘못 분류 된 데이터에 더 많은 관심을 기울이는 것이죠

포인트는 당신이 우리의 대기 시간을 늘려서 그러므로 당신이 그것을 많이 지적한 것입니다 이 일을 계속하는 잘못 분류 된 값에 더 많은 중요성이 부여됩니다 잘못 예측 한 샘플이나 잘못 분류 된 샘플이 올 때까지 예측 된 권리는 모델의 효율성을 높이는 방법입니다 평행 학습으로 알려진 무언가를 가지며 또한 표본 추출법을 포기라고도합니다 귀하의 주 학습자는 평행하게 산출됩니다 교육 단계에서 모델의 성능은 다음과 같이 될 수 있습니다

부트 스트랩 된 데이터에 대해 약한 학습자를 평행하게 교육하여 증가 배깅의 예를 설정하면 무작위로 포리스트 알고리즘을 사용할 수 있습니다 백킹 작업은 데이터 세트를 다른 부트 스트랩 데이터 세트로 나누는 것입니다 당신은 약한 학습자 또는 각 데이터 집합에 알고리즘을 실행하고 있습니다 귀하의 외륜이 내가이 모든 일을하는 반면 순차적으로 잘못 분류 된 것에 따라 가중치를 업데이트하는 것과 함께이 작업을 수행합니다 샘플이 맞습니다

이것은 정확히 ensamble 학습이 무엇인지에 대한 것입니다 정확히 짐 챙기기와 부스팅이 옳다는 것과 명확한 구별이 있습니다 이 둘 사이에는 실제로 가장 자주 묻는 질문 중 하나입니다 기계 학습에 대한 인터뷰를 위해 항상 질문을합니다 배깅과 부스팅이 정확히 무엇인지 물어 본다

그래서 두 사람의 차이점을 이해했는지 확인하십시오 계속 나아가 내가 언급 한 것처럼 부스팅 알고리즘이 어떻게 작동하는지 이해합니다 기본 원칙은 여러 주 학습자를 생성하고 예측이 하나의 강력한 규칙을 형성하게 된 지금이 큰 학습자는 서로 다른 분포의 기본 기계 학습 알고리즘 적용 데이터 세트는 이제 기본 학습 알고리즘이 일반적으로 결정 트리입니다 부스팅 알고리즘에서 기본값이므로이 학습자가하는 일은 생성됩니다 각 반복마다 약한 규칙이 있으므로 반복 횟수가 많으면 약한 학습자 결합되어 더 많은 것을 예측할 수있는 강력한 학습자를 형성합니다

정확한 결과 그래서 당신이 데이터에 대해 이것을 고려하여 단계적으로 설명하게합시다 여기에 두 가지 유형의 데이터가 있습니다 서클을 가지고 있으므로 기본적으로 최종 목표는 두 가지 다른 유형으로 분류하는 것입니다 수업이 이제 정확히 당신이하는 방법입니다 그래서 시작하는 방법은 기본입니다 알고리즘은 데이터를 읽고 모든 데이터에 동일한 임금을 할당합니다 그래서 우리는 데이터를 분석하려고 노력할 것입니다 결정 그루터기 결정 그루터기는 기본적으로 단일 데이터 포인트를 이후에 분류하려고하는 레벨 결정 트리 시도 할 클래스의 모든 점에 동일한 가중치를 지정합니다

결정 그루터기를 그릴 수있는 첫 번째 이미지에서 바로 그루터기를 그립니다 그 다음에는 거짓 예측을 확인하고 다음 단계는 다음과 같습니다 기본 학습자는 그렇게 한 모든 잘못된 예측을 식별합니다 다음 반복은 당신이하는 일은 이들에게 더 높은 체중 연령을 할당하는 것입니다 첫 번째 이미지에서 잘못 분류 된 샘플이 두 이미지를 성공적으로 분리했습니다

맞다 그러나 다른쪽에는 세 개의 다른 사각형이있다 이 세 사각형을 잘못 분류 했으므로 다음 반복에서 이미지를 보면 세 개의 사각형에 높은 베타 jazzing이 있음을 보여줍니다 이미지의 크기를 늘리면 bhadiya 다음 수화 페이지가 증가합니다 마찬가지로 잘못 분류 된 샘플에서 기본적으로 당신은 더 많은 것을 지불 할 것입니다

잘못 분류 된 샘플에주의를 기울여서 대기 시간을 늘려야합니다 그 샘플이 정확하게 분류되어 있는지 확인해야합니다 다음 반복 너무 말했듯이 당신은 두 단계를 반복합니다 모든 잘못 될 때까지 잘못 분류 된 샘플의 무게 연령을 증가시킵니다 샘플은 정확하게 분류되어 있으므로 여기의 다이어그램을 살펴보십시오

올바르게 분류되어 있습니다 우리는 원 세트가있는 사각형 세트를 가지고 있습니다 그래서 정확히 부스팅 알고리즘이 작동하는 방식입니다 부스트 유형에는 주로 3 가지 부양책이 있습니다 그래디언트 boosting과 xg boost를 향상 시켜서 각각에 대해 논의 할 것입니다

브리핑이 내가 이전 선에서 당신에게 설명했던 것입니다 몇 명의 약자를 하나의 강점으로 결합하여 구현됩니다 이 적응 부스팅 알고리즘이 적응하는 두 단계 모든 데이터 포인트에 동일한 웨이트 엣지를 지정하여 부스팅이 시작됩니다 다음 단계는 단일 입력 기능에 대한 결정 그루터기를 그립니다 첫 번째 결정 그루터기에서 얻은 결과가 분석되고, 관측치가 잘못 분류되면 더 높은 가중치가 정확하게 할당됩니다

이전 슬라이드에도 설명되어 있으므로 새로운 결정 그루터기는 높은 가중치를 가진 관측치를 더 중요한 데이터 포인트가 오 분류 되었더라도 다음 단계에서 더 높은 가중치를 주면 다른 결정 그루터기가 그려집니다 데이터 포인트를 더 중요하게 분류하여 데이터 포인트를 분류 잘못 분류 된 관측치가 있으면 체중 연령이 다시 높아진다 그들은 더 높은 무게가 주어지고이 과정은 계속 될 것입니다 모든 관찰이 올바른 수업에 들어갈 때까지 반복을 계속한다 그래서 끝이다 목표는 모든 데이터 요소가 올바른 클래스 적응 형 부스팅 또는 부스트 추가 또한 회귀에 사용될 수 있습니다

문제는 분류에만 국한되지 않고 분류와 회귀는 모두 그렇지만 더 일반적으로 분류 문제가 있었으므로 이제는 적응 부스팅에 대한 간단한 설명을 드리겠습니다 그래디언트 부스팅을 이해하면 그래디언트 부스팅도 순차를 기반으로합니다 여기서 모델을 학습하는 기호는 기본 학습자가 현재의 학습자가 항상 존재하는 방식으로 순차적으로 e를 생성했다 이전 모델보다 효과적입니다 기본적으로 전체 모델이 향상됩니다

순차 e를 반복 할 때마다이 유형의 부스팅의 차이점은 다음과 같습니다 잘못 분류 된 결과에 대한 가중치가 증가하지 않는 경우 잘못 분류 된 결과에 가중치를 그라디언트를 높이는 것은 당신이하는 일의 손실 기능을 최적화하려고 시도하는 것입니다 약한 학습자를 추가하는 새로운 적응 모델을 추가하여 이전 학습자 손실 함수를 줄이기 위해 여기에서 주요 아이디어는 이전 학습자의 예측에서 오류가 발생했습니다 이제 이러한 유형의 부스팅이 있습니다 세 가지 주요 구성 요소는 손실 함수 손실 함수 최적화되어야하는 것을 의미합니다

오류 다른 요소는 약한 학습자가 컴퓨팅에 필요하다는 것입니다 예측을하고 강력한 학습자를 형성하면 추가 모델이 필요합니다 손실 기능을 규칙 화하여 손실을 수정하려고합니다 또는 지난 주 학습자의 오류 맞아요 그래서 당신은 손실 함수를 정규화 할 모델을 계속 추가합니다

이전의 학습자는 적응 형 부스트 그라디언트 증폭과 마찬가지로 분류와 회귀 문제 모두에 대해서도 사용하자 XG 부스트는 이제 XG 부스트의 마지막 유형입니다 말 그대로 그라디언트를 높이는 고급 버전은 극단적 인 그라디언트를 의미합니다 XG 부스팅이 실제로 분산 된 범주에 속하는 경우 기계 학습 커뮤니티 괜찮아요 그라데이션의 고급 버전입니다

부스팅 방법이 알고리즘의 주요 목표는 속도를 높이고 경쟁에서의 효율성을 높이고 모델에서 벗어나십시오 성능 때문에이 모델이 도입 된 이유는 그라디언트 부스팅 알고리즘은 출력을 매우 느린 속도로 계산하고있었습니다 데이터 세트를 순차적으로 분석하면 시간이 오래 걸립니다 그것이 XG boost가 도입 된 이유입니다 모델의 성능이 SG 부스트로 인해 주로 속도에 집중할 것입니다

그리고 당신의 모델 효율을 위해서는 몇 가지 기능이 있습니다 Parallelly Decision Tree를 생성하여 병렬 처리를 지원합니다 순차적 모델링은 이것으로 구현됩니다 크고 복잡한 모든 것을 평가하기위한 분산 컴퓨팅 방법 모듈은 또한 거대한 컴퓨팅을 분석하기 위해 코어 컴퓨팅을 사용합니다 최적의 사용을 위해 kashchei 최적화를 구현하는 다양한 데이터 세트 하드웨어와 리소스에 대한 전반적인 정보가 여러 가지 유형의 부스팅 알고리즘이 이제 상황을 조금만 만듭니다 더 재미있는 전에 실용적인 구현 짧은 면책 조항을 실행하자 데모를 시작하려면 Python을 사용하여 데모를 실행하십시오

if 당신은 파이썬을 모릅니다 설명 상자에 두 개의 링크를 남깁니다 당신은 그 링크를 통해 가서 어쩌면 다시 와서이 비디오를 볼 수 있습니다 이제이 데모에서 정확히 무엇을 할 것인지 이해해 보겠습니다 진술은 버섯 데이터를 연구하고 버섯을 독성 또는 식용으로 분류하여 버섯의 특징에 따라 버섯 데이터 세트가 주어집니다

해야 할 일은이 버섯 중 어느 것이 식용인지 이해해야한다는 것입니다 그것은 유독하다 그래서이 데이터 세트는 기본적으로 23 가지 다른 버섯을 가지고있다 종과 한 종은 식용 버섯 또는 비 식용으로 분류됩니다 먹을 수있는 것들 말이 맞아요

그래서 여기 다시 논리는 기계를 만드는 것입니다 부스팅 알고리즘 중 하나를 사용하여 모델을 예측하여 예측 버섯이 먹을 수 있는지 여부에 관계없이 코드를 빨리 열어 보겠습니다 모두들 모두 콘솔을 볼 수 있기를 바랍니다 그래서 우리는 그때까지만 실행이 기다릴 것입니다 다른 데모와 마찬가지로 코드를 작성하면 필요한 것을 가져 오기 시작합니다

패키지는 이제 파이썬에서 가장 좋은 점은 inbuilt 패키지와 라이브러리를 사용하면 복잡한 프로세스를 구현할 수 있습니다 이 라이브러리를 가져와야 만 제가 여기서하고있는 일을 정확히 수행 할 수 있습니다 그 후 데이터 집합으로 알려진 변수에 데이터 집합을로드하는 중입니다 기본적으로 이것은 내 데이터 집합입니다이 위치에 저장됩니다

나는 그것을 읽고 그것을 수행 할 것이고이 변수에 그것을 저장하고있다 여기서 데이터 처리는 우리의 데이터 세트에서 열 이름을 정의 할 것입니다 열 이름이 정의되어 있지 않으며 여기에 모든 열 이름을 정의하고 있습니다 그런 다음 실행중인 데이터 세트에 이러한 열 이름을 할당합니다 이 인쇄 데이터는 우리의 모든 기능을 볼 수 있도록 정보를 설정하므로이 데이터가 우리의 데이터입니다

열에는 23 개의 변수가 있습니다 어느 변수가 당신의 목표 변수인지에 따라 목표 변수가 우리가 예측하려고하는 출력 변수와 나머지 변수들 bruce의 모자 색 캡 표면은 모두 예측 변수입니다 우리는 데이터로부터이 목표 변수를 떨어 뜨릴 것입니다 우리가 이것을 예측하려고하기 때문에 우리는 가치를 예측하려고 노력하고 있습니다 이 타겟 변수의 값을 반환합니다

그 차량을 예측하기 위해 우리의 Y는 우리의 목표 변수를 포함 할 것입니다 이제 목표 변수를 포함하지 않습니다 Y는 기본적으로 모델 사람들이 내가이 모든 것이 옳다는 것을 모두 알고 있기를 바랍니다 나는 가지 않습니다 이것이 기본 기계 학습이기 때문에 이것에 심층적 인 연구가 필요합니다 당신은 기계 학습에 대해 좋은 생각을 가지고있을 것입니다

머신 학습은 데이터 스 플라이 싱 (data splicing)으로 알려진 것을 수행하고 있습니다 기본적으로 데이터 세트를 교육 및 테스트 데이터 세트로 분할합니다 이 변수는 테스트 데이터 세트의 크기를 정의하므로 30 %가 할당됩니다 테스트를 위해 여기에 70 %가 훈련을 위해 할당되었습니다 결정 트리 분류기를 기초 추정기 권한으로 사용하여 모델 기본 추정기는 기본적으로 당신의 약한 법칙이고 여기서 우리는 엔트로피 방법을 사용하고 있습니다

경로 차량에 가장 적합한 속성을 찾기 위해 이 함수 adaboost 분류자를 호출하기위한 의사 결정 트리는 다음과 같습니다 기본적으로 똑같은 일을 할 수있는 inbuilt 함수는 boostising 분류가해야하고 세 가지 중요한 매개 변수는 당신이 이 함수 기반 추정기를 통해 n 개의 추정기 및 학습률 귀하의 기본 견적가는 기본적으로 당신은 약한 학습자이며, 기본적으로 약한 학습자는 항상 의사 결정 나무입니다 그래서 우리가하고있는 것은 다음과 같습니다 결정 트리를 저장 한 모델에서 변수 모델을 여기에 전달합니다 분류 자 다음에 n 개의 추정자를 강조하므로이 필드는 우리가 바로 사용하려고하는 기반 학습자의 수 우리 모델에 우리가 가지고있는 주 학습자 수는 400 명입니다

다음으로 우리는 학습률을 학습 속도로 지정합니다 우리는 하나의 기본값으로 설정 한 코스 다음에 필요하지 않은 라인을 지우겠습니다 우리 모델을 평가하고 여기에 우리의 모델을 테스트 데이터를 다음에 제공 할 때 값을 예측하는 방법 우리가 예측치를 실제 가치와 비교했을 때 100 %의 정확도를 얻으면 여기서 정확도가 100 %임을 알 수 있습니다 부스팅 머신을 사용할 때 이것이 예상된다는 것을 알고 있기 때문에 완벽합니다 시도 할 경우 학습 기계를 사용하는 대신 학습 알고리즘을 배우십시오

의사 결정 나무와 같은 약한 학습자 모델을 사용하면 정확도가 향상됩니다 백 퍼센트가되지 마라 항상 다른 문제가있다 특히 의사 결정 트리가 넘치는 상황이 발생할 수 있으므로 귀하의 모델이 정확성을 높이기 위해 부스터 기계 학습을 사용하는 것입니다 정확히 내가 알고 싶었던 알고리즘은 기술을 사용하면 모델의 정확성을 높이고 우리는 오늘 회의가 끝날 때까지이 문제에 관해 의문이 생기면 세션을 누른 다음 댓글 섹션에 남겨 둘 수 있습니다

그리고 다음 번에 행복하게 배울 때까지 나는 이 비디오를 듣고 즐거웠 으면 좋겠다 의심과 검색어에 대해 의견을 말할 수 있으며 가장 초기의 플레이어는 우리의 재생 목록에서 더 많은 동영상을 찾아보고 Edureka를 구독합니다 채널을 통해 더 많은 것을 배우고 행복하게 배울 수 있습니다

Data sets for Data Science and Machine Learning | Data Science Tutorial | ZaranTech

헤이 안녕 얘들 아 안녕하세요, 당신이 내 말을들을 수 있기를 바랍니다 화면 이 끝내는 알았어

이 세션에서 우리는 이야기 할거야 기계 학습 및 데이터 과학에 대한 데이터 세트에 대해 모두 괜찮은 vinod 네가 할 수없는 모든 사람들에게 똑같은 말을들을 수 없다고한다 내 말을 들으면 내가 뭘 알 겠어? 감사합니다 음 데이터 세트를 보시라

데이터 과학 및 기계에 관해서 정말 정말로 중요합니다 실제로 특정 데이터 과학을 찾기 란 매우 어렵습니다 실험이나 실험을 할 수있는 다양한 기계 학습 문제에 사용 하나의 데이터 세트를 가져올 수 없으며 모든 분류 플러스 스트링과 회귀는 매우 어렵 기 때문에 일부 데이터 세트를 제공하지 않았습니다 실험을위한 데이터 세트 만 포함되었을뿐 아니라 종류의 설명 사용 예를 알고 있고 코드를 사용하지 않았습니다 여기에 우리는이 데이터 세트가 할 수없는 것에 대한 설명을주었습니다

기계 학습에서 연습하는 동안 데이터 세트를 선택하는 것은 실제로 중요한 사람들은 네가 어떤 데이터 세트라도 가질 수 있다는 것을 알지 못한다 너 자신을 위해 너를 위해 할 일이 무엇인지에 대한 지식을 너는 알지 좋아, 온라인에서 사용할 수있는 많은 공개 데이터 세트를 얻을 수 있으며 데이터의 아이디어를 형성하는 동안 실제로 무엇을하는지에 달려 있습니다 과학 프로젝트 아마도 알고리즘의 변형을 꿈꿔 왔을 것입니다 예측을 논의하는 모델 수행 훈련 데이터를 추정 동료들과 더 많은 결과를 얻을 수 있지만 모든 일을 시작하기 전에 당신은 올바른 데이터를 가져야 할뿐만 아니라 그것이 맞는지 확인해야합니다

귀하의 작업에 따라 분류되었거나 사용하지 않은 데이터에 키스 특정 데이터를 수집 할 필요가 없더라도 프로젝트에 가장 적합한 데이터 세트를 찾는 시간대 프로젝트를 선택하기 전에 프로젝트를 선택해야합니다 귀하의 비즈니스 유스 케이스에 적합한 데이터 세트가 있으므로 확인하지 않으셔도됩니다 항상 가능하지 않은 실시간 데이터를 수집하십시오 특정 데이터를 수집 할 필요가 없습니다 좋은 덩어리를 보낼 수 있습니다

시간은 온라인에서 약간의 시간을 할애 할 수 있습니다 당신은 당신이 가지고있는 블록이나 사람들을 읽어야 만합니다 스택 오버플로에서 특정 질문에 대한 답변이 많았습니다 질문과 답변이 Quora에서 발생하므로 소셜 네트워킹 적절한 데이터 과학자가 사용해야 만하는 것들 아주 좋은 Python이있는 모든 온라인 소스에서 도움을 받으십시오

서로 도움이 될 수있는 커뮤니티 데이터 과학 커뮤니티 다양한 주제에 대해 수천 개의 공개 데이터 세트를 보유하고있는 것처럼 다른 휘트니스 긴장 및 당신은 조리법의 모든 종류에서에조차 알고있다 살충제 중독 비율은 모든 것이 온라인으로 사용 가능합니다 올바른 데이터 세트를 검색 할 때 시간이 필요합니다 원하는 데이터 세트를 찾아야합니다 귀하의 검색은 매우 오래 당신이 데이터 세트를 찾을 수 없다는 것을 알고 있기 때문에 너는 github Kaggle Stack을 가지고 있다고 확신한다 오버플로 펜타 무어에는 당신이 구독해야하는 모든 것들을 계정을 유지하면 정기적으로 업데이트를받을 수있을뿐만 아니라 그것은 당신이 항상 모든 시간을 업데이트하도록 유지할 것이므로 우리는 연구원은 리서치 게이트 (Research Gate)라고 불리는 것을 가지고 있습니다

버몬트에서 매일 업데이트되었지만 매번 조금씩 날짜가 변경되었습니다 데이터 세트가 업데이트되어 계속 유지해야하는 업계입니다 네가 이해할 때까지 너는 적어도 약간의 시간 동안 너는 알았다 조금이라도 암캐가있어서 우리는 이 주제를 생각해 내고 모든 초보자가 쉽게 찾을 수 있도록하십시오 기계 학습 프로젝트 및 데이터에 대해 공개적으로 사용 가능한 최상의 데이터 세트 과학 이니만큼이 바다의 바다로 깊이 들어가 보자

탐색 데이터 분석을위한 우리의 유스 케이스 일반적인 기계 학습 목적 깊은 학습 자연어 처리 클라우드 기반 기계 학습 시계열 추천 장치 숙박 엔진 특정 산업 스트리밍 데이터 현재의 인간을 폐기하는 것으로 알았습니다 이것들이 데이터의 주된 소스임을 알았습니다 과학 저널에 이미 UCI라고 부르는 것을 가지고 있습니다 캘리포니아 대학에 대해 우리의 승리에 대해 그들이 당신과 함께 올라오고 있습니다 4 백 30 삼 가지 다른 도메인에 대해 내가 말하는거야 데이터가 다른 opine 의료 세트는 오 doine mine okay입니다

은행 업무는 나의 것과 금융 분야가 나의 것이기 때문에 궁금합니다 거의 네 가지와 세 가지의 서로 다른 세 가지 영역을 좋아합니다 다른 부분을 kaggle 그것은 당신이 뭔가를 가지고 재정적으로 가면 볼 수있어 quand elle comm이라고 불리는이 프로그램은 그것이 Google에 의해하게되는 이래로 흐름 tangles는 유일한 경쟁이 아니다 최대 도달 범위 다른 데이터 감지 분석 저장소 우리는 다른 평행선을 달리는 경연 대회는 괜찮아요 그렇게 말할 수 있어요

당신은 자신의 데이터를 만들고 기부 할 수 있습니다 여기서 가장 좋은 점은 코드를 가지고있는 커널을 가지고 있다는 것입니다 당신과 이야기 할 수있는 토론 포럼, 의심스러운 점이 있으면 클라우드에있는 AWS Amazon Web Services 당신은 아마존 현자 메이커라고 불리는 것을 제품의 종류 또는 아마존의 서비스는 당신이 그냥 가서 기계를 만들 수 있다는 것을 알 수 있습니다 모델 학습 열차 테스트 클라우드 자체에서 모델을 배포 할 수 있습니다 당신은 당신이 그것을 할 수있는 휴대 전화에서 할 수있는 URL에서 할 수있는 배치 웹 응용 프로그램 그게 괜찮은 옵션을 많이하고 그들은 가지 마세요

단지 당신이 도넛 고 고트 (donot Godot) 인도 나는 인도 정부조차도 그것을 제공합니다 Excel 추격 및 XML PDF 데이터 과학자가 필요로하는 대부분의 유형 특정 GPS 및 jeebies 걸릴하지 마십시오 시작하려고하면 데이터 세트를 알고 KB와 함께 그리고 데이터의 일종이되고 다음에서에서 데이터를 뭉크하려고합니다 시작 단계로 진행되므로 이러한 데이터가 어떻게 세트는 문제의 다양한 다양한 사용되었습니다 그래서 당신이나 당신 중 얼마나 많은 사람들이 당신의 종류를 배우고있는 전문가인지 알고 있습니다 자체 시동기 방식으로 프로젝트를 진행하는 것은 그 일을하는 사람입니다

이 그룹의 우리는 적어도 당신의 손을 들어 올릴 수 있습니까? 그냥 뒤집어 씌우고있어 네가 아는 것처럼 내가 말하는 이름에 말하는게 아니야 참가자 또는 화재 참가자는 채팅 상자에 넣을 수 있습니다 나는 그걸 잘 이해할 것이다 World Bank data set you have 538 github repo의 데이터 세트 여기에 얼마나 많은 github 계정이 있는지 당신을 깊이 탐구해라

github을 알아야한다 github repo를 만드는 방법을 알아야한다 저장소 및 다른 사람들에게 보여줄 수있는 방법을 묻는 것입니다 github repo를 사용하는 사람은 기본적으로 제출 방법 작성 방법을 알고 있습니다 그것을 마스터하는 방법을 강요하는 방법을 DevOps의 기본 형태입니다

ok github 당신이 DevOps를 배우기를 원한다면 DevOps의 기본 양식입니다 개발과 운영에 들어가야합니다 당신이해야 할 첫 번째 일은 github과 함께하는 것입니다 우리가 당신에 대해 이야기하고있는 Emnes 데이터 세트가 이번이 현대적이라는 것을 알았습니다 국립 기술원과 내가 할 수있는 말은 60,000에 가깝다

이 훈련 데이터 세트의 6 만 건과 필자가이 손을 쓸 때 쓰는 숫자를 테스트해라 다른 인간이 당신에게 편지를 썼음을 의미합니다 내가 다른 방식으로 글을 쓰는 다른 방법 그래서 여기서 일어나는 일은 인스턴스를 말할 때 데이터 포인트이거나 하나의 관찰입니다 x 축에서 y 축의 일련 번호를 아는 것에 관해서는 이름이 있습니다

나이 성별 소득 모든 것 그래서 내가 말할 때 일련 번호를 하나의 존 전체 열은 하나의 데이터 포인트 또는 하나의 인스턴스 또는 하나의 관찰입니다 Joran과 같이 하나의 열만 따로 가져 가야합니다 우리가 사용하는 변수는 항상 인스턴스와 데이터 포인트를 확인합니다 하나의 완전한 관찰이 똑같습니다 예리한 74,000 문자 인식을위한 데이터 집합 Google bigquery public 데이터 세트가 많은 YouTube 데이터 세트가있는 데이터 세트 공개적으로 온라인으로 사용 가능하므로 알 수있는 특정 사항이 없습니다

당신이 갈 수있는 특별한 방법이 없습니다 알고리즘의 유스 케이스와 같은 도메인이 기계의 여부 배움이나 동물 배움에 대한 깊은 지식은 한 가지 더 있습니다 UCI가있는 경우 대부분의 데이터가 초기 단계에 있다는 것을 이해해야합니다 그리고 초보자를위한 충분한 양초는이 두 사람이 정말로 있습니다 데이터와 논쟁하기에 충분하다

예, 그것은 당신이 우리가 모든 것을 온라인에서 사용할 수있는 데이터 세트 및 사용 방법 다양한 주제에 관한 데이터를 수집하는 별도의 사진을 찾을 수 있습니다 대용량 데이터는 보통 당신이 알고있는 척탄병과 카탈로그를 설정합니다 그들은 두 가지 일을 할 것입니다 하나는 다른 특정 데이터 포털에 대한 링크를 제공한다는 것입니다 일부 서비스는 직접 데이터에 대한 액세스를 제공하지 않고 사용자가지도의 데이터 세트에있는 기존 포털을 탐색 한 다음 해당 포털을 사용합니다

포털을 열고 원하는 데이터 세트를 드릴 다운하여 마치 다양한 제공자의 데이터 세트를 집계하는 것과 같습니다 예를 들면 보건 인구 에너지 교육 및 더 많은 데이터 세트에 대한 데이터 세트 제공 한 곳에서 오픈 소스 제공 업체가 편리합니다 UCI는 약 400 명을 제공한다고 말할 때 당신은하지 않습니다 33 개의 도메인으로 구성된 왜 당신은 왜 다른 것을 위해 가고 싶습니까? 특정 데이터 세트가있는 경우 검색하려면 해당 데이터 세트 또는 그렇지 않으면 괜찮을 필요가 없으므로 데이터 포털이라고도하는 항목이 있습니다 524 개의 데이터 포털이있는 메타 데이터 기반이지만 큰 것은 아닙니다

발견하기가 어렵지만 데이터를 가져 오는 것이 확실해야합니다 귀하의 사용 사례는 귀하의 이해와 모든 것을 알고 당 datagov 미국에 2 천 3 천 7 천 세트가있다 정부 데이터만으로도 괜찮아요 너무 방대하고 Google은 최근에 도구 상자를 실행하면 Google 도구 상자 데이터에서 Google을 얻을 수 있습니다

전 세계 모든 곳에서 사용할 수 있으며 모든 형식으로 다운로드 할 수 있습니다 너는 이전에 이것들을 좋아했으면 좋았어 우리가 할 수있는 이유는 공개적으로 주어지지 않았다 기계 학습 및 데이터 감각은 데이터 가용성 및 데이터 접근성은 첫 번째 요점은 계산력입니다 충분한 계산 능력을 가지며 사용 가능한 데이터가 더 많으며 우리는 우리가 기계 학습을 할 수있는 데이터에 액세스 할 수 있거나 데이터 과학이나 인공 지능은 여전히 ​​연구 개발 연구소에 속할 것입니다

20 30 년 전에 어떻게 돌아 왔는지 바로 전에 EDA를 배우기를 원한다면 알고 계세요? 당신은 완전한 기계 학습을 이해하기를 원합니다이 모든 것이 모든 데이터입니다 우리가 도메인을 물어 보지 않고 데이터의 사용 사례를 묻도록 설정했습니다 과학 및 기계 괜찮아요 그래, 누구든지 데이터를 시작하는 사람 과학은 탐색 데이터의 전체 절차를 알고 있다는 것을 이해해야합니다 탐색 적 데이터 분석없이 분석하면 프로세스 탐색 데이터 분석은 데이터 과학자 괜찮아요

그래서 한 가지 더 있습니다 데이터 탐색기에 대한 바로 가기 okay 데이터 탐색 분석 탐색 분석은 바로 가기가없는 것과 마음의 상태가있는 것과 같은 것입니다 그 기계 학습은 모든 폭풍우에서 너를 멀리 항해 할 수있어 괜찮지 않을거야 라이브러리 프레임 워크가 여러분에게 매우 도움이 될 수 있음을 이해하십시오

지도에 대한 귀하의 이해를 알고리즘에 대한 최소한의 지식 당신이 깨닫게되는 어떤 시점을 지나서도 괜찮아 질 것입니다 모델 정확성을 향상시키기 위해 고심하고있는 이유는 수학에없는 프레임 워크의 라이브러리에 완전히 의존합니다 모든 상황에서 데이터를 이해하시기 바랍니다 탐사 기술이 당신의 구조에 올 것입니다 당신은 아주 훌륭하게 살아야합니다

데이터 탐색은 무엇에 관한 것인지 완전히 이해하고 있습니다 네가 가치 치료를 놓치고있는 세 가지로 분리 할 수 ​​있다고 말하십시오 또 다른 하나는 특이 치를 탐지 할 수있는 몇 가지 기술이 있다는 것입니다 치료 및 미래 엔지니어링 예술은 모든 미래를 변화시키는 방법을 가지고있는 모든 변수들 변수는 어떻게 특징 변수 생성을 할 것인가? 당신이해야 할 많은 일들이 좋아지기 때문에 우선 우리는 항상 시작합니다 우리가 데이터를 준비하는 데이터 탐색 단계 입력 품질이 출력 품질을 결정한다는 것을 기억하십시오

좋아,이 기계를 배우는 것은 선교사가 그 자체가 명시 적으로 프로그래밍되지 않고 이해합니다 귀하의 의견은 매우 명확해야하므로 출력을 얻으십시오 귀하의 비즈니스 사례 또는 도메인 또는 귀하의 비즈니스 가설 준비 지식 당신이 그것을 오케이라고 부르는 것은 무엇이든간에 그것은 많은 시간을 보내는 것이 합리적입니다 많은 시간을 할애하면 EB에서 많은 시간과 노력이 필요합니다 좋아, 그건 내 개인적인 경험이고 심지어 업계도 느낀다

같은 데이터 탐색 청소 및 데이터 준비가 걸립니다 귀하의 프로젝트 총 시간의 70-80 % 이상을 차지하는 것이 아니라 귀하의 하이 엔드 텐서 루션 PI Taj 또는 귀하의 도서관에서 행해지는 것이 없습니다 당신에 의해 당신은 좋은 수학과 통계학을 가지고 있어야합니다 설명 통계에 대한 지식 또는 그것이 무엇이든지간에 데이터 사용법을 이해하라 지출하는 시간의 80 %는 스스로 해결할 수 있습니다 UI 및 UX 사용자 인터페이스 및 사용자 경험은 가지고있는 내용이지만 모든 것이 당신에게 달려 있습니다

나머지 20 ~ 30 % 그렇습니다 이게 80과 같은 경우 20 20에서 무엇을 하든지 80이 20에 해당합니다 당신이 제대로하지 않으면 20 명이 당신이있는 단계에서 떨어지지 않습니다 여기서 데이터 세트를 테스트하고 데이터 세트를 그 치료법은 80 %가 좋지 않다면 효과가 없을 것입니다 당신은 건물을 짓기위한 데이터를 청소하고 준비하는 것을 이해해야합니다

모델링 될 수있는 예측 일 수있는 모델 좋아요, 이것들은 우리가 이변 양을 적절하게하는 데 아주 조금만 있습니다 단 변량 분석 범주 별 선택 사각형 테스트 누락 된 값은 모든 중복 된 값과 누락 된 값을 어떻게 처리합니까? 데이터가 중복되는 경우 어떻게 추출합니까? 5 개 이상이 될 수없는 경우에는 어떻게 삭제합니까? 전체 데이터 중 일부는 평균 중간 모드를 찾아야한다고 말했습니다 누락 된 값을 채우는 대체 방법을 호출합니다 추정 된 사람들은 괜찮아요 그래서이 대체 방법은 당신이 할 일이 많아서요

혼자서해야만하고 특이점에 대해 이야기해야합니다 특이점은 일반적으로 사용됩니다 필요한 모든 데이터 과학자 또는 데이터 분석 전문가의 용어 주의 다른 경우 예를 들어 데이터 세트가 잘못 추정 될 수 있습니다 4 센트 소득 범위 90 % 90 ~ 95 % 또는 2 명 사이 3 명의 lakhs에 5 명의 사람들은 25 명의 lakhs에 있고 나의 사람들은 나의 이상 치이다 당신은 외계인처럼 말하면서 간단히 대우합니까? 멀리 떨어져서 샘플의 전반적인 패턴과 완전히 다르게됩니다

매우 멀리있는 어딘가에 누워있을 수있는 단 변성 일 수 있습니다 다 변수가되어 인공물이나 자연 또는 물건 때문에 데이터 입력 오류가 될 수 있습니다 실험 오류가 될 측정 오류가 될 수 있습니다 그것은 모든 유형이 될 수 있습니다 좋아요, 그렇게되면 모델에 충격을 줄 수 있습니다 감지하고 제거해야합니다

관찰을 삭제해야합니다 당신에 대한 보상은 별도로 처리해야하며 모든 일을해야합니다 그러면 미래의 공학 미래 엔지니어링에 와서 나는 그것이 기존 데이터에서 더 많은 정보를 추출하는 기술 자체 기본 원칙 및 개념 그리고 기존 데이터의 일부 정보를 추가하지 않은 경우 새로운 데이터를 만들었지 만 실제로 이미 가지고있는 데이터를 만들고 있습니다 유용한 데이터가 있는데 더 이상 아무것도 추가하지 않을 것이지만 그곳에있는 모든 것들이 무엇인지 알아라 데이터를 이해하려고하면 예를 들어 보겠습니다

음식을 예측하거나 당신은 mmm을 알 수 있습니다 당신은 당신이 예측할 것이라고 예측합니다 날짜를 기반으로하는 쇼핑몰의 어떤 것에서 만료 날짜가 나옵니다 직접 시도하고 사용하면 아무런 문제가 없습니다 의미있는 통찰력을 데이터에서 추출 할 수 있습니다

이는 데이터가 낮과 밤의 영향을 덜받는 곳이 요일까지입니다 요일에 대한 정보는 데이터에 약간 암시 적이므로 그것을 가져와 새로운 모델을 더 잘 만들어야한다 좋아요 알려진 데이터에서 정보를 가져 오는이 운동은 미래의 공학이라고 불리는 사람은 누가 미래 공학 이해하기 네가 어떤 복용량인지 알 수있는 의심이 있다면 괜찮아 미래 공학 모든면에서 괜찮다고 느끼면 기본적인 강점을 지닌다

나는 단지 연습해야만한다 나는 단지 우리가 계획하고있는 정보가 아니다 방갈로르에서 ML bootcamp를 수행 할 것입니다 아마 여러분 모두가 그 사실에 관심이 있다면 그 이메일을 받으십시오 너는 그저 걸어 들어가서 그 bootcamp를 할 수 있다는 것을 알고있다

그래서 여기서 일어나는 일은 인기있는 TV 시리즈 인 왕좌의이 게임입니다 요금 시대에 맞춰 정치적 풍경 문자로 설정된 데이터입니다 전투가 열리기 때문에 여기에서 많은 것을 만들 필요가 있습니다 미래 공학의 가치 처리를 기각하는 에다 (eda)의 가정 모든 것이 정돈되어 있으므로 솔직히 많이 배울 수 있습니다 당신이 누락 된 값을 알고있는 것처럼 특이 치 검출 기능은 실제로 엔지니어링입니다

중요한 데이터를 위해서 중요합니다 그렇다면 우리는 수집기로 올 것입니다 당신이 아는 어떤 것입니다 당신이 아는 어떤 것입니다 나는 그것이 전부라고 말할 것입니다

이 데이터 세트에 포함 된 도시 랭킹의 공급자 종류 3 개의 글로벌 대학 순위 IMDB International Movie Database 5000 영화 데이터가 도착하기 전에 좋아하는 영화 인기를 설정 할리우드가 많은 AI를 사용하여 그들의 영화는 맨 위에 그들은 특히 많은 돈을 투자하고 있습니다 어떤 볼리우드 나 다른 것에 대해서 이야기하지만 할리우드는 주로 AI 알아 내거나 아무도이 영화가 어떻게 있어야 하는지를 알지 못한다 이 영화를 좋아하는 사람들의 구체적인 패턴과 어떻게 시장에 내놓는 지 그것들에 대응하기 위해 사용자는 추천 엔진 사용자를 사용합니다 콘텐츠 협업 필터링을 이해하기 위해 계속 진행되는 많은 작업이 있습니다 사용자가 많은 이익을 창출 할 수 있는지 확인하려고합니다

데이터 세트와 우리의 데이터 세트는 reddit 커뮤니티는 항상 아주 좋은 reddit입니다 커뮤니티와 코라는 당신이 croire를 많이 읽었다는 것을 알고 싶다면 아주 좋습니다 질문 및 답변 및 또한 스택 오버플로 metamour 또는 당신은 기계 학습 커뮤니티가 어떻게 도움이되는지 이해할 것입니다 데이터 세트 발행 또는 파일 업로드 또는 다운로드의 경우에는 서로 모든 것은 항상 그들과 함께 계정을 가지고 더 나은 다음 또한 당신이 가지고 그 후에 만 ​​구독하면 무슨 일이 일어나고 있는지 이해할 수 있습니다 백 엔드에 좋아, 선교 학습을위한 괜찮은 데이터 세트 선교 학습이 의미하는 바는 소프트웨어의 초기 시대를 본다

엔지니어링을 코딩하면 출력물을 얻을 수 있지만 기계에 입력됩니다 당신이 어떤 코드도주지 않는다는 것을 배우면, 이전 산출물을 입력으로 준다 우리의 모델로 우리의 시스템에 넣고 모델을 사용할 수있는 모델을 만들 수 있습니다 예측 또는 분류 또는 클러스터링을 위해 너는 뭔가를 건축하고 있을지도 모른다 새로운 건축물에서 고귀한 전에 선교 사업을하지 않았으므로 그 자체가 명시 적으로 프로그래밍되지 않으면 당신은 각자를 프로그램하지 않을 것입니다

선이 좋다면 레이는 이것입니다 당신이하는 일은 당신이하는 일이 아닙니다 당신 스스로 그것을 배우기 위해 시스템에 묻는다 기계 학습 알고리즘이란 무엇인가? 수학 당신은 따옴표로 쓰여진 수학 논리를 알고 있습니다 당신이 좋은 제품을 가지고 있다면 어떤 데이터 세트에서 어떤 활동이나 작업을 처리 할 수 ​​있습니다 지식 또는 데이터 과학에 대한 지식과 모든 것을 알고 항상 알아볼 수 있습니다

회귀 분류와 같은 기계 학습 개념으로 누구나 할 수있다 회귀의 의미가 무엇인지 말해주십시오 회귀 평원에 대한 어떤 생각이든 간단한 영어 기술 전문 용어는 누구나 영어로 간단하게 말할 수 있습니다 두 변수 사이의 관계는 입력 변수가 독립 변수이다 변수 하나는 종속 변수입니다

두 개의 변수가 있습니다 매개 변수가 무엇인지를 변수가 의미하는 바를 이해하는 것 어떤 것이 무엇을 독립적으로 출력합니까? 기본에서만 다음 당신은 이해할 수있을 것입니다 정상에있는 모든 것, 그렇지 않으면 혼란스러워 질 것입니다 당신이 원한다면 당신이 아무것도 얻지 못한다는 걸 알듯이 처음으로 아는 비트 야 그것에서 무언가를 얻는 것은 아주 기본적인 것에서 시작할 수 있습니다 그래, 할 수 있어요

또는 우리는 회귀 신용 카드 불이행을 위해 와인 품질을 선택했습니다 그 사람이 지불할지 여부를 결정할 수 있습니다 그가 지불 할 확률은 얼마입니까? 아니면 지불하지 않을 것입니까? 0 & 1 당신은 클러스터링을위한 분산 또는 센서스 데이터 이후이고 협회는 당신을 각각 세분화하고 있습니다 인구 통계학 아하 북쪽 해안이나 일종의 해안 서해안 북동쪽을 알고있다 각 차례와 당신이 단지 세그먼트를 기반으로 일종의 물건을 여기있는 인구 통계를 통해 학습 한 기계를 볼 수 있습니다

저장소 대부분의 데이터 세트에는 사용할 수있는 학술 논문이 링크되어 있습니다 벤치마킹은 프로세스와 하나 이상의 정보를 알고 싶다면 것은 기계 학습과 깊은 학습에서 많은 것을 읽어야한다는 것입니다 연구 논문은 좋은 모델을 만들고 싶다면 당신은 학문을 말할 때 연구 논문을 이해하고 싶습니다 논문은 기본적으로 모든 연구 논문이므로 이해해야합니다 아키텍처가 어떻게 진행되는지 알기 위해 여러 가지 방법이 있습니다

연구 논문도 마찬가지입니다 그건 완전히 다른 개념입니다 당신이 아는 사람들은 다음 달 또는 미래에 그것을 깊이 탐구 할 것입니다 괜찮 았으면 몇 달 후에 어떻게 읽어야하는지 이해해야합니다 아직 시작하지 않은 문제에 접근한다

나는 깊이 들어가기를 권하지 않는다 만약 당신이 있다면 그들은 데이터 과학 기계에 대해 매우 많이 생각하고 있습니다 학습 개념 네 언제든지 자유롭게 깊은 학습을 할 수 있습니다 그래서 멀리 보이는 한 가지 일은 캐나다 인스티튜트를위한 safar의 약자입니다 고급 연구 M은 현대 기술 연구소의 safar를 의미합니다

그것은 인간의 개를 스캔 한 이미지를 포함하고 있습니다 모든 것이 safar 100 데이터 세트를 사용하려는 경우 또는 방귀 기능을 사용하는 경우 25 55 60이라면 여기에 많은 데이터가 있으므로 괜찮습니다 고화질 이미지가 제공되며 교육을 원한다면 GPU가 있어야합니다 Linux를 사용해야하는 이유는 최고급 루트 시스템입니다 알고리즘의 최적화에 대한 매우 강력한 지식을 가지고있다

적분 미적분과 미적분학이 올바른 것이 아닙니다 그래, 그렇긴하지만 M NIST는 다른 한편으로 CPU에서 돌아갈 수있다 오, 우리는 또한 자습서를 가지고 있습니다 만약 당신이 우리에게 핑을 걸 수있는 깊은 학습에 대한 사면을하기위한 튜토리얼을 줄 것입니다 괜찮아 네, 수백만 YouTube를 제공합니다

비디오 ID와 모든 것 그리고 당신은 완전 차용 이미지를 사용할 수 있습니다 길쌈 신경망 CNN을 알고 있지만 테라 바이트 급의 저장 장치를 사용할 수 있음 그것은 사실입니다 그래서 얼마나 많은 사람들이 신경망을 훈련했고 당신은 각각의 모든 코드 행을 이해할 수있는 사람이 있습니다 전에 신경 네트워크를 훈련하거나 적어도 당신은 괜찮아요 그것을 시도 괜찮 았어 신경망이 다시 바다 인 것을 본다 나는 깊숙이 들어갈 누군가를 제안하지 않는다

이 시점에서 학습하면 사람들은 당신이 알고있는 것처럼 생각합니다 신경망을 훈련하는 것은 쉬운 일임을 알고 있습니다 아니 다시는 생각하기가 쉽지 않아 괜찮아 구글 두뇌 연구 또는 구글의 팀은 구글 두뇌는 많은 제안 과제를 수행 할 수있는 신경망 구조의 방법 어떤 명백한 체중 훈련도없이 우리에게는 당신이 가진 편견이있다 활성화 기능을 사용하면 뉴런 노드가 전파 되감거나 전파 그라디언트 디자인 당신은 깊은 학습에서 배울 많은 것들이 있습니다

당신이 직접 손에 가지고 있다면, 그것은 실제로 모든 사람의 차 안에 있지 않습니다 기계 학습 및 데이터 과학 예, 당신은 깊은 학습에 들어갈 수 있습니다 모든 방법은 괜찮아요, 이것에 대해서는 자신의 찬반 양론이 괜찮습니다 깊은 학습은 두 번째이기 때문에 많이 배우게됩니다 시간 그래, 당신은 깊이 배울 수있는 모든 것을 여기에서 찾을 수 있습니다

J dot org에서 고품질 데이터의 최신 목록 깊은 학습에 도움이 될 때 당신은 항상 당신을 의미합니다 R 및 D에 있습니다 연구 및 개발 모드입니다 간단합니다 우리가 그녀의 엔론 데이터 세트를 주거나 엔론이 그것을하는 것처럼 생각합니다

더 공정한 방법으로 축소 된 모든 사기성 전자 메일을 알 수 있습니다 이 시점에서 온라인으로 이용할 수있는 5 백만 건의 이메일 거래 당신은 긍정적 인 부정 여부 또는 모든 아마존 리뷰를 사용할 수 있습니다 중립적 인 것, 모든것 괜찮아 그래, NLP는 좋았어 또한 당신은 annotated corpora core bra의 답변 목록을 가지고 있습니다 샘플 데이터는 당신이 코퍼스를 가지고 있다고 말한 샘플입니다 클라우드 머신 학습은 내 지식에 익숙해 질 수있는 날짜를 참조하십시오

그것은 이것이 클라우드를위한 것이 아니라 내 서버를 통해 사용할 수 있습니다 클라우드 기반의 모든 기능을 제공합니다 모든 데이터를 전송한다는 사실을 알고 있습니다 온 프레미스 또는 데스크톱을 통해 클라우드에 연결 한 경우 그냥 업로드하려고하지만 당신은 뭔가있는 것을 알고 있습니다 당신에게는 많은 클라우드 서비스가 있지만, 상위 3 개는 AWS Amazon Web Services입니다

구글 클라우드 마이크로 소프트 Azure도 IBM은 클라우드 서비스를 많이 가지고있다 클라우드 서비스 플랫폼과 매우 드물게 일부 데이터 세트는 호환되지 않습니다 하지만 네가 항상 극단적 인 학대를한다고 믿을 수있는 이유는 약 15 년 동안 시장에 내놓을 수 있으며 가동 중단 시간은 적습니다 ec2 Elastic Compute에서 s3 bucket EMR elastic까지 다양한 제품을 보유하고 있습니다 MapReduce 그리고 세이지 메이커가 있습니다

특히 데이터 용입니다 저장 데이터 조작 데이터 처리 및 기계 가동 학습 모델과 모든 것을 좋아할 수 있습니다 항상 거기에 갈 수 있습니다 AWS 또는 클라우드에있는 사용자이므로 클라우드에서 작동하는 모든 사람은 여기 기술자가 아니어야합니다 당신은 주식 가격 Zillow 부동산 연구 결국 괜찮아요 글로벌 교육 통계는 모두 데이터 세트입니다

이 모든 것들은 데이터입니다 여기에 모든 하이퍼 링크가 있지만 공유 할 수는 없습니다 여기에 그 하이퍼 링크가 있지만 프로젝트를 시작할 경우 강한 이해력을 가지고 있고, 당신이 알고 싶다면 당신의 독립적 인 프로젝트를 다운로드하고 데이터 세트를 다운로드하는 데 문제가 있거나 첫 번째 공간에서 데이터 세트를 가져 오면 언제든지 연락하여 연락하십시오 우리는 도망 검사를 통해 우리를 도와 줄 것입니다 Quan DeLand volban이 재무 기록의 대부분을 포함하기 전에 내가 말했던 것처럼 당신이 가진 것들 이 질문에 대한 의문이 생기면 실제로 어떤 기분이 드십니까? 도움이 필요한 것 또는 도움이 필요할 것 같은 도움 예 또는 아니오라고 말하면 안됩니다

하지만 언제든지 확인할 수 있습니다 당신의 비디오 것들이 가능할지 여부에 관계없이 시도해 보겠습니다 당신이 어떤 종류의지지를 필요로하거나 당신이 느끼는 것과 같은 다른 질문은 뭔가해야 할 일이있다 당신 예를 들면 나는 당신이 만약에 느끼지 못한다면 파이썬으로 철저히 철저히 조사해야합니다 당신은 항상 우리가 우리가 당신을 도와 줄 수있는 곳에 있음을 알 수 있습니다

항상 사람들이 한 달 만에 너무 흥분해지고, 프로젝트에 몰려 들었지만 믿을 수 없다 모든 데이터 과학 인터뷰 전환율은 7 점이 아닙니다 인터뷰 기준에 대한 퍼센트는 괜찮습니다 우리는 많은 인터뷰를했습니다 TS 신청자가 시스템을 추적하고 있다는 것을 알고 있습니다

그러면 우리는 가지 않습니다 와 함께 또는 그들은 LinkedIn과 함께 가지 않는 크림 괴물과 함께 가지 않습니다 github repo 프로젝트를보고 나서 게이트 키퍼 첫 번째 레벨 기술적 인 역할을 처음부터 수행하게 될 것입니다 깊이있는 2 개의 수학 깊이있는 매트와 나는 그 중 90 %가 그 말을 듣지 않을 것이라고 말할 것입니다 10 %는 그것을 지우고 코딩에 들어가고 코딩은 아마도 약 5 % 해당 코딩 수준을 지우고 할당이 주어진 것입니다

백 또는 그들은 거의 하나도 내 지식에 하나조차하지 않습니다 47 명은 50 명 중 1 명, 1 명 또는 2 명은 기본 사항을 향상시키는 유일한 방법입니다 데이터 감각은 수학은 확률 통계 선형 대수학 미적분을 배우다 기계 학습 알고리즘을 사용하면 Python으로 건너 뜁니다 당신이 지출 할 수있는 독자의 정기적 인 세척은 최소 3 ~ 4 개월 2 ~ 3 시간 만에 정기적으로 3 ~ 4 시간 정도 몇 개월 후에 프로젝트와 모든 것을 시작합니다 그렇게 할 수 있다면 6 개월을 완료하십시오 나는 그것이 근면 한 일다는 것을 알고있다 그렇습니다 그 때 당신은 할 수있다 일자리를 찾거나 인턴쉽이나 산업계에 아무도 귀찮지 않다는 것을 아십시오 인증에 관해서 우리는 당신이받는 사람에게 어떤 종류의 인증도 요청하지 않습니다

하루 종일 문제가되지 않는 Google이나 Microsoft의 당신이 중요하다고 생각하는 지식은 어떤 종류의 프로젝트입니까? 어떤 종류의 데이터입니까? 왜이 알고리즘을 어떻게 매개 변수와 모든 선택합니까 말했다 데이터에 대한 심층적 인 이해 또는 이해는 사용자가 수학과 알고리즘 논리에 대한 이해가 강해서 항상 말합니다 사람들은 좋은 데이터 과학자가되기를 원한다면 수학과 사랑에 빠지게됩니다 네가 할 수있는 유일한 방법은 그 모든 도서관이 도울 수있는 다른 방법이 없다는 것이다 너는 어느 정도는 그렇지만 너를 향상 시키는데 너를 도울 수는 없다 정확한 모델을 찾는 매개 변수의 정확성 또는 최적화 또는 그것을 할 수없는 모델 선택 예

그게 프레임 워크 또는 라이브러리 괜찮아 할 수있는 능력이 아닙니다 예 추천 시스템 그렇습니다 모두가 아마존을 사용하기 전에 말했죠 그런 다음 제품을 선택하면 구입 한 사람들에게 얼마나 많은 사람들이 저것을 샀을 까? 추천 엔진 우리는 두 개 또는 두 개의 알고리즘을 만들었습니다 두드러지게 사용되는 것은 공동 작업입니다 다른 필터링은 컨텐츠 기반입니다

하나는 사용자의 의도이고 다른 하나는 제품의 의도와 제품의 의도입니다 이 알고리즘이 권장 사항 엔진인지 확인하는 알고리즘은 다음과 같습니다 적절한 방법으로 Pixar 동영상 렌즈로 백만 곡 데이터를 얻을 수 있습니다 당신은 단어를 많이 입력하고 당신은 넷플 릭스가 많은 것들을 가지고 설정 특정 산업 또는 공개 데이터를 선호합니다 공개 또는 공개를 선호합니다

멋진 공개 데이터가 데이터를 전송할뿐만 아니라 Google 도구 상자에도 표시됩니다 약물 관련 산업에 종사하기를 원하거나 원하는 경우 일부 별의 또는 화성과 목성의 기록을 여기에서 볼 수 있습니다 Twitter 스트리밍을 스트리밍 할 수있는 Twitter API가 있습니다 주식 트위스트 응용 프로그램 프로그래밍 인터페이스는 당신이 알고있는 것과 같습니다 방금 전하는 통신중인 응용 프로그램에 연결하고 데이터는 양방향 AP에 초점을 맞 춥니 다

낮은 대기 시간으로 스트리밍 라이브 데이터를 연결하여 무료로 낮은 대기 시간 및 if 높은 품질의 데이터를 원할 경우 비용을 지불해야합니다 저것을 폐지하는 웹 이것은 조금 중요하다 너는 웹 사이트가있는 어디에서부터 정보를 가져 가야하는지 알았지 만 반드시해야합니다 조심 웹 사이트를 위반하는 모든 웹 사이트의 용어는 자신의 조건을 가지고 서비스를 복사하여 붙여 넣기 만하면 안되며 모든 작업을 완료해야합니다 괜찮은 웹 스크러빙은 NLP에서 정말로 중요합니다 이 기사는 당신이 지불해야하는 사람마다 데모 웹 쓰레기 폐기입니다 이 허구의 서점은 예 5:38의 BuzzFeed 뉴스를 제공합니다

현재 이벤트 Times에서 모든 데이터를 스크랩하고 싶습니다 인도의 어린이들을위한 마사 (masa) 국가가 인도 타임즈 (Times of India) 약 30 년 동안 웹 스크랩을 원할 때 기록을 보유하고있을 수 있습니다 내가 말하는 모든 차 왜 인도의 시간은 차분하거나 웹 페이지에 점으로 찍힌다 그래서 토아 닷컴 닷컴 (Toa dot-com hog)은 이전 버전이 많은 아카이브를 확보했습니다 그래서 거기에서 나는 소아마비와 관련된 모든 정보를 추출해야한다

인도에서 예방 접종을 실시하여 소아마비 백신 접종을 위해 출판 된 곳 저 서류는 나의 분석 목적을 위해 저 기사가 추출되어야한다 그래서 내가 무엇을 할 것인가 내가 웹 스크랩을 할 때 나는 웹 스크랩을 할 것이다 거기에 아름다운 도서관처럼 많은 도서관이있다 URL 라이브러리 요청에 의해 스크랩합니다 사용 된 라이브러리가 많이 있습니다 괜찮아

살아있는 데이터 야 네가 살아 있다면 괜찮아 질문이 있으시면 알려주세요 이 시점에서 의심의 여지가 없다면 당신 그래, 네, 미안해 너에게 알려주는 걸 잊어 버렸어

잠깐만 시간을내어 주시겠습니까? 누군가가 실수로 입력 한 것처럼 생각합니다 잠시 시간을 내 시어이 세션에 대한 의견을 제출해주십시오 데이터 세트와 내일 세션에서 나는 다음 세션처럼 우리가 될 것이라고 생각한다 데이터 과학 분야에서 경력을 시작할 때 실수를 피하십시오 사람들과 몇 가지 실수가 있습니다

우리는 이것을 공유하고 있습니다 우리가이 단계를 겪었 기 때문에 우리가 정보를 다른 사람들은 모든 사람에게 이런 일이 발생하지 않도록 확실히하기 위해 질문이 없으면 리뷰를 제출하십시오 우리는 하루 만 부를 수 있고 다음 세션에서 만날거야 알았어 너의 리뷰를 줘라

오케이 고마워요 많은 분들, 다음 세션에서 만나 뵙겠습니다 감사합니다 모두 가입

Artificial Intelligence Tutorial [2018] | What is Artificial Intelligence | What is Deep Learning

안녕 얘들 아, Intellipaat의 또 다른 흥미로운 세션에 오신 것을 환영합니다 우리는 인공 지능이 정확히 무엇인지 이해함으로써 시작합니다

그러면 우리는 인공 지능의 일부 응용 프로그램에서, 우리는 다른 인공 지능을 구현하는 언어, 더 나아가 우리는 깊은 학습과 마침내 우리는 Tensor Flow와 함께 일할 것입니다 그래서, 우리 여행을 시작합시다 !!! 이것은 "Artificial Intelligence"와 같은 용어를 우연히 목격 한 Jake입니다 "Deep Learning"과 "Neural Networks"를 통해 "AI"가 정확히 무엇인지 궁금해지기 시작했습니다 그는 인공 지능을 잘 이해하기 위해 인공 지능 전문가 인 Charlie 삼촌에게갑니다 이제 찰리 삼촌은 흥미로운 질문을 던졌습니다

"인간을 현명하게 만드는 것은 무엇입니까?" 정말 흥미로운 질문이 아닌가? 그래서, 그것은 무엇입니까, 그것이 우리를 현명하게 만듭니다 Jake는 잠시 동안 생각하고, 우리 인간은 생각하고 배우고 만들 수 있다고 말합니다 의사 결정은 우리를 현명하게 만드는 것입니다 그리고 제이크는 절대적으로 옳습니다 !! 이제, 삼촌 찰리는 묻습니다 "기계가 인간의 지능을 보여줄 수 있습니까?" 인간처럼 생각하고 배울 수있는 기계는 놀랍지 않습니까? 그리고 이것은 인공 지능의 기본 개념입니다

간단히 말하면 인공 지능은 컴퓨터를 개발할 수있는 분야입니다 인간의 지능을 요구하는 작업을 수행합니다 자, 우리는 인공 지능이 정확히 무엇인지 이해했습니다 일부는 응용 프로그램입니다 인공 지능은 항공 산업에서 광범위하게 사용됩니다

NASA는 손상된 항공기가 비행을 계속할 수있게 해주는 AI 기반 소프트웨어를 제작했습니다 안전한 착륙 지점에 도달 할 때까지 이 소프트웨어는 손상되지 않은 구성 요소에 의존하여 모든 손상된 구성 요소를 보완합니다 AI는 금융 분야에서도 다양한 응용 분야를 보유하고 있습니다 복잡한 AI 시스템은 수십 배의 속도로 거래 의사 결정을 내리는 데 사용됩니다 어떤 인간보다 능력 있고 이것은 하루에 수백만 개의 거래를하는 데 도움이됩니다

인간 개입없이 AI 시스템이 예술적으로도 창조 할 수 있다고 말하면 당신은 나를 믿을까요? 이미지와 충만한 음악? 네, 들었 죠 원래 "AARON"이라는 컴퓨터 프로그램이 있습니다 예술적 이미지 그리고 "AARON"과 유사하게, "Amper"는 인위적으로 지적인 음악 작곡가이며, 제작자 및 출연자로 구성되며 전체를 작곡하고 제작하는 것은 최초의 인공 지능입니다

음악 앨범 이제는 인공 지능을 구현하기위한 몇 가지 주요 언어를 살펴볼 차례입니다 파이썬은 단순성으로 인해 AI 관련 프로젝트의 첫 번째 장소로 간주됩니다 거대한 공동체 파이썬은 또한 AI와 기계 학습을위한 많은 프레임 워크를 제공합니다 -> Tensor-Flow Theano Scikit-learn & Keras 다음 줄에는 R

R이 분석을위한 매우 효과적인 언어입니다 및 조작 데이터 그것은 튜링 컴플리트 (Turing Complete) 언어입니다 즉 튜링 기계가 구현할 수있는 모든 것을 의미합니다 할 수있다

R은 거대한 커뮤니티를 자랑하며 10,000 개 이상의 패키지를 제공합니다 그런 다음 우리는 LISP를가집니다 Lisp은 인공 지능 개발에서 가장 오래되고 가장 적합한 언어 중 하나입니다 그것은 1958 년 Art Intelligence의 아버지 인 John McCarthy에 의해 만들어졌습니다 Lisp은 기호 정보를 아주 효과적으로 처리 할 수 ​​있습니다

우수한 프로토 타이핑 기능과 쉬운 동적 생성으로도 유명합니다 자동 가비지 수집 기능이있는 객체 자, 머리를 숙이고 딥 러닝 (Deep Learning)이 정확히 무엇인지 이해합시다! 딥 러닝은 우리가 인간의 뇌를 모방하거나 간단하게 알고리즘을 구현하는 분야입니다 우리는 컴퓨터에 배울 방법을 가르칩니다 이 예제를 통해 자세히 배우자

나는 세 가지 물체의 집합, 차를 보여 줄 것이다 꽃과 새 그리고 이들 중 어느 것이 새인지를 물어보십시오 이 세 가지 객체에서 새를 식별하는 것은 매우 쉽습니다 그것? 왜 그런가요? 왜냐하면 시간이 지남에 따라 수천 마리의 새들을 보았을 것이기 때문입니다 그리고 당신은 모든 새가 그것과 관련된 몇 가지 공통적 인 특징들을 가지고 있다는 것을 알고 있습니다, 그것은 날개가있다 그것은 부리가있다

한 쌍의 눈 등등 그리고 당신의 두뇌는이 모든 기능을 배웠습니다 예를 들어 비슷한 기능을 가진 항목을 발견하면 쉽게 식별 할 수 있습니다 그것은 새처럼 !!!! 이것이 우리의 두뇌 기능입니다

그러나 기계는 어떨까요? 동일한 3 개의 객체 세트를 하나의 머신에 공급하면 어떻게 될까요? 이들 중 어느 것이 새인지 식별 ​​할 수 있습니까? 그래서, 여기에서 깊은 학습이 이루어집니다 조류의 수많은 이미지가 컴퓨터에 전송되어 모든 기능을 학습합니다 이것은 새와 관련이 있으며 모범으로 학습하는 것입니다 따라서, 새 새의 이미지가 컴퓨터에 입력되면 그것이 한 모든 학습에 기초한 새 그리고 이것은 깊은 학습이 어떻게 작동 하는지를 보여줍니다

자, 신경 네트워크를 배울 시간입니다 !! 우리는 이미 깊은 학습이 우리가 모방하는 알고리즘을 구현하는 분야라는 것을 알고 있습니다 인간의 뇌 이제 발생하는 질문은 "우리는 어떻게 인간의 뇌를 모방합니까?"입니다 그 대답을하기 위해, "우리의 두뇌는 무엇으로 구성되어 있습니까?"라는 또 다른 질문을하겠습니다 우리의 뇌는 주로 뉴런으로 구성되어 있습니다

그렇죠? 그리고이 뉴런들은 전기 화학 신호를 송수신합니다 그래서, 인간의 뇌를 모방하기 위해서 우리가해야 할 일은 인공적인 뉴런을 만드는 것입니다 뉴런은 생물학적 뉴런과 같은 방식으로 작동합니다 이제, 이러한 생물학적 뉴런은 하나의 뉴런에서 전기 화학 신호를 전달합니다 뇌에 신경 네트워크를 구축하는 또 다른 방법

마찬가지로 여러 개의 인공 뉴런을 결합하면 인공 신경이 생깁니다 회로망 Tensor-Flow를 배우자 Tensor-Flow는 Google에서 개발 한 오픈 소스 라이브러리로 Deep Neural을 구축하는 데 도움이됩니다 네트워크

그리고 Tensor-Flow에서 데이터는 텐서 (tensors) 형태로 표현됩니다 이러한 텐서는 기본적으로 신경망에 입력으로 공급되는 다차원 배열입니다 그러면 우리는 텐서 순위를가집니다 모든 텐서에는 그와 관련된 등급이 있습니다 그래서, 만약 텐서에 하나의 원소가 있다면

또는 다른 말로하면, 규모가 크고 방향이 없다면 순위는 제로 텐서가 한 평면에 크기와 방향을 가지고 있다면, 랭크는 하나가됩니다 유사하게, 텐서가 두 평면에서 크기와 방향을 가지고 있다면, 랭크는 2가 될 것입니다 이것은 주문을 높이 올리는 것입니다 이제 Tensor-Flow라는 이름이 붙여지면서 "Tensor"와 " "흐름" 여기서 데이터는 텐서로 저장되지만 실행은 그래프의 형태로 수행됩니다

이 계산 그래프에서 모든 수학 연산은 노드 내부에 표시되며 모든 텐서는에 표현된다 가장자리

Keras Tutorial TensorFlow | Deep Learning with Keras | Building Models with Keras | Edureka

모두들 시작하겠습니다 Keras에 대해 몇 가지 논의 할 것입니다

의제는 매우 간단하고 매우 높은 수준이 될 것이지만 4 가지가 있습니다 토론 할 포인트와 랩퍼에 대한 정보가 많으면 많을 것입니다 실전 연습과 데이터의 뉘앙스도 포함 시켰습니다 구현 또는 영웅을 사용하여 모델 구현을 보았으므로 Keras 란 무엇인가? Keras 란 무엇인가? 유스 케이스에서 다양한 기능과 혼란을 이해하고 내가 한 일은 세 가지 사용 사례를 만들었습니다 이미 사용한 사례 중 하나입니다

우리가 논의한 길쌈 신경 네트워크 (convolutional neural network) 이전 논의에서 우리가 토론했을 때 모델을 훈련하는 방법과 모델을 작동시키는 방법에 대한 관점 까지 갈비 신경 네트워크 작업하지만 기본적으로 우리가 논의하지 않았다 그들의 세부 사항은 어떻게 우리가 우리가 포함 할 수있는 것들이 우리의 이미지를 준비 하는가? 당신이 왜곡 할 수 있다고 얘기 한 것처럼 우리의 이미지를 더욱 강하게 만들어줍니다 이미지를 약간 뒤집어서 이미지를 뒤집을 수 있습니다 마지막으로 말했을 때 어떻게합니까? 매우 간단하지만 오늘은 코드 흐름을 포함 시켰습니다 일부 예제는 철저한 목록이 아닙니다 이미지와 함께해라

그러나 나는 약간을 포함했다 그래서 당신은 힌트를 얻는다 그것은 어떻게 끝났고 얼마나 쉬운 일인지 그리고 혼돈을 바라 보았습니다 문서를 개선하기 위해 더 많은 것들을 포함시킬 수 있습니다 내가 키라에 대해 토론하기 시작하기 전에, Kira의 주어진 래퍼가 tensorflow 위에서 작동 할 수 있습니다

theano의 일하는 정상은 C NT K의 꼭대기에서 일할 수 있습니다 당신이 혼돈을 설치 한 학습 소프트웨어는 그것의 백엔드를 취할 것입니다 특정 백엔드에서 자동으로 작업을 시작하므로 세미 기계가 tensorflow를 가지고 있음을 입는다 키라를 설치할 때 핵심을 실행할 때 나에게 줄 것이다 tensorflow의 상단에서 실행 중이지만 Theano가 있다고 가정하십시오 뿐만 아니라 tensorflow를 사용하면 어떤 백엔드를 명시 적으로 변경할 필요가 있습니다

실행하고 싶을 때 여기에 설치하면 JSON 파일이 C에 저장됩니다 드라이브 또는 문서 폴더와 이동해야하는 추적 및 파일 및 명시 적으로 말하자면 만약 당신이 텐서 흐름이라고하자 JSON 파일에서 편집 가능한 항목을 지정할 수 있도록 기본값이어야합니다 어떤 복잡한 문제라도 직면하면 매우 복잡한 응급실 크기가 아닙니다 웹 사이트이며 모든 유형의 운영 체제에 대한 충분한 지원을 제공합니다

그래서 Kiera 's는 래퍼 일 뿐이며 비슷한 방식으로 우리는 TF는 이것을 다시 주어진 텐서 흐름의 상단에있는 래퍼입니다 래퍼에 대해 논의 할 것이므로 이해를 시작하십시오 그래서 우리가 논의한 아키텍처로 돌아갈 것입니다 이미 보았거나 혼돈이 무엇인지, 그래서 카오스는 tensorflow thean 또는 c NT k의 위에 랩퍼입니다 사람들은 CN이 H 걸릴 몰라요 Microsoft의 깊은 학습 아키텍처 깊은 학습 라이브러리 인식 툴킷 내가 실수하지 않고 어떤 종류의 것을 만들고있다면 C와 TK가 정말 좋은 깊이있는 학습 아키텍처가 될 것입니다

하지만 솔직히 말해서 나는 그것을 사용하지 않았고 어떤 구현도하지 않았다 테 아노에서 일했고 나는 tensorflow에서 일했습니다 제 생각에는 tensorflow가 IANA보다 앞서 가고 있습니다 새 기능과 같은 기능적 건강이 예를 들어 시퀀스로 올라갑니다 시퀀스하기 위해서는 테아 노가 있지만 tensorflow에서 해결책을 찾아내는 데 시간이 좀 걸렸습니다

사용할 수있는 도움이 많이 있지만 계산 시간에 관한 한 차별화가별로 비슷하지 않은 이유는 우리가 이미 CNN 모델을 언급했을 때 Kiera의 것을 사용했습니다 세 가지 주요 이유 중 하나는 당신이 정말로 쉽고 빠르게 프로토 타입을 어떻게 그것이 우리가 명시 적으로 지정해야 할 많은 일을 하는가? 당신이 텐서 흐름 코드를 작성할 때 그들은 치료에서 디폴트되고있다 선은 매우 이해하기 쉽습니다 일들이 기본값으로되어 있고 세션 중 일부는 시작할 필요가 있습니다 강렬한 흐름과 변수를 초기화해야합니다

따옴표를 쓰는 데 필요한 집중적 인 흐름 당신은 할 필요가 없습니다 이런 것들은 이미 혼란에 빠졌습니다 더 적은 수의 코드를 작성할 때 모델을 시작하면 순차적 모델을 작성하는 측면에서 여러분이하고있는 것을 이미 알고 있습니다 특정 모델의 여부를 확인하는 측면에서 시간을 많이 절약합니다 일할 것인가, 아니면 실제로 어떻게 작동 할 것인가? 궁금해서 혼돈에 빠지면 모든 코드를 다룰 수 있고 더 깨끗한 코드와 이해하기 쉬운 왜 나는 텐서 흐름 종류가 필요한가? 하나의 이유가 무엇인지, 그래서 어떻게 할 것인가? 실제로 실전에서 일하는 것은 누군가가 아이디어로 당신에게 올 때입니다

매니저가 내일 당신에게 와서 당신이 말할 수 있다고 말하려합니다 우리가 감정 모델을 만들 수 있는지 아니면 매일 우리 고객으로부터받는 이메일 당신은 이메일을받으며, 그들이 할 수있는 어떤 방법으로 분류 할 수 있습니다 이제는 상담원들 사이에서 이러한 이메일을 더 잘 배포합니다 무슨 일이 일어나고 있는지는 메일이 나에게 오면 전송률은 약 20 % 다 그 한 사람은 그가해야 할 일을 이해하지 못하고 다음 중 하나는 관리자에게이 문제에 대해 SME가 누구인지 컨설팅을하는 것입니다

그래서 어떤 식 으로든 그렇게 말하게 해줘 나는 가능하다고 생각한다 나에게 몇 가지 카테고리가 할당 된 이메일을 3,000 개에서 3,000 개까지 할당 할 수 있습니다 만들거나 창문을 보여줘서 내가줬으면 좋겠어 알았어

너에게 데이터를 줄게 내일 당신은 당신이 가지고있는 데이터를 3,000 가지의 이메일로 얻습니다 매우 조잡한 모델이며, 그에게 보여주고 괜찮다고 나는 가능하다고 생각한다 나는 그렇지 않다 큰 정확도를 얻지 만 60-70 %의 정확도를 얻고 있습니다

아마 우리는 우리가 원했던대로 할 수있을 것입니다 더 큰 데이터 세트이므로 프로토 타이핑에 유용합니다 이러한 구현을 통해 매우 빠르게 두 번째는 tensorflow와 비교하여 문법적으로 집중적이다 나 같은 프로그래밍 배경에서 오지 않는 사람들은 많이하지 않았다 프로그래밍 나는 C 나 C ++을 모른다

내가 일하면서 파이썬을 배울 것이다 항상 코드 라인이 적은 구현을 찾고 있으며 Cara 's 정말로 거기에서이기는 이유는 누군가가 사용하고 싶어하는 몇 가지 이유입니다 Cara 's 그러나 한계는 예를 들어 당신이 원하는 몇몇 플랫폼 API를 배포하거나 앱을 배포해야하는 앱 모바일 앱을 만들고 싶습니다 모델을 Android 애플리케이션에 적용하면 이러한 경우에 어려움이있을 수 있습니다 귀하의 플랫폼이 Cara의 모델 객체를 지원하지 않을 수 있습니다

좋은 생각이 될 것입니다 정상적으로 수행되는 방법은 그 프로토 타입이나 POC를 당신의 비즈니스에 선보였습니다 감각은 더 큰 데이터에서 그렇게합니다 사람들이하는 일은 시작하는 것입니다 tensorflow와 tensorflow에서 동일하거나 유사한 모델을 구축하는 것은 다른 플랫폼에서의 수용 가능성이 매우 높습니다

프로토 타입을 만드는 방법과 Cara의 쇼케이스를 빠르게 프로젝트가 팔리면 tensorflow로 돌아와서 모델을 처음부터 다시 시작하면 일반적인 모델 배포가 어떻게 작동하는지 알 수 있습니다 카오스 집중적 인 흐름 모두가 아키텍처의 대부분을 지원합니다 우리는 n + CN + r / n을 논의했고, 실제로 그것을 보여줄 것입니다 앞에서 언급했듯이이 두 가지의 조합도 지원하는 유스 케이스가 있습니다 모델이되고 장소가 아닐지라도 더 높은 유형의 복잡성이 있습니다

그것에 대해 토론하기 위해 나는 다른 유형의 순차적 모델을 보여 주려고 노력할 것입니다 이미 혼돈 속에서 정의 할 수있는 모델이 한 가지 더 있다는 것을 이미 알았습니다 하지만 모든 중요한 아키텍처 3m LPC와 nrnl 그들은 사용할 수 있으며 매우 깔끔하고 깨끗하게 우리는 매우 적은 수의 코드로 코드를 작성할 수 있습니다 코드를 사용하고 하나 이상의 모델을 결합하여 예측 및 혼돈에 대한 가장 중요한 세 번째 요소는 두 가지 모두에서 실행될 수 있다는 것입니다 CPU와 GPU를 사용하면 정말 복잡한 작업을 수행 할 필요가 없습니다

혼돈 모델은 GPU 시스템 중 하나에서 실행됩니다 예를 들어 GCP 또는 AWS에 tensorflow가 있으면 쉽게 사용할 수 있습니다 영웅과 당신은 더 복잡한 요구 사항을 실행할 필요가 없습니다 혼란 때문에 그 관점에서 볼 때 매우 쉽습니다 그래서이 혼란이 어떻게 도움이 될 수 있는지 이해한다면, 시도하고 보자 서로 다른 섹션에는 집중적 인 흐름이 두 가지 유형이 있습니다

카오스에서 설정할 수있는 모델을 순차 모델 및 순차라고합니다 우리가 이미 본 모델은 우리가 수행하는 작업이 모델을 레이어의 순서 내가 올 것이다 기능성 구성의 또 다른 유형이 있습니다 잠시 후에 지금은 세부 사항을 언급 할 필요가 없습니다 일부 API가 기능면에서 관련되어 있기 때문에 도움이됩니다 작곡과 당신은 Kira 's에서이 api 's를 처음 보는 모양이라고 부를 수있다 순차적 인 모델과 우리는 이미 약간의 논의가있다 순차적 인 모델은 레이어를 다른 레이어 위에 쌓아 놓기 때문에 이동하면됩니다 순차적 모델이라고하는 혼돈 웹 사이트 선형 스택에 불과하지만 실제 의미는 무엇입니까? 입력 레이어를 가져 와서 숨겨진 레이어에 연결하면 이러한 가중치 계산 된 제 1 은닉 층에 대한 입력으로부터 오는 노드 값은이 활성화 기능이이 계층 이후에 계산 된 것입니다

다음 레이어를위한 입력과 우리가하는 모든 작업은 다음 레이어를 넣을 것입니다 다른 모델과 모델의 상단이 계산되므로 이러한 종류의 모델과 우리가 논의한 세 가지 모델은 모두 조밀하게 연결되어 있으며 MLP는 컨볼 루션 계층 다시 순차 모델이고 rln이고 다시 a 순차 모델은 이러한 모델의 방향성 때문입니다 입력에서 시작하고 감독자에게 주어진 몇 가지 예언 이 모델의 특성을 학습하면 순차적 합성 기능이라고 부릅니다 구성은 혼돈의 또 다른 유형의 구성이며, 더 복잡한 모델을 만드는 데 사용되며 복잡한 말을 할 때 당신은 당신의 모델들 사이에 입력을 가져와야합니다 에디션을 보여 주면 웹 사이트로 가서 무엇을하는지 보여줍니다 정말로 여기에서 실제로 일어나고있는 것이 당신이 거짓말을했다는 것을 의미합니다

일단이 모델을 순차적으로 시작하면 composition 이것은 모델에서 전달 될 유일한 입력이며 모든 예상 기능은 입력 기능을 통해 이루어 지지만 원한다면 상상해보십시오 약간의 개입은 당신이 어떤 특징이 배운 그리고 당신 중 일부는 아주 직관적으로 알지 못할 수도 있지만 당신은 정서 분석을위한 모델과 당신이 만든 모든 정보를 만들었습니다 정서가 긍정적인지 또는 부정적인지를 말하면서 사람들이 작성한 문장과 모델을 만들었지 만 개입하고 싶거나 시간에 대한 정보를 섭취하고 싶다고 말합니다 나중에이 모델의이 단계에서 이메일을 보내고 가능하거나 순차적이지 않으므로 이것이 구조이기 때문에 대답은 아니오입니다 이미 말했지만 키 에라의 기능적인 구성은 자유를 주었다

데이터 과학자들에게는 모델을 만들어서 우리가 입력 한 것과 나중에 입력 한 것의 일부를 계산합니다 전자 메일이 수신되는 시간 또는 어떤 국가와 같은 정보를 결합하고 싶습니다 당신이 그런 종류의 것을 들여오고 싶다면 그것은 어떤 언어에서 왔는지에 달려 있습니다 메타 데이터 정보라면 기능적 API를 사용할 수있을 것입니다 예를 들어 Karis의 아주 훌륭한 설명은 이것이 하나라는 것입니다

여기에 이것이 우리가 사용할 수있는 방법을 코드화하려는 예제이고 이것은 당신이 감정 분석을하고 있다고 가정 해 보겠습니다 실제로 M 베어링과 함께 lsdm을 사용하여 M 베어링에 대해 논의 할 것입니다 당신이 할 수있는 것은 여기서 당신이 이메일이나 트윗의 텍스트 또는 설문 조사 데이터 당신이 삽입 할 수있는 아키텍처의 한 종류를 만들었습니다 정보를 제공하지만이 시간이 트윗이므로이 두 가지 정보를 입력 할 수 있습니다 그런 다음 두 모델을 기반으로 모델을 만들 수 있습니다

텍스트뿐만 아니라 다른 정보를 가리키며 이것은 매우 여러분 중 일부가 spss에서 작업 한 것처럼 이미 spss에서 본 것과 비슷합니다 다른 노드와 노드에서 작업 한 사람들을 만드는 측면에서 모델러 기반 모델이나 소프트웨어에 의해 그들이 할 수있는 점에서 매우 간단하다 노드가 데이터를 가져 오면이 노드는이 노드가 데이터를 정리합니다 모델을 만들고 여기서 또 다른 기능을 모델에 포함시킬 수 있습니다 이런 종류의 건축물 Kiera 's는 당신이 가져올 수있는 곳을 제공합니다

이미 다른 기능을 구축하기 시작한 후에 다른 기능의 정보 다른 정보가있는 모델을 사용하면 모델을 완성하면 lsdm에서만 출력됩니다 시간과 텍스트의 정보를 결합한 다음 다른 정보를 만들 수 있습니다 모델은 두 정보 점을 기반으로하며 프로세스는 약간입니다 당신이 그것을 훈련시킬 필요가있는 다른 것이지만, 연결은 우리가 다른 소프트웨어에서 가지고있는 어셈블리와 비슷한 방식으로 작동합니다 하나의 정보 스트림 또는 한 스트림의 정보를 연결시킬 수 있습니다

사용 가능한 다른 정보 스트림을 사용하는 모델이 출시 될 예정입니다 순차적 인 모델의 관점에서만 상세한 설명을 통해 두 종류의 모델 이었지만 지금은 밀도가 높은 레이어를 시작하기 때문에 기본적으로 완전히 연결된 레이어이며 우리의 다중 레이어를위한 레이어입니다 퍼셉트론 (perceptron) 종류의 아키텍처가 다중 계층 구조가되도록 퍼셉트론 아키텍처와이 아키텍처는 밀도가 높습니다 카라의 반복적 인 신경 회로망에 연결된 층 또는 조밀 한 층 lsdm 셀을 사용하여 반복적 인 신경망을 수행하는 방법 유사한 작업 회선 신경 네트워크 및 풀링 계층 우리는 그것을 보았지만 나는 당신에게 어떤 차별화를 보여줄 것인가? 데이터 증가와 나는 이것이 정말로 의미하는 바를 설명 할 것이지만 우리는 모델 개선을 위해 혼돈을 어떻게 사용할 수 있는지에 대해 논의합니다 당신의 훈련 데이터를 가지고 노는 것이 카오스가있는 네 가지입니다

정말 도움이되고 우리는 토론에서이 모든 것을 구현하려고 노력할 것입니다 앞으로 우리가 가기 전에 먼저 정규화가 무엇인지 이해하자 정규화 계층은 먼저 정규화가 무엇인지 이해하므로 우리 중 일부는 우리 모두가 지금 얼마나 잘 알고 있는지 어떻게 알 수 있습니까? 모델은 정확성 측면에서하고 있습니다 그래서 우리가 로지스틱 모델을 가지고 있다고 가정 해 봅시다 우리가 원하는 것은 이것이 우리가 매개 변수에 대해 가지고있는 데이터라고 가정 해 봅시다

두 개의 피쳐에 대한 데이터가 x1과 x2로 주어 졌다고 가정하면 나는이 두 클래스를 하나의 클래스로 분리하거나 구분하기위한 예제를 가지고있다 이 두 가지 특징을 기반으로 한 학습 과정에서 또 하나의 방법은 우리가 아주 간단한 모델에 적합 할 수 있다면, 물류 모델을 선형 분류자를 사용하고, 오히려 차라리 이런 식으로 라인을 설정합니다 좋은 모델 나는 좋은 모델을 원하지 않는다 나는 조금 나쁘게 지키고 싶다 모델이 라인에 맞는다면 바로 직선이라는 것을 알 수 있습니다

우리에게이 점에 대한 분류가 잘못되어 있습니다 잘못 분류 된 점들은 오 분류되고 있으며 우리는 이것을 높은 점수라고 부릅니다 모델이 클래스를 분류 할 수 없었기 때문에 바이어스 문제 정확하게 설정되어있는 가설은 상당히 기본이며 모델의 미스 분류가 많고 높은 바이어스 문제가 나타납니다 모델에서는 교육 데이터 세트 및 테스트 데이터 세트를 말하면 이런 종류의 모델은 일반적으로 이와 같은 결과를 출력합니다 정확도가 0

65로 매우 좋지는 않지만 테스트 정확도는 63 회 정도는하지만 훈련에 대한 정확성을 말하고자합니다 데이터가 아주 좋지는 않을 것이며 분명히 테스트는 다른 유형의 예 또는 다른 유형의 가설은 당신에게 2 차 다항식에 관한 데이터가 있고 그것들을 사용한다고 해봅시다 한 줄을 맞추고이 종류의 포물선 또는 두 번째 다차원 가설은 100 % 정확하지는 않지만 이런 분류가 잘못 분류 된 것은이 문이 잘못 분류 된 것입니다 그러나 전반적으로 그 일을하고 있으며, 우리는이 유형의 적합을 바로 비록 위대한 이름은 아니지만 그게 대부분의 텍스트가 그것을 부르는 방법입니다 단지 올바른 구현이며 출력은 일반적으로 뭔가가 될 것입니다 이렇게하면 훈련 데이터 세트에 대해 90 % 정확하다는 것을 알 수 있습니다

아주 가까운 곳에서 89 점 또는 88 %의 정확도를 테스트 중 하나에 지정하십시오 이 종류의 출력을 설정하면 알 수있는 종류의 표시입니다 모델은 교육 데이터 세트에서 좋은 성과를 거두었으며 테스트 데이터 세트와 만약 당신이 아마 이런 종류의 상황에 빠지면 훌륭한 작업과 모델이 정말 좋습니다 한 가지 더 많은 방법이있을 수 있습니다 더 높은 차수의 다항식을 많이 포함하면 모델이 될 수 있습니다

그것과 비슷한 것은 매우 복잡한 회선에 적합합니다 흐리게 보였습니다 그러나 당신은 직감을 얻었습니다 매우 높은 차수의 다항식은이 행을 그렇게 많이 변경시킬 수 있습니다 비록 내가 언급하고 있지만 100 % 정확하거나 매우 높은 이것을하고있다

대부분의 시간이 100 %는 아니지만 정말 높은 정확도를 보이고 있습니다 08 09 정확도는 백분율이지만 테스트 데이터를 보면 정확도를 08 0

7이며 이것은 차별화와 이런 종류의 차트입니다 모델이 얼마나 좋은지 또는 나쁜지를 파악하는 데 정말로 도움이됩니다 모델 배포와 관련이없는 아키텍처와 관련이 없습니다 당신이 실제로 도달 한 곳을 어떻게 이런 종류의 문제는 높은 분산이라 불리우거나 과핑 (overfitting)과 왜 너무 많이 또는 너무 깔끔하게 맞춰져있는 오버 피팅 (overfitting)인지 데이터 집합을 훈련시키고 유사한 예측이나 유사한 유형을하지 않는 것 테스트의 정확성은 모델의 일반화 문제라고도합니다 새로운 데이터 포인트를 일반화하지는 못합니다

포인트는 교육 시간에 사용할 수 있었고 귀하의 모델은 그것이 한 것입니다 정말 정말 당신의 데이터를 암기하고 100 % 또는 훈련 데이터 세트에 대해 매우 높은 정확도를 보였지만 테스트를 할 때 훈련 시간에 사용할 수 없었던 라인은 왜냐하면 이제는 이런 종류의 문제가 일반화되지 않았기 때문입니다 오버 피팅 (overfitting)이라고 부르며 오버 피팅 (overfitting)을 피하기 위해 다음과 같은 몇 가지 단계가 있습니다 우리는 당신이 이런 종류의 모델을 설정했다면 우리가 그것을 적합하게 만들 수 있습니다 우리 모델이 비교적 좋은 예측을 할뿐만 아니라 테스트 데이터 세트 나 데이터에 대해서도 저널링을 실시했다

보지 않았거나 새로운 데이터가 언제든지 전화를 걸 때마다 설정합니다 우리는이 특정한 상황에 도달하면 우리가 증가하려고 노력한다는 것을 깨닫습니다 레이어와 노드의 수를 늘리고 복잡하게 만들지 만 사용자가 만든 것으로 상상해보십시오 복잡한 데이터는 교육 데이터 자체를 외운 다음 필요한 것입니다 네가 알기에 네가 그런 식으로 만들 수있는 몇 가지 방법을 알아 내야 해

교육뿐만 아니라 테스트를 위해 더 나은 예측을 할 수 있다는 이 작업을 수행하는 프로세스는 모델을 일반화하는 것을 알고 있습니다 잘 정규화의 범주에 속하는 몇 가지 방법이 있습니다 그 중 몇 가지를 논의 할 것이고 남은 것은 이미 있습니다 때로는 모델에 구현되어있어 실제로 모델을 수행 할 때 가장 일반적인 작업 중 하나입니다 우리가 보았던 마지막 7 개의 수업에서 지금까지 우리는 우리가 가지고있는 미세 조정 영역에 들어 가지 않은 모델에 적합합니다 당신이 가치를 선택하는 방법을 알고 있지만 우리가하지 않은 몇 가지 비트를 논의 이 섹션을 만졌고 이것들은 정말 편리 할 몇 가지 트릭입니다

당신이 당신의 모델을 개발할 때입니다 그래서 당신이 당신의 모델에서 문제를 지나치게 보았을 때 당신이 할 수있는 방법은 무엇인가? 그것을 피하거나 그것을 제거 할 수 있습니다 나는 정규화에 대해 이야기 할 것입니다 기술을 사용하지만 우선 문제를 해결하거나 직관적으로 생각하면 더 많은 데이터와 해결 방법 더 많은 데이터가 있다면 문제를 너무 많이 풀 수 있습니다 모델이 훈련을 암기 할 때 overfitting 문제를 갖게됩니다

데이터 집합을 만들지 만 교육 데이터 집합을 늘리면 처음에는 당신은 수천 가지의 훈련 예를 가지고 일하고 있으며 다섯 가지 예를 들어 봅시다 두 클래스에 대해 각각 백 개를 사용하고 모델에 적합하면 천 포인트는 그들이 떨어지는 곳과 많이 사용했기 때문에 나타났습니다 많은 노드와 기능 중에서 각 데이터 요소의 위치를 ​​식별 할 수있는 기능이 있습니다 그리고 더 많은 데이터를 얻었을 때 줄을 적절하게 조정하면 귀하의 모델에 대해 100,000 개의 데이터 포인트가 있으면 매우 어려울 것입니다 이 특별한 방법으로 모든 데이터 포인트를 기억할 때마다 모델은 일종의 전쟁 피팅 문제를 일으키고 있습니다

더 많은 데이터 세트를 가져 와서 데이터가 비교적 새로운 것이라면 내가 의미하는 바는 테스트와 테스트를 거친 것입니다 이 천 개의 행을 100 번 복제하면 안됩니다 내가 똑같은 것에서 더 많은 데이터를 얻으면 배포 또는 유사한 배포를 시도하고 테스트 한 것은 귀하의 모델은 어떤 종류의 수정이나 정규화를 가지지 않기 때문에 새로운 데이터를 얻는 것이 항상 그런 것은 아니라는 것을 우리 모두가 알고있는 데이터 세트를 암기 할 수 있습니다 쉬운 작업이므로 데이터 증가라고 불리는 프로세스가 있습니다 Kira 's 및 tensor flow에서 사용할 수 있습니다

이미지는 데이터 보강이 새로운 데이터를 생성하는 과정입니다 기존 데이터를 볼 수 있다면이 고양이는 우리와 함께 이미지를 사용할 수 있지만 만약 내가 뒤집어 말하면 거울 이미지 만 받아 들일 수 있으면 새로운 것을 만들었 어 이미지와 당신 중 일부는 그것이 당신이 알지 못하는 새로운 이미지가 아니라고 주장 할 수 있습니다 새로운 기능을 캡처하고 당신은 절대적으로 정확합니다 증강 된 데이터는 많은 자유 또는 많은 제거를 제공하지 않을 수 있습니다

새 데이터 세트로 overfitting하면되지만 일부 값을 추가하므로 일부 데이터를 보유 할 수 있습니다 이미지를 플립하면 플립 할 수 있습니다 플립 플립을 할 수 있습니다 그래서 당신이 그것을 거꾸로 만들거나 당신이 어떤 섹션의 줌을 할 수 있다고 가정 해 봅시다 이미지의 확대 / 축소가 필요하므로 확대해야한다고 가정 해 봅시다

확대 / 축소는 카오스의 데이터 증가에 대한 매우 간단한 연습입니다 텐서 흐름뿐만 아니라 이미지의 20 %를 확대하여 귀하의 이미지가 다르게 보일 수 있으므로 데이터 보강은 다음 중 한 가지 방법이 될 수 있습니다 우리가 간략하게 논의한 또 다른 방법을 과도하게 다루는 것은 우리가 드롭 아웃 (dropout)이라고 불리는 신경 네트워크에 대해 논의 중이 었으며 그 방울이 실제로 방금 내가 말한 직감에서 작동한다는 것을 의미합니다 모델이 모든 점을 암기하도록하지 마십시오 어떻게 작동합니까? 내가 그것을 설명하게해라

그것은 깊은 곳에서 왔던 매우 흥미있는 점이다 학습 시점 및 대부분의 경우 드롭 아웃 레이어를 사용할 것입니다 우리가 갈 모든 세 가지 아키텍처에서 한 가지 방법 또는 다른 방법 토론하고 내가 가진다면 그것이 어떻게 작동하는지 직감을 보자 4 개의 입력 특징 및 이들 3 개의 각각에 4 개의 숨겨진 노드를 갖는다 레이어라고 가정하고 이것이 H1이라고 가정합시다 이것은 H2이고 이것은 H3입니다

무작위로 일부 노드를 끄는 동안 모델 교육 및 내가 실제로 내 코드에서 힙 Rob를 언급 할 확률을 만들었습니다 그리고 당신이 가질 수있는 모든 3 개의 레이어를 Rob에서 생성했다고 가정 해 봅시다 다른 레이어의 다른 주요 확률이지만 예를 들어 첫 번째 슈트의 두 레이어에 대해 05의 확률과 05이고 세 번째는 0

75의 핵심 확률을 유지한다고 가정 해 봅시다 정말로 그렇습니다 그리고 당신이 알고있는 것처럼 우리는 다른 수의 에포크들을위한 모델을 실행합니다 이 팝이 어떻게 생기는지 보게 될 것이고, 내가 3 상자 만 모델로 만드세요이 모델은 당신이 설정 한 모델입니다

첫 번째 시대에 처음으로 실행되기 때문에 상자에 대한 모델에서 그러니 먼저 POC가 임의로 동전을 버리고이 노드에 대해 말하려합니다 이 노드는 스위치가 켜져 있어야하고 나머지는 계속 유지해야합니다 그것은 두 번째로 열립니다 왜냐하면 이것은 무작위적인 과정이기 때문에 왔습니다 이들은 꺼졌으며 P 확률이 0

75이므로 내 노트의 75 %를 열어 두거나 모델과 그 중 하나에 보관해야합니다 그들 중 어느 하나를 무작위로 꺼야 할 필요가있다 스위치를 끄고 기본적으로 스위치를 끄면 이 특정 노드의 출력이 이제 0으로 변환되었습니다 이 특정 노드의 모델 출력은 이들을 기반으로 계산됩니다 이 두 노드와 두 노드가 출력되고 출력됩니다

당신은이 가중치를 각각 배우기 위해 몇 가지 역 전파를 수행 할 것입니다 예측은 첫 번째 단계에서 이루어지며 가중치는 이 프로세스를 수행 할 때 업데이트 된 다음 두 번째 단계에서 두 번째 기점을 다시 확인하고 이번에는이 두 노드가 스위치를 끈다 고 가정 해 보겠습니다 이 두 게이츠가 꺼지고이 스위치가 스위치를 끈 다음 남은 열린 자에 대한 예측이 수행 된 후 예측은 이루어지고 세 번째 시대는 같은 무작위로 노드와 모델은 각각의 시대마다 예측을 할 수 있습니다 실제로하고있는 일은 모델에 얼마나 많은 양의 특정 노드가 기여하고 강제로 예측을합니다 나머지 노드는 우리가 l1과 l2 정규화와 같은 방식으로 작동합니다

우리가 간략하게 언급 한 l1과 l2 정규화를 사용할 수 있습니다 하지만 실제로 작업을 중단하면 구현이 쉽고 초과 피팅 문제를 가장 잘 해결할 수있는 방법을 보여 드리겠습니다 정규화 정규화 및 일괄 정규화는 이 표준화가 어떻게 일어날 지에 대한 관점 일괄 정규화 측면에서 추가 된 몇 가지 있지만 멀리까지 이 프로세스가 어떻게 수행되었는지는 정규화와 배치에서 동일합니다 정상화 그래서 먼저 정상화가 실제로 어떻게되는지 이해하고 시도하십시오 나는 당신이 당신의 데이터를 정상화시켜야한다고 옹호 해왔다

0과 1 사이의 같은 데이터를 조정하거나 데이터를 표준화합니다 평균이 0이고 표준 편차가 1이고 우리는 공식을 보았습니다 표준화와 그것이 정말로 도움이되는 방법 만약 내가 직관적으로 이것이 실제로있는 실제 데이터라고 말하고 싶다면 X 1과 X 2와이 두 값의 스케일이 다른 것을 보면 여기에 X 2의 가치에는 변화가 거의 없지만 거대한 X1의 값의 분산과 이것이 다른 가늠자는이 가치가 1 2 & 3다는 것을 밝힌다 이 값은 100 200과 몇 가지 더 큰 값과 같습니다 이런 종류의 가치를 지녔지 만 이러한 의미를 제거하면 가치는 원산지와 중간에있을 것입니다 그러면 당신이하는 것은 당신입니다 평균을 빼서 표준화하고 표준 편차로 나눈다

이제 귀하의 데이터는 일종의 무작위이며 그것은 다음과 같은면에서 도움이 될 것입니다 당신의 모델을 배우고 당신 중 일부는이 질문을 할 수 있습니다 정말로 당신은 당신이 일종의 일을했다는 것과 데이터가 동일하다는 것을 알게됩니다 변형 모델 교육 측면에서 어떻게 도움이 되는가? 몇 가지 그래프의 직감과 그것이 실제로 도움이되는지 확인하십시오 모델을 정말 빨리 만들 수 있습니다

따라서이 그래프 중 일부를 보시면 먼저 방정식에서이 방정식은 비용 함수의 방정식입니다 당신이이 특정한 것을 취하면 차이는 M 합계로 1이됩니다 섹션을 교차 엔트로피로 사용하면 실제 가치와 예상 확률은 얼마이며 비용은 얼마입니까? 계산되어 객관적인 또는 최적화 과정이 필요합니다 W와 B의 방법을 찾으려면 더 많은 매개 변수가 있다면 이 데이터를 3 차원으로 플롯하면이 손실이 최소화됩니다 우리가 WB와 J를 가지고 있다고 가정 해보고 싶다면이 값들이 어떻게 그것이 비정규 화 된 데이터이고 W와 B와 J를 가졌다면 같은 것이 아닐 것입니다 척도는 다를 수 있으며 이해할 수있는 값이 될 수 있습니다

또한 당신이 다른 비늘을 가지고있는 것과 같은 방식으로 생각합니다 W 2 이것은 w1이며 두 가지 기능이 서로 다른 규모이기 때문에 이것과 당신의 비용 함수를위한 다른 가늠자는 복잡하게 될 것입니다 다른 방향으로 다른 공간이있을 것입니다 윤곽선을 보면이 타원형이 될 것입니다 교육이 일어날 때 실제로 일어납니다 많은 가치를 바꿀 것입니다

수평 방향으로 보면 스케일은 높고 값은 작습니다 비늘이 어떤 모델보다 적기 때문에 더 작은 값을 변경해야합니다 훈련은 실제로 이렇게 일어난 비늘이었고 당신은 비용 함수가 더 많은 모델에서 당신의 피쳐를 표준화 할 수 있습니다 덜 대칭 적이며 모델이 시작하는 프로세스를 더 쉽게 수행합니다 어디서나 그리고 나서 당신은 직감이 있었기 때문에 세계 최소치에 도달했습니다

노드에 똑같은 직관이 적용되었습니다 그래서 제가 돌아 가면 내 기능이 켜져 있다면 우리가 이해하고있는 것을 보여주고 같은 척도는 모델이 배우고 수렴하는 것이 더 쉽다 당신이 여기의 건축물을 본다면 더 좋지만 지금은 다중 레이어 퍼셉트론 아키텍처는 실제로 이들 입력 노드가 입력되는 이들 상이한 층 (h1, h2 및 h3)에서 발생한다 첫 번째 숨겨진 레이어로 이동하여 실제로 그렇게하는 것처럼 호출한다고 가정 해 봅시다 이것이 w1이고 이것이 w2이고 이것이 w3 일뿐입니다 이 특정 노드에서 두 가지를 먼저 Z라고하고 Z를 점수라고합시다

나는 그것을 레이어 1이라고 부른다 나는 단지 윗면을 1로 지정할 것이다 이것은 레이어 1이고 하단은 노드 값이므로 스코어의 값 우리는 점수 또는 출력이라고 부르며 W 1 X 1 + W 2 X 2 더하기 W 3 X 3과 비슷하게 Z 1/2를 계산할 수 있습니다 이 노드와 z1 3은 이것이 알려지면 계산 될 것이다 당신의 무게와 각 입력의 일부 제품이 될 것입니다 이 세 가지 모두가 서로 다른 가중치와 이것들은 입력이고 이것들은 크기가 조정되지 않을 수도 있습니다

나는 의도적으로하지 않았습니다 당신이이 단계에서 점수를 계산하면 다른 단계에 대해 이야기했습니다 각 노드에서 활성화 함수를 적용하여 a1이라고 부르겠습니다 활성화 함수 G를 적용한 후이 특정 노드의 출력 이 하나와 G는 당신이나 Sigmoid 또는 십대 무엇이든 될 수 있습니다 활성화 함수를 사용하고 싶었지만이 두 값은 다음과 같이 계산되었습니다

각 노드는 먼저 자신의 점수를 계산 한 다음 활성화를 사용합니다 함수를 사용하여 그림을 얻고이 값을 1 또는 1 2 A 1 3 다른 가늠자에 있고 지금 여기에서 가치가 무엇 이건간에 1 1 a 1 2 또는 1 3 이제 이들은 내 다음 계층에 대한 입력입니다 이 값들은 우리가 입력 한 것과 같은 성질이 아닐 수도 있습니다 우리의 의견이 현대적인 최적화에 미치는 영향을 물류의 경우에 우리가 보아 왔듯이 정규 분포 또는 정규화 우리가 어떤 종류의 일을 할 때 무게로 곱한 무게를 가진 회귀 이것이 내 입력이며 정규화되지 않았거나 정상적으로 배포되었거나 그렇지 않은 경우 모두 0 또는 1로 확장되지 않음 표준화 내가 입력 한 내용이 간단한 네트워크와 내가 말한 의미는 X 1 X 2와 X 3 퍼셉트론 (perceptron)과 같은 매우 간단한 모델을 가지고 출력을 만들고 이것들은 나의 가중치 였고, 당신은 이것이 근본적으로 물류 모델이라는 것을 기억합니다 노드가 입력되고 정규화되지 않았거나 나는 최적화 측면에서 동일한 문제에 직면하게 될 것이다 정규화는 나오는 값을 정규화하는 과정입니다

이 레이어의 각 노드에서 노드를 사용하면 이러한 레이어의 출력을 피드 할 때 노드를 다음 레이어로 이동 시키면 모든 값이 정규화됩니다 우리의 입력 레이어에 대해서는 이것들이 이미 언급 한 기능들입니다 한 가지는 남아 있고 나는 의도적으로 말하지 않았다 왜냐하면 내가 말했듯이 나는 두 개의 높은 매개 변수 또는 세 개의 새로운 새로운 매개 변수에 대해 이야기 할 것입니다 수업 시간에 우리는이 질문을 통해 우리가 어떻게 우리를 정상화시킬 수 있는지에 대해 논의했습니다 값을 0으로 정규화한다는 것을 알았습니다

항상 도움이되는 것은 아니지만 이러한 평균화 된 값이 어떤 평균과 귀하의 모델이 실제 과정에서 배울 수있는 표준 편차 도움이 될 수있는 방법과 실제로 할 수있는 방법 두 가지 더 많은 하이퍼 매개 변수를 소개 할 수 있습니다 그것은 훈련 할 수 있고 여기서 표준화 된 값은 0과 같다고 말합니다 평균 및 표준 편차가 하나이지만 다시 zi를 할 수 있습니다 다시 정규화되었습니다 값이 한 개 개선되었으며 감마 하이퍼 매개 변수를 곱한 값으로 할 수 있습니다 제로 평균 및 표준 편차 표준화 값 및 플러스 베타 가치는 학습 과정에서 우리와 같은 방식으로 배울 것입니다

감마 값을 배우는 것과 같은 방식으로 가중치를 배웁니다 처음에는 임의의 값으로 시작하지만 과정에서 우리는 W와 B 또는 B 1과 같은 다른 모든 것들에 대해 배운 것과 같은 방법을 배웁니다 W 1 W 2 및이 기능은 동일하게 유지되고 체인 규칙을 통해 배우고 있지만 사실 우리는 이것을 기억할 필요가 없으며 얻고 싶지 않습니다 응용 프로그램에 어떻게 그것이 하루의 끝을 실행합니까 당신이 할 일은 대부분의 tensorflow 및 Kira 's의 응용 프로그램이 이미이 작업을 처리합니다 프로세스에서 노드의 정규화 된 값은 기본적으로 제로 평균이 아닙니다

그리고 단어 표준 편차는 몇 가지 평균과 어떤 표준 편차와 그 평균과 표준 편차 값은 모델이 WS와 동일한 방식으로 학습 과정을 통해 식별됩니다 B의 이것은 churn에 대한 예입니다 여기는 고객에 관한 데이터 세트입니다 우리는 성 (姓)과 성 (姓)이있는 고객 ID를 가지고 있습니다 신용 점수가 무엇인지 여부는 지리학이란 무엇인가? 고객에 대한 나이 및 기타 정보 및 그가 퇴사했는지 여부 또는 휘젓다 그렇지 않으면 우리가 가지고있는 정보이고 우리는 모델을 만들고 싶다

특히 MLP는 다중 레이어 퍼셉트론 또는 인공 신경망 아키텍처를 통해 고객이 어떤 고객인지를 어떻게 예측할 수 있는지 예측할 수 있습니다 휘젓다거나 앞으로 가지 않을 것입니다 그래서이 두 칼럼 지리 성별은 중요하고 가변적이지만 범주 형으로 분류됩니다 가치 그래서 우리가 할 수있는 일을 기억한다면 우리가하는 일은 뜨거운 인코딩을 통해서입니다 그것들을 0 또는 1로 만들면 대부분 이진이므로 우리는 0 1과 나머지를 만들 수 있습니다

필드는 숫자이므로 이미 걱정할 필요가 없습니다 목표는이 데이터를 사용하여 누군가가 갈 것인지를 예측하는 것입니다 churn 또는 not와 내가하기 전에 당신이 쉽게 혼란을 피할 수있는 지 보자 당신은 당신의 시스템에 윈도우즈와 맥 모두에서 사용하지 않았습니다 여기서 내가 제시하는 것은 내가 그것을 들려주게하고 만약에 단지 몇 분이 걸린다면 당신은 핍을 사용하고 당신이 설치할 수있는 핍을 통해 작동하지 않는 경우 웹 및 작동하지 않는 경우 Exe 파일에서 거기에서 설치하지만 내 경우에는 시간이 많이 걸렸고 두 대의 노트북이 이미 설치되어 있고 채찍이 일할 때마다 일했다

라이브러리 numpy matplotlib 그리고 이것들은 데이터 준비를위한 것입니다 이것은 데이터입니다 CSV 형식으로되어 있으므로 팬더 소스를 읽을 수 있습니다 CSV X는 3입니다 ~ 13은 고객 ID와 같았다면 처음 세 개의 열을 의미합니다

그래서 우리는 네 번째에서 입력을 시작하고 있습니다 색인은 0이고 우리는 X가 필요하고 12 번째 열은 13 번째 열이 우리의 Y입니다 우리는 그것을 만들었습니다 x1은 두 번째 열이 성 (gender)이었던 것을 의미합니다 위치 및 세 번째 기능은 성별이므로 우리는 하나의 핫 인코딩 이 값들의 수치 적 표현을 만드는 관점에서 열차와 시험을 위해 데이터를 나누어서 80 %를 훈련시켜 20 %를 훈련 시켜라

우리는 표준 스칼라를 사용하여 모든 값을 변환합니다 X의 모든 기능에 대한 모든 기능을 모든 값으로 변환합니다 0 & 1 사이에서 우리는 기차로의 운송에 적합하고 같은 것을 사용하고 있습니다 동일한 값을 갖는 테스트를 위해 동일한 값으로 변환하는 프로세스 또는 동일한 값 우리는 지금까지 사용 해왔지만 이제는 두 번째 부분은 어떻게하면 인공 신경망 그래서 우리는 단지 두 가지를 필요로합니다 이것은 Kara에서 가져온 것이므로 순차 모델을 사용하여 Kara 's VR을 가져와야합니다

왜냐하면 우리가 한 층을 다른 층 위에 선형으로 놓는 것을 상기한다면 패션과 모든 슬라이드 또는 모든 레이어가 조밀하게 될 것입니다 연결되어 있고 MLP가 그 층들 모두가 조밀하게 연결되어있어서 시작했습니다 순차적 모델로서의 나의 분류 자다 조밀 한 레이어 유닛 6을 추가하고있다 레이어 커널 이니셜 라이저에서 6 개의 숨겨진 노드를 어떤 종류로 초기화할까요? 입력 레이어와 숨겨진 레이어 사이의 연결 가중치 가중치를 초기화 할 수 있도록 초기화해야합니다

0에서 1 사이에는 임의의 n과 같은 다른 메소드도 있습니다 평균이 0이고 표준 편차가 1 인 가중치 truncated mean하지만 이러한 모든 프로세스는 우리가 가중치를 초기화합니다 reloj 활성화 함수를 사용하면 숫자가 11이므로 숫자가됩니다 입력 기능의 11은 우리가 명시 적으로 말하고있는 것인가? 당신은 조금 이것이 11 개의 노드를 가진 우리 입력 레이어이고 우리는 첫 번째 레이어가 있습니다 숨겨진 레이어는 6 개의 노드가 몇 개 있고이 모든 것을 초기화했습니다

균일 한 분포의 가중치를 사용하여 이 레이어의 각 노드의 맨 위에는 reloj 활성화 함수가 사용됩니다 이 후에 다른 레이어를 추가하면 밀도가 높은 다른 레이어가 추가됩니다 다시 6 개의 노드가있는 연결된 계층 잠깐 내가 활성화 함수를 일률적으로 초기화하고있다 레이 루 그리고 마지막으로 출력 레이어는 내가 할 수있는 바이너리 분류이기 때문에 내가하는 일은 0과 1을 사용하여 출력 확률을 계산하면 같은 단위를 더할 수 있습니다 무게와 활성화는 나에게 사건의 확률을주는 시그 모이 드이다 일단 우리는 두 개의 숨겨진 레이어로 아키텍처를 설정하고 하나의 출력 노드는 우리가 분류 한 모델을 컴파일 할 수 있으므로 옵티 마이저 Adam 우리가 원했던 바이너리 크로스 엔트로피와 메트릭으로 손실이 있습니다

측정은 예측값과 실제 값 사이의 정확도이므로 실행했습니다 매우 단순한 모델 분류 복장 열차로 X 열차 10 및 팩 크기 10을 받고 85 %의 출력을 주었고 새로운 항목을 예측해야하는 경우 여기서 X 테스트를 위해 분류 할 필요가 있는데, 나는 예측 함수를 사용하여 그것을 할 수있다 우리는 또한 여러분이 지리와 같은 모든 가치를 가지고있는 예를 보았습니다 프랑스이고 성별은 남성 신용 점수가 600이고 모든 정보 사용할 수있는 값의 배열을 만들고 동일한 예측을 사용할 수 있습니다 모델의 정확성이 모델의 정확성을 확인하는 함수입니다 그 사람이 의자에 앉을 것인지 말 것인지를 예측하는 사람은이 종류의 특정 데이터를 호출 할 때 CRM 및 고객에서 데이터가 사용되었습니다

연락처 센터에서 귀하의 정보를 데이터 세트에서 사용할 수 있습니다 귀하의 정보를 훈련 된 모델과 귀하의 산출물에 대해 평가 해 줄 것을 요청하십시오 당신이 갈아 타기를하든하지 않든간에 우리가 혼란 행렬 그래서 테스트와 예측이 사실이다 이것이 거짓이다 진실한 부정적이고 이들은 거짓 긍정이고 틀린 부정적이다 나는 어떻게해서 좋은가? 사용법과 하나의 값을 많이 테스트 할 수있는 방법은 내 모델이 다른 하이퍼 매개 변수의 가장 좋은 조합은 무엇입니까? 당신이 조정할 필요가있는 매개 변수는 얼마나 많은 베쓰 크기를 얼마나 많이 공기 상자 당신은 어느 옵티 마이저를 사용해야 하는지를 실행한다

atom rmsprop 또는 그라디언트 강하 또는 얼마나 많은 학습 속도를 사용해야 하는지를 결정해야합니다 그리드 검색은 여러 조합을 테스트 할 수있는 방법입니다 그것은 scikit에서 오는 것입니다 실제로 그것이하는 일은 실제로 다른 것을 만듭니다 조합이 2 인 경우 이것은 2이고 이것은 2의 조합입니다

have 2 2 2 우리가 만들 수있는 8 가지 조합을 의미합니다 8 당신의 모델이 이렇게 될 것입니다 일괄 처리로 25 시도 Airpark and atom 다음에 25라고 말할 것입니다 2 rmsprop 25 all to all 귀하의 모델이 시도 할 수있는 가능한 조합은 무엇 이었습니까? 정확성과 인공 지능을 정의하는 더 쉬운 방법 기능으로 신경 네트워크 그래서 나는 빌트인 분류자를 wilted했고 나는 내 함수의 입력 중 하나로서 옵티 마이저를 제공하고 내가 결정할 것입니다 나중에이 모델에 적합하면이 코드는 모두 동일하지만 모두 사용자 정의 함수 내에서이 코드를 빌드 한 것입니다 빌드 분류자를 좋아하거나 이름을 부여 할 수 있습니다 특정 함수 카오스 분류기 및 빌드 함수는 가지고있는 함수입니다

여기에 내장 된 당신은 매개 변수의 사전을 만들고 나는 아주 간단한 것들로 그것을 시도 배치 크기는이 공기 상자는 이러한 및 최적화 도구는이 두 가지입니다 다른 것을 시도해 볼 수도 있습니다 교차 엔트로피 또는 MSC의 다른 손실 함수를 시험해보십시오 방금 다른 옵션을 제공하지만 지금은 세 가지를 시도했습니다 미터를 데이터 과학자로 선택하여 코드를 실행할 수 있습니다

그리드 검색 CV 및 분류자를 호출했습니다 이것은 분류 자이며 매개 변수는 이것의 사전이며 득점은 정확도와 CV Denis입니다 십자가 유효성 검사 10 그래서 inbuilt 교차 유효성 검사와 같은 것이고 이 코드를 실행하면 실제로이 함수가 실행될 것입니다 모든 8 개의 조합과 8 개의 내장 된 분류기는 두 가지와 같습니다 2 개의 자작 나무에서 2 개의 조합이 Époque에서 2 개, 최적화에서 2 개이므로 사용할 수있는 8 가지 조합이 모두 실행되며 X 기차에서 기차를 타면 열차가 최고의 기차를 타는 이유는 정말 절약입니다

내가이 두 가지에 대한 가장 정확한 정확도를 준 매개 변수 그것에 관심이있어서 그는 모든 조합을 위해 그것을 실행할 것입니다 내가 그 하나의 Apoc을 주었던이 세 가지 조합의 최상의 매개 변수 25의 침대 크기를 가진 Adam 최적화 도구가 나에게 최고의 정확도를 제공합니다 이 특정 모델에 대한 79 점 6 점 콤비네이션에는 25 가지가 있고 아담은이 모델에 가장 적합한 조합입니다 비슷한 방식으로 다른 하이퍼 매개 변수를 사용해 볼 수도 있습니다 균일 한 무게를 사용하는 대신에 시도하고 싶다

무작위 초기화를 시도하고 일반 종류를 잘라내려고합니다 어떤 무게로 더 좋은 결과를 얻었는지 확인하고 이 조합을 하나씩 실행할 수 있음을 보여 드렸습니다 실제로 나는 20에서 30으로 시작했지만 시간이 많이 걸렸습니다 사실 추락해서 방금 한 두 개를 사용했습니다 일러스트레이션 목적 예는 우리가 고양이와 개 이미지를 가지고 있다는 것입니다

우리가 만든 모델을 통해 고양이와 개로 분류하고 싶다 우리가 시작하는 MLP와 같은 순차적 모델이기 때문에 순차적 모델 32 개의 필터를 가진 컨볼 루션 레이어 3 x 3 입력 폼 64 x 64의 이미지를 Ray Lu를 적용한 다음 2 x 2 매트릭스의 최대 풀링을 수행 그 후 또 다른 컨볼 루션과 최대 풀링 레이어를 추가했습니다 평평하게하고 최종 숨겨진 레이어는 밀도가 높습니다 128 유닛으로 연결된 레이어와 마지막으로 바이너리 분류입니다 Sigmoid 활성화와 함께 하나의 고밀도 레이어를 사용하고 Adam으로 컴파일 이진 크로스 엔트로피는 데이터 때문에 논의하고 싶은 중요한 것 보강은 복잡한 데이터 세트의 종류를 만드는 것을 알기에 좋은 것은 아닙니다

하지만 미래에 모델을 실제로 도울 수 있습니다 매우 명확하지 않은 이미지에 대한 올바른 예측을 했으므로 클릭 한 것으로 가정 해 봅시다 개와 그의 얼굴 사진이 반 밖에 없습니다 아주 크게 확대되었거나 약간의 노이즈가 있거나 화질이 좋지 않습니다 매우 청결하고 깨끗한 그림으로 모델을 훈련 한 경우 매우 좋습니다

당신의 모델이 올바르지 않을 수도있는 가능성이 있습니다 우리가 일반적으로 그런 문제를 극복하기 위해하는 일이 무엇인지를 이미지에 문제가 있거나 이미지에 왜곡이나 노이즈가 있습니다 이 경우에도 모델은 정확한 예측을 할 것입니다 우리는 이미지 생성 (image generation)이라고 불리는 것을 가지고 있으며 그것은 이미지 아래에 있습니다 cara의 전처리 이미지 섹션의 데이터 생성기 섹션과 당신이 가지고 놀 필요가 많은 가치가 많이 나는 단지 하나 둘로 놀고 있습니다

세 가지 세 가지 가치가 있지만 나와 함께 할 수있는 모든 것들을 보여 드리겠습니다 이미지를 사용하면 모든 이미지 데이터 생성기를 사용할 수 있으며 수행 할 수있는 작업을 수행 할 수 있습니다 당신은 그것이 할 수있는 모든 것들을 읽을 수 있습니까? 값을 회전하여 이미지를 어느 정도 회전시키고 일부 이미지를 확대 / 축소합니다 값 깨끗한 시프트 이미지 비누하지만 이들은 모두 이러한 것들과 같습니다 image 우리가 현재 사용하고있는 확대 / 축소 개념은 확대 / 축소에 있습니다 이미지를 깎아서 수평 이미지가 왜곡되게 만듭니다

우리가 고양이 이미지를 위해 한 변화의 종류를 알고 그래서 우리는 그 이미지를 뒤집었다 이미지의 20 %는 이미지의 20 %를 확대합니다 rescale은 모든 픽셀 값을 0에서 1로 변환하는 것을 의미하며 우리는 교육 데이터 세트를 통해서만 모델이 훈련 된 후에도 왜곡되고 매우 복잡한 사진들로 실제 좋은 힘을 얻었습니다 테스트 데이터 세트에서 사진을 깨끗하게 처리합니다 일반적으로 이러한 작업을 수행하지 않습니다

모델이 이러한 변경 사항에 대해 좋은 작업을하고 있는지 확인하고 싶습니다 교육 데이터 세트 및 일단 그것이 완료되면 우리는 단지 크기 조정 된 것을 보려고합니다 사진을보고 열차 테스트 이미지에서 효과가 있는지, 왜 우리가하는지 확인하십시오 왜냐하면 우리가 새로운 이미지를 위해 그것을 할 때 우리는이 모든 것을하기를 원하지 않기 때문입니다 우리가 20 %의 힘을 기울이고 줌을하고 있기 때문에 모든 것이 아닌 이미지가 가정되었지만 많은 옵션이 있으며 이 모든 일들이 무엇을하고 있는지 읽을 수 있다면 격려해 줄 것입니다 특히 매우 강력한 이미지 분류 프로그램을 개발하려는 경우 특히 모든 조건이나 조명 조건에서 작동하는지 확인하려고합니다

당신이 얼굴의 반을 알고 있든, 반 몸이 거기에 있는지 동물과 당신의 모델이 여전히 작동하고있어 이러한 기능 중 일부는 견고한 모델을 만드는 데 정말로 도움이되지만,이 특정 섹션은 많은 기능이 실제로 모델의 용량과 성능을 향상시킬 수 있습니다 더 나은 예측 조건은 여기에서 마지막 구현으로 넘어갑니다 우리가 한 일은 정서 분석을위한 유스 케이스를 구현했기 때문에 우리는 lsdm을 사용하여 NS 반복적 인 신경 네트워크를 사용하여 구현을 완료했습니다 세포 그래서 먼저 당신이 레이어를 가져올 데이터 세트 내가 DBAs 영화 데이터베이스입니다 영화에 대한 리뷰를 가지고 있고 그것이 좋은 움직임인지 검토했다 당신이 영화와 같은 것을 아는 누군가 또는 영화에 대한 감정이 무엇이 아닌가

우리가 MLP를 위해 조밀하게 연결된 계층을 사용하고있는 순차적 모델 아키텍처 LST M은 L STM 임베딩을위한 임베딩 및 전처리 해 주셔서 감사합니다 이 비디오를 듣는 것을 즐겼습니다 친절하게도 좋아하십시오 의심과 의문에 대해 의견을 말하면 가장 빠른 시일 내에 답변 해 드리겠습니다 우리의 재생 목록에서 더 많은 동영상을 찾아보고 Eddie Rica에 가입하십시오

더 행복한 학습을위한 채널

Tutorial 3.2: Lorenzo Rosasco – Machine Learning Part 2

광고 소재 아래에 다음 콘텐츠가 제공됩니다 커먼즈 라이센스

귀하의 지원은 MIT OpenCourseWare에 도움이 될 것입니다 무료 고품질 교육 자료를 지속적으로 제공합니다 기부 또는 추가 자료보기 수백 개의 MIT 과정에서 MIT OpenCourseWare 방문 ocwmitedu에서

LORENZO ROSASCO : 그래서 우리가 지금하고 싶은 것 지역 방법에서 벗어나는 것입니다 세계적인 정규화 방법의 어떤 형태를 시작합니다 정규화라는 단어를 용어로 널리 사용하려고합니다 절차, 통계 절차를 정의하기 위해 및 계산 절차 복잡한 모델에서 할 수있는 몇 가지 매개 변수가있다

매우 넓은 의미에서 단순한 모델로 내가 복잡한 것의 의미는 잠재적으로 overfitting에 가까운 간단한 모델로 뭔가가 저에게 데이터와 관련하여 안정된 것을 제공하고 있습니다 그래서 우리는 다음 알고리즘을 고려할 것입니다 많은 사람들이 전에 그것을 보았다고 생각합니다 이것은 – 다른 이름을 가지고 있습니다 – 아마도 가장 유명한 것은 Tikhonov의 정규화입니다

60 년대 초반의 사람들 문맥에서 유사한 것을 생각했다 통계 또는 선형 방정식을 푸는 것 그래서 Tikhonov만이 그림을 찾을 수 있습니다 다른 하나는 필립스 였고 그 다음에는 Hoerl과 다른 사람들입니다 그들은 기본적으로이 모든 동일한 절차에 대해 생각했습니다

절차는 기본적으로 기능적 두 가지 용어를 바탕으로 최소화하려는 여기에는 여러 가지 재료가 있습니다 우선 x의 f입니다 우리는 – 우리는 함수를 평가하려고 시도하면 이 함수의 파라 메트릭 양식을 가정하면됩니다 이 경우 선형입니다 그리고 당분간, 당신이 정말로 할 수 있기 때문에, 당신은 그것을 되돌릴 수 있습니다, 나는 오프셋을 보지 않습니다

그래서 나는 단지 원점을 통과하는 선을 잡는다 그리고 이것은 한 줄로 증명할 수 있기 때문입니다 당신은 0의 비용으로 상쇄 할 수 있습니다 그러니 당분간, 생각하십시오 그 데이터는 실제로 표준입니다

이 매개 변수를 추정하는 방법은 한편으로는, 경험적 오류를 작게 만들고, 다른 한편으로는, 당신은 무게에 예산을 둡니다 왜 그렇게하는지 – 이것을 설명 할 수있는 방법이 있습니다 Andrei는 어제 마진에 대해 이야기했고, 등등 그것에 대해 생각하는 또 다른 방법은 당신이 설득 할 수 있다는 것입니다 너 자신 – 우리는 나중에 보러 갈거야 – 당신이 낮은 차원에 있다면 라인은 매우 열악한 모델이라는 것입니다

기본적으로 당신이 몇 가지 포인트 이상을 가지고 있다면 – 그들은 라인에 서 있지 않습니다 당신은 제로 오류를 만들 수 없을 것입니다 그러나 점수가 더 낮 으면 차원 수보다 라인이 실제로 당신에게 제로 오류를 줄 수 있다는 것을 보여줄 수 있습니다 그것은 단지 자유도의 문제입니다 실제 변수보다 방정식이 적습니다

그래서 당신이하는 일은 당신이 실제로 정규화 정리를 추가하십시오 그것은 기본적으로 문제를 좋게 만드는 정리입니다 우리는 1 분 안에 이것을 볼 것입니다 다른 관점에서 가장 쉬운 방법은 숫자가 될 것입니다

우리는 최소한의 사각형을 고집합니다 – 그리고 있습니다 – 그래서 잊어 버린 여분의 괄호가 있습니다 그러나 내가 왜 우리가 최소한의 사각형을 사용하는지에 대해서도 말하기 전에 내가 누군가에게 지적한대로 이것이 마이너스이기 때문에 여기에 실수가 있습니다 그냥 마이너스 여야합니다 내가 고칠거야 그래서 뒤로, 왜 최소한의 사각형을 사용합니까? 좋아, 적어도 한 손에는 네모 칸, 특히 낮은 차원에 있다면, 그 방법이 기본이기 때문에 최소한의 사각형을 생각할 수 있습니다

그러나 그것은 오류를 측정하는 매우 강력한 방법은 아니지만, 네가 그들을 제곱했기 때문이야 따라서 한 가지 오류로 인해 많은 문제가 발생할 수 있습니다 일반적으로 전체 문헌이 있습니다 견고한 통계에서 최소한을 대체 할 위치 절대 값과 같은 것으로 사각형을 그리다 또는 그런 것

적어도 우리의 경험에 따르면 당신이 높은 차원 문제가있을 때, 이런 종류의 불안정성이 얼마나 많은지는 명확하지 않습니다 단지 추가로 치유되며 치유되지 않습니다 일부 정규화 용어 그리고이 알고리즘의 근간을 이루는 계산 매우 간단합니다 그래서 이것이 우리가 이것을 고집하는 이유입니다

실제로 꽤 잘 작동합니다 우리는 지난 몇 년 동안 실제로 개발했습니다 당신이 사용할 수있는 도구 상자 그들은 거의 플러그 앤 플레이입니다 알고리즘은 이해하기 쉽기 때문에 더 간단한 용어로

어제, Andrei는 SVM에 대해 이야기하고있었습니다 SVM은 원칙적으로 매우 유사합니다 근본적으로 유일한 차이점은 당신이 당신이 여기에서 비용을 측정하는 방식 분류를 위해이 알고리즘을 사용할 수 있습니다 회귀 (회귀) 어제에 대해 이야기 한 단지 분류를위한 것입니다

그리고 비용 함수가 부드럽지 않은 것으로 밝혀 졌기 때문에 – non-smooth는 기본적으로 non-differentiable입니다 그래서 전체 수학은 훨씬 더 복잡합니다 사물을 최소화하는 법을 배워야하기 때문에 그것은 차별화되지 않습니다 그래서이 경우에, 당신은 초등 것들을 고수 할 수 있습니다 그리고 나는 내가 어딘가에 갔다고 생각한다

왜냐하면 그것은 또한 Legendre 200 년 전에는 최소한의 사각형이 정말 훌륭하다고 말했습니다 이 오래된 이야기가 있습니다 Gauss와 Legendre 사이의 사람은 가장 작은 사각형을 먼저 만들었다 그리고 실제로 이것에 대한 긴 기사가 있습니다 그러나 어쨌든, 그것은 그 시간 전후입니다

끝날 무렵입니다 이것은 그가 태어날 때입니다 18 세기의 끝 그래서 알고리즘은 꽤 오래되었습니다 그래서 그 아이디어는 뭔가요? 그래서 우리가 이전에했던 사건으로 돌아가서 선형 함수를 취한다

그래서 한 가지는 – 단지 조심해야합니다 한번 생각해보십시오 왜냐하면 만약 당신이 전에 그것에 대해 생각 해보지 않았다면, 집중하는 것이 좋습니다 이 그림을 그리면 x의 f가 아닙니다 이 행은 x의 f가 아닙니다

f의 x는 0입니다 그래서 나는 3D 플롯을 가질 충분한 시간이 있다고 생각합니다 따라서 x의 f는 실제로 슬라이드를 가로 지르는 평면입니다 점이 없다면 긍정적입니다 이 점은 양성이어서 – 부정

이 줄이 사인을 바꾸는 곳입니다 그래서 결정 경계는 x 자체의 f가 아니며, 하지만 해당 수준 세트 f의 x는 0이다 x의 f 자체는이 한 줄입니다 당신이 한 차원에서 생각한다면, 그냥 줄에 서있다 여기에 플러스 1이 있습니다

일부는 마이너스 1입니다 그래서 x의 f는 무엇입니까? 그것은 단지 라인입니다 이 경우 의사 결정 경계는 무엇입니까? 이 경우 실제로는 단지 하나의 지점이 될 것입니다 그게 한 줄 일 뿐이니까 입력 선은 한 지점에 있습니다

그리고 그게 다야 더 복잡한 비선형 선을 사용한다면, 그것은 하나 이상의 지점이 될 것입니다 2 차원에서는 하나의 선이됩니다 3 차원에서는 평면이되고, 등등이됩니다 하지만 중요한 부분은 적어도 한번은 기억하십시오

우리는이 음모를 봅니다 이것은 x의 f가 아니라 집합 만입니다 f의 x는 0과 같아서 부호를 바꾼다 그리고 그것이 예측을 할 수있는 방법입니다 실제 가치있는 기능을 사용하므로 원칙적으로, 분류에서, 당신은 이 함수는 단지 바이너리가 될 수 있습니다

그러나 바이너리 함수로 최적화하는 것은 매우 어렵습니다 그래서 이것을 완화시키기 위해 일반적으로하는 일은 무엇입니까? 당신은 단지 그것이 진짜 가치있는 기능이되도록 허용합니다, 그리고 나서 당신은 서명을합니다 그것이 긍정적이면 1을 더 얻습니다 음수라면 마이너스 1이라고 말합니다 회귀 문제인 경우 그것이 무엇인지를 간직하십시오

그리고 얼마나 많은 자유 매개 변수가이 알고리즘을 가지고 있습니까? 음, 하나 지금은 람다이고 w는 그러나 우리는이 최적화를 해결함으로써 해결할 것입니다 문제 람다는 어때? 글쎄, 우리가 전에 k에 대해 논의한 것이 무엇이든간에

우리는 앉아서 편향을하려고 노력할 것입니다 구성의 분산, 그것이 무엇에 의존하는지, 우리가 무엇에 대해 파악할 수 있는지 알아 봅니다 이 알고리즘의 이론은 다음과 같습니다 그리고 교차 검증을 사용할 수 있는지 알아 봅니다 너는이 모든 일을 할 수있어, 우리는 그렇지 않다

당신이 람다를 어떻게 선택하는지에 대해 많이 토론 할 것이지만, 대부분은 당신이 이것의 최소화자를 계산할 수있는 방법을 논의 할 것입니다 그리고 이것은 문제가되지 않습니다 그래서 당신은 w와 또한 이것에 회고를 가져갈 수 있습니다 그래서 당신이 할 수있는 것은 이것의 파생물을 취하는 것입니다, 0으로 설정하고 어떤 일이 발생하는지 확인하십시오 그래서 이것을 다른 사람에게하는 것이 유용합니다

그냥 몇 가지 vectorial 표기법 우리는 이미 이전에 그것을 보았습니다 그래서 당신은 모든 x를 가지고 그것을 데이터의 행으로 쌓아 놓습니다 n의 행렬 x 그래서이 앤, 당신은 그냥 벡터의 항목으로 그들을 쌓으십시오

당신은 그것을 yn이라고 부릅니다 그럼이 용어를 그냥 다시 쓸 수 있어요 이 방법으로이 벡터에서이 벡터를 뺀 것이므로 행렬에 w를 곱하면됩니다 그래서이 규범은 Rn의 규범입니다 그래서 이것은 단지 간단한 재 작성입니다

네가 지금 존경심으로 이것을 파생 시켜라 w로, 0으로 설정하면, 당신은 이것을 얻습니다 이것은 그라디언트입니다 그래서 아직 0으로 설정하지 않았습니다 이것은 최소 제곱 파트의 그래디언트입니다

이것은 두 번째 용어의 기울기입니다 그것은 여전히 ​​λ로 곱해진다 그것들을 0으로 설정하면 얻을 수있는 것은 이것입니다 x를 가지고 모든 것을 가져 가면 2와 2가 사라집니다 당신은 x로 모든 것을 가져 갔고 여기에 넣었습니다

여기에도 람다가 있습니다 여기에 넣었습니다 이 용어를 x transpose y로 취하면, 당신은 평등의 반대편에 놓습니다 그래서 당신은 한면과 모든면에서 w로 모든 것을 취합니다 반대편에 w없이

그리고 나서 여기에 곱함으로써 n을 제거합니다 그래서 여러분이 얻는 것은 선형 시스템입니다 그것은 단지 선형 시스템입니다 그래서 그것은 최소한의 사각형의 아름다움입니다 당신이 정규화하든 안하든 – 이 경우에이 단순 제곱 손실 정규화에 대해, 당신이 얻는 것은 모두 선형 시스템입니다

그리고 이것은 효과에 대해 생각하는 첫 번째 방법입니다 이 용어를 추가하십시오 그럼이게 뭐야? 따라서 빠른 선형 시스템 요약을 신속하게 처리 할 수 ​​있습니다 당신은 선형 시스템을 해결하고 있습니다 나는 표기법을 바꿨다

이것은 단지 괄호 일뿐입니다 생각할 수있는 가장 간단한 경우 m이 대각선 인 경우입니다 대각선 행렬, 정사각형 대각선 매트릭스 이 문제를 어떻게 해결합니까? 행렬 m을 반전시켜야합니다 대각 행렬의 역함수는 무엇입니까? 그래서 그것은 또 다른 대각선 매트릭스입니다

엔트리에서, 시그마 대신에 시그마보다 1이 더 큽니다 또는 그것이 무엇이든간에 그래서 당신이 보는 것은 만약 당신이 단지 m을 고려한다면 – 그리고 m은 이것과 같이 대각선입니다 당신이 얻는 것입니다 이제이 숫자 중 일부가 실제로 작고, 1을 넘으면, 이것은 폭파 될 것입니다

이 행렬을 b에 적용하면 가질 수있는 것은? sigmas 또는 b를 약간 변경하면, 너 폭발 할 수있어 그리고 원한다면 왜 이것이 이해할 수있는 한 가지 방법입니다 람다를 추가하면 도움이 될 것입니다 그리고 원하는 경우 지나치게 보는 다른 방법입니다 수치 적 관점에서

너는 데이터를 가져 간다 당신은 그것들을 약간 바꿔 놓고 수치 적으로 불안정합니다 곧 이 용어를 첨가 할 때의 효과는 무엇입니까? 글쎄, 네가 보는 것은 그 대신에 1에서 m 1을하면, m + lambda I에서 1을 뺀 것입니다 그리고 이것은 대각선 인 간단한 경우입니다

하지만 당신이 보는 것은 1 대신에 대각선에있는 것입니다 시그마 1에 대해, 시그마 1과 람다를 1로합니다 시그마 1이 크면이 람다를 추가해도 문제가되지 않습니다 예를 들어, 시그마가 시그마라면 이제 질서가 있다고 생각합니다 나는 그들이 순서라고 생각하고 있으며 시그마 d는 작습니다

이것이 작다면, 어떤 시점에서 람다가 뛰어들 것입니다 문제를 가격에 안정되게 만든다 그 시그마에서 정보를 무시하는 것, 근본적으로 그것을 소음 또는 섭동의 동일한 크기에서 또는 귀하의 데이터에있는 샘플 이게 말이 돼? 이것이 알고리즘이하는 일입니다 그리고 그것은 안정성을 보는 숫자적인 방법입니다

그러나 이것이 바로 통계적인 것이라고 상상할 수 있습니다 결과 데이터를 약간 변경하면 당신의 솔루션과 다른면에서 큰 변화를 가져라 약 그리고 람다 (lambda)는 기본적으로 이것이 얼마나 가역적인지

통계와 수치 사이의 연결입니다 안정 지금은 물론, 당신은 말할 수 있습니다, 이것은 지나치게 단순하지만, 이것은 대각선 행렬이기 때문에 하지만 근본적으로, 지금 행렬을 취하면 대각선화할 수 있고, 개념적으로는 아무것도 없다 바뀔 것이다

기본적으로 당신은 그것을 가질 것이기 때문에 매트릭스가 있다면 여기에 실수가 있습니다 마이너스 1이 없어야합니다 네가 할 수있는 능력이 있다면 이것은 단지 시그마이지 마이너스 1이 아닙니다 당신은 단지 그것을 대각선화할 수 있습니다 이제 매트릭스에서하고 싶은 모든 작업을 수행합니다

대각선에서만 할 수 있습니다 그래서 여기에있는 모든 추론은 똑같이 작동 할 것입니다 지금은 오직 너를 기억해야한다 v와 v 사이에서 대각선 행렬을 짜내 야합니다 바꾸어 놓다

나는 이것이 당신이 수치 적으로하기를 원하는 것이라고 말하는 것이 아닙니다 하지만 저는 여기서 개념적 추론을 말하고 있습니다 이것이 우리가 람다의 영향이라고 말한 것입니다 여기에서 똑같은 것을 유지할 것입니다 이것은 m입니다

다음과 같이 작성할 수 있습니다 m 빼기 1 당신은 이렇게 쓸 수 있습니다 그리고 이것은 단지 같은 대각선 용어가 될 것입니다 거꾸로 이제 람다의 효과를 봅니다

그것은 단지 동일합니다 그래서 일단 개념적으로 이것을 이해한다면, 모든 행렬에 대해 대각선으로 만들 수 있습니다 요점은 당신이 대칭 긍정적 인 한정 매트릭스, 이유는 당신 그것을 대각선화할 수 있습니다 똑같은 것을 압착했습니다 v와 v 전치 사이에서

그게 우리가 가진 것입니다 왜냐하면 – 왜냐하면 우리가 가지고있는 것은 정확히이 행렬이기 때문입니다 그럼 대신에 – 당신은 여기에서 기본적으로 이것을 봅니다 데이터의 차원에 많은 영향을받습니다 점의 수가 차원보다 훨씬 큰 경우, 이 매트릭스는 원칙적으로 – 그것은 가역성이 더 쉽습니다

그러나 점의 수가 더 작 으면 차원보다 – 이 매트릭스는 얼마나 큽니까? 그래서 xn은 xn이 얼마나 큰지 기억하십니까? 그 줄은 점들과 열들 이었어 변수였습니다

그럼이게 얼마나 큰가요? 그리고 이것을 d라고 부릅니다 우리는 길이 n을 불렀습니다 그래서 이것은 관객 : [INAUDIBLE] 로렌조 로자스코 : – d 여기이 매트릭스는 얼마나 큰가요? d로 d를 d, 점의 수를 d 숫자 차원보다 작습니다 이것의 계급 – 이것은 계급 부족이 될 것입니다 그래서 그것은 가역성이 아닙니다 그래서 포인트의 수가 더 많으면, 당신이 높으면 – 이른바 고차원 시나리오, 포인트의 수는 차원의 수, 확실히 당신 이것을 뒤집을 수는 없습니다

보통 최소 제곱은 작동하지 않습니다 그것은 불안정합니다 그리고 나서 당신은 정규화해야 할 것입니다 알맞은 것을 얻기 위해서 따라서 최소 제곱의 경우 순위를 0으로 설정하면됩니다

이 계산을보고 두 가지를 모두 파악할 수 있습니다 어떤 종류의 계산을해야합니까? 통계적으로도 및 숫자 관점 이것이 바로 최소 제곱의 아름다움 중 하나입니다 우리는이 모든 것을 유도 할 수 있습니다 – 그래서 이것은 선형 시스템의 관점입니다 시도하고있는 모든 문헌이있다

통계적 관점에서 더 많은 것을 정당화하기 위해 무엇을 내가 말하고 있잖아 당신은 최대 가능성 (maximum likelihood)에 대해 이야기 할 수 있습니다 당신은 최대 사후에 대해 이야기 할 수 있습니다 분산 감소와 소위 Stein에 대해 이야기 할 수 있습니다 효과

그리고 당신은 훨씬 더 큰 이야기를 시도 할 수 있습니다 예를 들어, 수축 추정자의 전체 이론을 개발하기 위해 편향 이것의 분산 교환 그러나 우리는 그것에 대해 이야기하지 않을 것입니다 그래서이 간단한 수치 안정성, 통계적 안정성 직감 이러한 계획을 고려한 나의 주요 동기가 될 것입니다 그래서 나는 이것을 건너 뛰도록하겠습니다

데모를 보여주고 싶었지만, 그것은 매우 간단합니다 당신이 단지이기 때문에 그것은 매우 안정 될 것입니다 1 차원 선 그리기 그렇다면 우리는 조금 움직여야합니다 첫 번째 부분에서 내가 원하는만큼 많이 다루지 않았다

그럼 우선, 지금까지 그렇게 좋았 니? 이것에 대해 나와 함께하는거야? 다시 말하지만, 원한다면 기본적인 것입니다 모든 흥미있는 – 그래서 이것은 하나의 선이다 개념적으로 어떤 일이 일어나고있는 곳 이것은 우리가 좀 더 복잡하게 만드는 한 줄입니다 수학적으로

그리고 이걸 맞추기 만하면됩니다 우리가 방금 전에 쓴 것과 그게 다야 이것들은 우리가하고 싶은 세 가지 주요한 것들입니다 그리고 차원에 대해 조금 생각해보십시오

이제 내가 이렇게 말했듯이 당신도이 문제를 보았다면, 이것은 잘못된 것일 수 있습니다 – 낮은 차원 사실, 우리가 일반적으로 높은 차원에서하는 일은 먼저, 선형 모델로 시작합니다 그리고 당신은 그걸로 얼마나 멀리 갈 수 있는지 봅니다 그리고 일반적으로, 당신은 당신이 상상할 수있는 조금 더 나아갑니다 그러나 여전히, 당신은 생각할 수 있습니다, 왜 나는 단지해야합니까? 선형 의사 결정 규칙을 고수하겠습니까? 이것은 나에게 많은 유연성을주지 않을 것이다

그래서이 경우에는 분명히 더 나은 것을 좋아해요 어떤 종류의 2 차 결정 경계 그럼 어떻게 할 수 있니? 어떻게가? 내가 너에게 줄 거라 생각해 최소 제곱의 코드 그리고 당신은 가장 게으른 프로그래머입니다

내 경우에는 실제로 그렇지 않습니다 상상하기 힘든 어떻게 코드를 재활용 할 수 있습니까? 이와 같은 솔루션을 만드는 대신 이런 해결책은? 너는 그 질문을 본다? 이 문제를 해결하기위한 코드를 제공합니다 내가 전에 보여 줬던 다른 람다를위한 선형 시스템 그러나 당신은이 솔루션에서 솔루션으로 가고 싶습니다

어떻게 그럴 수 있니? 이 간단한 경우에 그렇게 할 수있는 한 가지 방법이 있습니다 이것은 – 예입니다 그래서 아이디어는 – 그 행렬을 기억하니? 나는 매트릭스의 새로운 엔트리를 발명 할 것이다 당신이 포인트를 발명 할 수 없기 때문에 포인트가 아니라, 그러나 변수의 그래서 당신이 할 일은 단지

대신에 할 수 있습니다 이 경우 x1, x2라고 부릅니다 나는 단지 2 차원이다

내 데이터입니다 이것은 이것의 또 다른 예입니다 이것들이 제 데이터입니다 – 미안합니다 – 그들이 무엇인지 보자 이것은 하나의 지점입니다 여기서 x1과 x2는 단지 엔트리입니다

점 x의 첫 번째 좌표 및 두 번째 좌표 그래서 당신이 말한 것은 정확히 이것을하는 한 방법입니다 그리고 그건– 새로운 벡터 표현을 만들겠습니다 같은 지점 그래서 그것은 같은 시점이 될 것입니다

하지만 이제는 두 좌표 대신에 세 번째는 첫 번째 좌표 사각형이 될 것입니다 두 번째 좌표 제곱과이 둘의 곱 좌표 일단 내가 이것을 한 후에, 나는 이것을 어떻게 얻었는지 잊어 버린다 나는 그것을 단지 새로운 변수로 취급합니다 그리고 저는 그 변수들로 선형 모델을 취합니다

이 새로운 변수를 가진 선형 모델입니다 하지만 원래의 변수를 가진 새로운 선형 모델입니다 그리고 그것이 당신이 여기에서 보는 것입니다 그래서 x 물결표가이 물건입니다 그것은 단지 새로운 벡터 표현입니다

이제 저는이 새로운 벡터와 관련하여 선형입니다 대표 그러나 x 물결표를 명시 적으로 쓸 때, 일종의 비선형 함수입니다 원래 변수의 그래서이 함수는 비선형입니다 원래 변수에

아마보기보다는 말하기가 더 어렵습니다 그것은 의미가 있습니까? 그래서 네가 이렇게하면 너는 완전하게 선형성의 아름다움을 재활용하다 계산의 관점에서 모델의 힘을 키우는 선형에서 비선형으로 이 경우 여전히 매개 변수 적입니다 내가 파라 메트릭으로 말한 것은 우리가 여전히 선험적으로 학위의 수를 정하다

우리 문제의 자유 이제 나는 그것을 3으로 만든다 더 일반적으로 p로 만들 수 있지만 번호는 찾을 수있는 숫자는 선험적으로 고정되어 있습니다 내 데이터에 의존하지 않으며 수정되었습니다 그러나 나는 선형에서 비선형으로 갈 수 있습니다

그러니 계속 가자 그래서 간단한 선형 모델에서 우리는 이미 상당히 멀리갔습니다 왜냐하면 우리는 기본적으로 같은 계산으로 우리는 이제 이와 같은 것들을 해결할 수 있습니다 한 걸음 더 나아가 자 그래서 하나는

정말로 코드에 감사드립니다 똑같아 x 대신 전처리를해야합니다

x를이 새 행렬 x 물결표로 바꿉니다 d에 의해 n이되는 대신에, p에 의해 n이된다 여기서 p는 내가 발명 한이 새로운 수의 변수입니다 이제는 무엇인지 느끼는 것이 유용합니다 이 메소드의 복잡성

그리고 이것은 매우 신속한 복잡성 요점입니다 여기서는 기본적으로 두 숫자의 곱 1을 셀 것입니다 그리고 여러분이 행렬의 벡터를 산출 할 때, 당신은 당신이하는 실수 곱셈에 의지합니다 그리고 이것은 빠른 요약입니다 크기 p의 두 벡터를 곱하면 비용 p, 행렬 벡터가 np가 될 것입니다

행렬 행렬은 n square p가 될 것입니다 너는 n 개의 벡터를 가지고있다 그리고 일대일, 다른 n 개의 벡터 그리고 그들은 크기 p입니다, 그래서 당신이 가질 때마다 – 그것은 당신에게 비용이 듭니다 그리고 당신은 n에 대해 n을해야합니다

그래서 그것은 n square p가 될 것입니다 그리고 마지막 하나는 이것은 아주 많이 있습니다

덜 분명해서 그냥 이렇게 보게 그러나 대략적으로 말해서, 행렬의 반전 최악의 경우 대략 n 큐브라고 말합니다 단지 복잡성에 대한 느낌을주는 것입니다 그래서 말이 되니? 조금 빠르지 만 간단합니다 네가 알면 알았어

그렇지 않으면, 당신은 단지 이것을 옆으로 가져 간다 당신이 이것에 대해 생각할 때 그렇다면 이것의 복잡성은 무엇입니까? 글쎄, 행렬 – 이번엔이 시간을 곱해야 해 그리고 이것은 당신에게 nd 또는 np를 지불하게 될 것입니다 이 행렬을 만들어야합니다

이것은 n 정사각형 d 또는 n 정사각형 p를 소비하게 될 것입니다 그리고 나서 당신은 반전해야합니다 이것들은 n 큐브가 될 것입니다 죄송 합니다만,이 행렬은 이 행렬은 d만큼 d이기 때문에 d- 큐브가 될 것입니다 그래서 이것은 대충 비용입니다

자 이제 이걸보세요 이것은 – 나는 이것을 취한다 이 경우, p는 새로운 변수이고, 그렇지 않으면 d입니다 그래서이 경우, 저는 p 큐브를 가지고 있고, 그 다음에는 p square n을가집니다 그러나 한 가지 질문은 n이 많은 경우입니다

그리고 그것은 사실입니다 n이 p보다 훨씬 작 으면 어떨까요? n이 10 인 경우, 실제로 지불해야합니까? 치수의 수에 2 차 또는 심지어 입방 이 문제를 해결하려면? 어떤 의미에서 보면, 나는 약간의 일들을 지나치는 것처럼 보입니다 내가 행렬을 뒤집을 것이기 때문에, 그렇습니다 그러나이 행렬 정말 계급 n입니다 기껏해야 선형 적이 지 않은 n 개의 행만 있습니다

그것은 더 적을 수도 있지만, 대부분 n을가집니다 그럼 내가이 복잡성을 깨뜨릴 수 있을까요? 선형 시스템은 해결해야합니다 전에 보여 줬던 테이블을 사용하십시오 계산을 확인하십시오 이것은 당신이해야만하는 계산입니다

여기 한 가지 관찰은 당신이 정말로 지불하는 것입니다 차원에서 많이, 변수의 수 또는 당신이 발명 한 피쳐의 수 그리고 p가 n보다 작 으면 OK 일 것입니다 그러나 한 가지 – 직관적으로 잘못 생각합니다 n이 p보다 훨씬 작을 때

문제의 복잡성, 문제의 순위는 단지 n입니다 여기에있는 행렬에는 n 개의 행과 d 또는 p 개의 열이 있습니다 당신이 어떤 표현을하는지에 따라 그래서 모든 일의 계급이 최대 n에 달합니다 n이 훨씬 작 으면

이제 빨간 점이 나타납니다 그리고 당신이 할 수있는 것은이 한 줄을 증명하는 것입니다 그래서 그들이하는 일을 보자 당신이 그것을 증명할 수있는 방법을 말해주십시오 그리고 그것은 운동입니다

이걸 뒤집 으면 여기가 보입니다 그 다음에는 x transpose y 곱하기이 행렬의 역함수 여기에 쓰여진 것입니다 그래서 저는이 평등이 유지되고 있다고 주장합니다 그것이 무엇인지보십시오

나는이 x 전치를 가져 간다 나는 그것을 앞쪽으로 움직인다 그런데 내가 이렇게하면, 너 분명하게 내가 치수를 어지럽히는 것을 보아라 그래서 당신이하는 일은 두 사람의 순서를 바꾸어야한다는 것입니다 중간에 행렬

이제 dimensionality의 관점에서, 적어도, 나는 여전히이 행렬과이 행렬을 볼 수있다 같은 차원을가집니다 어떻게 증명하나요? 자, 기본적으로 SVD를 할 필요가 있습니다 행렬 Xn의 단일 값 분해를 취합니다 당신은 그것을 연결하고, 당신은 단지 물건을 계산합니다

그리고 평등의이면을 확인해보십시오 평등의 측면과 같습니다 그래서 이보다 더 좋은 것은 없습니다 그러나 우리는 이것을 건너 뛸 것입니다 그래서 당신은 이것을 사실로 받아들입니다

그것은 약간의 속임수입니다 왜 내가이 트릭을하고 싶니? 봐, 이제 내가 말하는 것은 내 w가 가고 있다는거야 x 무언가의 전치 이게 뭐야? 그래서 w는 여기에서이 객체의 X 전치가 될 것입니다 이 벡터가 얼마나 큽니까? 그래서이 행렬이 얼마나 큰 것입니까? Xn이 얼마나 큰지 기억해? 관객 : d

LORENZO ROSASCO : d 또는 p에 의해 N입니다 얼마나 큰데? 청중 : N × N 로렌조 로사스코 : N × N 그럼이 벡터가 얼마나 큰가요? n은 1입니다 이제 저는 – 나는 내 w가 항상있을 수 있다는 것을 알았다

x transpose c로 쓰여지고, 여기서 c는 그냥 n 차원 벡터 네가 원한다면 나는 이것을 이렇게 썼다 이렇게하는 비용은 얼마입니까? 글쎄,이 일을하는 비용 이었어? 하지만 이제 너는해야만 해 여기이 일을하는 데 드는 비용이 무엇인지 말해 보겠습니다 브라켓 위? 글쎄,이게 p 큐브 p 사각형 n이라면, 이게 얼마나 될까요? 나는이 행렬이 p를 p라고 말할 것이고, 이 벡터는 p가 1이다

여기에서, 행렬은 n × n이고 승리는 n입니다 따라서 기본적으로이 두 숫자가 바뀌 었습니다 이러한 복잡성 대신에, 이제 당신은 n 큐브 인 복잡성을가집니다 그리고 여러분은 n square P를 가졌습니다 그것은 p에서 선형입니다

당신은 그것을 피할 수 없습니다 적어도 한 번 이상 데이터를 조사해야합니다 그러나 그 다음에는 다량의 두 개만 다항식이됩니다 그래서 어떤 의미에서 볼 수있는 것은 물론, n의 크기에 따라, 당신은 여전히이 곱셈을해야합니다 그러나이 곱셈은 단지 n, nd 또는 np입니다

그러니 내가 너에게 말하는 것을 요약 해 보자 이것은 제가 더 많은 수학적 사실입니다 여기에 경고가 있습니다 첫 번째 질문은 명확해야한다는 것입니다 이 경우 복잡성을 해소 할 수 있습니까? n이 p 또는 d보다 작은 경우? 이것은 문제가 잠시 나왔기 때문에 관련이 있습니다

나는 항상 폭발해야했다 내 기능의 차원? 그리고 여기서 보는 것은 – 글쎄, 적어도 지금은 우리가 볼 수 있더라도, 당신은 그것에서 선형보다는 더 많은 것을 지불하지 않는다 그리고 당신이 그것을 증명하는 방법은 A입니다 이 요인을 관찰하십시오, 다시, 나는 당신이 호기심이 있다면 측정하고, 어떻게하는지 보여 주며, 그러나 그것은 한 줄입니다 그리고 2, 일단 당신이 이것을 가지면, 만약 당신이 w를 재 작성한다면, w를 ax transpose c로 쓸 수 있습니다

그리고 이제는 기본적으로 다시 매개 변수가되는 C 코드를 찾으려고합니다 새로운 C가 당신에게 드는 비용을 발견 할 것입니다 단지 n 큐브 n 정사각형 p 그래서 당신은 당신이하고 싶은 것을 정확히합니다 그리고 기본적으로, 당신이 지금 보는 것은 당신이 최소 제곱을 할 때마다, 당신은 차원의 수를 확인할 수 있습니다, 포인트 수 및 항상 문제를 다시 매개 변수화하십시오

복잡성이 선형 적으로 의존하는 방식으로 2 개 중 더 큰 것 및 다항식으로 둘 중 작은쪽에 그래서 그것은 좋은 소식입니다 오, 내가 썼다 그래서 지금 우리가있는 곳입니다 우리가 지금 길을 잃으면, 당신은 완전히 잃어 버리게 될 것입니다 1 초

이것이 우리가하고 싶은 일이기 때문입니다 우리는 가능한 가장 단순한 방법으로 커널을 소개하고자합니다 이는 다음과 같다 그래서보세요 이것은 우리가 알아 낸 것입니다 우리는 실제로 정리를 증명했습니다 그리고 정리에 따르면 최소 제곱 알고리즘에 의해 출력되는 임의의 가능한 d 차원 벡터, 하지만 그들은 항상 벡터입니다 트레이닝 세트 벡터의 조합으로 쓸 수 있습니다

그래서 xi는 long d 또는 p이고, 나는 그들을 요약했습니다 이 무게들로 그리고 그것들은 최소 제곱에서 나올거야 항상 그 형태입니다 그들은 다른 어떤 형태도 될 수 없습니다

이를 대표 정리 (Representer theorem)라고합니다 그것은 소위 커널 방법의 기본 정리입니다 찾고있는 솔루션을 보여줍니다 이 용어들의 선형 중첩으로 쓰여질 수있다 너 지금 쓰면 – 이것은 단지 w입니다

x의 f를 적어 봅시다 F의 x는 x transpose w가 될 것입니다 선형 함수 그리고 지금 당신은 그것을 쓸 수 있습니다 선형성을 사용하면 다음과 같이 할 수 있습니다

그래서 w는 이렇게 쓰여졌습니다 x transpose를 곱하면됩니다 이것은 유한 합계입니다 그래서 x를 합계 안에 넣을 수 있습니다 이것이 당신이 얻는 것입니다

괜찮아? 그래서 x 번 전치를했습니다 이것은 x 전치와 나머지를 곱한 값의 합계입니다 왜 우리가 이것을 신경 쓰나요? 기본적으로 커널 메소드의 아이디어 – 이 아주 기본적인 형태로 – 무엇입니까? 이 내적 제품을 교체하면 내 기능 간의 유사성을 측정하는 방법입니다 또 다른 유사점이 있습니다 따라서 각 x를 매우 높게 매핑하는 대신 3 차원 벡터를 생성 한 다음 제품을 얻는 것 – 당신이 다른 길을 원한다면 그 자체입니다, 제가 말했듯이, 귀하의 제품에서 유사성을 측정하는 방법, 벡터 사이의 거리 – 방금 정의한 경우, 명시 적 매핑 대신에, 내부 제품을 재정의함으로써 그래서이 k는 여기에있는 k와 비슷합니다

우리는 이전에 – 첫 번째 슬라이드에있었습니다 그리고 그것은 내부 제품을 다시 모방합니다 내부 제품을 변경 한 다음 다른 모든 것을 사용하고 싶다 그래서 우리는 두 가지 질문에 답할 필요가 있습니다 첫 번째 것은 제가 지금 당신에게 절차를 주면됩니다

언제든지 x transpose를 원할 것입니다 x는 ax comma x prime라고하는 다른 것을합니다 어떻게 계산을 바꾸나요? 이것은 아주 쉬울 것입니다 또한 모델링 관점에서 무엇을하고 있습니까? 그래서 계산의 관점에서 볼 때 매우 쉽습니다 여기에서 볼 수 있기 때문에 항상 엔트리가있는 행렬을 만들어야합니다

xi는 xj를 전치한다 그래서 그것은 항상 두 벡터의 산물이었습니다 그리고 지금 당신이하는 일은 당신이 똑같이하는 것입니다 그래서 당신은 xn이 아닌 행렬 kn을 만듭니다 xn transpose하지만이 엔트리 만있는 새로운 행렬입니다

이것은 단지 일반화 일뿐입니다 선형 커널을 넣으면 다시 돌아옵니다 전에 우리가 가진 것에서 다른 커널을 넣으면 다른 것을 얻을 수 있습니다 그래서 계산적인 관점에서 볼 때, 당신은 c의 계산을 위해 끝난 것입니다

당신은 아무것도하지 않아야합니다 이 행렬을이 일반 행렬로 바꿉니다 그리고 만약 당신이 지금 s를 계산하기를 원한다면 – 당신이 모르기 때문에 더 이상 계산할 수 없습니다 그 자체로 x는 무엇입니까? 그러나 x의 f를 계산하려면, 플러그인 만하면되기 때문에 그래서 당신은 c를 어떻게 계산할 것인지를 안다 그리고이 양을 계산하는 방법을 알고 있습니다

거기에 커널을 넣으십시오 그래서 여기의 마법은 결코 x를 고립으로 가리킨다 당신은 항상 x 점에 다른 점 x를 곱합니다 그리고 이것은 벡터를 다음과 같이 대체 할 수 있습니다 어떤 의미에서 이것은 암시 적 재 매핑이다

내부 제품을 재정의함으로써 포인트의 이제 당신이 볼 수있는 것은 네가 계산 한 것 뿐이야 당신이 다시 할 수있는 선형 경우에 f의 x를 계산하기 위해 완료, 내부 제품을이 새 기능으로 바꿀 수 있습니다 왜냐하면 A이기 때문에이 새로운 행렬을 사용하여 c를 계산할 수 있습니다 이것 대신에 그리고 B, 당신은 x의 f를 대체 할 수 있습니다

이 내부 제품을이 제품으로 교체하는 것입니다 계산 방법을 알고있는 올바른 가중치를 넣으십시오 모델링 관점에서 당신은 무엇을합니까? 확인할 수 있습니다 예를 들어 여기를 선택하는 경우입니다 이 다항식 커널 – 이것은 단지 x 전치 x 프라임 플러스 1입니다

상승 된 d– 예를 들어, d가 2 일 경우, 이것은 내가 전에 보여준 매핑과 동일합니다 엔트리로서 명시적인 단항 문자를 가지는 것 이것은 단지 그것을 암묵적으로하고 있습니다 당신이 저 차원에 있다면, 당신이 저 차원이라면, n이 매우 크고 치수가 매우 작 으면, 첫 번째 방법이 더 좋을 수도 있습니다 그러나 n이 훨씬 크면이 방법이 더 좋을 것입니다

또한 Gaussian 커널과 같은 것을 사용할 수 있습니다 그리고 그 경우에는 명시 적으로 명시 적으로 작성할 수 없습니다 명백한지도 그것은 무한 차원입니다 적어 두어야 할 벡터, 명시 변수 버전을 적어 두는 것 – 이것의 임베딩 버전은 무한 차원입니다

그래서 이것은 – 이것을 사용하면 진정한 비모수 모델을 얻을 수 있습니다 이것을 사용하는 효과가 무엇인지 생각하면, 여기에 연결하면 아주 분명합니다 네가 가진 것은 한 가지 경우에 당신은 선형적인 것들을 중첩 시켰습니다, 다항식의 중첩, 또는 가우시안의 중첩 이전과 같은 게임 그래서 동일한 데이터 세트를 훈련시킵니다

나는 최소한의 사각형을 차지한다 내가 방금 너에게 보여준 것이지 그 행렬을 반전시키는 c를 계산하고, 예제의 마지막 인 Gaussian 커널을 사용하십시오 x의 f를 계산합니다 그리고 나서 우리는 단지 그것을 계획하고 싶습니다

그래서 이것이 해결책입니다 알고리즘은 두 개의 매개 변수에 따라 다릅니다 그들은 무엇인가? 관객 : 람다 LORENZO ROSASCO : 정규화 매개 변수 인 Lambda, 이미 선형 경우에 나타난 것 – 그리고– 관객 : [INAUDIBLE]을 (를) 선택한 매개 변수 로렌조 로사스코 : 맞아 커널의 매개 변수가 무엇이든간에

이 경우 Gaussian이므로 이 너비에 따라 달라집니다 이제 감마를 크게 잡았다 고 가정 해 봅시다 나는 큰 것이 무엇인지 모른다 나는 단지 그것을 손으로 여기에서한다 그래서 우리는 무엇이 일어나는 지 안다

당신이 감마를 먹으면, 감마, 감마, 당신은 아주 간단한 것을 얻기 시작합니다 그리고 조금 더 크게 만들면 아마도 선형 솔루션처럼 보일 것입니다 내가 그것을 작게 만들면 – 그리고 다시, 나는 작은 것이 무엇인지 모른다 그래서 나는 단지 시험 할 예정이다 나는 아주 작다

당신은 무슨 일이 일어나고 있는지보기 시작합니다 그 사이에 들어가면 정말 개별 사례를 설명 할 수 있음을 알기 시작하십시오 여기서 우리가하는 일을 생각해 봅시다 그것은 또 다른 손을 흔드는 설명이 될 것입니다 이 방정식을보십시오

그것이 무엇을 말하는지 읽어 봅시다 Gaussians의 경우, 그것은 말한다, 나는 Gaussian을 취한다 – 평범한 가우시안 나는 그것을 훈련 설정 점 위에 놓고, 그런 다음 CI를 선택함으로써 나는 그것이 맞는지 여부를 선택합니다 봉우리 나 계곡이 될 것입니다 그것은 올라갈 수 있거나 2 차원의 경우에 내려갈 수 있습니다 너비를 선택하면 얼마나 커질지

내가 x의 f를하면,이 모든 것을 요약합니다 나는이 봉우리들과이 골짜기들을 가질 것이라는 의미입니다 나는 그들을 어떤 식 으로든 연결합니다 그 전에 내가 기억하고있는 것을 기억해 2 차원의 경우에는 무엇을 할 것인가? 우리는 x의 f가 아니고 x의 f는 0과 같습니다

그래서 여러분이 정말로 생각해야 할 것은 x의 f가이 경우입니다 더 이상 상위 평면이 아니지만이 평면입니다 그것은 올라가고 내려갑니다 그리고 그것은 올라가고 내려갑니다 그래서 파란색 부분에서, 그것은 올라가고, 오렌지 부분에서는, 그것은 계곡으로 내려 간다

그럼 네가하는 일은 바로 지금 네가하는거야 이 모든 작은 가우시안들, 당신은 파란색과 주황색 점 주위에 넣었습니다 그리고 그 봉우리를 연결합니다 그리고 그것들을 작게하면 그것들은 매우 복잡한 표면을 만듭니다 그래서 우리는 전에 무엇을 넣었습니까? 그래서 그들은 작습니다

점점 작아지고 작아지고 작아지고 있습니다 그리고 그들은 나가서, 당신은 – 여기에 요점이 있으므로 밖으로 나옵니다 여기에 기본적으로 Gaussian을 넣음으로써 그 개별 지점 내 포인트가 어떻게 될지 상상해보십시오 여기에 두 점, 두 점 있습니다

이제 각 지점 주위에 거대한 가우스를 놓았습니다 기본적으로 봉우리가 서로 닿아 있습니다 네가 상상하는 것은 네가 뭔가를 얻으십시오, 기본적으로 결정 경계는 네가 얻을 수 있기 때문에 선처럼 보이게해라 매우 매끄러운 무엇인가 그것은 항상 위아래로 가지 않습니다

곧 될거야– 그게 우리가 전에 본 것입니다 그리고 다시, 나는 내가 여기에 무엇을 넣었는지를 기억하지 못한다 그래서 이것은 좋게 보이기 시작하고 있습니다 그래서 당신은 정말로 다소 좋은 일이 일어나는 것을 보았습니다 만약 내가 ~한다면 5는 우리가 어쩌면 전에 쓴 것일거야

기본적으로 당신이하는 일 당신이 질량의 중심을 계산하고 있다는 것입니다 가우시안의 의미에서 한 클래스의 그래서 당신은 가우스 혼합을하고 있습니다 한 쪽에서는 다른쪽에 가우시안 혼합물이 있고, 당신은 기본적으로 대중의 중심을 계산하고 있습니다 그리고 나서 당신은 그 라인을 찾는다 질량의 중심을 분리합니다 그게 네가 여기서하고있는 일이야

이 한 가지 큰 줄을 찾으십시오 그래서 다시, 우리는 놀지 않을 것입니다 포인트 수와 함께 우리는 람다와 함께 놀지 않습니다 그러나 이것은 기본적으로 우리가 이전에 본 것입니다

지금 당장 당신에게 보여주고 싶은 것은 커널의 효과입니다 그리고 여기 저는 가우스 커널을 사용하고 있습니다 선형 커널을 사용할 수도 있습니다 이것은 선형 커널입니다 이것은 선형 최소 제곱을 사용합니다

이제 가우시안 커널을 사용한다면, 당신은 당신 자신에게 여분의 가능성을 안겨줍니다 본질적으로, 당신이 보는 것은 당신이 어떤 의미에서 매우 큰 Gaussian을 넣는다 당신은 선형 커널을 얻는다 그러나 매우 작은 Gaussian을 넣으면, 당신은이 여분의 복잡성을 스스로 허용합니다 그리고 그것이 바로이 작은 속임수로 얻을 수있는 것입니다

우리가 내부 제품을 교체 한 이 새로운 커널로 우리는 단순 선형 추정기 무언가에, 그것은 – 네가 원한다면 똑같은거야 우리가 명시 적으로 만들었던 이 고전력의 단조 로움들,하지만 여기서 당신은 그것을 암묵적으로 행한다 그리고 실제로 그것이 – 할 수있는 명시적인 버전이 없습니다 수학적으로 할 수 있지만, 피쳐 표현, 이 커널의 변수 표현 무한히 긴 벡터가 될 것입니다 내장 된 기능의 공간 가우시안의 조합은 유한 차원이 아닙니다

다항식의 경우, 함수의 공간, 그것은 기본적으로 d의 다항식입니다 내가 얼마나 큰지 물으면 당신이 이것을 사용하여 만들 수있는 공간 – 음, 이것은 쉽습니다 그것은 단지 차원 적입니다 이것으로, 음, 이것은 좀 더 복잡합니다 그러나 당신은 계산할 수 있습니다

이를 위해 무한하기 때문에 계산하기 쉽지 않습니다 그래서 어떤 의미에서는 비 파라 메트릭 모델입니다 무슨 뜻이에요? 물론, 당신은 유한 한 숫자를 가지고 있습니다 실제로 매개 변수의 그리고 그것은 좋은 소식입니다

그러나 선험적으로 고정 된 수의 매개 변수는 없습니다 제가 100 점을 주면 100 개의 매개 변수가 생깁니다 200 만 포인트를 주면 2 백만 개의 매개 변수가 생깁니다 제가 5 백만 포인트를 주면 5 백만 개의 매개 변수가 생깁니다 그러나 당신은 결코 복잡성의 경계에 부딪치지 않습니다

이것들은 어떤 의미에서 무한 차원의 매개 변수 공간 물론, 여기 저기있는 것을 볼 수 있습니다 제가 설명하는 부분 중 일부는 복잡합니다 특히 이것이 처음 보는 경우에 특히 그렇습니다 그러나 테이크 – 홈 메시지는 본질적으로 최소 제곱에서, 나는 이해할 수있다

숫자적인 관점에서 무엇이 진행되고 있는지 브리지 수치 및 통계 그런 다음 간단한 선형 대수학으로, 나는 그 복잡성을 이해할 수있다 내가 어떻게 복잡하게 될 수 있니? 선형 수의 차원 또는 포인트 수 그리고 따라 와서 나는 약간의 마술을 할 수있다 선형 모델에서 비선형으로 전환하십시오

이것이 가능한 이유는 복잡합니다 그러나 테이크 – 홈 메시지, A, 계산 당신은 쉽게 확인할 수 있습니다 그것은 동일하게 유지되었습니다 B, 지금하고있는 일이 지금은 무엇인지 확인할 수 있습니다 더 복잡한 모델을 만들 수있게 해줍니다

그것은 커널 함수의 조합입니다 그리고이 단순한 데모로 노는 것만으로도, 당신은 약간의 효과를 이해할 수 있습니다 그리고 그것은 당신이 직관적으로 기대하는 것입니다 그래서 네가 충분히 가까이 갈 수 있기를 바란다 당신이 이것을 사용할 때 어떤 인식을 가지고 있습니다

그리고 물론, 당신은 – 당신이이 알고리즘의 특이성으로부터 추상화 할 때, 하나 또는 두 개의 매개 변수를 사용하여 알고리즘을 작성합니다 람다와 시그마 그리고 당신이 저들을 어떻게 선택하는지 나에게 묻자 마자, 글쎄, 우리는 강의 첫 부분으로 돌아 간다 바이어스 – 분산, 트레이드 오프, 교차 검증, 등등 그래서 당신은 그것들을 조합해야합니다

내가 말하지 않은 것들이 많이있다 그리고 그것은 우리가 논의한 것에서 한 걸음 떨어져 있습니다 그래서 당신은 집에있는 메시지 부분을 보았습니다 그러나 우리는 재현에 관해 이야기 할 수있다 커널 하이브리드 공간, 기능 분석 내가 말한 모든 것 뒤에

기본적으로 가우시안 프로세스에 대해 이야기 할 수 있습니다 방금 전에 당신에게 보여준 것의 확률 적 버전입니다 그렇다면 우리는 다량의 수학과 연결을 볼 수 있습니다 적분 방정식 및 PDE와 유사합니다 샘플링과 전체 연결이 있습니다

이론 a la Shannon, 역 문제 등등 그리고 많은 확장이 있습니다 거의 무료입니다 손실 함수를 변경합니다 당신은 물류를 만들 수 있습니다, 당신은 커널을 가져 가라

로지스틱 회귀 SVM을 사용하면 커널 SVM을 얻을 수 있습니다 그런 다음보다 복잡한 출력 공간을 사용할 수도 있습니다 그리고 다 중성, 다 변수 회귀를 수행 할 수 있습니다 당신은 회귀를 할 수 있습니다

멀티 라벨을 할 수 있으며, 여러 가지 일을해라 그리고 이것들은 정말로 한 걸음 떨어져 있습니다 이것들은 코드의 사소한 수정입니다 그리고 당신은 많은 것들을 할 수 있습니다 그래서 이것의 좋은 점은 정말로, 정말로, 정말로 사소한 노력, 당신은 실제로 문제를 풀어 라

나는 그것이 지금까지 최고의 알고리즘이 될 것이라고 말하지 않고있다 그러나 확실히 그것은 당신을 상당히 멀리합니다 다시 한번 우리는 꽤 많은 시간을 보냈습니다 바이어스 – 분산 및 그것이 의미하고 사용하는 것 최소 제곱근과 기본적으로 워밍업 이 설정으로 조금 그리고 나서 지난 1, 2 시간 동안 우리는 최소한의 사각형에 대해 논의했습니다

그것은 선형 대수학의 관점에서 생각할 수 있기 때문에, 그게 뭔가 한 가지 또는 다른 것 – 당신은 당신의 삶에서 보았습니다 그런 다음 선형에서 비선형으로 이동할 수 있습니다 그리고 그것은 약간의 마술이지만, 두 부분 – 수치 적으로 사용하는 방법입니다

실용적인 관점에서 복잡한 모델에서 간단한 모델로 또는 그 반대로 이동하는 것 – 너가 너의 마음 속에 간직하기를 바란다 당분간은 우리의 우려는 방금 예측을하는 것이 었습니다 분류를 듣는다면, 좋은 설명이 있어야합니다 회귀가 들리면 좋은 회귀를 원합니다 하지만 너는 얘기하지 않았다

우리는 이해에 대해서 말하지 않았다 어떻게 좋은 회귀를 했습니까? 그래서 전형적인 예가 생물학의 예입니다 아마도 이것은 약간 오래된 것입니다 이것은 마이크로 어레이입니다 그러나 당신이 가지고있는 데이터 세트는 수많은 환자들입니다

각 환자마다 측정 값, 측정치는 일부 유전자 발현에 상응한다 수준 또는 다른 생물학적 과정 환자는 두 가지 그룹, 즉 질병 유형 A 및 질병 유형 B 그리고 좋은 예측에 기초하여 환자가 질병 유형 A 또는 B인지 여부, 치료 방법을 바꾸거나 질병을 치료할 수 있습니다 물론, 당신은 좋은 예측을 원합니다 새로운 환자가 도착했을 때 – 말하자면 이것은 타입 A인지 타입 B인지입니다

그러나 종종, 당신이하고 싶은 일 이 도구를 최종 도구로 사용하지 않으려 고합니다 깊은 학습이 이것을 해결할 수 없기 때문에, 당신은 돌아가서 생물학적 과정을 조금 더 공부할 것입니다 조금 더 이해할 수 있습니다 그래서 이것을 더 많은 통계 도구로 사용합니다 현미경을 사용할 수있는 방법처럼 또는 귀하의 데이터를 조사하고 정보를 얻으려는 것입니다

그 의미에서 때때로, 그것은 흥미있는 것 – 단지 말하는 것 말고 이 환자는 질병 유형이 될 가능성이 더 높을 것인가? A 또는 B, 그것은 들어가서 말합니다, 아, 그러나 당신이 예측을 내릴 때, 무엇을 이 예측에 중요한 프로세스입니까? 이 유전자 번호 33 또는 34는 내가 들어가서 말할 수있는, 아,이 유전자들은 실제로 관련이 있기 때문에 이해가됩니다 관련되어있는 것으로 알려진 이러한 다른 프로세스에, 이 질병에 관여 그리고 그렇게하면 작은 도구로 사용하게됩니다 그런 다음 다른 것들을 사용하여 그림을 얻습니다 그리고 나서 그것들을 합친다

그리고 의사 나 임상의가 대부분입니다 또는 생물 통계 학자가 더 나은 이해를 개발하려고합니다 그러나 당신은 이것을 이해하고보고 도구로 사용합니다 데이터를 그리고 그 관점에서, 단어 해석 능력 큰 역할을합니다 그리고 여기서 해석 가능성에 의해 나는 의미한다

나는 예측을하고 싶을뿐만 아니라, 하지만 나는 예측을하고 너에게 말한다 이후 방법에 대한 설명과 함께 내 데이터에 포함 된 정보를 골라 냈습니다 지금까지는 우리가 가진 도구로 그것을하는 방법을보기가 어렵습니다 그래서 이것은 기본적으로 변수 선택 분야입니다 그리고이 기본적인 형태로, 설정 우리가 무슨 일이 일어나는지 이해하는 곳 선형 모델의 설정입니다

그래서이 설정에서 기본적으로, 나는 단지 우리가 이전에 본 것을 재 작성하십시오 x는 벡터이고, 예를 들어, 환자로서 그리고 xj는 가지고있는 측정 값입니다 이 환자를 설명했다 선형 모델을 만들 때 기본적으로 각 변수에 가중치를 두어, 당신은 각 측정에 무게를두고 있습니다

측정이 중요하지 않은 경우 여기에 0을 넣으세요 그리고 그것은 합계에서 사라질 것입니다 측정이 중요한 경우, 여기에 큰 무게를 얻을 수 있습니다 따라서 어떤 측정 값을 얻으려고 노력하는 한 가지 방법 중요하지 않으며 시도하거나 시도하지 않는 선형 모델을 추정하고 모델링하고, 여기서 w를 얻고, 그러나 이상적으로 우리는 많은 0을 가진 w를 얻고 싶습니다 당신은 작고 무엇이 싫은지에 대해 우물쭈물하고 싶지 않습니다

그래서 내가 전에 보여준 방식을 최소한으로한다면, 당신은 승을 얻을 것입니다 그럼 너는 ~ 그들 중 대부분은 그것이 제로가 아님을 확인할 수 있습니다 실제로 이들 중 어느 것도 일반적으로 0이 아닙니다 이제는 작고 큰 것을 결정해야합니다 그게 쉽지 않을 수도 있습니다

죄송합니다, 여기 무슨 일 있었 니? 너무 재미있어,이게 내가 발견 한 이름이야 나는 책의 이름을 기억하지 못한다 설명하는 데 사용 된 이름입니다 변수 선택 과정 훨씬 어려운 문제입니다

예측하기 싫어 하지만 다시 돌아가서 확인하고 싶어 어떻게 당신이 예측합니다 그리고 과핑을 시작하고 시작하는 것은 매우 쉽습니다 정보를 얻을 때까지 데이터를 집어 넣으려고합니다

그래서 프로 시저를 가지고있는 것이 좋습니다 추출 할 깨끗한 절차를 줄 것입니다 중요한 변수 다시 말하지만, 당신은 이것을 기본적으로 생각할 수 있습니다 나는 f를 만들고 싶지만, 나는 또한 원한다

나에게 말해주는 목록이나 더 나은 가중치를 찾아 내야한다 어떤 변수가 중요합니다 그리고 종종 이것은 단지 목록 일뿐입니다 그것은 d보다 훨씬 작아서 되돌아 갈 수 있습니다 그리고 오, 측정 33, 34, 50 – 뭐야? 나는 들어가서 그것을 볼 수있었습니다

왜 계산상의 이유가 있는지 주목하십시오 이것은 흥미로울 것이다 물론, 여기 d가 50,000 인 경우 – 내가 보는 것은, 사실, 나는 이 측정의 대부분을 버리고 단지 10을 유지할 수 있습니다 그 때 그것은 희망적으로 할 수 있다는 것을 의미합니다 계산의 복잡성을 줄이고, 예를 들어 데이터의 저장도 가능합니다

내가 데이터 세트를 보낸 후에 데이터 세트를 보내야한다면 이 일을 끝냈어 나는 너를 보내려고했다 이 작은 작은 매트릭스 그래서 해석 가능성이 한 가지 이유입니다 그러나 계산 측면은 또 다른 것일 수 있습니다

내가 너무 많이 말하고 싶지 않은 또 다른 이유는 – 이 아이디어가 있었음을 기억하십시오 우리는 모델의 복잡성을 문서화 할 수 있다고 말했다 특징을 발명함으로써, 그는 말했다 나는 항상 큰 가격을 지불해야합니까? 글쎄, 근본적으로 만약 네가 – 나는 지적했다 나는 커널에 대해 생각하고 있었기 때문에 항상 그렇지는 않다고 말했다 이것들은 잠재적으로 다른 방법을 원한다면 당신이하는 일이 돌아가는 것은, 무엇보다도, 당신은 피처의 수를 폭발시킵니다 당신은 많은, 많은, 많은, 많은, 그리고 나서 이것을 예비 단계로 사용한다

보다 합리적인 숫자로 줄이려고 그 중에서도 이 많은, 많은 측정, 그들 중 일부 단지 매우 상관되거나 흥미가 없을 것입니다 등등 따라서이 차원 적 감소 또는 계산적 또는 해석 가능한 모델의 관점 이런 일을하려는 욕망 뒤에 무엇이 있습니까? 그러니 한 가지 더 말하면 우리는 멈출 것입니다 여러분이 무한한 계산 능력을 가지고 있다고 가정 해보십시오 그래서 계산은 당신의 걱정거리가 아닙니다

이 문제를 해결하고 싶습니다 어떻게 할거 니? 최소 제곱에 대한 코드가 있다고 가정합니다 그리고 원하는만큼 여러 번 실행할 수 있습니다 당신은 어떻게 시도하고 어떤 것을 평가하려고합니까? 변수가 더 중요합니까? 관객 : [INAUDIBLE] 계산의 가능성 로렌조 로자스코 : 그 가능성이 하나 있습니다

네가하는 일은 네가 ~ 모든 단일 변수를 시작하고 살펴 봅니다 그리고 여러분은 모든 단일 변수에 대해 최소 제곱을 해결합니다 그런 다음 모든 변수 쌍을 가져옵니다 그런 다음 모든 변수 셋을 얻습니다 그리고 어느 것이 가장 적합한 지 찾아냅니다

거기 통계의 관점에서 이것에 절대적으로 아무런 문제가 없습니다 네가 모든 걸 시도하기 때문에 그리고 어느 시점에서 가장 좋은 것이 무엇인지 찾아냅니다 문제는 그것이 조합 적이라는 것입니다 그리고 여러분은 여러분이 차원에있을 때 몇 가지 더 – 매우 적습니다

그래서 지수 적입니다 그래서 당신이하는 일을하는 것이 밝혀졌습니다 내가 너에게 해달라고 했어 내가 네게하도록 해달라고 부탁 한거야 이것은 무차별 적 접근이다

이런 일을하는 것과 동일합니다 정규화 접근법 여기서 저는 제로 놈이라고 불리는 것을 넣습니다 제로 기준은 실제로 표준이 아닙니다 그리고 그것은 단지 기능적입니다

그것은 다음과 같은 일을하는 것입니다 내가 너 한테 벡터를 준다면 너는 돌아와야 해 0과 다른 구성 요소의 수 그래서 당신은 안으로 들어가서 각 항목을 봅니다 그들이 0과 다른지를 말해줍니다

이것은 절대적으로 볼록하지 않습니다 그래서 이것이이 문제가 동등한 이유입니다 실행이 불가능한 계산이됩니다 아마도 우리는 여기서 멈출 수 있습니다 그리고 제가 다음에 보여 드리고자하는 것은 본질적입니다 – 네가 이걸 가지고 있다면 – 당신은 어떤 의미에서 이것이 당신이 원하는 것이라고 알고 있습니다

당신이 그것을 계산적으로 할 수 있다면, 하지만 너는 할 수 없어 그렇다면이 버전의 대략적인 버전을 어떻게 찾을 수 있습니까? 실제로 계산할 수 있습니까? 그리고 우리는 그것을 수행하는 두 가지 방법을 논의 할 것입니다 하나는 탐욕적인 방법이고 하나는 볼록한 이완입니다

Tutorial 3.3: Lorenzo Rosasco – Machine Learning Part 3

광고 소재 아래에 다음 콘텐츠가 제공됩니다 커먼즈 라이센스

귀하의 지원은 MIT OpenCourseWare에 도움이 될 것입니다 무료 교육 자료를 지속적으로 제공합니다 기부 또는 추가 자료보기 수백 개의 MIT 과정에서 MIT OpenCourseWare 방문 ocwmitedu에서

LORENZO ROSASCO : 당신이 기억한다면, 우리는 local method bias-variance를했습니다 그런 다음 글로벌 정규화 방법을 통과했습니다 사각형, 선형 최소 제곱, 커널 최소 제곱, 계산 모델링 그리고 그것이 우리가있는 곳입니다 그리고 나서 우리는 계속 나아 갔고 생각하기 시작했습니다

좀 더 다루기 힘든 모델에 대해서 변수 선택 문제를 생각하기 시작했다 승인? 그리고 우리가 제기 한 방식은, 네가 가고 있다는 것이다 선형 모델을 고려해야합니다 그리고 각 변수와 연관된 가중치를 사용합니다 해당 변수의 강도 측정 값으로 볼 수 있습니다

그리고 당신의 게임은 좋은 예측 측정뿐만 아니라 어떤 측정 값이 재미 있는지 알기 위해, 알았지? 여기에서 "관련 변수"라는 용어는 생산성과 관련이있을 것입니다 해당 기능의 생산성까지, OK? 이것이 변수의 관련성을 측정하는 방법입니다 그래서 우스운 이름을 보았습니다 그리고 나서 우리는 다소 그것에 동의했습니다 기본 접근 방식이있는 것 같습니다

기본적으로 가능한 모든 하위 집합을 시도합니다 그래서 이것을 베스트 서브셋 선택이라고합니다 변수 선택은 때로는 호출됩니다 최상의 하위 집합 선택 그리고 이것은 당신에게 당신이해야 할 일이 무엇인지에 대한 느낌을줍니다

가능한 모든 하위 집합을 시도하고 귀하의 데이터와 관련하여 가장 좋습니다 데이터에 얼마나 잘 어울리는 지에 대한 절충이되어야합니다 얼마나 많은 변수가 있니, 알았지? 그리고 내가 너 한테 한 말은 너는 실제로 가능한 모든 하위 집합을 시도하는 것을보십시오 정규화의 한 형태와 관련이있다 하나와 매우 흡사하게 보입니다

1 분 전에 보았습니다 주된 차이점은, 나는 fw를 넣었고, 그러나 fw는 단지 일반적인 선형 함수입니다 유일한 차이점은 여기에 있습니다, 사각형의 표준이 아닌이 함수를 이것은 0 표준이라고 불리는데, 기능적으로, 주어진 벡터 벡터의 항목 수를 반환합니다 0과 다르다, 알았지? 당신이 이것을 최소화한다면, 당신은 최상의 하위 집합 선택 문제를 해결하고 있습니다 여기서 이슈는 – 다른 표현 문제의 복잡성에 대한 사실은 이 기능은 비 볼록하다

따라서 다항식 알고리즘은 없습니다 실제로 해결책을 찾는다 누군가 내게 의견을 말하게 했어 쉬는 시간 동안에 여기서 나는 조금 빨리 지나가고 있음을 주목하라

최상의 하위 집합 문제에 대한 세밀화 관련된 선택은 거기에있다 좋은 고유 한 하위 집합? 둘 이상 있습니까? 그리고 둘 이상이 있다면, 어느 것을 골라야합니까? 실제로 이러한 질문은 즉시 발생합니다 두 가지 측정 값이 있다면 매우 상관되거나, 그들이 완벽하게 상호 연관되어 있다면, 측정을 빌드하면 빌드 할 수 있습니다 두 번째 측정, 세 번째 측정, 처음 2 개의 완전히 선형적인 조합입니다 그래서 그 시점에서 무엇을하고 싶습니까? 최소 수를 유지 하시겠습니까? 변수 중 가능한 가장 큰 수는 무엇입니까? 그리고 여러분은 이러한 모든 변수들이 어느 정도까지는 완전히 의존하고 있습니다

그래서 지금은 우린 계속해서 우리가 정말로 걱정하지 않는 곳, 알았지? 좋은 사람들 중 하나를 골라 내고 싶습니다 더 어려운 질문은 모두 선택하는 것입니다 또는 그들 중 하나를 선택하십시오 그리고 그 중 하나를 골라 내고 싶다면, 저에게 말해야합니다 어느 쪽이 기준이되는지, 알았지? 그래서 우리가 지금 염려하고있는 문제는 다음 중 하나입니다 : OK, 지금 우리가 이것을하고 싶어 할지도 모른다는 것을 우리가 알기 때문에, 대략적인 방법으로 어떻게 할 수 있습니까? 충분히 좋을 것이고, 그것은 무엇을 의미합니까? 그래서 가장 간단한 방법은 함께 그것에 대해 생각해보십시오

브 루트 포스 방식의 욕심 ​​많은 버전 그래서 무력 접근은 시작이었다 모든 단일 변수로부터 모든 커플, 그때 모든 세 쌍둥이, 그리고 어쩌구, 어쩌구, 어쩌구 저쩌구? 그리고 이것은 계산적으로 작동하지 않습니다 일어나기 위해서, 나는 모른다 이 접근법을 어떻게 비틀 수 있니? 근사치로 만들지 만 계산적으로 실행 가능하게 만드시겠습니까? 같은 정신을 지키자

이제 몇 가지 사항부터 시작하여 더 자세히 알려 드리겠습니다 그래서 일반적인 생각은 하나를 고르는 것입니다 한 번 선택하면 다른 것을 선택합니다 내가 이미 고른 것을 지키라 그런 다음 다른 하나를 선택하고 다른 하나를 선택합니다

그런 다음 다른 것을 선택합니다 따라서 이것은 물론 철저한 검색이 아닙니다 나는 전에 해왔다 그것은 아마도 가능합니다 네가 할 수있는 여러 가지 방법이있다

그리고 당신은 잘하면 – 당신은 어떤 조건 하에서 당신이 너무 멀지 않다는 것을 증명할 수 있습니다 무차별 대입 접근법에서 멀어지면 적어도 어떤 조건 하에서 그리고 이것은 우리가하고 싶어하는 것입니다 그래서 우리는 잔차의 개념을 가질 것입니다 첫 번째 반복에서 잔차 그냥 출력됩니다

그래서 첫 번째 반복을 생각해보십시오 당신은 출력 벡터를 얻었고 그것을 설명하고 싶습니다 잘 예측하고 싶 잖아, 알았지? 그래서 당신이하는 일은 당신이 먼저 너에게이 남자에 대한 최선의 예측을 해준다 그런 다음 예측을 계산합니다 다음 라운드에서 당신이하고 싶은 일, 당신은 이미 설명했던 것을 할인하려고합니다

그리고 당신이하는 일은 기본적으로 당신입니다 실제 출력에서 ​​예상치를 뺀 값을 취하십시오 당신은 잔류 물을 찾습니다 그리고 그걸 설명하려고 노력합니다 그게 설명 할게있어

알았지? 이제 변수를 확인합니다 이 나머지 비트를 가장 잘 설명합니다 그런 다음이 변수를 기존 변수에 추가합니다 당신은 잔류의 새로운 개념을 가지고 있습니다 당신이 1 라운드에서 설명했던 것입니다

당신은 두 번째 라운드에 대한 설명을 추가했습니다 그리고 아직도 남아있는 것이 있습니다 그리고 여러분은 계속 가고 있습니다 이 일이 충분한 시간 동안 진행된다면, 당신은 최소한의 사각형 솔루션을 갖게 될 것입니다 하루가 끝나면 모든 것을 설명 할 것입니다

그리고 각 라운드는 당신이 변수를 다시 넣기로 결정하면됩니다 그래서 당신은 각 단계에서 그것을 가질 수 있습니다 변수가 하나만 있거나 여러 단계를 거쳐야 할 수도 있습니다 하지만 단계 수보다 적은 수의 변수가 있습니다 상관없이, 단계의 수 변수의 수와 관련이 있습니다

귀하의 모델에서 활성화되어 있습니다 그것은 의미가 있습니까? 이것은 말의 버전이지만, 이제 우리는 세부 사항으로 간다, 그렇지? 그러나 이것은 대략 말하기입니다 그래서 1 라운드, 당신은 무엇인가를 설명하려고 노력합니다, 설명 할 내용이 무엇인지 알 수 있습니다 그리고 당신은 나머지를 설명 할 변수를 유지합니다 그런 다음 작성해야합니다

나는 그 단어를 사용했는지 확신 할 수 없지만, 중요하다 여기서 핵심 단어는 "희소성"입니다 내 모델을 추측하고 있다는 사실 몇 개의 벡터에 의존하는 것 – 죄송합니다 그래서 그것은 많은 제로 엔트리가있는 벡터입니다 Sparsity는이 속성을 설명하는 핵심 단어입니다

문제의 속성입니다 그래서 나는 알고리즘을 만들어서 내 데이터를 설명하는 희소 한 솔루션을 찾으십시오 이것은 하나의 방법입니다 이 목록을 살펴 보겠습니다 그래서 당신은 잔차의 개념을이 것으로 정의합니다

당신이 설명하려고하고 싶은, 그리고 첫 번째 라운드 출력됩니다 두 번째 라운드는 설명 할 남은 것입니다 네 예측 후에 계수 벡터, OK, 왜냐하면 우리는 선형 함수를 만들고 있기 때문입니다 그리고 인덱스 세트가 있습니다

그 단계에서 중요한 변수 세트입니다 그래서 이것들은 여러분이 초기화해야 할 세 가지 객체입니다 따라서 첫 번째 라운드에서 계수 벡터 0이 될 것입니다 색인 집합은 비어 있습니다 그리고 첫 라운드에서의 잔여 물 출력 벡터가 될 것입니다

그런 다음 가장 좋은 단일 변수를 찾고, 그런 다음 색인 세트를 갱신하십시오 따라서 해당 변수를 인덱스 세트에 추가합니다 이러한 변수를 포함 시키려면 계수 벡터를 계산합니다 그리고 나서 나머지를 업데이트합니다 그리고 다시 시작해, 알았지? 원한다면 여기 첫 번째 시험을 보여 드리겠습니다

단지 당신에게 아이디어를주기 위해서 이것을 가정하면 그래서 우선, 이것에 주목해라, OK? 오, 너무 지루해

여기에 쓰여진 것을 잊어 버려라 이 매트릭스를보십시오 출력 벡터의 열 길이가 동일합니다 행렬의 오른쪽? 따라서 행렬의 각 열은 하나의 변수와 관련있다 그럼 네가하려는 것은 네가하는거야

이 최선의 것을보기 위해 노력할 것입니다 내 출력 벡터를 설명하고 당신은 잔여 물을 정의하려고 시도 할 것입니다 승인? 예를 들어,이 경우 두 방향 X1과 X2 중 어느 것을 물을 수 있습니까? 벡터 Y를 가장 잘 설명해 주시겠습니까? 그래서 이것은 단순한 경우입니다 나는 기본적으로이 한 방향을 가지고있다 하나의 변수가이 변수입니다

또 다른 변수는이 변수입니다 그리고 나는 그 벡터를 가지고있다 내가해야 할 방향을 알고 싶다 어느 쪽을 골라야한다고 생각하니? 관객 : X1 로렌조 로자스코 : X1을 골라야합니까? 승인

이 투영은 X1에 가해 야하는 가중치가 될 것입니다 좋은 예측을하기 위해서 그리고 나머지는 무엇입니까? 음,이 X1을 가져 가야합니다 나는 ~을해야만 해 나는 그것을 빼야 만합니다

그리고 이것은 제가 남긴 것입니다 그래서 이것은 간단한 용어입니다, 네? 그래서 그것이 우리가하고 싶은 것입니다 그래서 우리는 그것을 손으로 말했다 우리는 말로 말합니다 여기 의사 코드가 있습니다

읽을 때 조금 지루합니다 어쨌든 4 줄의 코드임을 알 수 있습니다 우리가 15 번 말했을 텐데, 아마 읽는 것이 그렇게 어렵지 않을 것입니다 당신은 잔류의 개념을 가지고 있다는 것을 알 수 있습니다 계수 벡터가 있고 인덱스 집합이 있습니다

이것은 비어 있습니다 이것은 모두 0입니다 그리고 이것은 첫 번째 라운드입니다 그것은 단지 결과입니다 그럼 당신이하는 일은 당신이 시작한다는 것입니다

여기서 자유 변수는 T, 반복 횟수, 승인? 그것은 말하자면, 람다가 될 것입니다 네가하는 일은 자, 각 j에 대해 – 그래서 단지 표기법

j는 변수들과 자본 Xj 데이터 행렬의 열이 될 것입니다 j의 변수에 해당합니다 OK? 그리고이 줄에서 당신이하는 일은 여기 그것을 확장하면 계수를 찾는 것입니다 죄송합니다 해당 오류를 찾으십시오

최고의 변수로, 알았지? 보시다시피, 그것이 – 당신이 생각한다면 오, 그것은 컬럼은 산출물과 가장 관련이있다 가장 잘 설명하는 열을 찾는 것과 같습니다

출력, 또는 잔차 이 두 가지는 동일합니다 그래서 여기서 저는 동등한 것을 씁니다 그럼 네가 좋아하는 것을 골라라 알았지? 가장 관련성이 높은 항목을 찾았다 고 말하면됩니다

출력 또는 잔차와 함께 또는 열을 찾습니다 최소 제곱의 의미에서 잔차를 가장 잘 설명하고, 승인? 이 두 가지는 동등합니다 당신이 좋아하는 것을 골라라 이것이이 내용입니다 그런 다음 해당 열의 색인을 선택합니다

따라서 각 열에 대해이 문제를 해결하십시오 쉬운 문제입니다 1 차원 문제입니다 그런 다음 한 열을 선택합니다 가장 좋아하는 것, 그것은 당신에게주는 것입니다

최고의 상관 관계, 일명 최소 제곱 오차 그런 다음이 k를 색인 집합에 추가합니다 그리고이 경우 매우 간단합니다 나 그냥 갈거야 나는 아무것도 재 계산하지 않을거야

그래서 제가하는 일은 당신은 계수 벡터를 기억합니다 그게 모두 0인데, 알았지? 그런 다음 첫 번째 라운드에서 하나의 숫자를 계산합니다 예를 들어, 첫 번째 좌표가있는 해입니다 그리고 나서 엔트리에 번호를 추가합니다 이것이 정규직 기준입니다

그래서 그것은 단지 0을 모두 가지고 있지만, 위치 k에 1을가집니다 그래서 여기에이 번호를 붙였습니다 이것은 단지 오타입니다 그리고 나서 당신이하는 일은 당신이 그들을 요약하는 것입니다, 그렇죠? 그래서 당신은 모두 0입니다 여기에 하나의 숫자, 첫 번째 반복, 다른 하나

그리고 거기에 이걸 추가하면 계속 진행중입니다 이것은 가능한 가장 단순한 버전입니다 일단 이것을 가지고 나면 이제는이 벡터를가집니다 이것은 긴 벡터입니다 당신은 이것을 곱합니다 – 미안 해요, 이것은 Xn이어야합니다

어쩌면 우리는 오타에주의해야합니다 왜냐하면 나는 그들 모두를 기억하지 않을 것이기 때문이다 그리고 당신이하는 일은 당신이 지금까지 솔루션에 대해 설명했던 것을 할인하십시오 그래서 당신은 이미 잔차의 일부분을 설명했습니다 이제이 새 부품을 할인하고 새로운 잔차를 정의한 다음 다시 돌아 가야합니다

이 방법은 – 욕심 많은 접근 방식입니다 기계 학습에서 자주 발생하는 하나의 이름입니다 통계 및 기타 분야, 사물 끊임없이 재발생해라, 왜냐하면 사람들이 방금 왔기 때문이다 다른 관점에서 그들에게 사람들은 단지 공부하고 읽고 결정하기 때문에 조금 때로는 우선 순위가 아닙니다 그리하여이 한 알고리즘은 흔히 욕심 (greedy)이라고 불립니다

그것은 욕심 많은 접근법의 한 예입니다 때로는 일치하는 추적이라고합니다 그것은 소위 전방 무대와 매우 관련이 있습니다 회귀 그것이 통계에서 호출되는 방식입니다

그리고 잘, 그것은 다른 이름의 무리를 가지고있다 자,이 하나의 버전은 단지 기본 버전입니다 그것은 단순한 것입니다 – 가장 단순한 버전입니다 이 단계는 일반적으로 유지됩니다 이 두 단계는 약간 변경 될 수 있습니다

예를 들어, 이렇게하는 또 다른 방법을 생각해 볼 수 있습니까? 내가 너에게 힌트를 줘 보자 이 경우 변수를 선택해야합니다 당신은 계수를 계산합니다 그런 다음 다른 변수를 선택합니다 두 번째 변수에 대한 계수를 계산하고, 하지만 당신은 이미 계산 한 계수를 유지합니다

첫 번째 변수에 대해 그들은 당신이 다른 것을 가져 갔다는 것을 결코 알지 못했습니다 아직 안 가져 갔기 때문에 그래서이 의견을 통해 이 방법을 약간 변경하여이 부분을 수정할 수 있습니까? 내가하는 말을 보니? 이 한 줄을 바꾸고 싶습니다 나는 계수와이 한 줄을 계산한다

심지어, 아마도, 내가 잔여량을 계산할 곳 이 메소드가 기본적으로 업데이트되지 않았다는 사실 이전에 계산 한 가중치 당신은 새로운 것을 추가 만합니다 그리고 이것은 잠재적으로 좋은 생각이 아닙니다 왜냐하면 두 변수가있을 때, 두 가지 모두를 사용하여 솔루션을 계산하는 것이 좋습니다 그럼 어떻게 할 수 있니? 관객 : [INAUDIBLE] 로렌조 로자스코 : 맞아 그래서 당신이 할 수있는 것은 본질적으로 직각 매칭 추구 (orthogonal matching pursuit)

그래서이 세트를 가져 가면, 이제 너는 최소 제곱 문제를 풀 것입니다 인덱스에있는 변수를 설정합니다 그 시점까지, 그들 모두 당신은 모든 것을 재 계산합니다 그리고 이제는 1 차원 문제가 아니라, 그러나 n 배 k- 차원 문제, 여기서 k는 – 나도 몰라

k는 나쁜 이름이야 세트의 T는 T이거나 T 이상일 수 있습니다 그리고 나서이 시점에서 다시 정의해야합니다 너는 더 이상 할인하지 않기 때문에 당신이 이미 설명해 준 것이지만, 매번 모든 것을 다시 계산 그래서 당신은 Yn에서 예측을 뺀 것을하고 싶습니다

그렇습니까? 그래서이 알고리즘은 실제로 더 나은 특성을 가지고 있습니다 그것은 더 잘 작동합니다 매번 가격을 지불해야하기 때문에 최소 자승법을 재 계산해야합니다 그리고 내부에 하나 이상의 변수가있을 때, 문제가 크고 커지게됩니다 따라서 몇 번 반복 한 후에 멈추게되면 좋습니다

그러나 당신이 매번 많은 반복을 시작한다면, 선형 시스템을 풀어야합니다 따라서 복잡성은 훨씬 더 높습니다 여러분이 상상할 수 있듯이 여기에있는이 하나가 초고속입니다 그게 전부입니다 그래서이 방법은 내가 말했듯이, 매칭 추구 (matching pursuit)라고 부르거나, 매칭 추구 (matching pursuit)라고 불리는 경우, 순방향 회귀 분석은 0을 근사화하는 한 가지 방법입니다

해결책 그리고 정확히 어떤 의미로 증명할 수 있습니다 당신은 그것을 근사 할 수 있습니다 그래서 나는 이것이 우리가 당신에게 줄 수있는 것이라고 생각합니다 오늘 오후에, 그쵸? 청중 : 직교

로렌조 로사스코 : 오, 맞아, 직각 버전, 더 좋은 버전 이렇게하는 또 다른 방법은 기본적으로 말하는 것입니다 이봐 요, 여기서 당신이하고있는 것은 당신이 단지 세고 있다는 것입니다 엔트리의 수는 0과 다릅니다 당신이 지금 이것을 뭔가로 대체한다면 조금 더 – 그것은 무엇을 의미합니까? 실제로는 가중치를 합산합니다

그래서 원한다면, 한 가지 경우에, 당신은 단지 확인 만하면됩니다 무게가 0보다 큰 경우 1로 계산합니다 그렇지 않으면 0으로 계산합니다 여기서 당신은 실제로 절대 값을 취합니다 따라서 이진 값을 합산하는 대신, 진짜 숫자를 요약 해, 알았지? 이것은 L1 표준이라고 불리는 것입니다

그래서 각 무게는 그 표적에 포함되지 않습니다 실제로는 각 절대 값을 계산합니다 그래서 여러분이 상상할 수있는이 한 단어가 절대 값은 다음과 같이 보입니다 그리고 지금 당신은 단지 그들을 요약하고 있습니다 그게 실제로 볼록하다

그래서 당신은 두 개의 볼록한 용어를 요약하고 있습니다 전반적인 기능은 볼록하다 그리고 원한다면, 이것에 대해 조금 생각할 수 있습니다 제로 norm의 이완으로서 우리가 말했듯이,이 의미에서 휴식 엄격한 요구 사항입니다

그래서 내가 전에 말했던 휴식을 이야기했습니다 이진 값의 실제 값을 취하고, 바이너리 값 대신 실제 값을 최적화합니다 여기 같은 종류의 것이 있습니다 이 기능에 자신을 제한하는 대신 바이너리 값이므로 이제는 긴장을 풀고 얻을 수 있습니다 실수

그리고 당신이 얻는 것은이 알고리즘이, 해당 최적화 문제는 볼록, 당신은 그것을 풀려고 할 수 있습니다 여전히 우리가 할 수있는 것이 아닙니다 우리는 이전에 한 일을 할 수 없습니다 파생 상품을 가져 와서 0으로 설정할 수는 없습니다 이 용어는 매끄럽지 않기 때문입니다

절대 값은 다음과 같습니다 이 말은, 여기 꼬임 주위에, 분별력이 없다 하지만 여전히 볼록 분석을 사용할 수 있습니다 솔루션을 얻으려고 시도하고 실제로 솔루션 너무 복잡해 보이지 않습니다 거기에 도착하려면 약간의 볼록 분석이 필요합니다

그러나 기술이 있습니다 그리고 요즘 트렌디 한 것들 전방 – 후방 분할 또는 근위 방법 이 문제를 해결합니다 그리고 분명히, 나는 심지어 가지 않을거야 너를 보지도 못하기 때문에 너에게 보여줄거야 그러나 근본적으로, 그것은 너무 복잡하지 않습니다

그들이하는 일을 한 마디로 알려 주기만하면됩니다 그 (것)들은 첫번째 기간의 경사 하강을한다이다, 그런 다음 그라디언트의 각 단계에서 임계 값을 설정합니다 그래서 그들은 그라데이션 단계를 밟아 벡터를 얻습니다 벡터 내부를보세요 어떤 것이 임계 값보다 작은 경우 람다에서는 0으로 설정했습니다

그렇지 않으면, 나는 그것을 놓아 뒀다, OK? 그래서 나는 그것을 넣지 않았고, 나는 왜 그런지 모르지만, 정말 한 줄짜리 알고리즘이기 때문입니다 파생하기가 조금 더 어렵지만 확인하는 것은 매우 간단합니다 그럼이 그림에 대해 잠시 얘기를 나누겠습니다 내가 너에게 말하지 않은 것을 말해 줄께 지금까지 내가 말한 모든 것 뒤에 숨어서, 선형 시스템이 있습니다

맞습니까? p 또는 d에 의해 n 인 선형 시스템이 있습니다 전화 번호, 전화 번호 등 변수의 p 그리고 우리 게임은 지금까지 항상있었습니다 보세요, 우리는 역환이 불가능한 선형 시스템을 가지고 있습니다 또는 그것이 그렇다고해도, 그것은 나쁜 조건 번호를 가지고 있을지도 모른다

나는 문제를 안정화시키는 방법을 찾고자한다 첫 번째 라운드에서는 기본적으로 인버스 근사 반전과 함께 그것이 고전적인 방법입니다 여기서 우리는 또 다른 가정을하고 있습니다 우리는 근본적으로 말하고 있습니다

보세요,이 벡터, 그것은 매우 길게 보입니다 그래서이 문제는 잘못된 것 같습니다 그러나 사실 몇 가지 항목 만 0과 다른 경우 그들이 당신이 어떤 사람인지 말해 줄 수 있다면, 당신은 들어갈 수 있고, 모든 항목을 지우고, 해당하는 모든 열을 삭제하고, 그러면 행렬이 생깁니다 이제 그는 짧고 크게 보입니다 그는 마른 체형으로 보일거야, 알았지? 그리고 그것은 아마도 더 쉽게 풀 수있을 것입니다

문제가있는 경우는 우리가 풀 수있는 선형 시스템 중 하나입니다 우리가 지금까지 설명한 것은 선형 시스템의 솔루션을 찾으려면 방정식의 수가 정의에 따르면, 미지의 수는 해결 될 수없고, 사실, 그것이 보이는 것보다 적은 미지수가 있습니다 그들이 네가 누군지 말하지 않고있는 것 뿐이야, 알았지? 내가 너에게 말할 수 있다면, 너 아주 쉬운 문제로 돌아갈 것입니다 미지수의 수가 훨씬 적습니다 그래서 이것은 수학적인 효과입니다, OK? 그리고 확률은 열려 있습니다

왜냐하면 – 이제 그들은 사람들이 가지고 있기 때문에가 아닙니다 10 년 동안이 물건에 대해 끊임없이 이야기 해 왔습니다 그러나 한 가지 질문은이 가정이 얼마나 당신을 사는지? 예를 들어, 특정 상황에서, 비록 당신이 이것의 입구를 모르는 경우에도, 실제로이 문제를 정확히 풀 수 있을까요? 그래서 내가 너에게 주면 네가 할 수 있겠지? 그러나 어떤 방식으로 그들을 추측하려고하는 방법이 있습니까? 그래서 당신은 거의 좋거나 높은 확률로 할 수 있습니다 내가 미리 말하면 어떻게 될까? 그리고 그 대답은 '예'라고 밝혀졌습니다 그리고 대답은 기본적으로 0은 충분히 작다

및 해당 변수에 해당하는 열 너무 상관이 없으며, 너무 동일 선상이 아니며, 그래서 그들은 충분히 구별된다 당신이 문제를 교란 할 때 조금 변화가 없다 문제를 정확히 풀 수 있습니다 그래서, 이것은 한편으로는 정확하게 종류의 이론입니다 그것은 욕심 많은 방법과 볼록한 이완을 사용하는 이유를 알려줍니다 당신에게 L0에 대한 좋은 근사값을 줄 것입니다

그것이 기본적으로이 이야기가 당신에게 말하는 이유이기 때문입니다 사람들은 이것을 사용하고 있습니다 그래서 이것은 흥미 롭습니다 우리는 사람들이이 관찰을 약간 사용하고 있습니다 다른 문맥, 어디 문맥입니다 – 우리는 Y와 X를 보았습니다

우리는 선택하지 않습니다 우리가 얻는다 그리고 그들이 무엇이든 그들은 있습니다 상관 관계가 있다면 열이 멋지다면 멋지죠 하지만 그들이 좋지 않다면, 미안해, 너는 그걸로 살아야 해, 알았지? 그러나 다음을 생각할 수있는 환경이 있습니다 신호가 있고 원하는 신호가 있다고 가정합니다 그것을 재구성 할 수 있어야합니다

그래서 고전적인 섀넌 샘플링 정리 결과 기본적으로 말해, 나도 몰라, 당신이 제한된 것을 가지고 있다면, 최대 주파수의 두 배를 샘플링해야합니다 하지만 이것은 최악의 경우입니다 모든 주파수, 모든 주파수가 꽉 찼다 고 가정합니다 우리가 지금 놀고 있다고 가정 해 보겠습니다 그것은 비유입니다, 알았죠? 하지만 내가 말해 줘, 오, 봐, 사실이야

이것의 최대 빈도 하지만 또 다른 주파수가 있습니다 샘플링을 많이해야하니, 아니면 훨씬 적게 할 수 있니? 그리고 그것은 기본적으로 여기의 이야기로 밝혀졌습니다 당신이이 질문에 대답 할 때, 네, 당신은 훨씬 덜 할 수 있습니다 이상적으로 말하자면, 음, 최대 주파수의 두 배가되는 대신에, 내가 0과 다른 4 개의 주파수만을 가지고 있다면, 나는 8 개의 샘플을해야 할거야, 알았지? 그것은 이상적이지만, 그들이 누구인지 알기

당신은 가격을 지불하지 않지만 대수적입니다 그래서 근본적으로 당신은 거의 말할 수 있습니다 새로운 샘플링 이론이 있습니다 샘플링을 많이 할 필요가 없다는 것입니다 샘플링 할 필요도 없습니다

예를 들어 최대 주파수가 d 일 것입니다 0이 아닌 주파수의 수는 s입니다 그래서 클래식에서는 2d를 말해야합니다 이상적으로, 우리는 2s라고 말하고 싶습니다 사실, 당신이 말할 수있는 것은 2s 로그와 같은 것입니다

그래서 당신은 당신이 지불하는 로그 d 가격을 가지고 있습니다 그들이 어디에 있는지 몰랐다 그러나 여전히 차원에서 선형보다 훨씬 적습니다 그래서 본질적으로, 압축 감지 분야 이 관찰 주위에 지어졌다 초점은 약간 다릅니다

대신 통계 계산을하고 싶다는 말 대신 나는 이것을 만들 수 있습니다 당신은 신호가 있다고 말합니다 그리고 저는 이것을 감지 행렬로 봅니다 내가 재산으로 디자인 한 알고 있으면 내가이 견적을 잘 할 수있을 것이다 그래서 당신은 기본적으로 당신이 그 벡터들을 선택할 수 있다고 가정합니다

어떤면에서는, 그리고 나서 당신은 할 수 있습니다 훨씬 적은 샘플로 재구성 할 수 있다는 것을 증명합니다 그리고 이것은 예를 들어, 나는 MEG를 부를 때 기억하지 못한다 뭐라구? 아니, MRI, MRI 내가 너에게 말하지 않은 두 가지, 그러나 언급 할만한 가치가 있습니다

내가 너에게 말하는 것은 실제로 0 인 개별 항목이 아니라 해당 항목 그룹 예를 들어, 각 항목은 생물학적 과정이므로 0입니다 그래서 나는 유전자를 가지고 있지만 유전자는 실제로 생물학적 과정에 관여한다 그래서 뭔가를하고있는 유전자 그룹이 있습니다 나는 뭔가를하고있는 유전자 그룹을 가지고있다 개별 유전자가 아니라 그룹을 선택하고 싶습니다

그룹을 선택하는 것과 같은 방식으로이 물건을 왜곡 할 수 있습니까? 예 그룹이 실제로 중복되는 경우 어떻게해야합니까? 겹치는 부분을 어떻게 다루고 싶습니까? 겹치기를 유지 하시겠습니까? 오버랩을 자르시겠습니까? 나무 구조가 있다면 어떨까요? 이걸로 뭘합니까? 그래서 무엇보다 먼저 누가 정보를 제공합니까? 정보를 가지고 있다면 어떻게 사용합니까? 그리고 어떻게 그것을 사용할 것입니까? 봐,이 구조 희박의 전체 분야입니다 벌금을 부과하는 전체 산업입니다 귀하가 통합 할 수있는 L1 이외의 이런 종류의 사전 정보 그리고 커널 메소드 에서처럼 장소로 원한다면, 커널은 당신이 할 수있는 곳이었습니다

사전 정보를 통합하십시오 이 분야에서, 당신은 적당한 정규 표현식을 디자인함으로써 그렇게 할 수 있습니다 그리고 나서 많은 이유가 있습니다 그래서 여기에서 우리는이 새로운 정규 표현식을 번역 할 것입니다 마지막 비트는 약간의 비틀기가있는 것입니다

내가 너에게 지금 보여주고있는 생각은 기본적으로 벡터 및 희소성 번역과 관련있다 좀 더 일반적인 맥락, 특히 행렬의 맥락 낮은 계급이있어, 알았지? 고전적인 예를 들어 보겠습니다 행렬 완성이에요, 알았죠? 나는 당신에게 행렬을 주지만, 실제로는 행렬의 항목 대부분을 삭제합니다 그리고 저는 여러분에게 말씀 드리겠습니다 오케이, 원래의 행렬을 추정하십시오

글쎄, 내가 어떻게 할 수 있겠 니? 글쎄, 매트릭스 자체가 순위가 매우 낮아 보았던 행과 행 중 많은 수가 실제로 서로 관련이 있었다 실제로 그렇게 할 수 있습니다 그리고 삭제 또는 선택하려는 항목을 선택하는 방법 악의적 인 것이 아니라면 누락 된 항목을 채울 수 있어야합니다 그리고이 이론은 매우 수있는 이론과 비슷하다 벡터의 오른쪽 엔트리를 채우기 위해, OK? 마지막 비트 – PCA가 15 분 만에

지금까지 우리가 본 것은 매우 어려운 문제였습니다 변수 선택 그것은 감독 된 문제이지만, 내가 네게 라벨을주는 곳, 알았지? 내가 보여주고 싶은 마지막 비트는 PCA, 내가 당신에게 레이블을주지 않는 경우입니다 그리고 당신이 대답하려고하는 것은 실제로 아마도 그것은 더 간단한 질문과 같습니다 방향 중 하나를 선택하고 싶지 않으므로, 당신이 알고 싶으면 중요한 방향입니다 그래서 당신은 자신을 허용합니다 예를 들면, 귀하의 데이터에서 다른 방향을 결합하려면, 알겠습니까? 그래서이 질문은 많은 이유로 흥미 롭습니다

하나는 데이터 시각화입니다 당신은 당신이 가지고 있기 때문에 당신이 볼 수없는 것들을 가지고 있습니다 예를 들어 매우 높은 차원의 숫자입니다 당신은 그들을보고 싶습니다 어떻게 할 수 있니? 글쎄, 방향을 찾고 싶다

모든 것을 투영하는 첫 번째 방향, 두 번째 방향, 세 방향, 왜냐하면 당신 음모를 꾸미고 볼 수있어, 알았지? 그리고 이것은이 이미지들을 시각화 한 것입니다 그리고 지금 코드를 기억할 것입니다 여기에 적혀 있습니다 색상이 다르고 볼 수있는 것이 있습니다 이것이 실제로 좋은 일을 한 것입니다

당신이 기대하는 바는 당신이 멋진 시각화를한다면, 당신이 갖고 싶은 것은 비슷한 숫자입니다 또는 동일한 숫자가 같은 지역에있는 경우, 아마도 비슷한 숫자가 될 것입니다 그래서 이것이 당신이 이것을하고 싶은 이유 중 하나입니다 왜 이렇게하고 싶은지 이유 중 하나 네가 줄이기를 원할 수도 있기 때문이다 데이터를 압축하기위한 차원 또는 특정 차원이 중요하지 않길 바랄 수도 있기 때문에 또는 단순히 소음입니다

그래서 당신은 그걸 없애고 싶습니다 이것은 통계적 이유로 좋을 수 있기 때문입니다 좋아요, 그래서 게임은 다음과 같이 될 것입니다 X는 RD가 될 데이터 공간입니다 그리고 길이 D의 벡터를 보내는지도 M을 정의하고자합니다

길이가 k 인 벡터로 변환합니다 그래서 k는 축소 된 차원이 될 것입니다 그리고 우리가 할 일은 우리가 이를 수행하기위한 기본 방법 인 PCA를 만들려고합니다 우리는 PCA에 대한 순수한 기하학적 관점을 제시 할 것입니다 그리고 이것은 복용함으로써 이루어질 것입니다

먼저 k가 1 인 경우 반복하여 위로 올라갑니다 첫 번째 경우에는 내가 차원 차원의 벡터를 주면 물어보십시오 존경심을 가지고 한 차원에서 어떻게 그들을 투사 할 수 있습니까? 최적의 어떤 기준으로, 알았지? 여기에 우리가 묻는 것은 데이터를 프로젝트에 투사하려고합니다 가장 좋은 오류를 줄 수있는 차원입니다 그래서 나는 전에 그것을 가지고 있었다라고 생각한다

내가 가지고 있니? 아니, 아니 이것은 다른 이유로 행해졌지만 지금은 유용합니다 이 벡터가 있고 원하는 경우 이 방향으로 투영하려면, 이것은 단위 벡터입니다 너 뭐하니? 이 벡터를 투영법으로 쓰는 법을 알고 싶습니다 당신이하는 일은 당신이 Yn과 X 사이에서 내부 제품을 가져가는 것입니다

너는 숫자를 얻고, 그 수는 너의 길이이다 X1에 할당하고 싶습니다 w가 방향이라고 가정합니다 그리고 벡터 x가 있고 싶습니다 투사를하는거야, 알았지? 나는 무엇을해야합니까? x와 w의 내적을 취하고, 그리고 이것은 벡터 w에 할당해야하는 길이입니다

단위 표준입니다, 알았죠? 그래서 이것은 가장 근사치입니다 w의 방향으로 xi의 그것은 의미가 있습니까? 나는 aw를 고쳐서 x를 얼마나 잘 표현할 수 있는지 알고 싶다 그 방향으로 x를 투영 한 다음 x와 프로젝션의 차이점을 잡아라, 알았지? 그리고 제가하는 일은 모든 점을 합친 것입니다 그리고 가능한 모든 방향들 중에서, 최고의 오류를주는 것 데이터 세트라고 가정합니다

어떤 방향으로 가고 있다고 생각하십니까? 최고의 오류를 줄 수 있습니까? 관객 : 계속가 로렌조 로자스코 :이 방향으로 가면, 너는 물건의 대부분을 설명 할 수있어, 알았지? 당신은 그것을 가장 잘 재구성 할 수 있습니다 그래서 이것이 해결책이 될 것입니다 그래서 여기에있는 질문은 실제로 어떻게이 문제를 해결합니까? w와 관련하여 최소화하려고 시도 할 수 있습니다 그러나 실제로 어떤 종류의 계산을하는지는 명확하지 않습니다

그리고 우리가 이것을 약간 마사지하면, 실제로 그것이 정확히 고유 값 문제라는 것이 밝혀졌습니다 그래서 우리가 다음에하고 싶은 것입니다 그래서 개념적으로, 우리가하고 싶은 것은 여기서 말한 것입니다 아무것도 더 나는 하나의 개별적인 방향을 찾고 싶다

나는 평균적으로 모든 훈련을 가장 잘 재구성 할 수있다 세트 포인트 그리고 지금 우리가하고 싶은 것은 확인하는 것입니다 이들이 수반하고 계산하는 종류의 계산 이것에 대해 조금 더, 알았지? 따라서이 표기법은 단지 벡터가 표준 1이라고 말하는 것입니다 그래서 나는 벡터의 크기에 어색함을 느끼지 않아도됩니다

좋습니다, 그래서 몇 가지 계산을 해봅시다 이것은 점심 식사 후에 이상적입니다 그래서이 사각형을 가져다 개발하십시오 그리고 w는 단위 규범이라는 것을 기억하십시오 그래서 w를 조 변경하면 1이됩니다

그리고 네가 너가 너의 사각을 두는 것을 잊지 않으면 이걸 개발하면 이게 평등하다는 것을 알았지? 여기에 사각형이 없습니다 그래서 당신은 xi square를가집니다 그러면 xi의 제품을 얻게 될 것입니다 그리고 이것은 xi square를 바꿀 것입니다 그리고 여러분은 또한이 사각형을 가질 것입니다

그러나이 사각형은 w를 전치하고 w를 전치한다 1입니다 그래서 당신이 보는 것은 이것이 창조 할 것입니다 – 세 가지 용어 대신에 두 가지가 있습니다 왜냐하면 두 가지 취소 해 – 취소하지 마라 그들은 서로 균형을 이룹니다

승인 그래서 저는 이것을 최소화하는 대신에, 이것이 이것과 같기 때문에 이것을 최소화하는 대신에, 당신은 이것을 극대화 할 수 있습니다 왜? 음, 이것은 단지 상수이기 때문에 w에 전혀 의존하지 않으므로 내 기능에서 그것을 떨어 뜨릴 수 있습니다 해결책은 최소값과 최소값이 다를 수 있습니다

그러나 최소화 자, 문제를 해결하는 w, 똑같을거야, 알았지? 그리고 여기에 뭔가를 최소화하고 있습니다 마이너스로, 같은 것을 극대화하는 것과 같습니다 빼고 말고, 알았지? 나는 무서워서, 지금까지, 그렇게 좋은 질문을하지 않습니다 그래서 지금 당신이 보는 것은 기본적으로 데이터가 중심에 있다면 기본적으로 이것은 편차가있다 데이터가 중앙에 위치하면 여기에 마이너스 0이 표시되고, 어쩌면 이것을 분산을 측정하는 것으로 해석 할 수 있습니다

한 방향으로 그래서 다른 해석이 있습니다 PCA는 피킹 대신에 최선의 재건축이 가능한 단일 방향, 데이터의 분산이있는 방향을 선택합니다 더 큽니다 그리고이 두 관점은 완전히 동등합니다

본질적으로, 당신이 평범한 규범을 가질 때마다, 분산 극대화에 대해 생각하다 또는 재구성을 최소화하는 것은 두 가지 보완적인 이중 아이디어, OK? 이것이 바로 여러분이 여기서 할 일입니다 한 번 더 계산은 어떨까요? 그래서 이것은 – 우리는 재건에 관해 생각할 수 있습니다 원하는 경우 차이에 대해 생각할 수 있습니다

이 계산은 어떨까요? 어떤 계산이냐고, 알았지? 우리가 조금 마사지하면 이것이 고유 값 문제 일뿐입니다 그래서 이것이 당신이하는 방법입니다 이것은 실제로 보이기 때문에 짜증나지만 간단합니다 그래서 나는 모든 구절들을 썼다 이것은 정사각형이므로 시간 자체입니다

이 모든 것이 대칭이므로 이 곱셈의 순서를 바꿀 수 있습니다 그래서 여러분은 w를 transpose하고, xi는 w를 transpose합니다 그러나 이것은 단지 합계입니다 이 용어들을 포함시킬 것입니다 그래서 나는 그 합계를 입력 할 수 있고 이것은 당신이 얻는 것입니다

그래서 여러분은 1 / n xi xi transpose w를 얻을 수 있습니다 그래서 이것은 단지 숫자입니다 w transpose xi는 숫자입니다 그러나 xi처럼 보이는 무언가를 보자 마자, xi 전치, 뭐야? 글쎄, 치수 만 봐, 알았지? 1 번 d 번 d 번 1은 1을 1로하는 숫자를 제공합니다 이제 당신은 다른 방향으로 나아가고 있습니다

그럼이게 뭐야? 관객 : 그것은 매트릭스입니다 로렌조 로사스코 : 그건 관객 : 매트릭스

LORENZO ROSASCO : 행렬입니다 그리고 그것은 d에 의해 d 인 행렬이고 그것은 1 등급입니다, 알았죠? 그리고 지금 당신이하는 일은 당신이 그들 모두를 요약하는 것입니다, 당신이 가지고있는 것은이 양이 여기에 있습니다 이차 형태라고 불리는 것이됩니다 행렬 C입니다 그냥 다음과 같습니다

그리고 그것은 두 개의 벡터, 즉 transpose와 w 사이에서 압착됩니다 그래서 지금 당신이하고 싶은 것은 당신이 이것을 w를 최대화하는 것으로 이렇게 재 작성 할 수 있습니다 죄송합니다 단위 벡터 벡터를 찾는 것 이 2 차 형식을 최대화합니다 그리고이 시점에서, 당신은 나에게 아직도 물을 수 있습니다

누가 신경 써? 같은 문제를 재 작성하는 중 그러나 본질적으로 Lagrange 정리, 상대적으로 간단하다 너는 그것을 확인할 수있다 오, 지루해이 문제의 해결책

이 행렬의 최대 고유 벡터입니다 그래서 이것은 운동으로 떠날 수 있습니다 근본적으로, 당신은 이것의 Lagrangian을 가져 와서 사용합니다 이중성의 조금, 그리고 당신은 [부적절한] 이 문제는 단지 최대 고유치이다 그래서 고유 값은 – 우, 고유 벡터는 행렬 C의 최대 고유 값 따라서이 방향을 찾는 것은 단지 고유 값 문제를 푸는 것

승인 나는 단지 그 슬라이드의 마지막 몇 가지, 귀여운 것 같은데 꽤 간단합니다, 알았죠? 그래서 한 부분, 점심 식사 후이 줄 내가 좋아하기 때문에 거기에 조금있다 하지만 실제로는 조금 더 복잡한 유일한 부분입니다 여기가 이거 야

나머지는 정말 단순한 대수입니다 그렇다면 k는 약 2입니다 나는 시간이 없어 그러나 당신이하고 싶은 일이 밝혀졌습니다 기본적으로 당신이 잠깐 보길 원한다면 – 그래서 당신은 첫 번째 방향을 봅니다

당신은 그것을 풀 수 있고, 그것이 첫 번째 고유 벡터임을 알 수 있습니다 – 첫 번째 고유 벡터 그런 다음 제약 조건을 추가한다고 가정 해 봅시다 당신이 찾은 두 번째 방향 제 1 방향과 직교해야한다 이거하고 싶지 않을거야, 알았지? 하지만 그렇게한다면, 당신이 직교성 제약, 그리고 당신이 확인할 수있는 것 반복 할 수 있다는 것입니다 미안, 나는하지 않았다

그것은 나의 메모에있다, 내가 웹 사이트에 가지고있는 하나, 계산은 매우 귀엽다 그리고 당신이 보는 것은이 문제의 해결책입니다 이전과 완전히 똑같아 보인다 이 추가 제약 조건으로 만, 정확히 대응하는 고유 벡터 두 번째로 큰 고유치로, OK? 그래서 계속 일할 수 있습니다 그래서 지금 이것은 당신에게 갈 길을 제공합니다

k = 1에서 k = 1까지, 계속 가면 돼, 알았지? 그래서 당신이 그 방향을 찾고 있다면 분산 또는 재구성을 극대화하고, 그들은 가장 큰 고유 한 것으로 밝혀졌습니다 벡터들 – 우, 상응하는 고유 벡터들 이 행렬 C의 가장 큰 고유치에 대해 두 번째 순간 또는 공분산이라고 부를 수있다 데이터 매트릭스 좋아, 그래서 이것은 다소 끝이다 이것이 기본적인 기본 버전입니다

거의 모든 다른 것들과 함께 사용할 수 있습니다 우리가 오늘 말했다 그래서 하나는 비선형을하기 위해 커널을 사용하는 방법입니다 이것의 확장? 그래서 여기서 선형 재구성을 보았습니다 어때 비선형 재구성? 그래서 당신이 할 일은 당신이 먼저 데이터를 어떤 방식으로 매핑 한 다음 어떤 종류의 비선형 적 차원을 찾으려고 노력하십시오

절감 내가 여기서하고있는 일은 내가 단지 이 선형을 사용하여 – 선형 차원 감소에 불과합니다 선형 연산자 그러나 비선형적인 것은 어떨까요? 내 데이터가 일종의 구조에 있다면 어떨까요? 저것은 저것 같이 보였다 – 우리의 사랑하는 기계는 스위스 롤을 배우게됩니다 네가 PCA를한다면 너는 그 일을 어딘가에 버리는 비행기를 찾으러 갈거야, 알았지? 그러나 당신이 어떤 비선형 방식으로 데이터를 삽입하려고한다면, 이 문제를 해결하려고 할 수 있습니다

그리고 이것은 많은 연구 결과입니다 매니 폴드 학습의 방향으로 행해졌 다 여기에는 몇 가지 키워드 만 있습니다 커널 PCA는 가장 쉬운 버전, 라플라시안지도, 고유 맵, 확산 맵 등등 나는 단지 무작위 투사를 빨리 만진다

그것들에 관한 모든 문헌이 있습니다 다시 생각해 보면, 데이터에 무작위 벡터를 사용하여 데이터의 정보를 유지할 수 있습니다 그 (것)들을 재건 할 수 있을지도 모르다 거리를 보존 할 수 있습니다 또한 희소성의 아이디어와 PCA의 아이디어를 결합 할 수 있습니다

예를 들어, 내가 아는 것뿐만 아니라, 나는 고유 벡터 (eigenvector)와 같은 것을 찾고 싶다 하지만 고유 벡터의 항목을 0으로하고 싶습니다 그래서 여기에 기본적으로 제약 조건을 추가 할 수 있습니까? 모든 단위 벡터 중에서, 엔트리가 가장 많은 것을 찾는다 그래서 저는 L0 norm이나 L1 norm을 추가하고 싶습니다 그럼 어떻게 할 수 있니? 그리고 이것은 드문 드문 한 PCA와 다른 구조화 된 매트릭스로 연결됩니다

추정 문제, OK? 그래서 이것은 다시 제가 여러분에게 말하지 않을 것입니다 그러나 그것은 시작의 종류입니다 그리고 이것은 다소간 우리를 사막의 섬으로 데려옵니다 끝났어

Tutorial 3.1: Lorenzo Rosasco – Machine Learning Part 1

광고 소재 아래에 다음 콘텐츠가 제공됩니다 커먼즈 라이센스

귀하의 지원은 MIT OpenCourseWare에 도움이 될 것입니다 무료 고품질 교육 자료를 지속적으로 제공합니다 기부 또는 추가 자료보기 수백 개의 MIT 과정에서 MIT OpenCourseWare 방문 OCWmitedu에서

LORENZO ROSASCO : 저는 Lorenzo Rosasco입니다 이것은 기본 기계의 몇 시간 플러스가 될 것입니다 배우기 승인 그리고 나는 약간, 즉 "기본"이라는 단어를 강조하고 싶습니다 왜냐하면 나는 정말로 붙잡 으려고 노력했기 때문에 본질, 또는 내가 생각할 것 같은 것들 시작하기에 꼭 필요한 요소들

기계 학습에 대한 지식이 없다고 가정 해보십시오 그리고 당신은 단지 0부터 시작하고 싶습니다 승인 따라서 이미 기계 학습에서 수업을받은 적이 있다면, 조금 지루하거나 적어도 당신이 이미 알고있는 일종의 리허설 요즘 기계 학습을 바라 보는 생각 적어도 두 가지 다른 관점에서오고있다

첫 번째 것은 당신을위한 것입니다 지능형 시스템 개발에 관심이있다 넓은 의미 지난 몇 년 동안 무슨 일이 일어 났습니까? 일종의 데이터 중심 혁명이있었습니다 프로그램이 아닌 훈련 된 시스템 작업 해결을위한 핵심 엔진이되기 시작하십시오

그리고 여기에는 아마도 아마도 몇몇 사진들이 있습니다 구식 로봇, 로봇처럼 있잖아, 우리 전화로 시리가있어 우리는자가 운전 자동차에 대해 듣습니다 이 모든 시스템에서 하나의 핵심 엔진 본질적으로 시도하기 위해 시스템에 데이터를 제공하고 있습니다

작업을 해결하는 방법을 배우십시오 그리고이 수업의 한 가지 생각은 배우는 것이 무엇을 의미합니까? 그리고 당신이 사용하기 시작한 순간 복잡한 작업을 해결하기위한 데이터 무엇과 자연스러운 관계인가? 오늘은 데이터 과학이라고 불리는데, 이는 다소 급속한 [비공개] 개조 된 버전 단지 통계를 호출하는 데 사용됩니다 그래서 기본적으로, 우리는 모든 종류의 데이터를 가지고 시작합니다 그들은 수집하기가 매우 쉽습니다

지식을 얻기 위해 굶주리고 있으며 정보를 추출하려고합니다 이 데이터로부터 그리고 그것이 나온 것처럼 많은 기술들 지능형 시스템 개발에 사용되는 너와 똑같은 기술이야 관련 정보를 추출하는 데 사용할 수 있습니다 패턴, 데이터를 가져올 수 있습니다

오늘 우리가하고 싶은 일은 중간에있는 것을보기 위해 너에게, 실제로, 너를 허용하는 기술의 세트는 무엇인가? 데이터에서 지식 또는 습득 능력으로 이동 작업을 해결합니다 요즘 기계 학습은 거대합니다 수많은 응용 프로그램이 있습니다 지난 20 년 동안 이론이 개발되었고, 그 분야를 특정 수준의 성숙으로 이끈 30 년 수학적 관점에서

톤과 톤과 톤이있다 알고리즘 개발 승인 그래서 3 시간 안에, 아무 방법도 없습니다 나는 너에게 무엇에 대한 작은 견해를 줄 수도있다

요즘은 기계 학습이 있습니다 그래서 제가 한 일은 거의 이것입니다 네가이 일을했는지 ​​모르겠다 하지만 당신은 믹스 테이프를 사용 했었고, 당신은 자신과 함께 가져올 노래를 골라보십시오 사막의 섬에

그게 내가 생각한 방식이야 이걸 넣으려면 [INAUDIBLE] 우리가 잠시 후에 나타납니다 그래서 기본적으로, 나는 생각했다 3, 4, 5 개의 학습 알고리즘 너 알아야 해 알았어

기계 학습에 관한 것 그리고 이것은 적어도 한 부분 이상입니다 물론 몇 곡이 있습니다 편집에서 벗어나지 만, 이것은 하나의 선택과 같습니다 승인

그래서 저는 말씀 드렸듯이 우리는 시작할 것입니다 – 간단합니다 그리고 아이디어는 오늘 아침에 당신이 약간의 알고리즘을 보게 될 것입니다 그리고 상대적으로 알고리즘을 선택했습니다 계산의 관점에서 단순하다 그래서 수학 수준은 꽤 기본이 될 것입니다

승인 선형 대수학을 사용하려고합니다 어떤 시점에서 그리고 아마도 미적분 일 수도 있지만, 그것에 관한 것입니다 그래서 여기서 가장 중요한 아이디어는 개념적 아이디어, 개념 그리고 오늘, 오후에, 거기에있을거야

기본적으로 당신이 앉아서 당신 만의 실험실입니다 이러한 종류의 알고리즘을 선택하여 사용하십시오 그래서 당신은 즉시 보았습니다, 그것은 무엇을 의미합니까? 승인 하루가 끝나면 어떤 것에 대해서도 합당한 지식을 가지고있다 오늘 아침에 너보고있어

이것이 클래스가 구조화 된 방법입니다 부품과 실험실로 나누어 져 있습니다 첫 번째 부분은 우리가하고 싶은 일입니다 아마도 가장 간단한 학습 알고리즘부터 시작됩니다 당신은 강조하고, 사용하려고 생각할 수 있습니다

바이어스 – 분산 (bias-variance)에 대한 아이디어를 소개 할 핑계로, 트레이드 오프 (trade-off), 나에게, 아마, 또는 통계에서 가장 근본적인 개념 중 하나 그리고 기계 학습,이 아이디어는 당신이 몇 분 후에 자세히 보게 될 것입니다 그러나 근본적으로 당신이 결코 충분한 데이터가있다 승인 여기 게임은 데이터를 설명하는 것이 아닙니다 당신이 오늘 가지고있는 것, 오늘 당신이 지식의 기초로 가지고있는 데이터 내일 얻을 데이터를 설명합니다

그래서이 고유의 절충이 있습니다 네가 처분 할 수있는 것 사이 그리고 당신은 무엇을 예측하고 싶습니까? 그리고 본질적으로 그것은 밝혀졌습니다 너는 네가 원하는 정도를 어느 정도 결정해야 해 데이터를 신뢰하고 얼마만큼 던지고 싶은지 그들이 말하는대로, 멀리, 또는 정규화, 데이터의 정보를 부드럽게 처리하고, 실제로 사고라고 생각하기 때문입니다 이는 오늘날과 같은 측면의 데이터를 보았 기 때문입니다

그 현상을 실제로 반영하지 않습니다 그들을 생산했다 하지만 그것은 단지 100 점이 아니라 10 점을 보았 기 때문입니다 여기에있는 기본 아이디어는 본질적으로 큰 수의 법 동전을 던지면 동전을 발견 할 수 있습니다

10 번 던지면 그것은 공정한 동전이 아닌 것처럼 보입니다 하지만 100이나 1,000에 가면 그것이 50-50으로 변환되는 것을보기 시작하십시오 승인 그래서 그것은 여기서 일어나는 일입니다 그래서 아이디어는 당신이 일종의 귀납법을 사용하기를 원한다는 것입니다

원리는 데이터를 얼마나 신뢰할 수 있는지 알려줍니다 이 기본 클래스의 알고리즘에서 계속해서, 우리는 소위 정규화 (regularization)를 고려할 것입니다 기법 저는 매우 광범위한 문장으로 정규화를 사용합니다 그리고 여기서는 최소한의 사각형에 집중할 것입니다

본질적으로 A 때문에, 그것은 간단합니다, 선형 대수학으로 축소됩니다 그래서 볼록에 대해 알 필요가 없습니다 최적화 또는 기타 멋진 최적화 기법 그리고 B는 상대적으로 간단하기 때문에 선형 모델에서 비모수 비선형 모델로 이동 모델은 커널을 사용합니다 승인

그리고 커널은 수학이 많은 큰 분야입니다 하지만 너는 더 많이 보게 될거야 간단한 모델에서 움직이기위한 레시피 복잡한 모델에 마지막으로, 마지막 부분, 조금 움직일 것입니다 순수한 예측으로부터

그래서 기본적으로 처음 두 부분 예측에 관한 것이거나 감독 학습이라고하는 것입니다 그리고 여기에서 우리는 예측에서 조금 벗어날 것입니다 우리는 더 많은 관련 질문을 할 것입니다 여러분은 데이터를 가지고 있습니다 중요한 분야는 무엇입니까? 귀하의 데이터에? 여기서 한 가지 핵심 단어는 상호 운용성입니다

데이터의 상호 운용성에 대한 일부 양식을 원합니다 손에 당신은 알고 싶습니다 좋은 예측을 할 수는 있지만 무엇을 예측할 수 있습니까? 중요한 분야입니다 그래서 당신은 좋은 예측을하기를 원할뿐만 아니라, 그러나 당신은 당신이 어떻게 좋은 예측을하는지 알고 싶습니다

실제로 얻을 수있는 중요한 정보는 무엇입니까? 좋은 예측 그리고이 마지막 부분에서 우리는 이것을 들여다 볼 것입니다 그리고 내가 말했듯이, 오후는 기본적으로 실용적인 세션이 될 것입니다 그것이 전부 MATLAB이라면 나는 빠른 것이 있다고 생각한다 전에 MATLAB을 본 적이 없다면, 당신은 조금만 놀아도됩니다

그러나 매우 쉽습니다 네가 할 수있는 일에 대해 내가 생각하는 몇 가지 다른 제안이있다 그리고 당신은 당신이 이미 알고있는 것에 따라 무엇을 선택할 수 있습니다 당신은 시도 할 수 있습니다, 당신은 그로부터 시작할 수 있고 다소 공상적 일 수 있습니다 승인

그래서 그것은 말없이 나를 멈추게합니다 내 말은, 우리가 상호 작용할수록 더 낫다는 것입니다 그래서 제가 말했듯이, 첫 번째 부분은 아이디어입니다 변명으로 소위 지역 방법을 사용하는 것입니다 경험으로 그것을 이해하는 것

승인 그래서 우리는 가장 간단한 알고리즘을 소개 할 것입니다 당신은 생각할 수 있습니다 그리고 그것을 이해하기 위해 사용할 것입니다 훨씬 더 깊은 개념

그래서 무엇보다도 먼저 설정을 내려 놓으십시오 아이디어는 우리가 – 얼마나 많은 학생들이 기계 학습 수업을 들었습니까? 괜찮아 그래서, 너무 지루하지 않을 것입니다 아이디어는 감독 학습을 원한다는 것입니다 따라서 감독 학습에는 입력과 출력이 있습니다

그리고 이러한 입력과 출력은 다소 관련이 있습니다 그리고 1 분 안에 더 정확해질 것입니다 그러나 아이디어는 당신이 배우고 싶다는 것입니다 이 입출력 관계 그리고 당신이 처리 할 수있는 것은 입력과 출력의 집합입니다

승인 여기서 x는 입력이고, y는 출력입니다 f는 입력 및 출력 이 수수께끼에 가지고있는 건이 커플 뿐이에요 그래서 나는 의견을주고 그 다음엔 해당 출력? 나는 또 다른 의견을 알려주고 나는 무엇을 알고있다

해당 출력 하지만 나는 그들 모두를주지는 않는다 방금 네가있어, 알았어 n은 점의 수, 당신은 이것을 훈련 세트라고 부릅니다 지식의 기초가 될 것이기 때문에 이 기능을 평가하기 위해 기계를 훈련 시키려고 할 수있다

관계 승인 그리고 여기에서 요점은, 한편으로는, 이 데이터를 설명하려고합니다 그래서 당신은 기능적 관계를 원합니다 잘 작동합니다

다음 제품을 구하십시오 당신에게 y1에 가까워지는 f (x1)를 줄 수 있습니다 그리고 f2 (x2)는 y2에 가깝다 하지만 더 중요한 것은 f를 원한다는 것입니다 여기에 없었던 새로운 점을 주면, 출력을 줄 것입니다

진정한 산출량의 좋은 추산 해당 입력에 해당합니다 승인 이것은 설정에서 가장 중요한 것입니다 승인 이상화, 소위 일반화, 예측을 원한다면

당신이 정말로 추론을하고 싶다면 설명적인 통계를 원하지 않습니다 당신은 정말로 추론 통계를 원합니다 그래서 이것은 아주 단순한 예일뿐입니다 그러나 무언가를 염두에두고 시작하기 만하면됩니다

네가 ~ 음, 그것은 마치 얼굴 인식의 장난감 버전과 같습니다 우리가 우리 휴대폰에 가지고있는 시스템 당신이 사진을 찍을 때, 당신은 시작한다는 것을 압니다 관객 : 죄송합니다 LORENZO ROSASCO : 그들은 정말로 말하고 있지 않았습니다

당신은 이런 것을 가지고 있습니다 얼굴 주위에 작은 사각형이 나타납니다 때때로 기본적으로 시스템은 실제로 이미지 내부로 들어가서 얼굴을 인식합니다 승인

그래서 아이디어는 이것보다 조금 더 복잡합니다 그러나이 알고리즘의 장난감 버전 너는 이런 이미지를 가지고있다 승인 당신이 생각하는 이미지는 숫자의 행렬입니다 이제 이것은 색이지만, 그것이 흑백이라고 상상해보십시오, OK

그런 다음 숫자가 포함될 것입니다 광 강도가있는 화소 값 그 픽셀의 그리고 당신은이 배열을 가지고 있습니다 그리고 당신이 원한다면 당신은 그걸로 잔인하게 할 수 있습니다 행렬을 긴 벡터로 전개하십시오 승인

그것은 하나의 벡터를 제공합니다 그래서 여기에 P는 무엇일까요? 개수? 픽셀 수만 승인 그래서 나는이 이미지를 가지고 그것을 펼친다 나는 또 다른 이미지를 찍어서 펼친다

그리고 나는 이미지를 찍는다 그리고 여기 보시다시피 일부 이미지에는 얼굴이 들어 있습니다 일부 이미지에는 얼굴이 포함되지 않습니다 승인 그리고 저는 여기에 색상을 사용하여 코드를 작성합니다

그리고 지금 제가 가지고있는 것은 이미지가 입력입니다 x는입니다 그래서 여기 – 완전 공개, 나는 결코 사용하지 않는다 문자 위에있는 작은 화살표는 벡터를 나타냅니다

그래서 상황에 따라 분명하게 알 수 있습니다 정말 유용 할 때 상위 또는 하위 인덱스를 사용합니다 어쨌든 그래서 이것은 데이터 매트릭스입니다 행은 입력이고 열은 소위 피쳐입니다 또는 변수는 각 벡터의 항목입니다

승인 그리고 나는 n 개의 행과 p 개의 열을 가지고 있습니다 이와 관련하여 출력 벡터가 있습니다 출력 벡터는 무엇입니까? 이 경우에는 간단한 바이너리 벡터 일뿐입니다 그리고 여기에 아이디어가 있습니다

얼굴이 있으면 1을 넣습니다 얼굴이 없으면 마이너스 1을 넣습니다 승인 이것이 추상적 인 질문처럼 내가 돌아서는 길입니다 이미지의 얼굴 인식, 일부 데이터 인식 우리가 정교하게 만들 예정인 구조 실제로 질문에 대답하려고 이미지에 얼굴이 있는지 없는지

승인 그래서이 첫 번째 단계는이 경우에 분명합니다 하지만 실제로는 까다로운 단계입니다 승인 내가 당신에게 어떤 힌트도주지 않을 부분입니다

그것은 일종의 예술입니다 당신은 데이터를 가지고 있고 당신은 – 맨 처음에 그들을 돌려 보내야합니다 일종의 관리 가능한 데이터 구조로 변환합니다 승인 그런 다음 여러 가지 방법으로 자세히 설명 할 수 있습니다

하지만 첫 번째 단계는 결정하는 것입니다 예를 들어, 여기에 우리는이 모든 수를 벡터로 풀기로 결정했습니다 이것은 좋은 생각이나 나쁜 생각처럼 들립니다 당신이하는 한 가지는 픽셀 여기와 여기의 픽셀은 아마 관련이 있습니다 그리고이 경우에는 이미지에 어떤 구조가 있습니다

그리고이 픽셀 136을 가져 와서 그것을 펼치면, 여기 온다 그래서 그들은 가까이 있지 않습니다 승인 자 여기 당신이 그것에 대해 생각한다면 – 1 분만 보자 기억하는 사람들을 위해, 유클리드 거리를 가졌 으면, 당신은 수의 곱을 가지고 간다

너는 그들을 요약 해 그것은 개별 픽셀의 위치에 불변합니다 그래서 괜찮습니다 승인 그러나 다시 한번,이 직감이 있습니다, 음, 어쩌면 나는 기하학적인 정보를 너무 많이 잃어 가고있다

이미지 컨텍스트에 대해 실제로 실제로 이런 종류의 작품이 나올 때, 그러나 더 나은 결과를 원한다면 안드레이가 말한 멋진 일을해야 해 오늘, 현지에서 찾고 컬렉션을 보려고합니다 더 많은 기하학적 정보를 유지하십시오 승인 그래서 저는 그런 종류의 물건에 대해 이야기하지 않을 것입니다

최신 기술, 많은 엔지니어링 및 좋은 방법 그것을 배우기 하지만 우리는 단지 붙잡 으려고 노력할 것입니다 간단한 표현에 승인 그럼 어떻게 표현을 만들 수 있습니까? 내가 이야기 할 부분에 참여하게 될 것입니다

그래서 당신과 당신이 붙어 있다고 상상해보십시오 이 초 단순한 표현이나 친구들에게 네가 들어 와서 상자를 여기에 넣어 라 중간에,이 숫자 배열을 어디에 두 었는지 그리고 당신은 이것보다 훨씬 더 애호가 다른 벡터를 추출합니다 이미지의 더 나은 표현이 포함되어 있습니다 승인

하지만 하루가 끝나면 내 일은 네가 나에게 벡터 표현을 줄 때 시작한다 내가 신뢰할 수있는 그리고 기본적으로 두 벡터가 비슷하게 보이면, 그들은 동일한 라벨을 가져야한다 이것이 기본 아이디어입니다 승인

괜찮아 여기에 작은 게임이 있습니다 좋습니다 상상해보십시오 이것들은 단지 이미지의 2 픽셀 버전 일뿐입니다

전에 보여 줬어 상자와 서클이 있습니다 그리고이 삼각형 하나를 드리겠습니다 그것은 매우 독창적입니다 안드레이가 어제 이것을 보여 줬어

그리고 그 질문의 색깔은 무엇입니까? 승인 잠을 자지 않는 한, 당신은 오렌지라고 말할 것입니다 하지만 질문은 왜 그것이 오렌지라고 생각합니까? 관객 : [INAUDIBLE] 로렌조 로자스코 : 다시 말해봐? 관객 : 그것은 오렌지에 둘러싸여 있습니다 로렌조 로사스코 : 오렌지에 둘러싸여있어 승인

그리고 그녀는 오렌지에 가깝다고 말했습니다 그래서 이것이 실제로 가장 단순한 것으로 밝혀졌습니다 알고리즘을 생각해 볼 수 있습니다 승인 당신은 당신과 당신이 가까이있는 사람을 확인하고 그것이 오렌지라면, 너 오렌지 잖아

파란색이라면 파란색으로 말하세요 승인 그러나 우리는 이미 여기에서 가정을했습니다 우리는 질문에서 물어 봅니다 이것은 가까운 것들입니다

그래서 우리는 기본적으로 우리의 벡터 표현 그런 두 가지가 가까운 경우 – 그래서 나는 거리가 있고 두 가지가 가까운 경우, 그런 다음 그들은 동일한 의미 론적 내용을 가질 수 있습니다 승인 어느 것이 사실 일지 모르겠다 예를 들어, 내가 너에게 보여준 이걸 가져 가면, 우리는 그릴 수 없습니다, 그렇죠? 우리는 단지 200 번 200 번 벡터를 가지고 그냥 볼 수는 없습니다 그 (것)들에 말하고, 예, 당신도 알다시피, 육안 검사

이 거리가 좋을 거라 믿어야합니다 그래서 우리가 막 토론 한 내용은 좋은 표현이 시작될 것입니다 승인 하지만 당신이 가정 할 때 – 이 경우 시각적으로 매우 쉽습니다 낮은 차원입니다

근처 물건에 비슷한 라벨이 붙어 있다는 것입니다 이전 슬라이드에서 내가 깜빡 한 점은, 하지만 이것이 핵심입니다 정확하게이 관찰입니다 기계 학습에서 우리는 일반적으로 멀리 이동합니다 이 같은 상황에서 당신은 육안 검사를 할 수 있고 당신은 낮은 차원을 가지고 있습니다, 내가 너에게 보여준 것과 같은 종류의 상황에 이미지가있는 분 전에

그리고 당신이이 원들 각각을 하나의 이미지로 생각해야한다면, 그릴 수 있기를 바랍니다 전형적으로 수백 개가 될 것이고, 또는 수십 차원 벡터 승인 그래서 게임은 종류가 다릅니다 이런 종류의 일을 계속할 수 있습니까? 우리는 닫힌 것들이 의미 론적 내용이 같은가? 그것이 우리가 대답하려고하는 또 다른 질문입니다

승인 그러나 나는 단지 약간의 시작을하고 싶다 이것은 큰 문제입니다, 좋습니다, 저 차원에서 매우 높은 차원으로 괜찮아 그러나 아이디어에 잠시 붙어 봅시다

근처 물건에는 같은 라벨이 있어야합니다 한 줄을 쓰고 알고리즘을 적어 두십시오 적어 두는 것이 더 어려운 경우입니다 코드를 작성하거나 설명하는 것보다 그것은 아주 간단합니다 당신은 데이터 포인트 Xi를 가지고 있습니다

그래서 Xi는 훈련 집합의 입력 데이터입니다 X-bar는 제가 전에 X-new이라고 부르는 것입니다 새로운 지점입니다 당신이하는 일은 당신이 찾는 것입니다 이것은 단지 가장 가까운 지점의 색인을 찾습니다

그게 네가 전에 한 일이야 승인 여기서 I-prime은 X-bar에 가장 가까운 점 Xi의 지수입니다 일단 데이터 세트를 찾으면 데이터 세트로 이동하십시오 그 지점의 레이블을 찾으십시오

그런 다음 해당 레이블을 새 지점에 지정하십시오 그게 말이 되니? 다들 행복해? 복잡하지 않습니다 공정하다 어떻게 작동합니까? 그래서 제가이 일을 할 수 있는지 보도록하겠습니다 이것은 매우 멋진 코드입니다

어디 보자 괜찮아 그래서 내가 뭘 했니? 좀 더 작게하겠습니다 그래서 이것은 단순한 2 차원 데이터 집합입니다 나는 40 점을 얻는다

데이터 세트는 다음과 같습니다 데이터 세트는 왼쪽에 있습니다 승인 그리고 내가하는 일은 40 점이 소요됩니다 그리고 그것을 조금 더 복잡하게 만들기 위해, 나는 레이블 중 일부를 뒤집는다

승인 그래서 당신은 기본적으로 두 사람이 데이터 세트 – 이것을 2 개의 위성 데이터 세트라고 부릅니다 또는 이와 비슷한 것입니다 그리고 제가 한 것은이 바다의 일부 레이블들이, 나는 색깔을 바꿨다 나는 라벨을 바꿨다

승인 그래서 문제를 조금 더 어렵게 만들었습니다 그리고 다행스럽게도 당신은 실제로 실천하지 못했습니다 승인 여기 우리는 속이는거야

우리는 시뮬레이션 만하고 있습니다 우리는 미래를보고 있습니다 우리는이 데이터를 생성 할 수 있기 때문에, 우리는 미래를보고 우리의 모습을 확인할 수 있습니다 미래의 데이터에서 할 것입니다 따라서 미래 데이터라고 생각할 수 있습니다

일반적으로 당신은 가지고 있지 않습니다 여기 정상적인 인간입니다 여기 당신은 신을보고 미래를보고 있습니다 승인 왜냐하면 우리는 단지 약간의 시뮬레이션을하기를 원하기 때문입니다

그래서 그것에 기초하여, 우리는 여기에 가서 1, 그런 다음 시험하고 음모를 꾸미십시오 여기서 볼 수있는 것은 소위 결정 경계입니다 승인 내가 한 일은 이전에 본 한 줄의 코드입니다 승인

그리고 내가 한 일은이 경우에 내가 그릴 수 있다는 것입니다 그것은 낮은 차원이기 때문에 기본적으로 내가하는 일은 내가 지역에 나는 오렌지를 넣어야한다고 생각한다 그리고 푸른 색으로해야한다고 생각하는 지역 승인

그리고 여기서 당신은 어떤 일이 일어나고 있는지 알 수 있습니다 이것들은 사실 데이터에서 매우 훌륭합니다 맞습니까? 새 데이터 세트에서 몇 번이나 실수를합니까? 미안, 훈련 세트에? 제로 그것은 완벽 승인

그거 좋은 생각이야? 음, 여기를 보시면 좋지 않습니다 승인 이 지점 전체가 있습니다 예를 들어 오렌지색으로 예측 될 것입니다 그러나 그들은 실제로 파랗다

물론 교육 과정에서 오류가 발생하지 않도록하려면 세트, 할 수있는 건 없어 그렇지? 보시다시피이 주황색 점이 있습니다 이 두 가지 주황색 점이 있습니다 그리고 당신은 가서 그들을 따라 가고 싶습니다 그래서 당신이 할 수있는 일은 없습니다

그래서 이것은 첫 번째 관찰입니다 두 번째 관찰은 곡선이며, 당신이 충분히 가깝게 보면, 조각 적으로 선형입니다 그것은 서로 얽혀있는 일련의 선형 조각과 같습니다 우리가 단지 작은 게임을하려고한다면 새로운 데이터를 생성합니다 좋아, 다시 상상해, 지금 나는 신을 놀고있어

새 데이터 세트를 생성해야합니다 그래서 이것에 대해 다시 한번 들여다보십시오 승인 Oop 이제 나는 그것을 생성합니다

나는 그들을 음모를 꾸몄다 나는 훈련한다 이제 테스트 해 봅시다 승인 이전에 보았던 의사 결정 곡선을 기억한다면, 여기서 뭐라구? 관객 : 그들은 다릅니다

LORENZO ROSASCO : 그들은 매우 다릅니다 승인 예를 들어, 이전에 있었던 것, 기억한다면, 우리는 그것이 여기까지 계속 나아가고 있다는 것을 알아 차렸다 포인트의 그 커플 하지만 여기에 그 두 가지 포인트가 없습니다

승인 그래서 지금은 좋은 일입니까 나쁜 일입니까? 여기 요점은 당신이 포인트가 너무 적어서 먹이를주기 시작한 순간 데이터,이 일이 일어날 것입니다 승인 당신에게는 항상 변화하는 것이 있습니다 그것은 매우 불안정합니다

그 말이 핵심 단어입니다 너는 너가 변화하는 것을 가지고있다 데이터가 조금씩 바뀌고 완전히 바뀝니다 그건 나쁜 생각 같아 승인

내가 예측을하고 싶다면, 내가 약간 다른 데이터를 계속 가져라 나는 내 마음을 완전히 바꾼다 아마 아무 것도에 대한 예측을 내리는 좋은 방법이 아닙니다 승인 그리고 이것은 항상 여기서 일어나고 있습니다

그리고 우리의 알고리즘 어떤 의미에서는 욕심이 많습니다 당신은 완벽한 성능을 얻으려고 노력합니다 미래에 대해 걱정하지 않고 훈련 세트에 이 작업을 한 번 더 해봅시다 승인

그리고 우리는 계속 가고 있습니다 항상 변하게 될 것입니다 물론 나는 얼마나 많은지 모르겠다 나는 그것이 매우 빠르지 않기 때문에 이것을 누를 수있다 그러나 시도해 봅시다 18 ~ 30을 가정 해 봅시다 그래서 지금 내가 한 것은 점수의 수를 늘린 것입니다

내 훈련 세트에서 그것은 20 또는 30이었습니다 기억이 안납니다 이제 100이됩니다 그럼 이제 너 볼거야 – 승인

그래서 이것이 하나의 해결책입니다 우리는 같은 게임을하고 싶다 같은 데이터 세트를 생성하기 만하면됩니다 어쩌면 지금 내가 그들을 전부 가져간 것일 수도 있습니다 내가 얼마나 많은지 기억하지 못한다

아니, 나는 그들을 모두 가져 가지 않았다 그래서, 지금 무엇을 보십니까? 우리는 똑같은 일을하고 있습니다 승인 그리고 절대적으로 할 수없는 무언가입니까? 실제로는 데이터 세트를 생성 할 수 없기 때문입니다 하지만 여기서 볼 수있는 것은 내가 단지 훈련 세트 포인트의 수를 증가시켰다

그리고 당신이 보는 것은 솔루션이 변화한다는 것입니다 하지만별로 승인 그리고 무언가 있다는 것을 알기 시작할 수 있습니다 이것에 관해서는 약간 여기에 가라

승인 그래서이 사람은 실제로 꽤 나 빠졌습니다 한 번 더 해보 죠 승인 다시 한번, 그것은 많이 변하지 만 이전 만큼은 아닙니다

그리고 너는이 남자가 여기에 오렌지색이어야하고 여기 파란색이어야합니다 승인 그래서 그것은 여러분이 기대하는 것과 같습니다 더 많은 포인트를 얻을수록 솔루션이 향상됩니다 그리고 내가 가능한 모든 점을 들으면, 무엇을 당신은 어떤 지점과 가장 가까운 지점인지보기 시작할 것입니다

여기서 파란색 점이됩니다 승인 그래서 완벽 할 것입니다 그래서 이것이 좋은 알고리즘인지 물어 보면 또는 아닙니다, 당신은 무엇을 말할 것입니까? 관객 : 그것은 데이터에 잘 맞지 않습니다 LORENZO ROSASCO : 그것은 데이터의 초과 구현입니다

그러나 항상 데이터를 초과 적용하는 것은 아닙니다 데이터가 양호한 경우 데이터를 저장하는 것이 좋습니다 승인 그러나 어떤 의미에서는이 알고리즘 스스로를 막을 방법이 없다 극소수의 데이터 만 있으면 사랑에 빠지게됩니다

그리고 데이터 포인트가 거의 없다면, 당신은 단지 흔들 리기 시작하고, 극도로 불안정 해지고, 항상 마음을 바꿔 라 데이터가 충분하면 안정화되고, 그리고 어떤 의미에서는,이 설정, 우리는 데이터를 피팅하고 있습니다 데이터 오버 피팅 실제로 나쁜 것은 아닙니다 승인

그래서 여기에 무슨 일이 일어나고있는 것입니다 관객 : 과승으로 무엇을 의미합니까? LORENZO ROSASCO : 너무 많이 피팅 그래서 여기를 보면 그래서 여기에서, 당신이 당신이 여기서하고있는 것을 보면, 항상 데이터를 확인하는 것입니다 하지만 여기서 당신은 아무것도하지 않고 있습니다

따라서 데이터 포인트가 거의없는 경우, 데이터를 맞추는 것이 좋습니다 죄송합니다 많은 데이터 포인트가있는 경우, 데이터를 맞추는 것은 괜찮습니다 데이터 포인트가 적다면, 어떤면에서는 감각에 과장되어있다 새로운 데이터 포인트를 볼 때, 당신은 조금 너무 많이했습니다

승인 전에 네가 본 걸, 너는 무언가를 얻는다 그것은 매우 적합합니다 왜냐하면 그것은 완벽하게 맞습니다 그러나 미래와 관련하여 지나치게 적합합니다

반면 여기, 왼쪽에있는 피팅 일종의 반영, 너무 나쁘지 않게 피팅 오른쪽에 승인 그래서 과핑과 안정성의 아이디어 이 논의에서 나온 것이 핵심입니다 승인 우리가 원하는 모든 것을 원한다면 다음 3 시간 이내에 할 일을 이해하고 당신이 과적 함을 방지하고 좋은 길을 어떻게 세울 수 있는지 알고리즘 안정화

승인 그래서 다시 여기로 가자 이건 빠를거야 내가 물으면, 이게 뭐야? 너 뭐라고 말 할래? 관객 : [INAUDIBLE] [웃음] LORENZO ROSASCO : 아이디어는 너는 이런 상황에 처해있다 아직도 옳은 대답을 말할 수 있습니다

네가 할 일은 네가하는거야 그냥 말하는 것에서 멀어 질 것입니다 가장 가까운 점, 그리고 당신은 단지 몇 가지 점을 더 보았습니다 당신은 단지 하나만 보지 않아요 승인

너 얼마나 많은데? 우우? "boh"는 매우 유용한 이탈리아 단어입니다 그것은, 나는 모른다 이 알고리즘은 k 최근 접이라고 부릅니다 알고리즘은 아마도 두 번째로 간단한 알고리즘 일 것입니다 당신은 생각할 수 있습니다

이전과 같은 종류입니다 여기서 표기법은 약간 지루하다 그러나 그것은 기본적으로 말하고 있습니다 그들에게 새로운 포인트를주십시오 모두와의 거리를 확인하십시오

그것을 정렬하고 첫 번째 k를 가져 가라 승인 그것이 분류 문제라면, k에 대해 홀수를 취하는 것이 좋습니다 그래서 당신은 투표 할 수 있습니다 그리고 기본적으로 모든 사람이 득표합니다

각 득표 수는 하나입니다 누군가 파란색이라고, 누군가 오렌지라고, 당신은 결정을 내립니다 승인 공정하다 어떻게 작동합니까? 당신은 상상할 수 있습니다

그럼 우리가해야 할 일은 그래서 예를 들어 여기에 우리는이 남자가 있습니다 승인

이제 k를 넣자 글쎄, 조금 더 작게 만들어 보자 그래서 우리는 40 세입니다 생성, 음모, 기차 [INAUDIBLE] 테스트

음모 승인 우리는 약간 운이 좋았다 OK 실제로는 좋은 데이터 세트입니다

왜냐하면 어떤 의미에서 당신이 이상 치를 부를 수도있는 것은 없습니다 파란색 점에 실제로 들어가는 주황색 점이 없습니다 그래서 저는 여러분에게 극적인 효과에 대해 조금 보여 드리고자합니다 이의 그래서 저는 이걸 다시하려고 노력할 것입니다

우리가 더 많이 얻는다는 것 – 그래,이게해야 해 승인 그래서 이것은 가장 가까운 이웃입니다 이것이 당신이 얻는 해결책입니다 너무 끔찍하지 않습니다

그러나 예를 들어, 당신은이 사람을 따라 시작한다는 것을 알 수 있습니다 승인 네가 할 수있는 일은 네가 가서 말할 수 있다는 것이다 글쎄, 네가지는 나쁜 생각이야 다섯

당신은 그것들을 똑같이 재 훈련 할 것입니다 갑자기이 사람을 무시합니다 당신이 더 많은 것을 넣는 순간이 있기 때문에, 당신은 그가 파란 친구들에 둘러싸여 있음을 깨닫습니다 그래서 아마, 그의 투표는 단지 ​​4에 대한 것입니다 승인

그리고 계속 갈 수 있습니다 그리고 여기에있는 아이디어는 여러분이 이것을 더 크게 만들수록, 당신의 솔루션이 더 많을수록, 무엇이 될까요? 글쎄, 네가 잘 될거야, 그러나 실제로 사실이 아닙니다 왜냐하면 당신이 k를 너무 크게하기 시작하면, 어떤 시점에서 당신이하고있는 일은 당신이 얼마나 많은 점수를 주는지를 계산하는 것입니다 얼마나 많은 점수를 세 었는지 너는 2 학년에 있고, 항상 똑같은 말을한다 승인

그래서 저는 여기에 넣을 것입니다, 20 당신이보기 시작한 것은 당신이 결정 경계를 얻기 시작한다 이것은 더 간단하다 간단하고 간단합니다 승인

여기에는 일직선으로 보입니다 당신이 볼 수있는 것은, 그것이 지금은 나는 데이터를 다시 생성한다 그리고 얼마나 많이 변화했는지 기억합니다 전에 가장 가까운 이웃을 방금 사용했을 때 k = 1이다 당연히 여기 있죠

확률 론적입니다 승인 그래서 물론 데이터 세트를 얻으려고합니다 몇 분 전에 당신을 보여줬고, 가능한 빨리 했어요 왜냐하면 내가 10 개를 고르면 하나는 갈거야

그렇게 보일 때는 9 명이 이렇게 보일 것입니다 승인 그리고 그들이 이렇게 보일 때, 당신은 보시다시피, 이런 종류의 선을 가지고 시작합니다 어떤 비틀기가있는 의사 결정 경계처럼 그러나 그것은 매우 간단합니다

승인 그리고 어떤 점에서, k를 충분히 크게하면 – 즉, 모든 포인트의 수는 더 이상 변하지 않을 것입니다 승인 그것은 본질적으로 분리 될 것입니다 두 세트의 동등한 부분

그럼 그게 말이 되니? 다른 표를 만들기 위해 투표하는 것이 맞습니까? 본질적으로, 만약 그 점이 가장 가깝다면, 그의 표는 한 점이 더 멀리 떨어져있는 것보다 더 중요합니다 네 그럼요 여기서 우리가 가장 단순하게 만들고 있다고 가정 해 봅시다 세계에서 두 번째로 간단한 것, 세계에서 세 번째로 간단한 것 그것은 그렇게하고 있습니다

승인 그리고 이것으로 꽤 멀리 갈 수 있다는 것을 알 수 있습니다 제 말은 간단합니다 그러나 이것은 실제로 알고리즘입니다 때때로 사용됩니다

당신이하는 일은, 당신이 이것을 보시면 – 다시, 나는 이것들을 너무 많이 설명하고 싶지 않다 전에 본 적이 있다면 간단합니다 그렇지 않으면 별 문제가되지 않습니다 그러나 기본 아이디어는 각 투표가 0 사이가 될거야 그래서, 너 여기를 보아라

나는 새로운 지점과 모든 지점 사이의 거리를 둔다 기하 급수적 인 것의 위에있는 다른 점들 따라서 내가 얻는 숫자는 1이 아니지만 0과 1 사이입니다 두 점이 가깝고 제한이 있다고 가정하면 같으면 0이되고 정확히 하나가됩니다 그들이 아주 멀리 떨어져 있다면, 이것들은 무한대가 될 것입니다

그러면 0에 가깝습니다 그래서 가장 가까운 사람 일수록 더 많이 계산합니다 원한다면 다음과 같이 읽을 수 있습니다 새로운 지점에 앉아 있고 확대 / 축소 창을 띄웁니다 예, 특정 크기의 확대 / 축소 창과 같습니다

그리고 기본적으로 모든 것을 검사합니다 이 창 안쪽에있는 창은 닫힙니다 그리고 너 더 멀리 갈수록 – 그래서 창문은 이것과 같습니다 그리고 공간을 변형 시켜서 기본적으로 너는 말한다, 멀리있는 것, 그들은 더 적은 것으로 계산할 것입니다 그리고 내가 여기 시그마를 움직이면, 나는 다소 당신이 원하는 경우, 내 시각 필드를 만드는 크건 작든, 이 새로운 한 점을 중심으로 그것은 단지 물리적 인 해석 일뿐입니다

이것이 무엇을하고 있는지 다른 15 가지 방법이 있습니다 가우스가하고있는 것 투표, 투표의 무게를 바꾸는 것도 또 다른 방법입니다 승인

왜 가우스가 여기 있습니까? 음, 왜냐하면 으니까 당신은 많은 다른 것들을 사용할 수 있습니다 예를 들어 모자 창을 사용할 수 있습니다 그리고 이것은 당신의 사전 지식의 일부입니다

얼마나 당신이 무게 싶어요 당신이 이런 종류의 낮은 차원의 상황에 있다면, 데이터를 볼 수있는 좋은 방법이 있습니다 육안 검사로하는 것과 거의 비슷하게 결정할 수 있습니다 그렇지 않으면 좀 더 폭 넓은 원칙을 신뢰해야합니다 그리고 다시 문제로 돌아갑니다

표현을 배우고 결정하는 것 거리를 측정하는 방법 같은 이야기의 두 단계 승인 그리고 당신이 보게되는 또 다른 것은 이 게임을 시작하면 실제로 더 많은 매개 변수를 추가하십시오 승인

가장 가까운 이웃으로부터 시작하기 때문에, 완전히 매개 변수가없는 그러나 그것은 매우 불안정했습니다 우리는 k를 더했습니다 우리는 단순한 것에서부터 복잡한 것, 안정성에서 오버 피팅에 이르기까지 그러나 우리는 새로운 매개 변수를 도입했습니다 그리고 이것은 더 이상 알고리즘이 아닙니다

절반의 알고리즘입니다 진정한 알고리즘은 매개 변수가없는 알고리즘입니다 내가 당신에게 모든 것을 선택하는 방법을 알려줍니다 승인 그래서 그들은 단지 당신에게 뭔가를 말한다면, 예, k가 있습니다

음, 어떻게 선택합니까? 승인 그것은 당신이 사용할 수있는 것이 아닙니다 여기 시그마를 추가하고 있습니다 그리고 다시, 어떻게 사용하는지 결정해야합니다 승인

그리고 이것이 바로 우리가 잠깐 물어보고 싶은 것입니다 그러기 전에, 단지 한 발언은 – 우리는 벡터 데이터를 살펴 봤습니다 승인 그리고 우리는 기본적으로 거리를 측정하고있었습니다 유클리드 표준을 통해, 알았어요, 평범한 것, 또는 가우스 커널과 같은이 버전 그것은 다소 거리를 증폭시킵니다

예를 들어 문자열이나 그래프가 있다면 어떻게 될까요? 승인 데이터가 문자열 인 것으로 판명되었습니다 당신이 그들을 비교하기를 원합니까? 바이너리 문자열이라고해도, 선형 구조가 없습니다 당신은 단지 그들을 요약 할 수 없습니다 유클리드 거리 정말로 많은 의미가 없습니다

하지만 당신이 할 수있는 일은 거리를 정의 할 수 있듯이 가장 단순한 해밍 거리 일 것입니다 당신은 단지 엔트리를 체크하고, 만약 그들이 동일하다면, 너는 1을 세야 해 그것들이 다르다면, 0이됩니다 승인 데이터의 거리를 정의 할 수있는 순간, 그런 다음이 기술을 사용할 수 있습니다

따라서이 기술은 그 의미에서 매우 유연합니다 네가 줄 수있을 때마다 – 너는 필요 없어 벡터 표현, 당신은 방금 유사성을 측정 할 방법이 필요하다 또는 사물 사이의 거리를 측정 한 다음이 방법을 사용할 수 있습니다 승인

그래서 여기에서 나는 이것을 단지 언급했다 이러한 클래스의 대부분은 벡터 데이터에 관한 것입니다 그러나 이것은 당신이 k를 가지고있는 순간, 이 경우를 유사성이라고 생각할 수 있습니다 승인 유사성은 거리에 이중적인 개념의 일종입니다

그래서 유사성이 크다면 좋습니다 거리가 작습니다 승인 그리고 여기에서, 당신이 k 또는 거리를 만드는 방법을 가지고 있다면, 그렇다면 당신은 잘 가게됩니다 그리고 우리는 그것에 대해 정말로 말하지 않을 것입니다

그러나 방법에 관한 전체 산업이 있습니다 당신은 이런 종류의 물건을 만든다 그래서 우리는 자제를합니다 어쩌면 나는 단지 내가 문자열의 항목뿐만 아니라 근처의 항목을 살펴보십시오 나는 그 특정한 것에 대한 점수를 낸다

어쩌면 문자열의 값을 약간 옮겼습니다 여기 없어요 그것은 다음 위치에있어, 그래서 비트해야합니다 그래서 저는 이것을 부드러운 버전으로하고 싶습니다 승인

아니면 그래프를 가지고 그래프를 비교하고 싶습니다 그리고 저는 두 개의 그래프가 가깝다면 나는 그들에게 같은 라벨을달라고한다 승인 어떻게 그걸합니까? 다음 큰 질문은 – 우리는 세 가지 매개 변수를 도입했습니다 그들은보기에 정말 멋지다

우리가 문제에 대한보다 유연한 해결책을 얻을 수있게 해줬습니다 예를 들어, 가우시안에서 k 또는 시그마를 선택함으로써 우리는 overfitting에서 안정성에 갈 수 있습니다 그러나 물론 매개 변수를 선택해야합니다 우리는 그들을 선택할 수있는 좋은 방법을 찾아야합니다

그래서 많은 질문이 있습니다 그래서 첫 번째 것은, 음, 최적의 가치가 있습니까? 승인 그것이 존재합니까? 그러나 그것이 존재한다면, 나는 그것을 어떤 식 으로든 추정하려고 시도 할 수 있습니다 그렇지 않다면, 그것은 심지어 말이되지 않습니다 방금 난수를 던졌습니다

나는 단지 k가 4라고 말합니다 왜? 으니까 승인 그래서 당신은 어떻게 생각하십니까? 그것은 존재하지 않습니까? 무엇에 의존 하는가? 그게 바로 다음 질문 이니까 무엇에 의존 하는가? 우리가 계산할 수 있을까요? 승인

그래서 우리가 가기 전에 1 분을 추측하려고합시다 우리가 어떻게하는지 확인하십시오 승인 승인 나는 그것을 선택해야한다

그것을 어떻게 선택합니까? 무엇에 의존 하는가? 청중 : 이것의 크기 한 가지는 데이터 집합의 크기입니다 우리가 본 것은 작은 k가 좋은 아이디어 인 것입니다 많은 데이터가 있지만 나쁜 생각 인 것 같습니다 네가 거의 없을 때

승인 그래서 그것은 의존해야합니다 비늘이 있어야합니다 n, 포인트 수 및 아마도 훈련 스스로 설정하십시오 그러나 우리는 모든 데이터 세트에서 작동하는 무언가를 원합니다

말하자면, 기대하겠습니다 따라서 훈련 세트의 카디널리티 주요 요소가 될 것입니다 또 뭐야? 청중 : 경계의 매끄러움 로렌조 로사스코 : 뭘? 관객 : 부드러움 LORENZO ROSASCO : 경계의 부드러움

네 그가 말하는 것은 내 문제가 이렇게 생겼다면, 또는 내 문제가 이렇게 보이는 경우, 그것은 k가 달라야하는 것처럼 보입니다 이 경우 나는 임의의 높은 k를 취할 수있다 미안, 작은 k, 나는 추측한다, 또는 i 그것은 중요하지 않습니다

왜냐하면 당신이하는 일은, 너는 꽤 좋은 것을 얻는다 하지만 이런 일을 시작하면, 그러면 너는 ~ k는 충분하다 당신은 모든 것을 흐리게하기 시작합니다 그리고 이것이 바로 그가 말하는 것입니다 문제가 복잡하거나 쉽습니다

승인 그리고 동시에, 이것은 관련이 있습니다 데이터에서 얼마나 많은 잡음이 들었는지, 좋아, 데이터가 얼마나 뒤집 혔을 지 몰라 문제가 어려울 경우 다른 k가 필요할 것으로 예상됩니다 승인

따라서 데이터의 카디널리티에 따라 달라지며, 문제가 얼마나 복잡합니까? 경계가 얼마나 복잡합니까? 얼마나 많은 소음이 있습니까? 승인 그래서 당신이 물을 수있는 한가지가 밝혀졌습니다 우리가 증명할 수 있을까요? 승인 우리는 최적의 k가 있다고 말하는 정리를 증명할 수 있습니까? 그리고 이것은 실제로이 양에 달려 있습니다 그리고 당신이 할 수 있다는 것이 밝혀졌습니다

물론 언제나처럼 이론을 만들거나 가정을하기 위해, 모델 내에서 작업해야합니다 그리고 우리가 작업하고 싶은 모델은 다음과 같습니다 너는 기본적으로 말하기를, 이것은 k 가장 가까운 이웃 솔루션 여기서 큰 k는 이웃의 수입니다 이것은 데이터에 의존하기 때문에 모자입니다

그리고 내가 여기서 말하는 것은 내가 단지 그것이 쉽기 때문에 제곱 된 손실 오류를 보게 될 것입니다 그리고 회귀 문제를 살펴 보겠습니다 이 분류 그리고 여기서하는 일은 당신이 가능한 모든 입출력 쌍에 대한 기대 그래서 기본적으로 당신이 말하길, 제가 수학을하려고했을 때, 나는 이상적인 것을보고 싶다

이상적으로 나는 그 해결책을 원한다 미래의 요점에 잘 맞는다 승인 그러면 어떻게해야합니까? 나는 모든 가능한 점에 평균 오차가 있다고 생각한다 미래에 x와 y

이것이 바로이 첫 번째 기대의 의미입니다 이해가 되니? 예? 아니? 따라서 y와 x를 고친다면, 이것은 특정 부부의 오류입니다 입력과 출력 나는 당신에게 의견을 알려준다 나는 f (kx)를하고 y가 가깝거나 아닌지를 확인합니다

하지만 내가 이론이되기를 원한다면 내가하고 싶은 일 말하자면, 좋아, 내가 정말로 작게 지내는 것이 모든 가능한 점에 대해이 오류입니다 그래서 나는 훈련에 대한 기대가 아니라 기대를 취한다 미래의 것입니다 그리고 나는 기대치를 얻는다

단순 할 가능성이 더 높다 간단하지 않은 점수보다 더 많은 점수를 계산합니다 승인 관객 : Es는 무엇입니까? LORENZO ROSASCO : 우리는 아직 그걸 가지고 있지 않습니다 승인

그래서 Exy는 방금 말한 것입니다 에스는 무엇입니까? 그것은 훈련 세트에 대한 기대입니다 왜 우리는 그것을 필요로합니까? 우리가 그 기대를하지 않으면, 나는 기본적으로 당신에게 이것에 대한 좋은 k가 무엇인지 말하고있다 훈련은 여기에 있습니다 그럼 너에게 또 다른 훈련 세트를 준다

나는 어떤 의미에서 좋은 또 하나를 얻습니다 그러나 그것은 나쁘기도합니다 왜냐하면 우리는 집에있는 메시지를 가지고 우리가 모든 훈련 세트를 잡아라 그리고 이것은 가장 간단합니다 당신은 평균 훈련 세트를 위해, 이것이 내가 k를 선택하는 방법입니다

그것이 우리가하고 싶은 것입니다 승인 따라서 첫 번째 기대는 존경심으로 오류를 측정하는 것입니다 미래로 두 번째 기대는, 나는 사실을 다루고 싶다

몇 가지 잠재적 인 훈련 세트가 나타납니다 승인 그래서 다음 슬라이드에서,이 빨간 점 계산이 있음을 의미합니다 승인 그래서 나는 그들을 빨리하고 싶다

그리고이 중요한 점은 운동입니다 승인 그래서 이것은 통계 제로의 운동입니다 승인 그래서 우리는 그렇게하기 위해 시간을 보내고 싶지 않습니다

중요한 것은 개념적인 부분이 될 것입니다 나는 그것을 조금 빨리 지나갈 것이다 이제부터 시작하면 존재 하는지를 이해하고 싶다 그래서 이것은 당신이 작게 만들고 싶어하는 양입니다 이상적으로

당신은 결코 이것에 접근 할 수 없을 것입니다 이상적으로, 최적의 시나리오에서, 당신은 k가 이것을 작게하기를 원합니다 승인 이제 문제는 본질적으로 수학적으로 이 최소화 최소화 문제를 연구하지만 쉽지는 않지만, 왜냐하면, 당신은 어떻게합니까? 승인 k에 대한이 함수의 의존성은 복잡합니다

우리가 전에했던 방정식이 맞습니까? 그래서 파생 상품을 가져 가세요 0으로 설정하십시오 계속 가자 우리가있는 곳은 바로 이것들입니다 나는 작게하고 싶다

나는 이것을 작게 만들 수 있도록 k를 선택하고 싶습니다 나는 이것을 수학적 관점에서 연구하고 싶다 하지만 당신이 미적분학에서하는 일을 사용할 수는 없어요 미분을 취하여 제로로 설정하면, 내 변수 인이 두 k의 의존성 때문에, 그것은 복잡합니다 승인

그래서 우리는 약간의 둥근 길을가집니다 우리는 꽤 보편적 인 것으로 드러납니다 그리고 이것은 우리가하려고하는 것입니다 우선, 우리는 데이터에 대한 모델을 가정합니다 그리고 이것은 단지 단순성을위한 것입니다

승인 좀 더 일반적인 모델을 사용할 수 있습니다 그러나 이것이 모델입니다 나는 내 y가 단지 고정 된 함수라고 말할 것이다 별과 약간의 소음

승인 소음은 제로 평균과 분산 σ입니다 모든 항목에 대해 정사각형 승인 이것은 가장 간단한 모델입니다

그것은 가우스 회귀 모델입니다 그래서 내가하는 일 중 하나는 트릭과 같습니다 그리고 당신은 그것을 정말로 잊을 수 있습니다 인생을 훨씬 쉽게 만든다 나는 xy에 대한 기대를 가지고있다

여기 조건 승인 왜 이렇게하는지 이유는 수학을 좀 더 쉽게 만들 수 있습니다 근본적으로 지금, 당신이이 기대를 내놓는다면, 그리고 당신은이 양들을 단지 보았습니다, 고정 x에 대해 모든 것을보고 있습니다 그리고 이것들은 단지 실수가됩니다

OK, 함수가 아닙니다 더 이상 그래서 당신은 정상적인 미적분학을 사용할 수 있습니다 당신은 진짜 가치있는 기능을 가지고 있습니다 평소 물건을 사용하십시오

승인 다시 말하지만, 저는 이것에 대해 조금 빨리 할 것입니다 왜냐하면 그것은별로 중요하지 않기 때문입니다 그래서이 성분 이것은 관찰 2입니다

관측 3은 당신이 필요로하는 것입니다 솔루션간에 개체를 소개하려면 실제로 이상적인 기능을하십시오 이게 뭐야? 이런 종류의, 기대라고하는 것입니다 내 알고리즘의 네가하는 일은 – 내 알고리즘에서 내가 여기서하는 것은 내가 이순신을 넣었다는 것이다

내 훈련 세트의 레이블 그리고 라벨은 시끄 럽습니다 그러나 이것은 진정한 기능을 넣는 이상적인 객체입니다 자체, 그리고 당신은 진정한 기능의 가치를 평균합니다 왜 내가 이것을 사용합니까? 나는 뭔가를 얻기를 원하기 때문에 이 f-star와이 f-hat 사이에 있습니다

그래서 당신이 충분히 큰 k를 넣으면 – 당신이 충분한 점수를 가지고 있다면, 이건 미안, 당신이 k를 충분히 작게하면 – 그래서 이것은 내 f-hat보다 f-star에 더 가깝습니다 좋아

시끄러운 데이터가 없기 때문에 그리고 내가하고 싶은 것은 죄송합니다

내가하고 싶은 것은 중간에 플러그를 꽂고 싶다는 것입니다 이 오류를 두 개로 나눕니다 그리고 이것이 내가하는 일입니다 승인 이렇게하면 광장이 있는지 확인할 수 있습니다

두 가지 용어가 있습니다 잡음에 대한 가정 때문에, 당신은이 두 가지 용어를 얻습니다 승인 중요한 것은이 두 용어입니다 하나는 내 알고리즘의 비교입니다

그리고 그 기대 이것이 정확히 우리가 분산이라고 부르는 것입니다 승인 그리고 하나는 값의 비교입니다 여기서 진정한 함수의 값과 이 다른 기능

죄송합니다, 이건 오 예 이것은 기대입니다

내 알고리즘의 이상적인 버전, 소리가없는 레이블에 액세스하십시오 승인 그것은 당신이 편견이라고 부르는 것입니다 그것은 기본적으로, 함수의 정확한 값, 흐리게한다 평균해서 조금

승인 여기서는 함수의 값을 사용하는 대신에, 근처의 몇 가지 값을 평균합니다 그래서 당신은 조금 더 더러워지고 있습니다 이제 질문은, 어떻게이 양 k에 의지 하는가? 이 양이 k에 의존하는 방법과이 양 k에 달려있다 승인

그리고 이것을 합쳐서, 우리는 이것이 우리가 어떤 행동을 취하는 것을 볼 것입니다 그리고 이것의 특정 행동 그런 다음이를 균형 잡아서 최적의 가치를 얻었는지 확인하십시오 그리고 이것은 모두 쓸모가 없을 것입니다 이것들은 흥미로울 것입니다

개념적 관점에서 우리는 뭔가 배울 것이지만 우리는 여전히 실용적인 것을해야한다 실제로 측정 할 수 있습니다 승인 그래서 다음 질문은, 우리가 그것이 존재하고 그것이이 물건에 달려 있다는 것을 알아라

우리는 실제로 그것을 실제적으로 어떻게 근사 할 수 있습니까? 교차 유효성 검사가 창 밖으로 튀어 나올 것입니다 승인 하지만 이것은 당신에게 보여주는 이론입니다 이것이 이론을 입증하는 데 도움이 될 것입니다 교차 유효성 검사는 정확한 의미에서 좋은 아이디어라는 것을 보여줍니다

테이크 – 홈 메시지는,이 모델을 만드는 것입니다 이를 중간 객체로 사용하여, 당신은 두 가지로 오류를 나눠서 공부할 수있게됩니다 그리고 당신이 얻는 것은 근본적으로 다음과 같습니다 이 용어는 기본적으로 – 그래서 우리는 데이터 – 나는 그렇게 말하지 않았지만 그것은 중요합니다 우리는 데이터가 서로 독립적이라고 가정합니다

승인 그리고 이것을 사용하면 즉시 결과를 얻을 수 있습니다 본질적으로 분산 독립 변수의 합계 분산의 합계입니다 이 결과는 한 줄에 표시됩니다 승인

그리고 기본적으로 이것은 k가 커지면 – 그래서 분산은 안정성의 또 다른 단어입니다 승인 따라서 큰 차이가 있다면 상황이 많이 달라질 것입니다 그것은 불안정합니다 여기에서 보는 것은 정확하게 우리가 음모에서 관찰하는 것입니다

전에 k가 커지면 상황이 많이 변하지 않습니다 k가 작 으면 많은 변화가있었습니다 승인 그리고 이것은 당신에게 그것을 보여주는 하나의 방정식입니다

승인 그리고 만약 당신이 그것을 보았다면 그것은 단지 당신에게 말할 것입니다, 큰 것이 더 낫다 빅, 뭘 존중하니? 소음에 승인 소음이 많으면 더 커야합니다

소음이 많으면 작게 만들 수 있습니다 그러나 요점은 우리가 전에 본 것은 k를 크게 두는 문제 우리가 그 문제에 대해 잊고 있다는 것이 었습니다 우리는 매우 안정적인 것을 얻고 있습니다 내 기능이 아니었다면 잠재적으로 매우 나쁠 수 있습니다 간단합니다

승인 이것은 수학적으로 공부하기가 조금 더 어렵습니다 승인 이것은 내가 당신에게 보여주는 계산입니다 당신이 20 분 안에 그걸로 할 수 있기 때문에

이것은 하나 더 걸립니다 그러나 그는 어떻게 생겼는지 직감을 얻을 수 있습니다 그리고 기본 아이디어는 이미 말한 것입니다 k가 작 으면 포인트가 충분히 가깝습니다 f-star x의, 우리는 f-star Xk, Xi를 생각하고 있습니다

그리고 나는 닫고있다 승인 이제 k를 더 크게두면 우리는 주변의 많은 지점을보고 그 예측을 흐리게하기 시작하십시오 그러나 여기에는 아무런 소음이 없습니다 승인

그래서 그것은 나쁜 생각처럼 들립니다 따라서 우리는이 경우의 오류를 예상합니다 k와 관련하여 증가하거나 또는 적어도 편평한 것 따라서 우리가 k를 더 크게 취하면이 예측이 흐려집니다 잠재적으로 그것을 진실한 것으로부터 멀어지게 만듭니다

승인 그리고이 문장을 정확하게 만들 수 있습니다 당신은 그것을 증명할 수 있습니다 그리고 만약 당신이 그것을 증명한다면 그것은 기본적으로 당신이 가지고있는 것입니다 – 어떻게 된 거예요? 당신은 선형 의존성이 있습니다 따라서 여기에서의 오차는 선형 적으로 증가하거나 다항식으로 나타납니다

증가하고 있습니다 사실, k에 관해서는 기억이 안납니다 승인 내가 너에게 보여주고있는 이유야 이 모든 세부 사항을 건너 뛰고, 당신에게 계산의 종류에 대한 느낌을주는 것입니다

최적의 가치가 있는지 질문에 답변 한 그리고 그것이 무엇에 달려 있는지 그리고 나서이 시점에서, 일단 이것을 얻으면, 당신은 이런 종류의 줄거리를보기 시작합니다 그리고 일반적으로 여기에 나는 그들을 잘못된 방향으로 놓았다 하지만 여기 당신은 기본적으로 내가 연구하기를 원했던이 한 가지 기능, 이것은 두 함수의 합계입니다 나는 이것을 가지고 있으며, 나는 이것을 가지고있다

승인 이제 최소한을 연구하기 위해 기본적으로 그들을 요약해서 볼 것입니다 이것을 최적화하는 최적의 값은 무엇입니까? 그리고 이것을 최적화 한 k는 정확히 최적 k입니다 그리고 당신은 최적의 k가 우리가 예상 한 것처럼 행동 할 것임을 알 수 있습니다 승인

그래서 여기서 하나의 성분이 빠져 있습니다 그리고 내가 그것을 넣지 않았기 때문에 그것은 단지 놓쳤다 이것은 점의 수입니다 승인 그것은 내가 물건을 재 정규화하지 않았기 때문입니다

승인 여기서 n은 1 이상이어야합니다 그것은 단지 내가 재 정규화하지 않은 것입니다 승인 하지만 사실이라고 발표 했으니 까

거기에 n 이상 1이 있어야합니다 그러나 나머지는 우리가 기대했던 것입니다 승인 어떤 의미에서 우리가 기대하는 바는 내 문제가 복잡한, 나는 더 작은 k를 필요로한다 소음이 많으면 더 큰 k가 필요합니다

그리고 포인트의 수에 따라, 여기에 분자에있을 것이고, 나는 더 크거나 더 크게 만들 수 있습니다 케이 승인 이 음모는 어떤 속성을 보여주기 때문에 근본적입니다 문제에 내재되어 있습니다

그리고 그것 뒤에 다소있는 정리 – 직감 나는 반복 해 반복해서 말하고있다 이것은 당신이 데이터를 너무 많이 믿을 수없는 직감입니다 또한 데이터에 대한 최적의 신뢰 수준이 있습니다 특정 가정에 기초합니다 승인

그리고 우리의 경우, 이러한 종류의 모델에 대한 가정 계산이 너무 작아서 내가 너를 빨리 보여줄거야 이 직감을 수학적 논증에 근거한다 승인 괜찮아

그래서 우리는 이것에 꽤 많은 시간을 보냈습니다 어떤 의미에서, 개념적 관점에서 볼 때, 이것은 중요한 아이디어입니다 승인 그것은 거의 모든 것의 뒤에 있기 때문입니다 얼마나 많은 데이터를 신뢰할 수 있는지에 대한 아이디어입니다

물론 우리가 말했듯이 이것은 유익한 것이 었습니다 잘하면 하지만 당신은 정말로이 k를 선택할 수 없습니다 당신이 소음을 알아야하기 때문에, 그러나 이것을 순서대로 추정하는 방법을 아는 것 이 양을 최소화하십시오 그래서 실제로 보여줄 수있는 것은, 교차 검증이라고하는 것을 사용할 수 있습니다

실제로 교차 유효성 검사는 당신이 사용할 수있는 몇 가지 다른 기술 중 하나 그리고 아이디어는 당신이 [오디오 아웃]에 접근 할 수 없다는 것입니다 그러나 당신은 당신이 많은 데이터 포인트를 취하면, 당신은 두 개로 나눠서, 훈련을 위해 반을 사용합니다 당신이 항상 해왔 던 것처럼, 나머지 절반은 프록시로 사용합니다 이 미래의 데이터

그런 다음 k- 이 소위 홀드 아웃 (holdout)에서 에러를 최소화하는 k를 취함 세트, 그럼 당신이 증명할 수있는 것처럼 좋은 이것에 접근 할 수 있습니다 승인 실제로 증명하기가 쉽습니다 만약 당신이 2로 나뉘어져 있다면, 당신은 후반에 오류를 최소화합니다

당신은 홀드 교차 검증이라고 불리는 것을합니다 네가 이것에 접근 할 수있는 것처럼 좋았어 승인 그래서 그것은 어떤면에서 최적입니다 자,이 문제는 우리가 찾고있는 것입니다

지역과 기대에 그리고 당신이 확인할 수있는 것은 만약 당신이 고차원을 보았다면 통계, 추정가의 분산 등등, 당신이 얻을 수있는 것 두 개로 나누면, [AUDIO OUT] 큰 소리입니다 실제로 차이는 작지만, 너는 나눌 수있는 방법이 중요 할지도 모른다 당신은 운이 좋지 않을 수도 있고 특정 방식으로 쪼개 질 수도 있습니다 그래서 분할하는 방법에 대한 전체적인 동물학이 있습니다

그리고 기본적인 것은, 말하자면, 예를 들어, 이것은 가장 단순합니다 승인 여러 그룹으로 나누세요 승인 k 배 또는 v 배 교차 유효성 확인 한 그룹을 벗어나십시오

승인 그리고 같은 속임수를하십시오 여기 기차를 타고 여기에서 오류를 계산해보십시오 다른 k의 경우 그런 다음 여기에서 똑같이하고, 여기에서도 똑같이하십시오

여기서도 똑같이하십시오 오류 합산, 재 정규화, 그리고 나서 최소화하는 k를 선택하십시오 이 새로운 형태의 오류 그리고 거기에있는 데이터가 작고 작고 작다면 일반적으로이 세트는 매우 작아집니다 그리고 나서 구분되며, 하나가되고, 하나는 오류를 남겨 둡니다

승인 네가하는 일은 말 그대로 밖으로 나가고, 나머지는 훈련하고, 이 경우에 k의 모든 값을 얻으십시오 그것을 다시 넣고 다른 것을 꺼내어 그 절차를 반복하십시오 이제 10 분 15 초 전에 내가 가진 질문은 어떻게 v를 선택합니까? 승인 내가 이걸 만들까요? 그래서 나는 이처럼 하나의 분할을합니까? 아니면 내가 그것을 만들 테니, 나는 하나 남겨둔다

그리고 내가 아는 한 지원할 많은 이론 이 질문에 대한 대답 그리고 제가 아는 것은 주로 직관적으로 기대할 수있는 것입니다 데이터 포인트가 많은 경우 그것은 무엇을 의미합니까? 나는 모른다 200 만, 10,000 명이 있다면, 나는 모른다 일반적으로 2로 분할하는 큰 데이터 세트를 사용하는 경우, 또는 무작위로 분할하는 것만으로도 충분히 안정적입니다

무슨 뜻이에요? 당신이 시도하고, 당신은 그것이 얼마나 많이 움직이는 지보십시오 반면에 말하면 – 너도 알다시피, 나는 그것이 존재하는지조차 모른다 몇 년 전에 그곳에있는 것처럼 20, 30 개의 입력을 갖는 마이크로 재 적용이었습니다 당신은 20 차원을 가지고 있습니다 그리고 그 경우에, 당신은 정말로 많은 분열을하지 않습니다

예를 들어 20 명이 있다면, 1 명을 나가려고합니다 당신이 할 수있는 최선의 방법입니다 그리고 그것은 이미 매우 불안정하고 짜증납니다 승인 그래서이 경우에는해야 할 일이 있습니다

제 말은, 제가 아는 한 그것이 사물의 상태입니다 승인 그래서 우리는 매우 간단한 알고리즘의 클래스를 도입했습니다 그들은 꽤 합리적 인 것 같습니다 그들은 우리에게 길을 허락한다면 우리를 허용하는 것처럼 보입니다

거리 또는 유사성을 측정하기 위해, 단순한 것에서 복잡한 것으로 가기 그리고 우리는 어떤 종류의 이론을 가지고 있습니다 매개 변수의 최적 값이 무엇인지 알려주고, 실제로 그것을 실제로 선택하는 일종의 실용적인 절차 승인 우리 끝났어? 그게 다야? 우리가 다른 일을해야합니까? 여기서 누락 된 것이 무엇입니까? 여기서 누락 된 한 가지는 우리가 지금까지 개발 한 대부분의 직감 정말 저 차원과 관련이 있습니다

승인 그리고 여기, 아주 빨리, 운동을 조금만한다면 큐브가 얼마나 큰지 말하려고하는 곳 그 단위 길이의 더 큰 큐브의 볼륨의 1 %를 커버? 승인 그래서 큰 큐브는 볼륨 1입니다 그 길이는 단지 1입니다 그리고 그것은 여러분에게 묻습니다

얼마나 큰가? 볼륨의 1 %를 커버해야합니까? 이것들이 단지 dth-root가 될 것인지를 확인하는 것입니다 여기서 d는 입방체의 차원입니다 그리고 이것은 d 번째 루트의 모양입니다 승인 따라서 당신이 저 차원에 있다면 기본적으로 1 % 큰 큐브 내에서 직관적으로 작습니다

하지만 더 높은 차원으로 들어가 자마자 당신은 작은 큐브의 가장자리의 길이가 보입니다 볼륨의 1 %를 커버해야하는 것은 1에 매우 가깝고, 거의 즉시 이 커브가 올라간다 승인 무슨 뜻이에요? 만약 당신이 말한다면 우리의 직관력은 1 %입니다

꽤 작은 볼륨입니다 내가 이웃들을 1 % 만 데려 간다면, 그들은 아주 가깝다 그래서 그들은 같은 라벨을 가져야한다 음, 차원 10에서는 모든 것입니다 승인

그래서 우리의 직감은 아마 거기에 그렇게 말할 수 있습니다 내 생각에 볼륨에 대한 잘못된 생각입니다

그러나 문제는 우리가 조금 더 재고해야한다는 것이다 당신이 고차원에서 차원과 유사성을 어떻게 생각하는지, 명백한 저 차원 인 것들 매우 복잡하기 시작합니다 승인 그리고 기본 아이디어는이 이웃 기술이 한 지역에서 무슨 일이 일어나고 있는지 살펴 봅니다 그러나 당신이하고자하는 것은 실제로 당신의 기능이 어떤 종류의 세계적인 속성을 가지고 있습니다

예를 들어, 기호가 가장 간단한 예라고 말하십시오 전 세계의 무언가에 대한 가치가 있기 때문에 여기 값은 매우 관련이 있습니다 그리고 나서 그것은 올라가고 똑같습니다 그리고 나서 그것은 무너집니다 그래서 당신이 이것과 같은 것을 안다면, 그 아이디어는 당신이 힘을 빌릴 수 있다는 것입니다

멀리있는 지점에서 어떤 의미에서는이 함수에는 몇 가지 유사한 속성이 있습니다 그래서 당신은 지방 평가에서 가고 싶습니다 어떤 형태의 글로벌 평가 승인

그리고 결정을 기반으로하는 대신 오직 포인트의 이웃에만, 잠재적으로 멀리있는 지점을 사용하는 것이 좋습니다 승인 그리고 이것은 높은 차원에서 좋은 생각 인 것 같습니다 이웃 점들은 충분한 정보를주지 못할 수도있다 그리고 그것은 뭐라 불리는 것입니다

차원의 저주 승인 그래서 내가 다음에하고 싶은 것 – 여기서 휴식을 취할 수 있습니다 최소 제곱과 커널 최소 제곱을 논의하고 있습니다 승인

하지만 우리가 할 일은 우리가 우리 데이터의 선형 모델을 취할 것입니다 그리고 나서 우리는 보려고 노력할 것입니다 어떻게 당신이 견적하고 배울 수 있습니다 그리고 우리는 약간의 계산을 살펴볼 것입니다 그리고이 모델을 뒷받침하는 약간의 통계적 아이디어

그리고 나서 우리는 아주 간단한 방법으로 놀 것입니다 선형 모델에서 비선형 모델로 확장 실제로 그것을 매개 변수가 아닌 것으로 만듭니다 나는 비 매개 변수가 무엇을 의미하는지 말할 것입니다

Machine Learning Tutorial: Simple Example of Linear Regression & Neural Networks Basics

나는 기계 학습 당신에게 간단한 시각적 인 예를주는 어떻게 작동하는지에 대해서 이야기하고 당신은 효과 서로 다른 장단점과 사물을 설명 팔로우 할 수 우리의 예측이 깊은 학습에 대한 간단한 소개를 초래하고 길쌈 신경망은 계속 지켜봐 주시기 바랍니다 세 개의 장치 없음이 하나 개의 장치 안녕하세요 모두 내 시리즈의 두 번째 부분을보고하고, 샘이야 이것은 Entiversal입니다 이해 기계 학습과 오늘 우리가있어 간단한 예제를 거보기 기본적으로 간단한 기계 학습 알고리즘 선형 회귀 그것이 어떻게 작동하는지 경우에 영향을 미칠 수있는 다른 장단점은 무엇인가 당신의 시스템은 실제로 학습 여부 또는 실제로 당신에게 좋은 예측 a를 제공하는 경우 우리가 마지막 동영상에서 말의 작은 알림의 차이에 관한 것입니다 컨벤션 소프트웨어 및 인공 지능 시스템 사이에있는 기존의 소프트웨어 모두에서 잘 학습 시스템을 사용하는 것은 바로 미리 프로그램 때문에 소프트웨어 또는 프로그램의 모든 상태가 될 필요가 입력 데이터 또는 내부의 어떤 결과에 따라 미리 프로그램 그래서 계산 그것은 갈 필요가있는 알고있다 분명히 그것은 우리가 너무 거기에 시스템이 문제가된다 많은 인수 특징 또는 분류 예를 들어 단순한 설정 입력 이미지의 또는 간단한 검색에 많은 다른 거기에 바로 있기 때문에 다른 많은 다른 많은 언어에서의 다른 단어 조합하고 모든 단어에 실수의 어떤 종류가있을 수 있으며, 등등 등등 너무 조합 단지 믿을 수 없을만큼 매우 큰 숫자 그것은 우리가 기계 학습을 사용하는 이유와 그들이 정확히에 아주 좋다 예를 들어, 이미지에 대한 분류는 당신이 얼굴 인식을 알고 소리가 당신의 카메라와 당신이 알고 어떻게 그들은 잘 가장 진보 된 기계 학습을 그것을 않았다 그들이 모방하려고 노력하고 있기 때문에 알고리즘은 이제 신경 네트워크라고합니다 방법 신경 시스템에서 우리의 뇌는 우리가 모든 신경 세포를 볼 수 있습니다 작동 그것은 제거에서 오는 신호를 필터링 필터의 단지 어떤 종류의 그것을 믿고 모든 데이터는 의미가 아니라입니다 실제로 믿는 데이터 패턴을 강화하는 것은 우리에게 정보를 제공 에 대해 우리는 우리가 우리가 터치 등등 때문에이 같은 일이 무엇인지 무엇을 듣고 무엇을보고 우리의 신경 네트워크와 오늘 나는 당신에게 예를 보여주는 거 야한다 기본적으로 단 하나의 새를 나타내며, 우리가 말했듯이 신경 세포는있다 우리의 새로운 하나에 두 가중치로 구성 될 것입니다 우리의 예에서 필터 모든 신경 세포는 무게가와 방법은이 결과를 바탕으로 우리에게 말해입니다 우리는 얼마나 중요한 모든 기능 이전에 우리의 알고리즘을 보여 것을 우리의 리듬이 우리의 입력이 실제로 무엇을 예측 분류입니다 출력은 우리가 할 것은 기본적으로 우리가 숫자를 입력 우리의 X의 무리를 가지고 있어야한다 가치와 우리는 중량을 곱하면 그것은 우리에게 예를 들어 결과를 제공하는 이 후, 우리는 당신이 다음 우리의 무게가 될 것 네의 교육 결과를 알고있다 2 × 2 다음 4 진정한 있기 때문에하지 않았다고 우리는 그것을 새로운 데이터를 제시 이 3 그래서 볼 수있는 무게는 진실 또는 출력 분명히 그건 6 될 것입니다 당신은 당신을 보여줄 수있는 가장 간단한 간단한 예를 다 알고 있지만 내가 알고 당신은 아이디어를 얻을 희망 그래서 여기에 우리의 작은 스크립트에 도착하자 나는 그것을 표시했습니다 기본적으로 여기에 우리의 마지막 영상으로는 파이썬에서라는 패키지를 사용하고 있어요 당신이 방법을 알고 NumPy와 나는 아마에 대한 자세한 내용을 설명하는 또 다른 영상을 다하겠습니다 당신은 인공 지능 자신의 기계 학습 알고리즘을 구축 할 수 있습니다 시스템과 멋진 물건을 많이 많이하지만의 지금 그래서 기본에 충실하자 우리가 여기에있는 우리의 기능은 바로 이것이 우리의 입력이 우리의 출력에 매핑하는 방법입니다 난 항상 안정 또는 동일하게 끝을 유지하는 것이기 때문에 우리의 입력은 우리의 X입니다 그것은 그래서 값 단지 일정 내 변수는 분명히 다음 X가 될 것이다 나는 내가 나 노동 전화 할게있는 반환 무엇입니까 출력 권리가 있습니다 우리의 결과는 Y 우리 그래서 여기 내 X 인 내 입력 변수 값을 구성하고 여기에 내가 마이너스 1과 0 ~ 200 점을 그건 내 훈련이 나는거야 그렇게 설정입니다 여기에 마이너스 1과 0 사이의 폭력에 내 기계 학습 알고리즘을 훈련 내 예측 입력 데이터가 너무 설정된 내가에게 줄 것이다 실제 값입니다 내 기계 학습 알고리즘과 나는 여기 나에게 적절한 결과를 제공 할 것으로 예상 나는 단지이다 당신이 보는대로 그 훈련이다 그래서 다시는 내 레이블을 구성 내 X의의를 넣어 있도록 기능은 내 데이터 값에 약간의 노이즈를 추가하고 내 Y의 수 여기 내 예측 입력 간격으로 같은 일을했고 나는 그렇게 우리가 볼 수있는 이유만으로 우리의 예측은 실제로 같은 경우 그 다음에 우리의 알고리즘이 사실이라면 실제 값은 우리가 얻는해야한다 그 다음이 작동하지 있지 않은 경우 경고가 작동하고 우리는 아마 할 필요가 뭔가 여기에 내가 구성되어 내 디자인 행렬을 구성 입력의 특징은 그래서 사이의 차이를 만드는 것이 매우 중요합니다 당신의 기능에 변수의 입력 값이 입력 값은 값입니다 그래서 예를 들어이 0이 될 수 사이에 마이너스 1과 0 그 권리를 내 X하지만 내입니다 기능 매트릭스 내 입력에 대해 그리고 우리에게 정보를 알려 기능입니다 예를 여기에 디자인 매트릭스 내 기능은 그냥 다음 1, 그냥 1 맞다 단지 1 0 그래서 그냥이 될 것 0의 내 입력 예를 들어이 될 수 있도록 자체 DX 두 값 1의 벡터가 여기 내 진짜 내 디자인 행렬을 구성 0 내가 원하는 데이터 나 간격에 대한 예측 및 다시는 한 번만 구성이고 값 그래서 여기에 그 자체가 될 것입니다 사이에 마이너스 1 1 여기에 항상 여기에 단지 1 1 1 1 1 내 훈련은 그래서 교육은 내 두의 내적을 곱 무엇 행렬이 내가 여기 만들어 내 디자인 매트릭스이며이는 내 내 실제 훈련 결과에 대한 레이블 내 무게에 의해 내 필터입니다 볼 수 있도록 내 기능에 대한 입력 내 디자인 매트릭스는 다음 나는 그렇게 출력의 일종 우리가 예를 들어 하나에 매핑하려면이는이 새로운 어디 내 입력 기능을 가지고 다음 출력의 어떤 종류의 아웃도 그 것 실제로 제공하기 때문에 감독 교육이라고는 계란 주어야한다 레이블 내가 할 것으로 예상하고 내가 어떤 종류의 예상이 실제 값 함수 자체가 끝이 무엇인지 않는 아이디어는 분명히 그것을 인식 완벽하지만, 어떻게 든 그것을 추정하고 싶었이 추정은하지 않습니다 실제로 여기 무게에 자신을 개최 내 예측 방법을 나는 내가 말한대로 내가 여기 내 디자인 행렬 내 가중치를 곱해야합니까 이 나의 디자인 매트릭스와 나는 더 펜로즈 역을했다 당신은 할 수 그것은 그것이 우리에게주는 것을 우리에게 보장 않습니다 기본적으로 무엇에 대해 조금 읽기 즉 우리의 입력에서 우리에게 가장 작은 오차를 제공하는 궁극적 인 무게 기계 학습 데이터와 이러한 오류 사실이라고 잔차 그래서 우리가 원하는 작은 잔차는 여기 난 그냥 빨간 내 결과를, 그래서 발견 한 당신 내 훈련 데이터를 볼 수 있습니다 사람들은 실제 라벨은 또는 나는 노란색과 약간의 노이즈 얻을이 비자는 실제 결과는 내가하고 하나을 기대할 내 실제 데이터 예측 간격에 대한 당신 당신 같은 내 기계 학습 알고리즘의 예측의 내 예측을 볼 수 있습니다 그것은이를 잡는다 실제로 일반화있어 여기에 아주 좋은 여기에서 볼 수 있습니다 동향 및 예측 자체는 꽤 좋은 그래서 나는 거의 같은 것을 유일한 것은 내가이 잘못 여기에 무엇을 갈 수있다 변경된 내 말은 앞의 예에서 너무 여기에 항상 지금 하나 그것은 사실과 무엇을 우리의 기능에서하는 것은 그것이 곡선을 만드는 것입니다 여기에서 우리는 다시이 입력과 예측의 우리의 간격 우리는 우리의 디자인을 가지고 매트릭스 우리는 우리의 가중치를하고 다시 그 레이블은이 사람들이있다 우리가 우리의 예측과 당신이 볼 수있는 기대 실제 사실 값 상황이 이렇게 추세를 잡을 수있는 모든 그래서 우리의 예측에 잘보고되지 않습니다 그 이유는이 학습 기계에서 발생하는 일은 항상 트레이드 오프 사이 분산의 의미 차이와 편견을 통해 얼마나 잘 알고리즘지도를 우리의 훈련 데이터와 그 때문에 위해서는 분명히 매우 중요합니다 알고리즘은 추세를 잡으려고 분명히 여기 추세는있다 곡선 권리이며, 당신이 볼 수있는 우리의 알고리즘의 추세를 잡을하지 않는 경우 동전은 그래서 그 수단이없는 어떤 패턴을 잡을하지 않습니다 우리는 우리의 기능을 기억할 수있는 충분한 정보와 매트릭스로 구성되어 있습니다 단지의 번과 X 자체하지만 그 결과 것은 너무 직선 와인이다 순서는 우리의 리듬을 이해하기 위해서는 분산 또는에서 개선을 우리가 필요 그래서 우리가 더 많은 기능 정보에 대한 자세한 내용은 우리의 입력 데이터를 더 나은 실제로 이해하고 우리의 입력과 내가 여기 때이다 변경에 대한 자세한 내용을 알고 나는 나의 계란이 아니라 내가 다시 여기 사람이 내 디자인 행렬을 구성 나는 두 가지의 힘에 X가 그래서 그냥 X 인 제 기능을 추가 한 제곱하고 소개 무엇 즉 그것은 더 많은 정보를 제공합니다 우리의 알고리즘과 당신은에 걸쳐 다음 추세를 잡을 수 있고 볼 수있는 우리의 보이지 않는 데이터는 여기 거의가 하나에서 0 사이에 우리의 눈에 보이지 않는 데이터입니다 완벽한 예측은 그래서 여기에이 기능을 이해하는 것이 매우 중요합니다 당신이 뭔가 알고있는 실제 생활 상황에서 분명히 매우 중요하다 여기에 다음과 같이 우리는 다섯 개 가지 기능을 가지고 있지만, 우리는 이미지가 있다면 우리는 천년이 기능 또는 우리가 실제로 필요하기 때문에 당신 만의 기능을 알고 알고리즘이 실제로 추출 할 수 있도록 입력에 대해 충분한 정보를 가지고 그것에서 패턴 나는이 당신에게 무슨 일하고 있어요에 대한 통찰력을 제공합니다 희망 여기에 내가 여기 변경 그래서 거의 같은 일을 내가 가지고있다가 마이너스 일 사이의 값에에서 훈련을 내가 가지고 여기에 입력 제로 실제로 실제를 잡을 수있는 05 마이너스 0

5에서 값을 훈련 바닥에 곡선은 내가 그런 말을 할 수 당신은 여기에서 볼 수도 장착되어있다 바닥에 더 나은하지만 마지막에 분명히뿐만 아니라 이렇게 장착 아니에요 매우 중요한 또 하나는 실제로 데이터의 당신의 간격 우리에게 제공 활용에 알고 당신의 가장 중요한 점을 포함 여기에서만 값에 훈련을했기 때문에 경우에 가장 큰 정보 전혀 대한 정보를 전달하지 그래서 거의 직선 와인의 여기까지 우리가 시도하는 이유 때문에 곡선 그리고 당신은 당신이 인공 알아 듣고 지능은 그래서 사진의 수백만을 알고 입력 데이터를 많이 필요 더 많은 데이터를 우리가 더 있기 때문에 데이터가 그렇게 중요한 이유입니다 우리가 다음 우리가 추출 할 수 있습니다 더 많은 정보를 표현하기 위해 모형을 적합 할 수 있습니다 분명히 우리의 예측이 더 좋을 것입니다 것은 그래서 한 가지 우리가 더있을 필요가있다 기능하지만, 또 다른 한가지는 우리입니다 가능한 가장 의미있는 데이터가 있어야 그리고 난 지금 내가 말했다 당신에게 트레이드 오프에 대해 조금 얘기하고 싶어요 얼마나 잘 알고리즘 맞는있는 분산이있다 투심 데이터하지만 얼마나 잘 알고리즘을 나타냅니다 편견이있다 이 데이터 UNC에 맞지 않는 얼마나 잘 때문에 일반화 분명히 그것은 아주이다 중요한 우리가 모든 가능한을 가질 수 있다면 이론적으로 알고 있기 때문에 데이터의 조합은 우리는 완벽하게 잘 맞는 수도 있지만 우리가 알다시피 그건 불가능 우리가에 잘 맞게 원하는 그것이 그렇게 동일한 데이터는 그래서 우리는 실제로 다른 패턴을 잡을 수 있지만, 우리는 원하는 다시 말에 잘 때문에 예측 보이지 않는 데이터에 대한 그래서 일반적하게 데이터가 여기에 어떻게 우리가 좋은 예측이 무엇이든 시점에서 우리가 여기에 같은 디자인의 행렬이되어 우리는 세 가지 기능을 가지고 있습니다 다음 x와는 제곱 X하지만 일단 여기에서 일어나는 일은 우리의 훈련 데이터 우리에 추세를 매우 부드러운 곡선을 가지고 다음 곡선의 종류하지 않습니다하지 않습니다 우리의 알고리즘을 집어으로 분명 소음이 우리가 있기 때문에 정확하게 일 greetin 모델 요시오 기계 단어 모델의 어떤 모델을 학습하는 것은 우리의 무게에게 기능의 가중치를 의미한다 우리 우리의 모델이 현장에 아주 잘 맞도록 데이터에서 패턴을 데리러 생각 데이터하지만 당신이 생각하는 왜 그때는 일반화하지 않는다는 것을 잘입니다 우리는 세 가지 기능을 가지고 있기 때문에 그래서 우리가했던 것은 우리가 그것을 장착 한 것입니다 완벽하게 죄 세타로하지만 당신이 알고 지점에서 날짜는 우리가 잘 할 수있는 장면 데이터와 완전히 같은 경향을 떨어지지 않는다 잘 – – 예측 그래서 우리가 그것에 대해 할 수있는 일은 대신 피팅입니다 우리는 편견을 소개하고 분명 그 약하지만 다른 방법이 있습니다 우리의 내가 뭘 아주 아주 간단한 구조는 난, 그래서 난 그냥 제 기능을 제거하다 다시 한 번만 액세스 당신이 무슨 일하는 것이 맞지 않는 것입니다 볼 수에 뿐만 아니라 장면 데이터의 오른쪽 그러나 그것은 훨씬 더 적합 – 당신은 어떻게 든 당신을 속일 생각하는 경우 일반 데이터 및 또는 보이지 않는 데이터는 알고있다 사람들은 0에서 2 같은 값이라는 것을 확인하고 당신은 거의에서 알 수 제로 여기에 1 주위에 당신은 거의 0까지 그렇게 1에서 2-0에서 볼 수 있습니다 바이어스 당신도 알다시피 우리는 아마 훨씬 더 갈 것 뒤에 수학의 많은이 있습니다 아이디어에 의해 시리즈의 다음 에피소드에 깊이 바이어스가 어렵게 만드는 것입니다 본 데이터하지만 희망을 많이하게 – 모델은 잘 통해 맞게에 대한 보다 일반적인 그래서 우리는 실제로 훨씬 더를 예측할 수있다 – 보이지 않는 데이터가 내가 좋아하는 것 당신이 알고있는 깊은 학습에 단지 작은 도입으로 마무리합니다 깊은 마음은 당신은 당신이 헤드 라인의 대부분이 알고있는 멋진 물건을 알고 내가 아주 간단한 예를 들어 무슨 말인지 때문에 어떤 희망이 당신에게 어떻게 기계 학습의 이해를 줄 것이다 작동하지만 깊은 깊은 마음을 연결하고 나중에 거기에 훨씬 더 갈거야위한 난 그냥 지금 설명 하나를 무슨 멋진 물건을 많이 말한다 있도록 신경과 당신이 여기에서 볼 수 있듯이 우리는 다른 움직임을 많이 가지고 그이 층 사이에있는 경우 여기 층이라고하며 그 뒤에 아이디어는 분명히 입력과 출력이 숨겨진 레이어라고 당신이 가지고 더 많은 층은 이렇게 모든 신경 세포는 다른이 기억 무게 그러나 모든 레이어는 동일한 기능을 가지고 있지만, 또 다른 층 다른있다 즉 우리에게주는 무슨 동일한 데이터에서 다른 패턴을 선택할 수 있습니다 기능 다른 뉴런에서 우리에게 패턴에 더 많은 통찰력을 줄 수있는 우리 우리가 들어갈 수 있음을 의미하기 전에 우리가 가진 특징에서 손에 넣지 못한 물 flairs으로 분명히 우리에게주는 서로 다른 패턴을 더 잘 볼과 눈에 보이지 않는 데이터에 완벽하게 피팅의 훨씬 더 가능성이 분산 및 같아요 바이어스 사이의 트레이드 오프를한다 쉽게는해야 할 일이지만 분명히 우리는 우리가 통과 할 수 있습니다 더 많은 물건을 많이 가지고 당신에 대한 우리 자신의 두뇌와 같은 일이로 인해 생각하면 우리의 뇌 우리는 뉴런 수십억이 있고에서 우리의 눈에서에 데이터를 알고 그것은 아마도 수백만 또는 통과 우리의 두뇌로 이동 각 분명히 필터의 일종을 적용하고 신경 세포의 수십억 당신은 우리의 두뇌에서 너무 좋은 알고 왜 그들이 무엇을하는지 그건 심지어하지만 대부분의 경우 우리는 심지어 여기에 당신이 할 수 그것을 실현하지 않습니다 내가 길쌈 신경의 깊이로받지 않습니다 빠른 예 참조 네트워크 그래서 길쌈 신경망이라고 깊은 학습 또는의 유형 그들은 층을 많이 가지고 있기 때문에 그들은 깊은 이유 깊은 신경 네트워크와 샤워는 그냥 바로 있도록 하나 개의 레이어를 알고 있거나 당신이 논리의 종류 층이 많이있을 때 두 층 깊이는 그들이 내가 말한대로 어떤 좋은 일에 좋은 이미지 분류 및 때문에 우리가 할 수있는 그들과 패턴을 데리러 다른 많은 것들을 실제로 여기에 작동 어떻게 자율 경고를한다 사용 당신은 첫 번째 패스를 라는 기능은 그 레이어를 통해 이렇게 학습은 모든 상상하는 사람들은 당신이 훨씬 더 많은 가능성을 가지고 여기에 신경과 층입니다 길쌈 다른 당신 층은 실제로는의 기능을 데리러 우리 예를 들어 우리가 실제로 바로 기능을 우리는 사람 XS와 X의 매트릭스를 만든 여기 제곱 당신은 기계 학습 알고리즘 자체가 데리러하자 우리가 우리의 가중치를 훈련하지 않는 데이터를 표현하는 더 나은 생각하는 기능 우리는 또한 우리의 기능을 훈련하고 우리는 우리의 기능을 훈련 할 때 우리가 실제로 얻을 수 있습니다 분산과 편견의 트레이드 오프는 훨씬 더 균형 분명히 많은 것을 얻을 더 많은 데이터에 대한 통찰력 그리고 내 옆에 그에 대한 자세한 설명됩니다 비디오 나는 그것을 희망이 비디오를 즐길 희망 당신을 위해 좋은이었다 당신은 흥미로운 질문이 나 한테 물어 발견하면 Entiversal에 계속 지켜봐 알고 싶습니다