SAS Tutorial | Machine Learning Fundamentals

안녕하세요 나는 Ari Zitin이고, 나는 당신과 이야기 할 것입니다 오늘날 일부 기계 학습 기본 사항에 대해 우리는 약간의 세부 사항으로 갈 것입니다 일부 의사 결정 트리 모델과 일부 신경망 모델에서 그 일환으로 HMEQ Home Equity를 사용할 것입니다 이 모델에서 시도하고 자세히 설명하는 데이터 세트

우리가 데이터에 들어가기 전에 조금 이야기하겠습니다 머신 러닝에 대해 기계 학습의 아이디어는 컴퓨터를 자동화하고 싶다는 것입니다 무언가를 분류하는 작업 항상 할 수있는 쉬운 예 거의 모든 사람이 경험이 있다고 생각 ATM에 자동으로 수표를 입금하면 수표에 얼마의 돈이 있는지 알아냅니다 입력하지 않아도 믿을 수 없기 때문에 반드시 입력해야합니다 그것이하는 것은 수표 금액을 찍는 것입니다 기본적으로 과거 데이터로부터 학습 그 숫자가 실제로 무엇인지에 대해 주석을 달았습니다

이것이 이미지를 사용한 머신 러닝의 예입니다 우리가 할 일은 과거 데이터를 사용한 기계 학습입니다 은행 데이터, HMEQ 데이터 세트, 데이터 세트에 대한 링크가 있습니다 액세스하려면 아래를 클릭하십시오 공개적으로 사용 가능하며 따라갈 수 있습니다 동일한 데이터로 자신 만의 모델을 만들 수 있습니다

이 HMEQ 데이터 세트는 과거 데이터입니다 은행에서 고객에 대해 수집 한 우리가 예측하고 싶은 것은 그들은 대출을 기본으로합니다 이것이 우리의 목표가 될 것입니다 그들이 우리의 대출에 대한 채무 불이행 여부, 우리는 역사 정보를 사용합니다 시도하고 결정합니다 이전에 자동 확인으로 제공 한 예 스캔 할 때 대상은 검사의 숫자입니다 우리가 제공하는 정보는 실제로 사진입니다

머신 러닝에는 두 가지 다른 예가 있습니다 우리는 역사적인 은행 데이터를 사용하여 작업을 수행 할 것입니다 과거 은행 데이터에 대한 입력 대출 금액과 같은 것들입니다 요청한 담보 대출 금액 은행과의 소득 대비 부채 비율 연체 크레딧 한도 경멸 적 신용 보고서의 수 신용 한도, 직업 정보 대상은 이진 기본값 인 BAD입니다

하지만 나쁘기 때문에 BAD라고 생각합니다 당신이 대출에 불이행하는 경우 따라서 우리의 목표는 불이행 고객들에게는 1이 될 것입니다 대출에 대해서는 0이고 그렇지 않은 고객에게는 0입니다 우리는 사람들이 시도하고 예측하려고합니다 우리는 그들에게주는 것을 피할 수 있도록 대출에 대한 채무 불이행을 우리는 그들이 채무 불이행 될 것이라는 것을 알고 있습니다 이제 기계 학습의 예를 살펴 보겠습니다 알고리즘

우리는 의사 결정 트리로 시작합니다 알고리즘의 작동 방식을 파악한 다음 소프트웨어에서 알고리즘을 빌드하십시오 우리는 또한 신경망에 대해서도 같은 일을 할 것입니다 사진을 보면서 시작하겠습니다 어떤 종류의 데이터가 있는지 볼 수 있습니다 이 예에서는 데이터를 제한했습니다 2 차원으로

우리는 2 차원 데이터에서 파란색 점과 빨간색 점 우리는 논쟁을 위해 우리의 파란 점은-목표는 0입니다 그래서 그들은 그들의 대출을 불이행하지 않았습니다 우리의 빨간 점은 우리의 목표입니다 1은 대출에 대한 채무 불이행을 의미합니다 이 두 축은 입력 치수의 두 개일뿐입니다

그래서 나는 그들 중 몇 가지를 언급했습니다 이를 위해 x 축에서 우리는 연체 신용 한도를 가지고 있습니다 연체 크레딧 한도 고객이 보유한 y 축 우리는 그들이있는 집의 가치를 가지고 있습니다 신용을 빼려고 노력했습니다 그래서 우리는 고객에 대한 정보를 봅니다 보시다시피 클러스터링이 있습니다

파란색 포인트로 인해 대부분의 고객이 그들의 대출과 그룹을 기본으로하지 않았다 빨간색 포인트로 인해 대부분의 고객이 그들의 대출에 불이행했다 우리가하고 싶은 것은 노력하고 이 줄거리에 선을 그리는 방법으로 파란색 점을 빨간색 점과 분리합니다 의사 결정 트리의 경우 직선을 그리는 것 서로 수직입니다 예를 들어 직선 하나를 그리겠습니다 데이터에서 찾을 수있는 분리 점을 나타냅니다 빨간색 점 또는 사람에서 파란색 점을 분리 불이행 한 사람들로부터 불이행하지 않은 사람 이 데이터를 보면 바로 여기 선을 그릴 수 있다고 생각합니다

그리고 우리가 보면, 이것은 분할을 만듭니다 오른쪽에는 일종의 테이블이 있습니다 파란색 점 11 개와 빨간색 점 11 개가 있습니다 사무용 겉옷 이 분할 작업을 수행하면 서로 다른 두 그룹을 만듭니다

왼쪽의 그룹에는 1, 2, 3, 4, 5, 6, 7, 8 개의 파란색 점이 있습니다 그리고 하나의 빨간 점 오른쪽 그룹에는 파란색 점 3 개와 7 개 8 개의 빨간 점 우리가 볼 수있는 것은 우리가 잘한 일을 했어요 그 점은-빨간 점이 그리 웠습니다 우리는 파란색 점을 잘 나누었습니다 왼쪽의 빨간색 점에서, 오른쪽은 아닙니다

이제 우리는 상상할 수 있습니다 우리는 첫 번째 파티션을 완료했습니다 우리는 말할 수 있습니다 이것은 괜찮은 분리처럼 보입니다 스플릿을 더 추가하면 더 잘할 수 있습니다

다른 수직 직선을 그리겠습니다 빨간색 점을 오른쪽의 파란색 점과 분리합니다 여기에 수직선을 넣으십시오 그리고 우리는 왼쪽에 하나를 할 것입니다 이제 알 수 있습니다 우리는 정말 좋은 일을했습니다

하단의 파란색 점과 빨간색 점을 분리합니다 왼쪽 하단은 대부분 파란색이고 오른쪽 하단은 대부분 빨간색입니다 새로운 데이터를 볼 수 있다면 이 데이터에 대해 배웠지 만 우리는 이미 이러한 고객들이 불이행을 알고있었습니다 따라서 우리는 다음과 같은 데이터에서 잘 작동하는 모델을 원합니다 실례합니다

데이터에 잘 맞는 모델을 원합니다 이전에 보지 못했던 새로운 데이터에서 색깔이 무엇인지 모릅니다 우리는 미래에 볼 수 있습니다 왼쪽 하단에있는 대부분의 사람들이 그들이 기본값이 아니라고 예측하게 될 것입니다 오른쪽 하단에있는 대부분의 사람들이 반면 대출에 대출이 불이행 될 것으로 예측합니다 상단에 우리는 더 많은 분할을 원할 수도 있습니다

예를 들어 더 깊이 들어가고 싶을 수도 있습니다 더 많이 분리하기 위해 여기 저기 선을 그릴 수 있습니다 우리가 보게 될 것은 소프트웨어가 자동으로 시각적 해석을 바탕으로이 선을 그렸습니다 이 줄거리의, 그러나 우리는 정말로 알고리즘을 원합니다 그것은 우리를 위해 이것을 할 것입니다

언급하지 않은 것은 이것들이 단지 두 개의 입력이라는 것입니다 세 번째 입력 값이 있다면 세 개의 변수가 있다면 저는 이것을 부채 비율과 주택으로 언급했습니다 우리는 몇 년 동안 일할 수있는 또 다른 것을 가질 수 있습니다 그것은 3 차원이 될 것입니다 페이지에서 나옵니다 내가 두 개만 선택한 이유를 알 수 있으므로 시각화 할 수 있습니다

하지만 실제로 1, 2, 3, 4, 5, 6, 7, 8, 9, 10은 고객에 대해 수집 한 11 개의 입력 변수 머신 러닝을 할 때 수백 개의 입력 변수를 가질 수 있습니다 이 데이터 세트에서 우리는 11 차원 공간에 있습니다 11 차원을 시도하고 시각화 할 수 있습니다 그러나 잘 작동하지 않습니다 실제로 우리는 종종 일을합니다 수백 개의 차원으로

이 그림을 돌리는 것을 상상할 수 있습니다 당신은 모두와 100 차원 공간을보고 이 점들, 그리고 우리는 여전히 평면을 그리고 있습니다 이 경우에는 초평면이됩니다 점을 분리하기위한 100 차원 초평면 분명히 우리는 시각적으로 할 수 없습니다

우리는 컴퓨터가 우리를 위해 그것을하도록해야합니다 알고리즘 방식으로 소프트웨어를보고 결정이 어떻게 진행되는지 살펴 보겠습니다 트리는이 데이터를 기반으로합니다 Model Studio에서 약간의 파이프 라인을 만들었습니다 그리고 내가 만든 방법에 대한 몇 가지 예를보고 싶다면 이 파이프 라인과 Model Studio를 사용하고 시작하는 방법, 시작에 대한 비디오 링크가 아래에 있습니다 Model Studio에서 파이프 라인을 사용합니다

의사 결정 트리 기본값을 마우스 오른쪽 버튼으로 클릭합니다 노드에서 결과를 선택하십시오 의사 결정 트리의 결과를보고 있습니다 이 HMEQ 데이터 세트에 대해 교육했습니다 가장 먼저 살펴볼 것은 트리 다이어그램입니다 이 트리 다이어그램에는 의사 결정 트리의 그림이 있습니다 보시다시피 훨씬 더 깊은 의사 결정 트리입니다 내가 오른쪽에 그린 예보다

상단을 확대하면 우리는 3,000 명으로 시작합니다 실례합니다 3,000 개의 관측치와 약 20 %는 1과 80 %입니다 0입니다 이는 고객의 약 20 %가 불이행을 의미합니다 그들의 대출에

우리는 연체 크레딧 한도에 따라 분할합니다 연체 된 신용 한도가 많으면 그들은 거의 모두 대출에 대한 채무 불이행이 될 것입니다 그래서 우리는 그들이 대출에 대한 채무 불이행이 예상됩니다 12, 15, 7, 6 또는 8 개의 연체 크레딧 한도가있는 경우 그들이 그보다 적은 경우 5, 4, 0, 1, 2, 3 크레딧 한도 그들이 불이행 한 사람들의 일종 인 것 같습니다 불이행하지 않은 사람들은 거기에서 계속 쪼개기 위해 이 의사 결정 트리를 광범위하게 살펴보면 굵은 선이 나타내는 것을 볼 수 있습니다 대부분의 데이터가가는 곳과가는 선 소량의 데이터를 나타냅니다 하단의 상자는 최종 결정 상자입니다 보시다시피이 상자는 이 상자에 들어가서 그들이 따르는 특정한 길이 있습니다

그들은 적은 수의 연체 신용 한도를 가지고 있습니다 그러나 그들의 집의 가치는 $ 474,000 이상입니다 직장 생활은 26 세 미만입니다 우리는이 사람들의 대부분이 대출에 불이행 될 것으로 예상합니다 과거 데이터에서 이 의사 결정 트리에서 확인할 수있는 것 중 하나 내가 읽었던 것처럼 우리는 내가 오버 피팅이라고 부르는 것을 조금했습니다 우리는 훈련 데이터를 기억했습니다

연체 크레딧 한도가 많으면 나는 당신이 대출에 대한 채무 불이행을 말한다 하지만 실제로는 특정한 숫자입니다 12, 15, 7, 6 또는 8 그 숫자는 데이터의 일부입니다 우리는 의사 결정 트리를 배웠습니다 그래서 우리는 더 나은 것을 원할 수도 있습니다 새로운 고객에게 좀 더 나은 일반화를 제공합니다

이 트리 다이어그램을 닫고 결정을 닫습니다 트리 결과 및 다른 의사 결정 트리로 이동합니다 내가 구체적으로 만든 곳에서 만든 내가 생각하지 못한 리프 노드의 일부를 절단하려는 노력 중요했다 실제로 컴퓨터가 자동으로이 작업을 수행하도록했습니다 의사 결정 트리 다이어그램을 열어 보겠습니다 우리는 그것이 다른 나무라는 것을 알 수 있습니다

조금 다르게 훈련했습니다 내가 훈련했을 때 내가 한 일은 훈련 데이터를 암기하는 완전한 의사 결정 트리를 구축했습니다 다시 돌아 가면 우리가 고유하게 선택한 도면으로 돌아 가면 각 상자가 하나의 색상 만 선택하도록 파란색과 빨간색 점 포인트-그래서 그것은 훈련에서 100 % 권리를 얻는 나무입니다 데이터 이 나무를 만들면 다시 자르기 시작합니다 이전에는 본 적이없는 데이터를 살펴 봅니다 우리는이 모델이 결코 가지고 있지 않은 데이터를 봅니다 그것을 훈련시키는 데 사용되지 않았으며 우리는 그것이 어떻게 작동하는지 보았습니다 성능을 개선 할 때마다 줄일 때마다 우리는 계속 나무를 자르고 더 간단하고 간단합니다

결국 여기에서 새 데이터에 대한 성능이 향상됩니다 더 간단한 모델을 사용하는 것이 바람직합니다 여기를 보면,이 가지 치기 오류 도표 내가 논의했던 절차를 정확하게 보여줍니다 우리는 훈련 데이터, 즉 데이터 우리는 모델, 성능을 구축하는 데 사용 점점 더 많은 잎을 가지면서 계속 향상되고 더 복잡한 나무입니다 하지만 검증 데이터는 데이터입니다 나무는 전에 본 적이 없으며 실제로 악화됩니다

그래서 우리는 나무를 멈추고 가장 복잡한 나무를 만듭니다 우리는 훈련 데이터에 대해 나뭇잎을 자르기 시작합니다 실제로 잘 작동하는 것을 만들 수 있도록 유효성 검사 데이터에 어떤 시점에서 모델이 너무 단순하다면 유효성 검사 데이터의 성능이 좋지 않습니다 이것이 의사 결정 트리에 대한 우리의 토론이었습니다 몇 가지 평가 통계를 볼 수 있습니다 그러나 모든 모델을 비교할 때 마지막에 할 것입니다

우리는 결정 트리가 우리는 가지 치기를 만들었습니다 두 번째로 보여 드린 것은 실제로 이 데이터에 대해서는 첫 번째 데이터보다 조금 더 잘 작동합니다 다이어그램으로 돌아가서 이제 신경망을 만들고 있습니다 의사 결정 트리와 어떻게 다른지 생각합니다 다른 모델과 정말 인기있는 모델 요즘은 신경망입니다

그들은 특히 인기가 있기 때문에 보다 복잡한 형태의 기계에 사용 딥 러닝이라는 학습 이미지 처리와 관련이 있습니다 우리는 신경망을 사용하여 의사 결정 트리에서 수행 한 것과 동일한 작업 빨간색 점과 파란색 점을 분리하는 것입니다 가장 큰 차이점은 의사 결정 트리입니다 신경망은 실제로 임의의 비선형을 배우려고합니다 입력을 출력에 매핑하는 기능입니다

이 임의의 비선형 함수 플롯에서 원하는 모양을 취할 수 있습니다 따라서 우리의 경계가 반드시 그런 것은 아닙니다 직선이 될 것입니다 그래서 내가 상상할 수있는 것을 그릴 것입니다 신경망은 생각할 것입니다 보시다시피, 저는 임의의 곡선을 그리는 것입니다 그리고 유일한 요구 사항은 이러한 곡선이 기능이어야합니다- 함수에 의해 정의 될 수 있어야합니다

당신이 볼 수있는 것은 기본적으로 파란색 점을 선택하고 이상적인 결정을 내 렸습니다 경계 신경망은 항상 가장 좋은 모델이지만 단점은 우리는 훈련 데이터를 외우고 싶지 않다는 것입니다 모델을 새 데이터에 적용하려고합니다 그리고 당신은 내가 그린 원의 크기를 볼 수 있습니다 내가 그린 곡선의 크기 그것은 무엇과 매우 다를 수 있습니다 여전히 모든 파란색 점을 캡처하면서 빨간 점은 없습니다

제 개인적 드로잉에는 모호성이 많습니다 신경망이 학습 할 때 이 기능들은 여러 기능 중 하나를 찾습니다 이 작업을 수행 할 것이므로 반드시 유효성 검사 데이터에서 어느 것이 더 잘 작동하는지 알 수 있습니다 따라서 훈련 데이터를 약간 맞추기가 더 쉽습니다 신경망을 통해 다음 예제에서 신경망은 규칙 목록을 생성하지 않습니다 오른쪽에 다이어그램이 없습니다 이 선을 어떻게 그리는지 보여 드리기 위해 그러나 그들은 기능을 생성합니다 함수를 정의하는 숫자 모음입니다

실제로 모델링 할 수있는 방법이 있습니다 하지만 여기에 자세히 표시하지 않습니다 시각적 인 표현이 아니기 때문에 기본적으로 방정식 일뿐입니다 이것이 신경망 사이의 큰 차이점입니다 의사 결정 트리는 의사 결정 트리입니다 이 규칙 목록을 만듭니다 연체 크레딧이 7 개 이상인 경우 우리가 예측하는 것보다 당신의 대출에 대한 채무 불이행

그 이유를 누군가에게 설명해야하는 경우 매우 유용합니다 당신이 당신의 모델에서 한 일을했습니다 신경망과는 달리 장면 아래에 많은 숫자를 생성합니다 모든 숫자를 곱하면 예측 가능성을 알려줍니다 따라서 결과를 전혀 해석 할 수 없습니다 소프트웨어로 돌아갑니다

신경망 모델을 구축했습니다 신경망의 파이프 라인을 볼 수 있습니다 파이프 라인보다 조금 더 복잡합니다 의사 결정 트리 방금 데이터에서 의사 결정 트리로 바로 넘어갔습니다 신경망 노드의 경우 변수 관리 노드, 대치 노드, 및 변수 선택 노드 우리는해야합니다-변수를 관리해야합니다 대치에 대한 메타 데이터를 설정하려면 변수 선택

대치에서 우리는 교체해야합니다 데이터에 누락 된 값이 있습니다 의사 결정 트리는 결 측값이 어느 지점 에나 있습니다 따라서 선을 그리면 결 측값 줄의 어느 쪽이든 갈 수 있습니다 신경망은 방정식을 만들고 방정식에는 숫자가 필요합니다

결 측값은 숫자가 아니므로 교체해야합니다 우리는 그것들을 평균으로 대체 할 것입니다 우리가 결정 트리를 만들 때, 각 분할에서 분할 할 변수를 선택했습니다 예를 들어 첫 분할은 연체 신용 한도였습니다 연체 크레딧 한도 부채 대 소득 비율

신경망은 자동으로되지 않습니다 사용할 변수를 선택하십시오 대신에 그것들을 모두 방정식에 넣습니다 다시 말하지만 방정식이기 때문에 모든 변수 방정식의 숫자를 곱하십시오 변수 선택 노드를 사용합니다 신경망으로 들어가는 변수를 선택합니다 변수의 수를 제한하고 싶습니다 신경망으로 들어가서 유용한 변수를 사용하십시오

의사 결정 트리에서 모든 변수가 아님을 알았습니다 유용했습니다 신경망을 마우스 오른쪽 버튼으로 클릭하고 결과를 선택합니다 가장 먼저 강조 할 것은이 신경망 다이어그램입니다 나는 다양한 정통이기 때문에이 사진을 좋아합니다

이 사진이 마음에 들지 않아서 유용한 정보가 많지 않습니다 누군가를 보여주는 것은 좋은 사진입니다 신경망을 구축했다면 다음과 같습니다 가장 먼저 보는 것은 세 개의 입력 변수를 사용한다는 것입니다 11 개의 변수로 시작했습니다 하지만 우리는 그중 세 가지만 사용하기 때문에 변수 선택 내가 쓸모없는 것 이 점들의 크기는 숫자 가중치의 크기 방정식을 만드는 데 사용되지만 이미 당신은 정말 해석 할 수 없다고 그 방정식의 의미 또는 그 무게의 의미 정말 해석하기 쉽지 않습니다

이 도표는 당신에게 그림을 보여줍니다 나타내는 신경망의 방정식을 만드는 방법 신경망에 익숙하다면 이 다이어그램을보고 적어 둘 수 있습니다 방정식이 어떻게 보일지에 대한 모델 당신은 분명히 거기에 들어가는 모든 숫자가 빠졌을 것입니다 숫자를 뽑아야합니다 알다시피, 우리는 derog를 사용하고 있습니다

그것은 멸시 신용 보고서입니다; 연체 신용 한도 인 delinq; 목표 BAD를 시도하고 예측하기위한 부채 대 소득 비율 이 다이어그램을 닫고 신경의 결과를 닫습니다 네트워크 노드와 모델 비교로갑니다 우리가 다른 모델에서 어떻게했는지 보려고합니다 시각적 결과가 훨씬 적다는 것을 알 수 있습니다 사실에 연결되는 신경망을 위해 의사 결정 트리는 기본적으로 해석 가능합니다 신경망이 생성하는 반면 모델 백엔드에 많은 숫자

많은 결과는 숫자입니다 그 숫자 결과를 가져 와서 적용 할 수 있습니다 모델 비교 노드를 열고 오류가 줄어든 의사 결정 트리와 정리 한 사람 이니까 훈련 데이터에 큰 결정 트리를 구축 한 곳 그런 다음 잘라 내고 실제로 가장 잘 수행했습니다 오 분류 율 신경망의 오 분류 율 약 20 %였습니다 이는 신경망 모델이 실제로 관심있는 정보를 포착하지 못했습니다

설명하는 가장 쉬운 방법은 이것은 의사 결정 트리가 더 간단한 모델이라는 것입니다 이것은 더 간단한 데이터 세트입니다 이 데이터 세트의 한 가지 문제는 신경망을 손상시킬 수 있습니다 직업과 같은 범주 형 입력 변수입니다 우리는 다른 사람들의 직업 목록을 가지고 있습니다 신경망은이 변수들과 잘 어울리지 않습니다 의사 결정 트리로

신경망 모델은 우리가 관심있는 것을 포착하지 못했습니다 실제로이 데이터 세트에서 작동하지 않았습니다 그러나 우리는 결정의 차이점을 강조하고 싶었습니다 나무와 신경망 그리고 일반적으로 찾을 수있는 것 새로운 데이터를 다루면서 작업해야 할 모든 데이터, 일부 모델은 다른 모델보다 더 잘 작동합니다 데이터가 정말 단순하다면 의사 결정 트리 및 선형 회귀 모델을 찾을 수 있습니다

정말 잘 작동합니다 데이터가 정말 복잡하다면 제대로 작동하지 않으면 신경망이 더 나은 모델이라고 제안합니다 제가 말할 한 가지는 의사 결정 트리가 실제로 잘 작동한다는 것을 알았습니다 반드시 제안 할 필요는 없습니다 신경망이 제대로 작동하는지 확인하십시오

두 모델을 비교해 보는 것이 좋습니다 기계 학습에 대해 배우기 위해 함께 해 주셔서 감사합니다 기초 우리는 의사 결정 트리에 대해 조금 이야기했습니다 일부 신경망 모델 구독하고 더 많은 비디오를 확인하십시오

아래 링크를 확인하십시오 질문이 있으시면 의견에 자유롭게 넣으십시오 감사

Fundamentals of Machine Learning: Building a Go Machine Learning Program

마지막 강의에서 우리는 게임을하는 게임을 만들고 이야기를 나눴다 오늘 수색 수색의 기초에 관하여 우리는 알파가에 대해 말할거야

프로그램 및 그 파생어 마스터와 알파가 제로는 챔피언이 될 선수가된다 지난번부터 기억한다면 세계 에 대한 두 가지 큰 어려움이있었습니다 그래서 하나의 프로그램을 만들어라 체스 때 우리는이 가치를 구축 할 수있었습니다 우리에게 사용법을 가르쳐 준 손으로 인간의 지능이 얼마나 좋은지 말해주었습니다

각 보드 위치는 이동 중이었지만 할 일이 정말 어렵다는 것을 알았습니다 이 사람과 인간은 정말로 힘들어했습니다 그들이 인코딩 할 수있는 프로그램 작성 이것이 의미하는 바에 관한이 인간 지식 두 번째로 잘 놀아 라 문제는 체스에서 당신이 할 수있는 약 20 개의 움직임 주어진 시간 동안 그리고 거기에 가라 너가 할 수있는 300의 움직임 같이 무언가 어떤 주어진 시간에 만들어라

3 가지 움직임에 대한 특별한 생각 이동 시작시 각 플레이어마다 게임은 8 조 8 천억 포지션입니다 그것은 너무나 많은 놀이를해야하는 것입니다 이제 우리가 할 일은 이야기입니다 우리가이 문제를 어떻게 해결할 수 있는지 문제는 첫 번째가 그것을 깨닫는 것입니다 두 가지 주요 감독 학습이 있습니다

우리가 전에 말했던 프로브가 여기에있다 우리가 한 번씩 이사를 갈 수 있다는 것에 대해서 위치를 정하고 그것을 각 위치는 빈 검은 색 또는 흰색과 그래서 첫 번째 학습 문제는 우리가 이것을 취할 수있는 게시판 위치에 표시 할 수 있으며 가치가 있으므로이 위치는 여기에 있습니다 검정을위한 2 점 가치가있어서 좋다 그 아래의 위치는 검은 색이므로 한 점이 부정적입니다 이제 우리가 할 수있는 일은 인간의 부호화 된 가치 함수를 갖는 이 Donis는 6 점의 가치가 있으며 그 돌들이 작동하지 않는 곳 전혀 그 대신에 우리는 그것을 배울 것입니다 기계 학습 알고리즘을 사용하여 두 번째 통찰력 또한 우리가 알아야 할 것입니다

우리가 볼 필요가있는 움직임 우리가 보았을 때마다 가능한 이동은 너무 많아서 두 번째로 그것은 또한 사실입니다 이 보드 상태가되면 우리가 배우고 싶은 숫자의 목록 내가 할 일은 뭐니? 5 개의 포지션으로 플레이해야한다 이 나무를 가지 치기 위해 생각해 보라 너무 미치광이가 아니야 그래서 다시이 두 가지 주요 기계 학습 문제가 처음 보드 위치를 취하여 매핑하기 두 번째 값은 보드 위치와 매핑 그렇게 생각하는 방법에 대해 alphago 일하면서 기계 학습 문제 모든 것과 같은 목록을 다운로드 함 지난 30 경기에서 프로 게임 몇 년 동안 많은 게임이 열렸습니다

정말 높은 수준의 아마추어와 그런 다음 문자 그대로 감독자가되었습니다 학습 문제 그래서 어떤 보드를 배웁니다 위치는 플레이어가 더 많은 것을 의미했습니다 이길 수 있고이 보드 위치에있다 어떤 움직임이 인간 선수 일까? 그들이 배운 기계를 좋아하도록 게임하기 그 두 가지는 두 번째로 그들은이 가치를 증대 시켰습니까? 호출 된 기능 몬테카를로 트리 검색 때문에 나무 수색 전에 기억하십시오

아이디어는 앞으로 생각할 생각입니다 몇 가지 행동을했지만 지금은해야 할 일이 있습니다 어떤 시점에서 우리가 무리를 모방하려고하는 나무 무작위 게임과 우리는 내 확률이 무엇인지 상상해보십시오 이 보드 위치와 그때 주어진 우리는 가치 함수를 결합 할 것입니다 기계 학습 플러스에서 전문 알고리즘 몬테카를로 트리 우리에게 총 확률을 줄 수있는 검색 이기고 나서 다시 생각할 수 있습니다

이제 우리가 할 두 번째 일 우리는 컴퓨터 게임을 할거야 한꺼번에 이 프로세스는 다음과 같이 알려져 있습니다 우리가 얻는 강화 학습 컴퓨터가 백만 개의 게임을 플레이 어떻게 그 자체에 대한 업데이트가 필요합니다 오 이런 것들이 아마 될 것이라고 생각합니다 좋은 움직임 또는 이것들은 아마 가고있다

포지션을이기는 등 스스로를 많이 연주하는 것은 인간의 지식은 스스로를 업데이트한다 끝까지 놀기 인간 지식과 컴퓨터 지식과 사실이 절차는 알파를 이기기에 충분했다 이 4 대 1 모두에서 적어도 8 명 2016 년에 시작된 경기 두 종류의 주요 비판이있었습니다 원래의 알파가 프로그램의 이 인간 데이터베이스가 필요하다는 지식 그래서 그는이 전문가를 데려 갔다

go-go 선수들은 그들로부터 배웠다 그래서 많은 사람들이 그렇게하는 걸 묻고있었습니다 이 기술들은 단지 작동한다는 것을 의미합니다 우리가 사용할 수있는 전문가 시스템이있을 때 도메인이별로 없다는 것을 의미합니다 우리는 인간이있는 곳을 염려합니다

이것을 대답하기 위해 목숨을 바쳤다 당신이 묻는 특정 질문 내가 말하지 않은 두 번째 것 에 대한 내 주요 관심사였다 원래 alphago 알고리즘은 또한 이러한 손으로 코딩 된 기능을 정말 게임에 특히 중요합니다 트리 검색 절차를 만든다 제정하기가 어렵고 잃기가 어렵다

이 도메인 특유의 지식은 구체적으로 다루는 기능은 가난하기가 힘들어서 내 걱정거리는 잘 이러한 문제가 있습니다 진짜 단어 경우에는 존재하지만 우리가하지 않은 현실 세계의 많은 손으로 코드를 작성하는 방법을 알고있다 도메인 별 지식이므로 2017 년 deepmind는 0을 공개했다 이 두 가지 비판을 모두 다루었 다 이 인간에게서 시작하기보다는 이 기계 학습을 실행하는 데이터베이스 그들은 단지 보강을 한 것 거짓말 쟁이로 시작해서 정말 끔찍한 연주 프로그램과 그것은 그 자체에 대해 몇 번이고 정말로 강화 학습 영리한 방법으로 새로운 것이 었습니다

이 프로그램을 빌드하고이 새로운 알파 제로 프로그램 제로 의미 0 그것을 이길 수 있었던 지식 원래 alphago 프로그램 백 ~ 100 경기에서 0으로 맞췄다 2 판 알파 조 마스터 89 ~ 11 그래서이 전체적인 섹션을 되풀이하기 위해 기계의 테스트 케이스로 가라 배우기 때문에 우리는 그것을 좋아합니다 이 제한된 움직임과 우리는 이기는 것이 무엇을 의미하는지 아직 알지 못한다 오랫동안 컴퓨터가 정말 안좋다

그 일을 할 때 느끼는 것처럼 느껴진다 우리가 필요한 이러한 속성 그렇지 않은 휴지기 시스템을 만드는 것 가능한 모든 것을 보아라 할 수 있지만 몇 가지에 초점을 유망한 것으로 보이고 심지어는 보이는 것 그 모든 것을 읽을 수 없다면 어떤 감각을 가지고 일어날 것입니다 어떤 종류의 기능이 당신에게 좋은가요? 어떤 종류의 기능이 좋지 않은지 당신과 우리는 2015 년에 우리가 갔다는 것을 알았습니다

비록 당신이 시작 부분에 5 개의 동작을 만들 수있다 갑작스러운 길에 게임 스팬에 걸쳐 최고의 인간보다 낫다 몇 달 동안이게 전부 였어 변형의 영리한 사용 기계 학습에이 문제 문제를 일으킨 다음 그 기계를 가져 가라 학습 문제와 이것을 실행 알고리즘 강화 학습 및 그들은 마침내 이것을 만들 수 있습니다

그 알파 그 0 인간 지식을 전혀 사용하지 마라

Fundamentals of Machine Learning: Types of Machine Learning

안녕하세요 저는 Artemy Kolchinsky입니다 이것들 중에서 자습서 우리는 어떤 기계에 대해 이야기 할 것입니다

학습은 기계 학습의 예입니다 문제 및 그 이유 중 일부 뉴스에서 그렇게 널리 퍼지고있다 뛰어 들어가서 무엇에 대해 이야기 해 봅시다 기계 학습이 처음 일 것입니다 다른 용어와 어떻게 다른지 궁금하다 당신은 인공적인 것을 들었습니다

지능 나는 인공이라고 말하고 싶다 지능은 지능형 자동화 시스템 구축 이것은 체스 게임과 같은 것들이 될 수 있습니다 로봇을 제어하기위한 소프트웨어 소프트웨어 또는 산업 공정 및 많은 기계 학습의 다른 예는 인공 지능의 하위 집합과 특히 디자인을 목표로합니다 자동으로 학습 할 수있는 소프트웨어 지적인 것을 수행하는 것 일반적으로 제공되는 데이터 및 이 관점에서 보면 어떤면에서 실제로 매우 밀접하게 관련된 통계도 있기 때문에 통계 에서 추론을 우려했다 데이터를 사용하여 다른 데이터를 예측 이제 일종의 설계도를 얻으려고하는 것들 이 둘의 차이에 대한 아이디어 우리는 두 가지 다른 인공 지능 시스템 중 하나 그것들은 트래픽이라고 불리는 것입니다

교통 사고 회피 회피 시스템 T 카스트와 그것의 기본적으로 개발 된 시스템 수십 년 전에 비행기가 피할 수 있도록 서로 충돌하고 공중 충돌을 피하십시오 본질적으로 긴 목록 if 언제 말하는 진술 및 조건 비행기를 말할 때 경보를 발령한다 위로 올라가고 다른 비행기가 내려 가기 등등은 하드 코딩 된 규칙입니다 피할 수 있도록 설계된 충돌은 기계가 아닙니다 학습 문제는 본질적으로 하드 코딩 된 프로그램 나는 내가 말하는 것의 모범이다

기계 학습 문제는 다음과 같은 몇 가지 데이터를 같은 통계 모델 에 따라 개인 연간 소득 학교에서 나이 성년 같은 것들 지리적 우편 번호 등등 이것들은 독립적이라고 불릴 것이다 예측을위한 변수 한 사람이 얼마나 많은 돈을 벌고 있는지 말해 보겠습니다 네가 1 년 동안 당신이 생각할지도 모르는 통계 클래스 이것은 방금 해결할 수있는 단순 선형 회귀 그게 사실이야 그게 한 가지 방법이야 문제와 간단한 선형 접근 회귀는 기계의 단순한 경우입니다

데이터를 사용하여 그 다음 모델을 만드는 데 사용할 수있는 모델 다른 일에 대한 예언 더 많은 영화적인 예를 원한다 인공 지능과 기계의 차이점 컴퓨터에 대해 생각할 수있는 학습 2001 년 Space Odyssey Hal 9000 그가 본질적으로 보였던 것처럼 보였다 편견없는 우주 임무의 고전적인 AI 예제는 다음과 비교하십시오 1980 년대 고전 전쟁의 컴퓨터 게임하는 법을 배우는 게임 지구 적 핵전쟁 tic-tac-toe와 같은 것들을 배우는 법 그것은 예를 들어 인공 지능 학습 기계 괜찮아요 전 움직이고 있어요 두 가지 주요 영역에 대해 이야기 해 보겠습니다

감독하는 기계 학습의 기교 학습 및 감독되지 않은 학습 감독 학습은 본질적으로 질문에 대한 정답과 우리 알고리즘을 사용하면서 훈련 시키되 보여주기 정답은 이건 내가 너에게주는 다음과 같을거야 이미지와 나는 당신이 그것을 고양이도 개도 분명히있다 대부분의 이미지에 대한 정답 또는 제공 너는 오디오 녹음을하고 나는 너에게 묻는다 실제로 말한 텍스트를 파싱한다

그 오디오 녹음이나 마침내 나는 너에게 어떤 종류의 주식 시장을 준다 역사적인 데이터와 나는 당신에게 예측을 부탁한다 주식 시장은 지금 무엇이 될 것인가? 주식 시장은 일정 수준에 도달 할 것입니다 우리는이 일에서 옳고 그름을 같이 할 수 있습니다 튜토리얼을 중심으로 이야기하겠습니다

그러나 감독 학습을해야합니다 이 다른 분야에 대해서도 알고있다 무 감독 기계 학습 학습 및 감독되지 않은 학습 그 자체로 옳은 대답은 아니지만 우리는 의미있는 발견을 원한다 데이터의 패턴이있을 수 있습니다 아주 높은 걸릴 것 같은 뭔가

수요 데이터 집합과 그것을 낮은 수준으로 표현 그것은 아마도 3 차원 공간 일 것이다 데이터 집합을 가져 와서 그룹이 표시되므로 다른 예가 표시됩니다 우리가 시각적으로 할 수있는 화면에 산산조각이 있다는 것을 알 수 있습니다 거기에 몇 가지 그룹이 있습니다 오른쪽 그룹화가 잘되지 않을 수도 있습니다

하나의 오른쪽 그룹화하지만 우리는 여전히 그것도 포함하는 것을 고려하고 싶다 이상치 탐지 변칙 같은 것들 정확하지 않은 곳의 탐지 정답은 무엇이지만 여전히 그렇다 어떤 종류의 패턴을 갖는 것이 유용하다 이외에 알고리즘을 찾는 것 감독 학습 및 감독되지 않음 다른 많은 학습 방법이 있습니다 혼합물 및 변이 및 대안 이것들에 대한 전수 학습 세미 감독 학습 등등 대부분에 들어갈 시간이 없다

그러나 이것들은 기계 학습의 도메인 영역은 매우 크지 만 감독 된 학습은 아마 가장 많은 것을 가진 사람 최근의 성공 사례 우리는 알게 될 것입니다 감독 학습은 실제로 감독 학습은 우리에게 주어진 것입니다 내가 사용할 학습 데이터 세트를 불렀다 이미지 및 매핑의 예 그들에 따라 라벨 개 또는 고양이에 무엇이 우리의 훈련 이미지에 표시됩니다 데이터 세트는 전체로 구성됩니다

이미지 묶음과 그 각각에 대한 라벨은 개 이거 야, 아니면 지금이 고양이 야 우리는 그 훈련 데이터 세트를 취하고 우리는 통계 모델이라고 불리는 것을 가져 가라 또는 일반적으로 어떤 종류의 기계 모델을 학습하고 우리는 학습을받습니다 알고리즘에 대해 설명하고 이 과정에서 결합되었지만 결합되었을 때 모델을 훈련시키고 이것의 결과는 잘 훈련 된 모델입니다 그래서이 기차 모델은 배웠다

사이의 연관성에 대해 이미지와 라벨 개 또는 고양이 한 번 우리는 실제로 그것을 줄 수있는 훈련을했습니다 이 기차 모델은 절대로 이미지가 없다 전에 본적이 있고 그것을 만들 것입니다 예측은 개 또는 고양이이고 if 우리는 훌륭한 일을 해냈습니다 그 예측에 관해서는 오른쪽으로 그 얘기 나중에 더 이상 괜찮아

기억하는 것이 중요합니다 우리는 몇 가지 예를 이미지 또는 개 또는 고양이지만 많은 것이 많이 있습니다 세계에서 볼 수있는 문제 감독 학습 문제로 비디오 게임을하는 예 자동으로 노는 법 배우기 비디오 게임은 감독자의 예입니다 우리가 생각할 수있는 학습 문제 감독 학습 문제가 학습 중이다 및 현재 상태에서 매핑 내 비디오 게임 화면 다음 이동은 오른쪽으로 두어야한다

점프 또는 예를 들어 및 한 가지 방법으로 화재 그러한 모델은 한 학기에 훈련 받았다 당신이 듣게 될 것은 강화입니다 학습 강화 학습은 유형의 감독 학습 본질적으로 알고리즘은 많은 것을 수행한다 어떤 종류의 일련의 사건들과 이 이벤트 시퀀스는 긍정적이거나 부정적인 보상 실제로 그것이 어떻게 실행되는지를 이벤트 시퀀스를 최대화하기 위해 보상을 받으면 이것이 올 것이다 나중에 약간의 맥락에서 우리는 나중에 이야기 할 것이다

튜토리얼 감독자의 또 다른 예 학습 문제는 기계 번역이다 그래서 나는 너에게 영어로 문장을 줄지도 몰라 알고리즘을 배우고 싶을 수도 있습니다 이것을 문장으로 어떻게 번역 할 것인가? 스페인어는 전통적으로 감독자를위한 매우 어려운 과제 학습 및 기계 학습 알고리즘 그러나 나중에 우리는 또한 나중에 이야기 할 것입니다 실제로 많은 양의 최근에 한가지 성공 기계의 맥락에서 들릴지도 모른다

번역 및 유사한 작업 시퀀스 학습 시퀀스 학습 당신이 매핑하고있는 것을 의미합니다 from 또는 to는 긴 시퀀스입니다 예를 들어 언어와 같이 긴 단어 순서 또한 약관을 듣게됩니다 재발 성 신경 네트워크 및 사물 처럼 단기 기억 네트워크 LST M 's in 시퀀스 학습과 함께 이것들은 현재 신경 네트워크의 선생님들입니다 거기에 많은 언어 번역의 발전 최근에 실제로 마지막으로 내가 얘기 할거 예가 뭔가있어

추천 시스템처럼 그 노래 세트를 가져 가고 싶다 너는 어떤 종류의 음악을 들었다 듣고 새로운 노래를 제안해라 우리는 당신이 무엇을 기반으로 좋아할 것이라고 생각합니다 너는 아마 너 모두를 들었다

이 예제들에 익숙하다 실제로 놀라 울 정도로 잘 작동 할 수 있습니다 실제로 끝내는 것들을 추천합니다 좋아요 그래서 그것은 또 다른 예입니다

감독 학습 문제는 괜찮아요 그래서 내가 너에게 바라는 마지막 것 중 하나 기억하고 이것에서 벗어나십시오 튜토리얼은 많은 것들이있다 감시하고있는 알고리즘 여기서 볼 수있는 화면에서 배우십시오 최근에이 중 일부분 너는 신경에 ​​대해 많이 들었을지도 모른다

네트워크 또는 깊은 학습 실제로 신경망의 예 그 신경망을 기억해야합니다 기계의 한 예일 뿐이다 학습 알고리즘의 추진력 다른 사람들처럼 다른 사람들 알고리즘의 강점과 약점 그러나 우리는 또한 나중에 이야기 할 것이다 왜 그런지에 대한 몇 가지 이유에 대해 최근에는 다음 번에 그렇게 널리 퍼져있다 튜토리얼 나는 공간 또는 방법을 이해하는 기하학적 방법 기계 학습은 실제로 그것을 수행합니다

~하다

Machine Learning Fundamentals: The Confusion Matrix

혼란 스러울 때 걱정하지 마세요 StatQuest 여기 있습니다 StatQuest

안녕하세요, 저는 Josh Stormer이고 StatQuest에 오신 것을 환영합니다 오늘 우리는 기계 학습의 또 다른 기초를 다룰 것입니다 혼란의 매트릭스, 명확하게 설명 될 것입니다! 우리가이 의료 데이터를 가지고 있다고 상상해보십시오

우리는 몇 가지 임상적인 측정을했습니다 가슴 통증, 좋은 혈액 순환, 동맥 폐색 및 체중으로 우리는 그들에게 기계 학습 방법을 적용하고 싶습니다 누군가가 심장 질환을 일으킬 지 여부를 예측합니다

이렇게하기 위해 로지스틱 회귀 분석을 사용할 수 있습니다 또는 K-Nearest Neighbors (KNN) 또는 Random Forest 또는 다른 방법을 사용합니다 가능한 다양한 선택이 있습니다 그렇다면 어떤 데이터가 우리의 데이터에 가장 적합한 지 어떻게 결정합니까? 우리는 데이터를 교육 및 테스트 세트로 분할하여 시작했습니다 참고 : 이는 교차 유효성 검사를 사용할 수있는 좋은 기회입니다 용어에 익숙하지 않은 경우 StatQuest를 확인하십시오 그런 다음, 트레이닝 세트 (교육 사진 데이터 집합)를 사용하여, 우리는 우리가 관심이있는 모든 방법을 훈련 그리고 나서 우리는 테스트 세트 (Testing Dataset)로 각 메소드를 테스트합니다

이제 우리는 테스트 세트와 비교할 때 각 방법이 어떻게 나왔는지 확인할 필요가 있습니다 이를 수행하는 한 가지 방법은 각 방법에 대한 혼동 매트릭스를 만드는 것입니다 혼란 행렬의 선은 기계 학습 알고리즘의 예측과 일치합니다 그리고 칼럼은 진리 (참조)로 취해진 것에 대응합니다 선택할 수있는 카테고리는 두 가지뿐입니다

"심장병"또는 "심장병이 없음" 그러면 왼쪽 위 모서리에는 참 긍정 (True Positives : TP)이 포함됩니다 이들은 심장병을 앓고 있고 알고리즘에 의해 정확하게 식별 된 환자입니다 True Negatives (TN)는 오른쪽 하단에 있습니다 이들은 심장병이 없었고 알고리즘에 의해 정확하게 확인 된 환자들입니다

왼쪽 하단 모서리에는 False Negatives (FN)가 포함되어 있습니다 환자가 심장병에 걸렸을 때 가짜가 발생하지만 알고리즘은 그렇지 않다고 말했습니다 마지막으로, 오른쪽 위 모서리에는 거짓 긍정이 포함되어 있습니다 거짓 긍정 (false positive)은 심장병이없는 환자들이지만, 알고리즘은 그것들을 가지고있는 것으로 분류했다 예를 들어 무작위 포리스트를 테스트 데이터에 적용하면 심장 혈관 질환이있는 환자가 정확하게 분류 된 142 명의 참 긍정 환자가있었습니다

그리고 110 개의 참된 원판, 정확하게 분류 된 심장 질환이없는 환자 그러나, 알고리즘은 잘못 "아니 심장 질환"을 표시했다 "심장 질환,와"29 명의 환자를 분류 위조 방지제입니다 그리고 알고리즘은 잘못 심장병을 앓지 않은 22 명의 환자를 분류했습니다 그들이 가지고 있다고 말했습니다

이들은 거짓 긍정 (FP)입니다 대각선 (녹색 상자)에있는 숫자는 얼마나 많은 샘플이 올바르게 분류되었는지 알려줍니다 대각선이 아닌 숫자 (빨간색 상자)는 알고리즘에 의해 잘못 분류 된 샘플입니다 이제 랜덤 포레스트의 혼란 매트릭스를 비교할 수 있습니다 K 개의 최근 접 이웃 (KNN)을 사용하는 경우 매트릭스 얻어진 혼란

K-가장 가까운 이웃은 "심장 질환 '환자 예측에 임의의 숲보다 더 있었다 107에 대하여 142 심장병이없는 환자를 예측할 때 악화된다

79에 대하여 110 그래서 랜덤 포레스트 (Random Forests) 또는 K- 이웃 네이버 (K-Nearest Neighbors) 중 하나를 선택해야한다면 우리는 임의의 숲을 선택할 것입니다 보여줘 !!!! 마지막으로 Logistic Regression을 Test Dataset에 적용하고 혼란의 행렬을 만들 수 있습니다 혼란의 두 행렬은 매우 유사합니다

이 데이터에 가장 적합한 기계 학습 방법을 선택하기 어렵게 만듭니다 우리는 민감성, 특이성, ROC 및 AOC와 같은보다 정교한 측정 기준에 대해 이야기 할 것입니다 다음 StatQuests에서 결정을 내리는 데 도움이 될 수 있습니다 이제 혼란의 기본 Matrix를 이해 했으므로 더 복잡한 행렬을 살펴 보겠습니다 다음은 새로운 데이터 세트입니다

이제 질문은 사람들이이 영화에 대해 생각하는 것을 기반으로합니다 당신의 아내에 대한 실행 쥬라기 공원 3, KOLD 아웃 하워드 오리 (K 철자) 좋아하는 영화를 예측하는 기계 학습 방법을 사용할 수 있습니까? 좋아하는 영화의 유일한 옵션이 Troll 2, Gore Police 또는 Cool As Ice 인 경우

그런 다음 혼란 행렬에는 3 행 3 열이 있습니다 그러나 전에와 마찬가지로 대각선 (녹색 상자)은 학습 알고리즘이 올바른 선택을 한 곳입니다 그리고 나머지는 알고리즘이 잘못 된 부분입니다 이 경우, 기계 학습 알고리즘은 잘 진행되지 않았습니다 하지만 당신이 그것을 비난 할 수 있습니까 ??? 이 영화들은 모두 끔찍합니다

쇼 !!! 마지막으로, 혼돈 행렬의 크기는 우리가 예측하고자하는 (레이블 / 정렬) 수의 수에 의해 결정됩니다 첫 번째 예에서 우리는 누군가 심장 질환을 앓고 있든 없든 두 가지를 예측하려고했습니다 그리고 이것은 우리에게 2 행 2 열의 혼란의 행렬을주었습니다 두 번째 예에서는 선택할 수있는 세 가지 옵션이 있습니다 그리고 3 행 3 열의 혼란 행렬 우리가 선택할 수있는 네 가지 옵션이 있다면, 우리는 4 행 4 열의 배열을 얻을 것이다 40 개의 옵션을 선택할 수 있다면 40 행 40 열의 혼란 행렬을 얻을 수 있습니다 볼쇼! 간단히 말해서, 혼란 행렬은 기계 학습 알고리즘이 올바른 것을 알려줍니다 그리고 그가 뭘 잘못했는지

와우 !!! 우리는 또 다른 우수한 StatQuest의 끝 부분에 도달했습니다 이 StatQuest를 좋아하고 더 많은 것을보고 싶다면 가입하십시오! 그리고 당신이 StatQuest를 지원하기를 원한다면, 내 원래 노래 중 하나 또는 두 개를 사려고하는 것이 좋습니다

그게 다야 다음에 또 봐!