Machine Learning Complete Elite Course (projects with python included) | Beginner to Expert | CF

(자막 자동 생성)이 과정에서 Python을 사용한 기계 학습에 오신 것을 환영합니다 머신 러닝이 많은 주요 분야와 산업에서 어떻게 사용되는지 의료 산업 데이터 과학자들은 머신 러닝을 사용하여 암 발병 위험이 있다고 여겨지는 인간 세포는 기계 학습과 같은 양성 또는 악성은 당신이 또한 배울 사람의 건강과 복지를 결정 의사 결정 트리의 가치와 역사적으로 좋은 의사 결정 트리를 구축하는 방법 데이터는 의사가 각각의 적절한 약을 처방하는 데 도움이됩니다 은행원이 머신 러닝을 사용하여 의사 결정을 내리는 방법을 배우는 환자 대출 신청 승인 여부와 기계 사용 방법 배우기 일반적이지 않은 은행 고객 세분화 학습 이 과정에서 방대한 양의 데이터를 쉽게 실행할 수 있습니다

머신 러닝은 YouTube Amazon 또는 Netflix와 같은 웹 사이트 개발을 돕습니다 고객에게 다양한 제품 또는 서비스에 대한 권장 사항 관심있는 영화 나 구입할 책 머신 러닝으로 할 수있는 일이 너무 많아서 사용법을 배울 수 있습니다 자동차를 예로 들어 모델을 빌드하는 인기있는 Python 라이브러리 데이터 세트 scikit-learn 라이브러리를 사용하여 이산화탄소 배출량을 추정 할 수 있습니다 엔진 크기 나 실린더를 사용하는 자동차는 이산화탄소 배출량은 아직 생산되지 않은 자동차에 대한 것이며 우리는 통신 산업이 고객 이탈을 어떻게 예측할 수 있는지 확인 안녕하세요,이 비디오에 오신 것을 환영합니다 머신 러닝을 시작하겠습니다 이것은 추출 된 인간 세포 샘플입니다

이 세포는 환자의 덩어리와 같은 특성을 가지고 있습니다 두께는 6이며, 셀 크기의 균일 성은 1이며, 한계 접착력은 1이며 이 시점에서 우리가 물을 수있는 흥미로운 질문 중 하나는 양성 종양과 대조적으로 양성 또는 악성 세포 악성 종양은 주변 조직을 침범하거나 신체에 퍼질 수있는 종양 조기 진단은 환자의 생존을위한 열쇠 일 수 있습니다 수년간의 경험을 가진 의사 만이 그 종양을 진단 할 수 있다고 추정 환자가 암을 앓고 있는지 또는 옳지 않다고 말하면 수천 명의 인간 특성을 포함하는 데이터 세트를 얻었습니다 의 위험이 있다고 여겨지는 환자로부터 추출한 세포 샘플 원래 데이터의 암 분석을 개발하면 양성 샘플과 악성 샘플의 특성이 크게 다름 다른 세포의 샘플에서 이러한 세포 특성의 값을 사용할 수 있습니다 새로운 샘플이 양성인지 또는 악성 데이터를 정리해야합니다 예측 모델을 만들고 모델을 훈련시켜 양성 또는 모델을 통해 학습 한 후 데이터 내 악성 세포 반복적으로 데이터를 사용하여 새 셀 또는 알 수없는 셀을 예측하는 데 사용할 수 있습니다 오히려 높은 정확도 이것은 기계 학습입니다

학습 모델은 의사의 업무를 수행하거나 최소한 의사가 프로세스가 빨라졌습니다 이제 머신 러닝 머신에 대한 공식적인 정의를 드리겠습니다 학습은 컴퓨터에 능력을 부여하는 컴퓨터 과학의 하위 분야입니다 명시 적으로 프로그래밍하지 않고 배우기 위해 내가 의미하는 바를 설명하겠습니다 명시 적으로 프로그래밍하지 않고 말할 때 데이터가 있다고 가정합니다 고양이와 개와 같은 동물의 이미지 세트 그리고 당신은 소프트웨어를 갖고 싶어 또는 가장 먼저 인식하고 차별화 할 수있는 응용 프로그램 여기서해야 할 것은 이미지를 일련의 기능 세트로 해석하는 것입니다 예를 들어 이미지는 동물의 눈을 보여줍니다

기계에 날개가있는 다리는 몇 개입니까? 각 이미지를 학습하면 기능의 벡터로 변환됩니다 전통적으로 우리는 몇 가지 규칙이나 방법을 써야했습니다 컴퓨터가 지능적이며 동물을 감지하지만 실패한 이유 뿐만 아니라 전류에 크게 의존하는 많은 규칙이 필요하다고 추측 할 수 있습니다 표본이없는 경우를 탐지하기에 충분히 일반화되지 않은 데이터 세트 기계 학습은 기계 학습을 사용하여 현장에 들어갔습니다 모든 기능 세트와 해당 유형의 동물을 보는 모델 기계 학습에 의해 만들어진 모델 인 각 동물의 패턴을 배웁니다 본질적으로 프로그래밍하도록 명시 적으로 프로그래밍하지 않고 텍스트로 알고리즘 기계 학습은 4 살짜리 아이가 사용하는 것과 동일한 과정을 따릅니다

기계 학습 알고리즘을 이해하고 동물을 배우는 데이터로부터 반복적으로 학습 된 인간 학습 과정에서 영감을 얻어 컴퓨터가 숨은 통찰력을 찾아이 모델이 다양한 작업에 도움을줍니다 기계에 대한 객체 인식 요약 권장 사항 등 여기에 아주 영향력있는 방식으로 영향 사회를 배웁니다 먼저 Netflix와 Amazon이 비디오 영화를 추천한다고 생각하십니까? TV는 사용자에게 머신 러닝을 사용하여 친구가 텔레비전을 추천하는 방법과 비슷합니다 당신이보고 싶어하는 쇼의 종류에 대한 지식을 바탕으로 은행이 사용하는 대출 신청을 승인 할 때 은행이 결정을 내린다고 생각하십니까? 각각의 기본 확률을 예측하는 기계 학습 신청자에 근거하여 대출 신청을 승인 또는 거부 확률 통신 회사는 고객 인구 통계 데이터를 고객을 분류하거나 다음에 회사에서 탈퇴 할 것인지 예측 우리가 보는 모든 머신 러닝 응용 프로그램은 여러 달 있습니다 채팅 BOTS와 같은 일상 생활에서 전화 또는 컴퓨터에 로그인 얼굴 인식을 사용하는 게임은 각각 다른 기계를 사용합니다 학습 기술과 알고리즘을 통해 회귀 추정 기법이 사용되는 인기있는 기법 가격과 같은 것들을 예측하는 것과 같은 지속적인 가치 예측 그의 특성에 기초한 집의 또는 자동차 엔진 분류 기술은 클래스를 예측하는 데 사용되거나 예를 들어, 세포가 양성인지 악성인지의 여부 예를 들어 고객이 유사한 사례의 클러스터링 그룹을 이탈 할 수 있습니다 유사한 환자 또는 은행에서 고객 세분화에 사용될 수 있습니다 현장 협회 기술은 종종 항목이나 이벤트를 찾는 데 사용됩니다 예를 들어 식료품류 품목과 같은 공동 발생 일반적으로 특정 고객 이상 탐지에 의해 함께 구입하는 데 사용됩니다 신용 카드 사기 등에 사용되는 비정상적이고 비정상적인 사례 발견 탐지 시퀀스 마이닝은 예측에 사용됩니다 클릭 스트림 및 웹 사이트의 크기 축소와 같은 다음 이벤트 데이터의 크기를 줄이고 마지막으로 추천 시스템을 취향이 비슷한 다른 사람들과 사람들의 선호도를 연관시키고 책이나 영화 등 새로운 아이템을 추천합니다

이 시점에서 다음 비디오에서 이러한 기술은 확실히이 질문 확신합니다 이 유행어의 차이점은 무엇입니까? 우리는 인공 지능이나 AI 기계와 같은 요즘 계속 듣고 있습니다 학습과 딥 러닝의 차이점을 설명하겠습니다 AI는 컴퓨터를 지능적으로 만들어서 인공 지능은 일반적인 인간의인지 기능 컴퓨터 비전 언어 처리를 포함한 광범위한 분야 창의성과 요약 머신 러닝은 인공 지능의 한 분야입니다 인공 지능의 통계적 부분은 컴퓨터에게 수백 또는 수천 개의 예제를 통해 문제를 해결 그런 경험을 이용해 새로운 상황에서 같은 문제를 해결하고 딥 러닝은 컴퓨터가 할 수있는 매우 특별한 머신 러닝 분야입니다 실제로 자신의 딥 러닝에서 지능적으로 결정하고 학습합니다

대부분의 머신 러닝과 비교하여 더 높은 수준의 자동화가 필요합니다 머신 러닝 입문을 마쳤으니 이제 알고리즘 다음 비디오는 먼저 두 가지 주요 구성 요소를 검토하는 데 중점을 둡니다 머신 러닝의 목적과 가능한 위치에 대해 배우게됩니다 실제 세계에 적용되며 두 번째로 기계에 대한 일반적인 개요를 얻을 수 있습니다 지도 학습과 비지도 학습 모델과 같은 학습 주제 평가 및 다양한 머신 러닝 알고리즘으로 이 여행에 저장되어있는 것들에 대한 우리의 면도를 계속 탐구합시다 이 비디오에서 안녕하세요를 배우고 환영합니다 파이썬을 사용하는 방법에 대해 이야기하겠습니다

머신 러닝 시작하자 파이썬은 대중적이고 강력하다 최근에 선호로 등장한 범용 프로그래밍 언어 데이터 과학자들 사이의 언어로 머신 러닝 알고리즘을 작성할 수 있습니다 파이썬을 사용하면 잘 작동하지만 많은 모듈이 있으며 파이썬으로 이미 구현 된 라이브러리로 인생을 훨씬 쉽게 만들 수 있습니다 우리는이 과정에서 파이썬 패키지를 소개하고 실험실에서 그것을 사용하려고합니다 더 나은 실습 경험을 제공 첫 번째 패키지는 수학입니다 파이썬에서 n 차원 배열로 작업 할 수있는 라이브러리 효율적이고 효과적으로 계산하는 것은 일반 파이썬보다 낫습니다 예를 들어 배열 사전 작업을위한 놀라운 기능 numpy SCI PI에 대해 알아야 할 데이터 유형 및 이미지 작업 수치 알고리즘 및 도메인 별 도구 상자 모음 신호 처리 최적화 통계 등 SCI pi는 과학 및 고성능 계산을위한 훌륭한 라이브러리입니다 matplotlib는 2D 플로팅을 제공하는 매우 인기있는 플로팅 패키지입니다

이 3 가지 패키지에 대한 기본 지식도 파이썬 위에 구축 된 것은 일하고 싶은 데이터 과학자들에게 좋은 자산입니다 이 패키지에 익숙하지 않은 경우 실제 문제가 발생합니다 파이썬 코스를 사용하여 데이터 분석을 먼저 수행해야합니다 이 패키지에서 유용한 주제의 대부분은 팬더 라이브러리입니다 사용하기 쉬운 고성능 데이터를 제공하는 고급 Python 라이브러리 데이터 가져 오기 조작 및 분석을위한 많은 기능이있는 구조 특히 조작을위한 데이터 구조 및 작업을 제공합니다 숫자 표와 시계열 scikit-learn은 기계 학습을위한 알고리즘 및 도구 이 과정에서 scikit-learn을 사용하는 방법을 배우게됩니다

실습에서 상당히 조금 더 설명하고 보여 드리겠습니다 데이터 과학자들 사이에서 인기가 높은 이유 scikit-learn은 무료입니다 파이썬 프로그래밍 언어를위한 머신 러닝 라이브러리 분류 회귀 및 클러스터링 알고리즘으로 작동하도록 설계되었습니다 파이썬 숫자 및 과학 라이브러리 numpy 및 Sai 파이프도 머신 러닝 구현 위에 매우 훌륭한 문서를 포함 scikit-learn이있는 모델은 머신에서 수행해야 할 대부분의 작업을 Python 코드 라인 학습 파이프 라인은 이미 키트 학습 내부에 구현되어 있습니다 데이터 특징 선택 특징 추출의 전처리 모델 조정 알고리즘을 정의하는 훈련 테스트 분할 매개 변수 예측 평가 및 내보내기 모델을 통해 이 라이브러리를 사용할 때 scikit-learn이 어떻게 보이는지의 예 지금 코드를 이해할 필요는 없지만 얼마나 쉽게 할 수 있는지 확인하십시오 기본적으로 머신 러닝으로 몇 줄의 코드로 모델 구축 알고리즘은 데이터 세트가 표준화 된 경우 데이터 세트의 특이 치 또는 다른 스케일 필드를 수정해야합니다

scikit-learn의 전처리 패키지는 몇 가지 일반적인 유틸리티를 제공합니다 원시 피처 벡터를로 변환하는 함수 및 변환기 클래스 모델링에 적합한 형태의 벡터는 데이터 세트를 기차로 분할해야합니다 모델을 훈련시킨 다음 모델 정확도를 개별적으로 테스트하기위한 테스트 세트 scikit-learn은 배열 또는 행렬을 임의의 기차 및 테스트로 나눌 수 있습니다 한 줄의 코드로 당신을 위해 하위 집합을 설정하면 예를 들어 지원 벡터 분류를 사용하여 분류기를 만들 수 있습니다 알고리즘 우리는 추정기 인스턴스 CLF를 호출하고 매개 변수로 초기화합니다 훈련 세트를 적합하게 전달하여 기차 세트로 모델을 훈련시킬 수 있습니다 CLF 모델이 알려지지 않은 사례를 분류하는 방법을 배우면 테스트를 사용할 수 있습니다 예측을 실행하도록 설정하고 결과는 각 미지의 클래스가 무엇인지 알려줍니다 또한 다른 측정 항목을 사용하여 모델 정확도를 평가할 수 있습니다 예를 들어 혼란 매트릭스를 사용하여 결과를 표시하고 마지막으로 저장하면 모델에서 이러한 머신 러닝 용어 전체 또는 일부를 혼동 할 수 있습니다 다음 동영상에서 이러한 주제에 대해 이야기 할 것입니다

기억해야 할 가장 중요한 점은 기계 학습의 전체 프로세스가 scikit-learn을 사용하여 몇 줄의 코드로 간단하게 작업을 수행 할 수 있습니다 당신이 원한다면 그것은 쉽지 않을 것입니다 것을 유의하십시오 numpy 또는 side PI 패키지를 사용 하여이 모든 작업을 수행하고 물론 많은 것을 필요로합니다 순수한 파이썬 프로그래밍을 사용하여 이러한 모든 것을 구현하면 더 많은 코딩 이 비디오에서 우리는 감독 된 알고리즘을 소개합니다 감독되지 않은 알고리즘과 비교하여 시작하는 쉬운 방법을 시작하겠습니다 지도 학습의 개념을 파악하는 것은 그것을 감독하는 단어는 실행을 관찰하고 지시하는 것을 의미합니다

작업 프로젝트 또는 활동은 분명히 사람을 감독하지 않을 것입니다 대신에 우리는 가능한 기계 학습 모델을 감독 할 것입니다 여기에서 볼 수있는 것과 같이 분류 영역을 생성하므로 기계 학습 모델 우리는 우리가 미래 사례를 예측할 수 있도록 지식을 갖춘 모델 우리가 가르치는 모델을 정확히 어떻게 가르치는가하는 다음 질문으로 이어집니다 레이블 데이터 세트의 일부 데이터로 학습하여 모델링해야합니다 데이터에 레이블이 지정되어 있고 레이블 데이터 세트의 모양이 이 예제는 암 데이터 세트에서 가져온 것입니다 환자에 대한 과거 데이터가 있고 클래스를 이미 알고 있습니다 이 표의 일부 구성 요소를 소개하여 시작하겠습니다

세포 크기 균일 성의 클럽 두께 균일 성이라고 불리는 셀 모양의 한계 접착력 등을 열이라고하는 속성이라고합니다 이 데이터를 플로팅하고 단일 데이터 포인트가 적용되지 않으면 다음과 같은 속성이 모두 적용됩니다 이 차트에서 행을 만들어 관측치라고도 함 데이터의 가치에서 직접 두 종류를 가질 수 있습니다 기계 학습을 다룰 때 가장 일반적으로 사용되는 데이터는 숫자 두 번째는 범주 형입니다 즉 숫자가 아닙니다

이 경우 숫자가 아닌 문자입니다 분류를 위해 설정됩니다 감독 학습의 두 가지 유형이 있습니다 그들이 분류하는 기술과 침략 분류는 과정이다 이산 클래스 레이블 또는 범주 회귀를 예측하는 과정은 다음과 같습니다 범주 형 값을 예측하는 대신 연속 값을 예측하는 분류이 데이터 세트를 보면 다른 CO2 배출과 관련이 있습니다 자동차에는 엔진 크기의 실린더 연료 소비 및 이산화탄소 배출이 포함됩니다 이 데이터 세트가 제공된 다양한 자동차 모델에서 회귀를 사용하여 엔진 크기와 같은 다른 분야를 사용하여 새 차의 이산화탄소 배출량 예측 지도 학습의 의미를 알고 있기 때문에 실린더 수 비지도 학습이 필요하다고 생각합니다 비지도 학습은 모델을 감독하지는 않지만 우리는 모델 자체가 작동하지 않을 수도있는 정보를 발견하게했습니다

사람이 볼 수 있습니다 안녕하세요, 감독되지 않은 알고리즘은 데이터 세트 및 일반적으로 말하는 레이블이없는 데이터에 대한 결론 도출 비지도 학습은지도 학습보다 더 어려운 알고리즘을 가지고 있습니다 데이터 나 결과에 대한 정보가 거의 없거나 전혀 없기 때문에 치수 축소 밀도 추정 예상 시장 바구니 가장 널리 사용되는 비 감독 시스템 인 분석 및 클러스터링 학습 기법 차원 축소 및 / 또는 기능 선택 플레이 중복 기능을 줄여서 분류가 용이 한 시장 바구니 분석은 모델링 기술 기반 특정 품목 그룹을 구매하면 다른 그룹의 항목 밀도를 구입할 가능성이 매우 간단합니다 데이터를 탐색하여 내부에서 일부 구조를 찾는 데 주로 사용되는 개념 클러스터링 클러스터링은 가장 인기있는 것으로 간주됩니다 데이터 포인트 또는 객체를 그룹화하는 데 사용되는 감독되지 않은 기계 학습 기술 비슷한 클러스터 분석에 많은 응용 프로그램이 있습니다 고객을 세분화하려는 은행의 요구 여부에 따라 다른 영역 특정 특성 또는 개인이 자신을 조직하고 그룹화하도록 돕는 클러스터링이 사용되지만 일반적으로 말하는 그녀가 좋아하는 음악 주로 구조 요약 및 이상 감지를 발견하기 위해 수프의 가장 큰 차이점을 요약 비지도 학습은지도 학습이 라벨을 다루는 것입니다 비지도 학습은 비지도 데이터를 관리하는 동안 우리는 분류를위한 기계 학습 알고리즘을 가지고 있으며 비지도 학습의 회귀 분석에는 클러스터링과 같은 방법이 있습니다 지도 학습과 비교 비지도 학습은 모델이 적습니다

보다 적은 평가 방법으로 결과를 보장 할 수 있습니다 이러한 비지도 학습이 통제력이 떨어짐에 따라 모델이 정확함 기계가 우리를 위해 결과를 창조함에 따라 환경 이 비디오에서는 회귀에 대한 간단한 소개를하겠습니다 이 데이터 세트를 살펴보면 다른 이산화탄소 배출량과 관련이 있습니다 자동차 엔진 크기의 실린더 연료 소비 및 이산화탄소 포함 다양한 자동차 모델에서 방출되는이 데이터 세트는 엔진 크기와 같은 다른 분야를 사용하여 자동차의 이산화탄소 배출을 예측합니다 또는 실린더는 우리가 다른 자동차의 과거 데이터를 가지고 있다고 가정 해 봅시다 9 행과 같은 자동차는 아직 제조되지 않았지만 생산 후의 대략적인 CO2 배출량 추정에 관심이있는 경우 가능한 회귀 방법을 사용하여 다음과 같은 연속적인 값을 예측할 수 있습니다

다른 변수를 사용한 이산화탄소 배출량 실제로 회귀 분석은 회귀의 연속 값을 예측하는 데는 두 가지 유형이 있습니다 종속 변수와 하나 이상의 독립 변수 종속 변수는 우리가 연구하고있는 주 목표 또는 최종 목표로 볼 수 있습니다 예측을 시도하고 설명이라고도하는 독립 변수 변수는 독립 변수가 그 상태의 원인으로 볼 수 있습니다 일반적으로 X로 표시되고 종속 변수는 Y로 표시됩니다 회귀 모델은 Y 또는 종속 변수를 X의 함수와 관련시킵니다 회귀 분석의 핵심은 독립 변수입니다

우리의 종속 가치는 연속적이어야하지만 이산 가치는 될 수 없습니다 독립 변수는 범주 형으로 측정 할 수 있습니다 또는 지속적인 측정 척도이므로 여기에서하고 싶은 것은 하나 이상의 기능을 사용하는 일부 카드의 과거 데이터 데이터는 회귀 분석 모델을 구축하기 위해 회귀를 사용하는 모델을 만듭니다 이 모델은 새로운 또는 알 수없는 자동차 기본적으로 두 가지 유형의 회귀 모델이 있습니다 회귀 및 다중 회귀 단순 회귀는 하나 일 때 독립 변수는 종속 변수를 추정하는 데 사용됩니다 예를 들어 이산화탄소 방출을 예측하는 선형 또는 비선형 엔진 크기 선형성 회귀 변수를 사용하는 것은 독립 변수와 종속 변수 사이의 관계 특성 둘 이상의 독립 변수가 존재하는 경우 프로세스를 다중이라고합니다 예를 들어 엔진 크기를 사용하여 이산화탄소 배출을 예측하는 선형 회귀 주어진 차에서 다시 실린더의 수 사이의 관계에 따라 종속 및 독립 변수는 선형 또는 비선형 일 수 있습니다 회귀 분석 기본적으로 회귀 분석의 일부 샘플 응용을 살펴 보겠습니다 예를 들어 연속적인 값을 추정 할 때 회귀를 사용합니다

회귀 분석의 응용 프로그램 중 하나는 판매 영역에있을 수 있습니다 연간 총 매출을 예측할 수 있습니다 연령 교육 및 수년간의 경험과 같은 독립적 인 변수 예를 들어 개인을 결정하기 위해 심리학 분야에서 사용 우리가 사용할 수있는 인구 통계 학적 및 심리적 요소에 따른 만족도 크기를 기준으로 한 지역의 주택 가격을 예측하는 회귀 분석 침실 수 등을 사용하여 고용 소득을 예측할 수도 있습니다 근로 시간 직업 직업 성 연령과 같은 독립 변수 실제로 경험의 유용성에 대한 많은 예를 찾을 수 있습니다 이 분야 및 기타 여러 분야의 회귀 분석 또는 금융 의료 소매 등의 영역 우리는 많은 회귀 알고리즘을 가지고 있습니다

그들의 적용이 가장 적합한 특정 조건 우리는이 과정에서 그 중 몇 개만 다뤘습니다 다른 회귀 기술을 탐색 할 수있는 지식 이 비디오에서 우리는 선형 회귀를 다룰 것입니다 이 높은 수준의 선형 회귀 주제를 이해하는 선형 대수 소개는 선형에 대한 충분한 배경 ​​정보를 제공합니다 자신의 문제에 효과적으로 사용할 수있는 회귀 시작합시다 이산화탄소와 관련된이 데이터 세트를 살펴 보겠습니다 엔진 크기의 실린더 연료 소비를 포함하는 다른 자동차의 배출 다양한 자동차 모델에 대한 CO2 배출량 엔진 크기와 같은 다른 필드를 사용하여 자동차의 이산화탄소 배출을 예측합니다 아주 간단하게 그렇습니다 선형 회귀를 사용하여 연속 값을 예측할 수 있습니다 다른 변수를 사용하여 이산화탄소 방출과 같은 선형 회귀는 둘 사이의 관계를 설명하는 데 사용되는 선형 모형의 근사 간단한 선형 회귀 분석에 더 많은 변수가 있습니다 종속 변수와 독립 변수 회귀는 종속 값이 지속적이어야하며 이산 값이지만 독립 변수는 범주 형 또는 연속 측정 스케일에는 두 가지 유형의 선형이 있습니다 회귀 모형은 단순 회귀 및 다중 회귀입니다

간단한 선형 회귀는 하나의 독립 변수를 사용하여 추정하는 경우입니다 예를 들어 엔진을 사용하여 이산화탄소 배출을 예측하는 종속 변수 하나 이상의 독립 변수가 존재하는 경우 크기 변수 예를 들어 CO2 예측과 같은 프로세스를 다중 선형 회귀 분석이라고합니다 이 비디오에서 우리의 초점은 자동차의 엔진 크기와 실린더를 사용하여 배출 간단한 선형 회귀 분석 이제 선형 회귀가 어떻게 작동하는지 봅시다 선형 회귀를 이해하기 위해 데이터 세트를 다시 살펴 보겠습니다 여기서 변수는 엔진 크기를 독립 변수로 보여줍니다 산점도를 예측하고자하는 목표 값으로서의 임무 하나의 변수가 변경되는 변수 간의 관계를 명확하게 보여줍니다

다른 변수를 설명하거나 변경했을 수도 있습니다 이 변수는 선형 회귀와 선형으로 관련되어 있습니다 예를 들어 엔진 크기가 증가함에 따라 데이터를 통해 라인을 맞추십시오 선형 회귀 분석을 통해 배출량의 관계를 모델링 할 수 있습니다 좋은 모델을 사용하여 대략적인 방출량을 예측할 수 있습니다

각 자동차는 어떻게 우리가 예측을 위해이 라인을 사용합니까? 선이 데이터에 잘 맞는 순간을 사용하여 데이터를 예측할 수 있습니다 예를 들어 엔진 크기가 24 인 샘플 자동차의 경우 알려지지 않은 자동차 배기 배출량이 214임을 알 수 있습니다 이제 피팅 라인에 대해 이야기하겠습니다 실제로 우리는이 경우 목표 값 Y를 예측할 것입니다

X 1로 표시되는 독립 가변 엔진 크기 맞춤 선이 표시됨 전통적으로 단순한 회귀 문제에서 다항식으로 단일 X 이 식에서 모형의 형태는 세타 0 + 세타 1 X 1입니다 종속 변수 또는 예측값이며 X 1은 독립 변수 세타 0과 세타 1은 우리가 해야하는 라인의 매개 변수입니다 세타 1을 조정하면 피팅 선의 기울기 또는 그라디언트로 알려져 있으며 세타 0 절편 theta 0으로 알려져 있고 theta 1은 계수라고도합니다 선형 방정식 중이 방정식을 함수로 해석 할 수 있습니다 X 1 또는 Y 모자 중 X 1에 종속되어 있습니다 이제 질문은 어떻게 그릴 것입니까? 점을 통과하는 선과 가장 적합한 선을 결정하는 방법 회귀는 선의 계수를 추정합니다

theta 0과 theta 1은이 줄에 맞는 데이터에 가장 적합한 줄을 찾습니다 알려지지 않은 데이터 포인트의 승인을 가장 잘 추정하는 방법 이 줄을 찾거나 매개 변수를 조정하여 잠시 동안 데이터에 가장 잘 맞는 라인을 찾아 보자 가장 적합한 선은 이제 모든 요점을 살펴보고 이 라인에 가장 잘 맞는 라인을 확인하십시오 예를 들어 엔진 크기가 x1 인 자동차는 54이고 실제 이산화탄소는 250입니다 이산화탄소는 y가 250 인 실제 값에 매우 가깝게 예측되어야합니다

과거 데이터를 기반으로하지만 적합 선을 사용하거나 알려진 CO2 배출량을 예측하기 위해 알려진 매개 변수가있는 다항식 차의 실제 입장료를 비교하면 y 모자는 340이됩니다 모델을 사용하여 예측 한 내용을 통해 90 단위 오류는 예측 선이 정확하지 않음을 의미합니다 오차는 잔차 오차라고도하는데, 오차가 거리라고 말할 수 있습니다 데이터 포인트에서 적합 회귀선까지 모든 잔차의 평균 오류는 라인이 수학적으로 전체 데이터 세트에 얼마나 잘 맞지 않는지를 보여줍니다 그것은 우리의 목표 MSE로 표시된 방정식 평균 제곱 오차로 표시 될 수 있습니다 이 모든 오류의 평균이 최소화되는 라인을 찾는 것입니다 적합 선을 사용한 예측의 평균 오차를 최소화해야합니다 선형 회귀의 목표는 기술적으로 더 기술하자 이 MSE 방정식을 최소화하고 최소화하려면 최선을 찾아야합니다 매개 변수 theta0 및 theta1 이제 질문은 theta 0을 찾는 방법입니다 이 오류를 최소화하는 방식으로 세타 1을 어떻게 찾습니까? 완벽한 라인 또는 다른 방법으로 최적의 매개 변수를 찾는 방법을 설정하십시오

선을 무작위로 많이 움직여서 MSE 값을 계산해야합니다 매번 최소 한 개를 선택하십시오 실제로 실제로는 두 가지 옵션이 있습니다 여기 옵션 1은 수학 접근법을 사용할 수 있고 옵션 2는 최적화 접근법을 통해 수학 공식을 쉽게 사용할 수있는 방법을 알아 보겠습니다 세타 0과 세타 1 앞에서 언급 한 세타 0과 세타 1을 찾습니다 간단한 선형 회귀는 우리가 사용할 수있는 적합 선의 계수입니다 주어진 계수를 추정하는 간단한 방정식 두 개의 매개 변수 만 있고 간단한 선형 회귀 세타 0과 세타 1은 우리가 할 수있는 선의 절편과 기울기입니다 데이터에서 직접 추정하여 평균을 계산해야합니다

데이터 세트의 독립 및 종속 또는 대상 열은 매개 변수를 순회하고 계산할 수있는 모든 데이터가 있어야합니다 인터셉트와 슬로프는 다음을 사용하여 계산할 수 있습니다 세타 1의 값을 추정하여 시작할 수있는 방정식입니다 데이터를 기반으로 선의 기울기를 찾을 수 있습니다 X 막대는 평균값입니다

데이터 세트의 엔진 크기는 9 행이 있습니다 0에서 8까지 먼저 x1의 평균과 Y의 평균을 계산 한 다음 방정식에서 쎄타 1 X I 및 yi를 구하는 기울기 방정식은 우리는 우리의 모든 값에 대해 이러한 계산을 반복해야한다는 사실 데이터 세트와 I는 찾은 모든 값을 적용하는 X 또는 Y의 eyuth 값을 나타냅니다 세타 1은 39와 같습니다 두 번째 매개 변수입니다 선의 절편 인 첫 번째 매개 변수는 세타 1을 세타 0을 구하는 선 방정식 세타 0이 같다는 것을 쉽게 계산할 수 있습니다

125 point seven four 그래서 이것은 세타가있는 선의 두 매개 변수입니다 0은 바이어스 계수라고도하며 theta 1은 CO2 배출 컬럼은 실제로 기억할 필요가 없습니다 이러한 매개 변수를 계산하는 데 사용되는 대부분의 라이브러리 python r과 scala의 기계 학습은 이러한 매개 변수를 쉽게 찾을 수 있습니다 하지만 이제 어떻게 작동하는지 이해하는 것이 좋습니다 다항식으로 데이터에 가장 적합한 것을 찾는 방법을 알 수 있습니다 이제 방정식은 새로운 방출을 예측하기 위해 어떻게 사용할 수 있는가입니다

우리는 선형의 매개 변수를 찾은 후 엔진 크기를 기반으로 자동차 방정식 만들기 예측은 특정 방정식을 해결하는 것처럼 간단합니다 일련의 입력은 엔진 크기 또는 X에서 이산화탄소 배출 또는 Y를 예측한다고 상상해보십시오 9 번 자동차의 선형 회귀 모델 이 문제에 대한 표현은 y 모자가 theta 0 + theta 1 x1과 같거나 데이터 세트에 매핑하면 이산화탄소 배출량은 세타 0에 세타 1을 더한 것입니다 우리가 보았 듯이 엔진 크기 우리는 방정식을 사용하여 세타 0 세타 1을 찾을 수 있습니다 일단 우리가 선형 모형의 방정식을 꽂을 수 있다는 것을 알게되면 예를 들어 theta 0은 125를, theta 1은 39를 사용하여 이산화탄소 배출량이 125 + 39 엔진 크기 인 선형 모델 데이터 세트의 9 번째 행과 자동차의 이산화탄소 배출량을 계산 엔진 크기가 24이므로 이산화탄소 배출량은 125에 39 곱하기 2

4를 곱한 값입니다 따라서이 특정 자동차의 이산화탄소 배출은 218 point six 선형 회귀가 왜 그렇게 유용한 지에 대해 조금 이야기 해 봅시다 실제로 한 가지 이유를 사용하고 이해하는 것이 가장 기본적인 회귀입니다 선형 회귀가 유용한 이유는 빠르다는 것입니다 또한 매개 변수를 조정할 필요가 없으므로 신경망에서의 K 파라미터 및 K 가장 가까운 이웃 또는 학습 속도 선형 회귀에 대해 걱정할 것이 없습니다 이해하기 쉽습니다

이 동영상에서 다루게 될 모든 해석과 해석은 모두 환영합니다 모델 평가이므로 회귀의 목표를 시작합시다 이를 위해 알려지지 않은 사례를 정확하게 예측하기위한 모델 이 비디오에서 모델을 작성한 후 회귀 평가를 소개하고 달성하는 데 사용할 수있는 두 가지 유형의 평가 접근법에 대해 논의 이 목표는 이러한 접근 방식이 동일한 데이터 세트에서 학습하고 테스트하는 것입니다 훈련 테스트 스플릿 우리는 각각의 장점과 전문가에 대해 이야기 할 것입니다 이러한 각 모델을 사용하는 단점은 회귀 모형의 정확도 고려할 때 첫 번째 접근 방식을 살펴 보겠습니다

평가 모델 우리는 우리에게 가장 정확한 결과이므로 질문의 정확도를 계산하는 방법은 다시 말해 우리는이 모델을 얼마나 신뢰할 수 있는지 예측할 수 있습니다 주어진 데이터 세트를 사용하고 선형과 같은 모델을 구축 한 미지의 샘플 회귀 중 하나는 데이터 세트의 일부를 선택하는 것입니다 예를 들어 테스트는 데이터 세트에 10 개의 레코드가 있다고 가정합니다 훈련을위한 전체 데이터 세트 및이 훈련 세트를 사용하여 모델 구축 이제 우리는 행 번호 6에서 9와 같은 데이터 세트의 작은 부분을 선택합니다 레이블이 없으면이 세트를 레이블이있는 테스트 세트라고합니다

레이블은 예측에 사용되지 않으며지면으로 만 사용됩니다 사실 레이블을 테스트 세트의 실제 값이라고합니다 빌드 된 모델에 대한 테스트 부분의 기능 세트 및 목표 예측 마지막으로 우리는 모델에 의해 예측 된 값과 실제 값을 비교합니다 테스트 세트의 값은 모델이 실제로 얼마나 정확한지 나타냅니다 모델의 정확성을보고하는 다른 측정 항목이지만 대부분 일반적으로 예측값과 실제 값의 유사성에 기초하여 작동합니다 회귀 정확도를 계산하는 가장 간단한 측정 항목 중 하나를 살펴보십시오

언급 한 바와 같이 우리는 실제 값 Y와 예측 값을 비교합니다 테스트 세트에서 y 모자로 표시되는 값은 모델의 오류입니다 예측값과 실제 값의 평균 차이로 계산 모든 행에 대해이 오류를 방정식으로 쓸 수 있으므로 첫 번째 평가 우리가 방금 말한 접근 방식은 가장 간단한 기차와 테스트입니다 데이터 세트는 본질적으로이 접근법의 이름은 모델을 훈련시키는 모든 것을 말합니다 전체 데이터 세트에서 동일한 데이터 세트의 일부를 사용하여 테스트합니다 목표를 알고있는 데이터 세트로 테스트 할 때의 일반적인 의미 정확한 데이터 비율을 얻을 수있는 각 데이터 포인트의 가치 이 평가 방식에 대한 모델 예측 가장 높은 교육 정확도와 낮은 샘플 부족 모델이 모든 테스트 데이터 포인트를 알고 있기 때문에 정확도 훈련 정확도와 표본 외 정확도 란 무엇입니까? 동일한 데이터 세트에 대한 교육 및 테스트를 통해 높은 교육 정확도 그러나 훈련 정확도 훈련 정확도는 정확히 테스트 데이터 센터를 사용할 때 모델의 정확한 예측 그러나 높은 훈련 정확도가 반드시 좋은 것은 아닙니다

훈련 정확도가 높으면이 데이터가 과적 합 될 수 있습니다 모델이 데이터 세트에 과도하게 훈련되어 잡음을 포착 할 수 있음을 의미 일반화되지 않은 모델에서 샘플을 벗어난 정확도는 백분율입니다 모델이하지 않은 데이터에 대해 모델이하는 정확한 예측 동일한 데이터 세트에 대해 훈련 테스트를 수행하도록 훈련 받았으며 과적 합 가능성으로 인해 샘플 외부 정확도가 낮음 우리의 모델은 샘플 외부 정확도가 높기 때문에 우리 모델의 목적은 물론 알려지지 않은 데이터를 정확하게 예측하는 것입니다 한 가지 방법은 다른 방법을 사용하는 것입니다 이 접근법에서 열차 테스트 분할이라는 평가 접근법은 예를 들어 0 행에서 5 행까지 훈련을위한 데이터 세트의 일부이며 나머지는 사용됩니다 예를 들어 6 행부터 9 행까지의 테스트를 위해 모델은 학습 세트에 구축됩니다

테스트 기능 세트는 예측을 위해 모델로 전달되고 마지막으로 테스트 세트에 대해 예측 된 값은 실제 값과 비교됩니다 테스트 세트 두 번째 평가 방법을 열차 테스트 분할이라고합니다 열차 시험 분할은 데이터 세트를 훈련 및 시험 세트로 분할하는 것을 포함합니다 상호 배타적 그런 다음 훈련 세트로 훈련하고 테스트 세트로 테스트하십시오 샘플 외부 정확도에 대한보다 정확한 평가를 제공 할 것입니다 테스트 데이터 세트는 데이터를 훈련하는 데 사용 된 데이터 세트의 일부가 아닙니다

실제 문제에 대해 더 현실적입니다 데이터 세트의 각 데이터 포인트의 결과는 이 데이터는 모델 학습에 사용되지 않았기 때문에 이러한 데이터 포인트의 결과에 대한 지식이 없으므로 본질적으로 그러나 샘플 외부 테스트를 통해 모델을 학습하십시오 귀중한 데이터를 잃고 싶지 않기 때문에 나중에 테스트 세트 열차 테스트 분할 문제는 데이터 세트에 크게 의존한다는 것입니다 데이터가 훈련되고 테스트 된이 변형은 열차 테스트를 유발합니다 에 대한 교육 및 테스트보다 더 나은 샘플 외부 예측을 갖도록 분할 동일한 데이터 세트이지만이 종속성으로 인해 여전히 일부 문제가 있습니다 k- 폴드 교차 검증이라는 평가 모델이 이들 대부분을 해결합니다

의존성으로 인한 높은 변형을 어떻게 수정합니까? k-fold cross-validation의 기본 개념을 이 문제를 어떻게 해결할 수 있는지 확인하십시오 전체 데이터 세트는 K가 4 배인 경우 왼쪽 상단의 이미지 포인트 예를 들어 첫 번째 폴드에서이 데이터 세트를 분할하면 테스트 할 데이터 세트의 처음 25 %, 모델 학습을위한 나머지 데이터는 훈련 세트를 사용하여 구축하고 테스트 세트를 사용하여 평가 한 다음 다음 라운드 또는 두 번째 접기에서 데이터 세트의 두 번째 25 %가 모델을 다시 훈련시키기위한 테스트와 나머지는 모델의 정확성입니다 우리는 모든 폴드에 대해 계속 계산 마지막으로 네 가지의 결과 평가는 평균이며 각 폴드의 정확도는 평균입니다 훈련 데이터가 하나도없는 경우 각 겹이 뚜렷하다는 점을 명심하십시오 폴드는 가장 간단한 형태의 또 다른 k- 폴드 교차 검증에서 사용됩니다 각 분할에서 동일한 데이터 세트를 사용하여 훈련 된 여러 테스트 분할을 수행합니다

다른 경우보다 결과는보다 일관된 생산 평균 표본이 정확하지 않은 정확도를 제공하는 평가 모델을 보여 드리고자했습니다 그러나 이전 접근 방식에서 설명한 문제 중 일부는 k- 폴드 교차 검증 모델의 깊이는이 과정의 범위를 벗어납니다 안녕하세요이 비디오에서는 모델의 정확도 측정 항목을 다루겠습니다 평가를 시작하겠습니다 평가 지표를 설명하는 데 사용됩니다 모델의 성능 모델 평가 지표에 대해 더 자세히 이야기하겠습니다 기본적으로 언급 한 것처럼 회귀에 사용됩니다 실제 값과 예측값으로 정확도를 계산 회귀 모델 평가 지표는 개선이 필요한 영역에 대한 통찰력을 제공하는 모델 평균 절대 오차를 포함한 여러 모델 평가 지표 검토 평균 제곱 오차와 근사 평균 제곱 오차를 정의하기 전에 이것들은 실제 회귀 상황에서 오류가 무엇인지 정의해야합니다

모델의 오차는 데이터 포인트와 여러 데이터 포인트가 있기 때문에 알고리즘에 의해 생성 된 추세선 오류는 여러 가지 방법으로 결정될 수 있습니다 주요 절대 오류는 오류의 절대 값 이것은 이해하기 가장 쉬운 지표입니다 평균 오차이므로 평균 제곱 오차는 제곱의 평균입니다 오류는 초점이 평균이기 때문에 평균 절대 오차보다 더 인기가 있습니다 큰 오차에 더 적합하도록 기하 급수적으로 기한이 되었기 때문입니다

작은 것보다 큰 에러를 증가시키는 것 평균 제곱 오차의 제곱근입니다이 중 가장 인기있는 것 중 하나입니다 평균 제곱 오차가 다음과 같이 해석되므로 평가 메트릭스 반응 벡터 또는 Y 단위와 동일한 단위를 사용하여 정보 상대 절대 오차는 Y의 잔차 제곱이라고도 함 bar는 Y의 평균값으로 총 절대 오차를 취하여 정규화합니다 단순 예측 변수 상대 제곱의 총 절대 오차로 나눈 값 오차는 상대 절대 오차와 매우 유사하지만 R 제곱을 계산하는 데 사용되는 데이터 과학 커뮤니티 R 제곱은 오류 자체는 아니지만 모델의 정확도에 대한 대중적인 지표입니다 데이터 값이 적합 회귀선에 얼마나 가까운 지 나타냅니다

r 제곱이 높을수록 모형이 각각의 데이터에 더 잘 적합합니다 측정 항목은 측정 항목의 선택을 예측 수량화하는 데 사용할 수 있습니다 데이터 유형과 지식 영역 모델의 유형에 전적으로 의존 불행히도 추가 검토는이 과정의 범위를 벗어납니다 안녕하세요이 비디오에서 여러 선형 회귀 분석을 다루겠습니다 간단한 회귀 모델에는 두 가지 유형의 선형 회귀 모델이 있다는 것을 알고 있습니다

다중 회귀 간단한 선형 회귀는 하나가 독립적 일 때 변수는 예측과 같은 종속 변수를 추정하는 데 사용됩니다 실제로 엔진 크기의 변수를 사용하여 이산화탄소 배출 다중 독립 일 때 이산화탄소 배출을 예측하는 다중 변수 변수가 존재하는 경우 프로세스를 다중 선형 회귀 분석이라고합니다 엔진 크기 및 실린더 수를 사용하여 이산화탄소 배출량 예측 예 자동차 엔진에서이 비디오에 중점을 둔 것은 다중 선형 회귀입니다 좋은 점은 다중 선형 회귀 분석은 간단한 선형 회귀 모델이므로 간단한 선형 과정을 거치는 것이 좋습니다 회귀 비디오를 먼저 보지 않은 경우 회귀 비디오를 샘플 데이터 세트 및 다중 선형 회귀가 어떻게 작동하는지 확인하십시오

우리가 그것을 사용해야 할 때 어떤 종류의 문제를 해결할 수 있습니까? 어떤 종류의 질문에 답할 수 있습니까? 기본적으로 두 가지가 있습니다 다중 선형 회귀에 대한 응용 프로그램을 먼저 사용할 때 사용할 수 있습니다 독립적 인 효과의 강도를 확인하고 싶습니다 변수는 종속 변수에 있습니다 예를 들어 수정 시간 테스트 불안 강의 참석 및 성별은 시험 성적에 영향을 미칩니다 학생들은 두 번째로 변화의 영향을 예측하는 데 사용될 수 있습니다 독립 변수를 변경할 때 종속 변수가 어떻게 변하는 지 이해 예를 들어 개인의 건강 데이터를 검토하는 경우 다중 선형 회귀는 그 사람의 혈압을 알려줄 수 있습니다 환자의 체질량이 증가하거나 감소 할 때마다 증가 또는 감소 간단한 선형의 경우와 마찬가지로 다른 요소를 일정하게 유지하는 인덱스 회귀 다중 선형 회귀는 연속을 예측하는 방법입니다 변수 독립 변수라는 여러 변수를 사용하거나 목표 변수의 값을 가장 잘 예측하는 예측 변수 다중 선형 회귀 분석에서 종속 변수라고 함 Y 값은 독립 변수의 선형 조합입니다 예를 들어, 독립으로 인해 자동차가 얼마나 많은 이산화탄소를 수용 할 수 있는지 예측할 수 있습니다 자동차 엔진 크기 실린더 수 및 연료 소비량과 같은 변수 다중 선형 회귀 분석은 다음을 검사 할 수 있으므로 매우 유용합니다

변수는 결과 변수의 중요한 예측 변수입니다 각 기능이 결과 변수에 어떤 영향을 미치는지 그리고 이러한 회귀 모델을 만들면 간단한 선형 회귀 레코드 번호와 같은 알려지지 않은 경우의 방출량을 보호하기 위해 사용 9 일반적으로 모델은 y 모자 형태입니다 세타 0 + 세타 1 x1 + 세타 2 x2 등과 동일합니다 수학적으로 벡터 형태로 보여줄 수 있습니다 매개 변수 벡터와 특징의 두 벡터의 내적으로 표시 벡터 설정 일반적으로 우리는 다차원 공간에 대한 방정식을 보여줄 수 있습니다 세타는 X를 전치합니다

여기서 세타는 다차원 공간이고 X는 세타가 계수의 벡터이며 일반적으로 X를 곱해야합니다 조옮김 세타 세타로 표시됩니다 매개 변수 또는 무게라고도합니다 회귀 방정식의 벡터는이 두 용어를 서로 바꿔서 사용할 수 있습니다 X는 예를 들어 x1의 자동차를 나타내는 기능 세트입니다 기능 세트의 첫 번째 요소에 대한 엔진 크기 또는 x2 등 세타 0을 절편 또는 편향으로 변환하기 때문에 1로 설정됩니다 벡터에 매개 변수 벡터를 곱한 경우 매개 변수 1 차원 공간에서 세타 전치 X는 그것은 우리가 더 높은 차원에서 간단한 선형 회귀에 사용하는 것입니다 라인이 평면 또는 초평면이라고하는 입력 또는 X가 두 개 이상인 경우 이것이 우리가 다중 선형 회귀에 사용하는 것이므로 전체 아이디어는 우리의 데이터에 가장 적합한 초평면 회귀 분석을 가장 잘 예측하는 세타 벡터 값을 추정해야합니다

이 목표를 달성하기 위해 각 행의 대상 필드 값을 최소화해야합니다 예측의 오류는 이제 문제는 최적화를 개선하는 방법입니다 모델에 최적화 된 파라미터를 찾기위한 파라미터 최적화 된 매개 변수가 무엇인지 이해하면 최적화 할 수있는 방법을 찾을 수 있습니다 짧은 최적화 매개 변수의 매개 변수는 오류가 가장 적은 모델 우리가 이미 가지고 있다고 가정 해 봅시다 모델의 매개 변수 벡터를 찾았습니다 세타 벡터 이제 첫 번째 행의 모델과 기능 세트를 사용할 수 있습니다 우리가 데이터를 연결하면 첫 번째 자동차의 이산화탄소 배출량을 예측하는 데이터 세트 우리가 찾은 모델 방정식에 특징 세트 값 예를 들어이 특정 행의 예측 값으로 140을 반환합니다 실제 값 y는 196과 같습니다

실제 값과 예측값이 얼마나 다른가 196의 값은 196 빼기 140과 같이 아주 간단히 계산할 수 있습니다 물론 56과 같습니다 이것은 한 행 또는 한 대의 자동차에 대해서만 모델의 오류입니다 선형 회귀의 경우와 마찬가지로 우리의 경우 여기에 오류가 있다고 말할 수 있습니다 데이터 점에서 적합 회귀 모형까지의 거리 잔차 오차는 모형이 모형을 나타내는 데이터 세트를 얼마나 나쁜지 보여줍니다

평균 제곱 오차 또는 MSE 수학적으로 MSE는 이것은 여러 선형의 오차를 노출시키는 유일한 방법은 아니지만 방정식 회귀 모형 가장 적합한 모형 중 하나입니다 우리의 데이터 세트는 모든 예측 값에 대한 최소 오차가있는 데이터 세트이므로 다중 선형 회귀의 목표는 MSE 방정식을 우리는 최고의 매개 변수 세타를 찾아야 최소화 그러나 여러 매개 변수 또는 계수를 어떻게 찾을 수 있습니까? 선형 회귀이 계수의 값을 추정하는 많은 방법이 있습니다 그러나 가장 일반적인 방법은 일반적인 최소 제곱 및 최적화입니다 평범한 최소 제곱에 접근하여 계수 값을 추정하려고 시도합니다 평균 제곱 오차를 최소화함으로써이 접근법은 데이터를 선형 대수 연산을 사용하여 최적의 추정치 세타 값이 기술의 문제는 시간 복잡성입니다 매트릭스 작업을 계산하는 데 시간이 오래 걸릴 수 있으므로 데이터 세트의 행 수가 10,000보다 작습니다 옵션으로 기술하지만 더 큰 가치를 위해 다른 시도해야합니다 더 빠른 접근 방법 두 번째 옵션은 최적화 알고리즘을 사용하여 가장 좋은 매개 변수는 다음의 값을 최적화하는 프로세스를 사용할 수 있다는 것입니다

모델의 오차를 반복적으로 최소화하여 계수 예를 들어 훈련 데이터를 시작하면 그라데이션 하강을 사용할 수 있습니다 각 계수에 대한 임의의 값으로 최적화 한 다음 오류를 계산합니다 여러 계수의 현명한 변화를 통해 그것을 최소화하려고합니다 큰 데이터 세트가있는 경우 반복 그라디언트 하강은 적절한 방법입니다 그러나 다른 방법으로는 여러 선형 회귀 분석의 매개 변수는 모델에 가장 적합한 매개 변수를 찾은 후 선형 방정식 만들기의 매개 변수를 찾은 후 예측 단계 예측은 특정 입력 집합에 대한 방정식을 푸는 것만 큼 간단합니다

우리가 다른 변수로부터 co2-emission 또는 y를 예측한다고 상상해보십시오 레코드 번호 9의 자동차,이를위한 선형 회귀 모델 표현 문제는 우리가 매개 변수를 찾으면 y 모자가 세타 전치 x와 같습니다 예를 들어 선형 모델의 방정식에 꽂을 수 있습니다 세타 0은 125와 같습니다 세타 1은 6 점 2와 같습니다 세타 2는 14와 같습니다

이산화탄소 배출량과 같으므로 선형 모델을 다시 작성할 수있는 데이터 세트에 매핑합니다 125 플러스 6 포인트 2에 엔진 크기 + 14 실린더에 곱한 여러 선형 회귀 추정값을 볼 수 있듯이 예를 들어 실린더가 이산화탄소에 더 큰 영향을 미치는 것으로 예측 변수의 중요성 엔진 크기와 비교 한 배기량 이제 데이터 세트의 9 번째 행을 연결하고 이산화탄소 배출량을 계산해 봅시다 엔진 크기가 24 인 자동차의 경우 이산화탄소 배출량은 125 + 6 포인트 2와 같습니다 2 포인트 4 더하기 14 곱하기 4 등은 이산화탄소 배출을 예측할 수 있습니다 이 특정 자동차는 214 포인트 1이 될 것입니다

보았 듯이 이미 다중 선형 회귀에 관한 것일 수 있습니다 여러 독립 변수를 사용하여 목표 값을 예측할 수 있습니다 여러 선형 회귀 분석으로 인해 때때로 하나의 독립 변수 만 사용하는 간단한 선형 회귀를 사용하여 종속 변수 예측 이제 질문은 얼마나 많은 독립 모든 필드를 사용해야하는 경우 예측에 사용해야하는 변수 데이터 세트에서 독립 변수를 여러 선형에 추가합니다 회귀 모델은 항상 기본적으로 추가하는 모델의 정확도를 높입니다 이론적 정당성이없는 너무 많은 독립 변수는 오버 피트 모델에서 오버 피트 모델은 너무 크기 때문에 실제 문제입니다

데이터 세트에 복잡하고 일반적으로 사용하기에는 충분하지 않습니다 예측에 많은 변수를 사용하지 않는 것이 좋습니다 회귀 분석에서 모형에 과적 합을 피하는 방법에는 여러 가지가 있습니다 그러나 그것은이 비디오의 범위를 벗어납니다 다음 질문은 독립 변수가 기본적으로 연속적이어야한다는 것입니다 범주 형 독립 변수는 다음과 같이 회귀 모형에 통합 할 수 있습니다 예를 들어 이진 변수와 같은 숫자 변수로 변환 자동차 유형으로 코드 더미 0을 수동으로, 자동 자동차를 위해 마지막 지점으로 1 다중 선형 회귀는 특정 유형의 선형 회귀입니다 따라서 종속 관계 사이에 선형 관계가 있어야합니다 변수와 각 독립 변수에는 여러 가지 방법이 있습니다

선형 관계를 확인하십시오 예를 들어 산점도를 사용할 수 있습니다 관계가 산포에 표시되면 선형성을 육안으로 확인하십시오 플롯은 선형이 아니므로 비선형 회귀를 사용해야합니다 안녕하세요 이 비디오에서 우리는 모든 비선형 회귀 기본이 될 것입니다

시작하겠습니다이 데이터 포인트는 중국의 국내 총생산에 해당합니다 1960 년부터 2014 년까지의 제품 또는 GDP 그에 대한 중국의 연간 총 국내 총 수입은 미국 달러입니다 올해는 데이터 포인트의 모습입니다 이제 몇 가지 흥미로운 점이 있습니다 질문은 먼저 시간을 기준으로 gdp를 예측할 수 있고 두 번째로 데이터가 매력적인 추세를 나타내는 경우 실제로 선형 선형 회귀 분석 선형 회귀는 다음과 비교할 때 매우 정확한 결과를 생성하지 않습니다 이름이 선형 회귀를 의미하기 때문에 비선형 회귀 데이터가 선형이라고 가정하고 산점도는 GDP와 시간 사이의 강한 관계이지만 관계는 선형이 아닙니다 보시다시피 성장은 천천히 시작하여 2005 년부터는 성장을 시작합니다 매우 중요하고 마침내 2010 년에 약간 감속합니다 로지스틱 함수 또는 지수 함수처럼 보이므로 비선형 회귀 분석 절차의 특별 추정 방법 이 데이터 점에 대한 모형이 지수라고 가정하는 경우의 예 y 모자와 같은 함수는 세타 0에 세타 1 세타 2를 전치하거나 X의 힘은 모델의 매개 변수, 즉 Thetas를 추정하는 것입니다

알려지지 않은 또는 향후 사례에 대한 GDP를 예측하기 위해 적합 모형을 사용합니다 데이터 세트의 모양에 맞게 사용할 수있는 다른 회귀 분석 여기에 2 차 및 3 차 회귀선이 있고 계속 진행할 수 있습니다 본질적으로 무한 도로 우리는이 모든 다항식을 호출 할 수 있습니다 독립 변수 X와의 관계 종속 변수 Y는 X에서 n 차 다항식으로 모델링됩니다 선택할 수있는 회귀 유형 데이터 세트를 잘 선택하는 것이 중요하다는 것을 기억하십시오 다항식 회귀 분석은 데이터에 가장 적합한 회귀 분석 다항식 회귀 분석은 데이터에 곡선을 맞추는 간단한 예입니다 y 모자가 세타 제로 + 세타 1 X와 같으므로 차수가 3 인 다항식이 표시됩니다

플러스 세타 2 x 제곱 플러스 세타 3 x 큐브 또는 3의 거듭 제곱 여기서 Thetas는 모형을 적합하게 만드는 추정 할 매개 변수입니다 x와 y의 관계는 여기서 비선형이고 다항 회귀는 다항 회귀에 적합 할 수 있습니다 모델은 여전히 ​​선형 회귀로 표현 될 수 있습니다 그러나 다음과 같이 3 차 다항식이 주어진 예를 살펴 보겠습니다 x1을 정의하면 x는 x와 같고 x2는 x 제곱 또는 X는 2의 거듭 제곱과 같습니다 모델에서 간단한 것으로 변환됩니다 Y 모자가 theta 0 + theta 1 x1과 같으므로 새로운 변수를 사용한 선형 회귀 더하기 세타 2 x2 더하기 세타 3 x3이 모델은 따라서이 다항식 회귀 분석은 전통적인 다중 선형 회귀의 특별한 경우로 간주 선형 회귀와 같은 메커니즘을 사용하여 그러므로 다항식 회귀 모형 문제 최소 제곱의 모형을 사용하여 적합 할 수 있습니다 최소 제곱은 추정 방법입니다 합을 최소화하여 선형 회귀 모형에서 알 수없는 매개 변수 관측 된 종속 변수 간 차이의 제곱 주어진 데이터 세트와 선형 함수에 의해 예측 된 데이터 세트에서 비선형 회귀는 정확히 첫 번째 비선형 회귀는 종속 변수와 일련의 비선형 관계를 모델링 비선형 Y 모자로 간주되는 모델에 대한 독립 변수는 두 번째이어야합니다

매개 변수의 비선형 함수이어야합니다 세타는 반드시 비선형 방정식에 관한 특징 X 지수 로그 및 로지스틱 또는 다른 많은 모양 일 수 있습니다 이 모든 방정식에서 볼 수 있듯이 Y hat의 변화는 파라미터 세타의 변화는 반드시 X에서 만일 필요는 없습니다 비선형 회귀 모형은 다음과 대조적으로 매개 변수에 의해 비선형입니다 선형 회귀 우리는 일반적인 최소 제곱 법을 사용하여 비선형 회귀 데이터 및 일반적으로 모수의 추정치 쉽지 않은 질문 두 가지를 먼저 여기에 답하겠습니다 문제는 우리가 가진이 질문에 대답하기 쉬운 방법으로 선형 또는 비선형입니다

두 가지를 먼저하는 것은 관계가 있는지 시각적으로 알아내는 것입니다 선형 또는 비선형 출력 변수의 이변 량 플롯을 그리는 것이 가장 좋습니다 각 입력 변수는 또한 상관 계수를 계산할 수 있습니다 독립 변수와 종속 변수 사이의 모든 변수에 대해 07 이상은 선형 경향이 있으므로 적합하지 않습니다 비선형 회귀 분석 두 번째로해야 할 일은 비선형을 사용하는 것입니다 우리가 정확하게 모형을 만들 수 없을 때 선형 회귀 대신 회귀 선형 매개 변수와의 관계 두 번째 중요한 질문은 어떻게해야합니까 산포도에 비선형으로 표시되면 데이터를 모델링합니다 이것은 다항식 회귀 분석을 사용해야하고 비선형 회귀 분석을 사용해야합니다 이 코스에 해당되지 않는 데이터를 모델링하거나 변환하십시오

이 비디오에 오신 것을 환영합니다 우리는 물류라는 기계 학습 방법을 배울 것입니다 이 방법을 검토 할 때 분류에 사용되는 회귀 로지스틱 회귀가 무엇인지이 세 가지 질문에 구체적으로 답변합니다 로지스틱 회귀로 어떤 종류의 문제를 해결할 수 있으며 어떤 문제에서 상황은 로지스틱 회귀를 사용하므로 시작하겠습니다 로지스틱 회귀 분석은 입력 필드의 값을 기반으로 데이터 세트의 레코드 분류 통신 데이터 세트가 있다고 가정 해 보겠습니다 다음 달에 어떤 고객이 우리를 떠날 지 이해 각 행이 한 고객을 나타내는 고객 데이터입니다 이 회사의 애널리스트와 누가 떠나는 사람과 왜 그런지 알아 내야합니다 데이터 세트를 사용하여 기록 레코드를 기반으로 모델을 빌드하고 데이터 세트에 포함 된 고객 그룹 내 미래 이탈 예측 각 고객이 고객을 위해 등록한 서비스에 대한 정보 성별과 같은 고객에 대한 계정 정보 인구 통계 정보 지난 달에 회사를 떠난 연령대 및 고객 열을 이탈이라고합니다

로지스틱 회귀를 사용하여 로지스틱 회귀 분석에서 주어진 기능을 사용하여 고객 이탈 예측 임기 연령 및 소득과 같은 하나 이상의 독립 변수를 사용하여 예측 이탈과 같은 결과를 우리가 종속 변수라고 부릅니다 고객이 서비스 로지스틱 회귀 사용을 중지하는 것은 유사하지 않습니다 선형 회귀 분석이지만 범주 형 또는 이산 형 목표를 예측하려고합니다 선형 회귀 분석에서 숫자 필드 대신 필드를 예측하여 집 혈압의 가격과 같은 변수의 지속적인 가치 자동차의 환자 또는 연료 소비량이지만 로지스틱 회귀 분석에서는 yes / no true / false 성공 또는 실패와 같은 이진 변수 임신하지 않은 임신 등으로 물류에서 0 또는 1로 코딩 될 수 있음 회귀 종속 변수는 범주 형인 경우 연속적이어야합니다 더미 또는 표시기 코딩 이것은 우리가 그것들을 일부로 변환해야 함을 의미합니다

연속 값 로지스틱 회귀는 두 가지 모두에 사용될 수 있습니다 이진 분류 및 다중 클래스 분류 이 비디오에서는 이진 분류에 중점을 둘 것입니다 로지스틱 회귀의 적용 방법을 설명하기 전에 언급 된 로지스틱 회귀는 분류 알고리즘의 한 유형이므로 예를 들어 사람의 확률을 예측하기 위해 다른 상황에서 사용 지정된 기간 내에 심장 마비가있는 경우 개인의 연령 성별 및 체질량 지수에 대한 지식 또는 부상당한 환자의 사망 가능성을 예측하거나 환자는 관찰에 근거하여 당뇨병과 같은 주어진 질병을 앓고있다 체중 신장 혈압 및 결과와 같은 환자의 특성 마케팅 환경에서 다양한 혈액 검사 등을 할 수 있습니다 고객이 제품을 구매하거나 중단 할 가능성을 예측 우리의 턴 예제에서했던 것처럼 우리는 또한 물류를 사용할 수 있습니다 주어진 공정 시스템의 고장 확률을 예측하기위한 회귀 제품을 사용하여 주택 소유자의 채무 불이행 가능성을 예측할 수도 있습니다 모기지에서 이들은 해결 될 수있는 문제의 좋은 예입니다 로지스틱 회귀 분석을 사용하면 이러한 모든 예에서 우리는 또한 사건의 확률을 측정하는 각 사건의 클래스를 예측 특정 클래스에 속할 수있는 다른 기계 알고리즘이 있습니다

언제 물류를 사용해야 하는가에 대한 변수를 분류하거나 추정 여기서 회귀는 로지스틱 회귀가 좋은 상황을위한 것입니다 데이터의 대상 필드가 범주 형이거나 구체적 일 때 첫 번째 후보 0 1 yes / no churn 또는 no churn positive negative 등의 이진수입니다 예를 들어 원하는 경우 예측 확률이 필요합니다 고객이 제품 물류를 구매할 확률이 무엇인지 파악 회귀는 0과 1 사이의 확률 점수를 반환합니다 실제로 로지스틱 회귀 분석은 주어진 데이터 샘플에 대해 샘플의 확률과 사례를 개별 클래스에 매핑했습니다 데이터가 선형으로 분리 가능한 경우 세 번째 확률을 기반으로 로지스틱 회귀의 결정 경계는 선 또는 평면 또는 초평면 분류기는 한 쪽의 모든 점을 분류합니다

한 계급과 다른 쪽의 모든 계급에 속하는 의사 결정 경계 예를 들어 두 가지 기능 만 있고 그렇지 않은 경우 다른 클래스에 속합니다 다항식 처리를 적용하면 세타 0과 같은 불평등을 얻을 수 있습니다 더하기 세타 1 X 1 더하기 세타 2 X 2는 0보다 큽니다 로지스틱 회귀 분석을 사용하면 다항식 처리를 사용하여 복잡한 결정 경계를 달성 여기에서 범위를 벗어나면 더 많은 통찰력을 얻을 수 있습니다 로지스틱 회귀가 어떻게 작동하는지 이해하면 결정 경계 최고의 기능을 선택할 수있는 기능의 영향을 이해해야합니다

로지스틱 회귀 모형의 통계적 유의성에 근거 최적의 매개 변수를 찾은 후의 계수 또는 매개 변수 가중치 세타가 0에 가까운 X는 세타의 절대 값이 큰 피쳐보다 실제로 예측 독립 변수가 다른 독립 변수를 제어하면서 종속 변수 데이터 세트에서 다시 독립 변수를 X로 정의하고 종속 변수를 Y로 변경하면 단순성을 위해 대상을 코딩하거나 로지스틱 회귀의 목표는 0 또는 1의 종속 값으로 모형을 작성하는 것입니다 이 경우 고객이기도 한 각 샘플의 클래스를 예측 각 샘플이 클래스에 속하는 확률로 문제를 공식화하기 시작 X는 실수의 공간에 데이터 세트입니다 M 차원 또는 피처 및 n 레코드 및 Y 인 M x n 0 또는 1이 될 것으로 예측하려는 클래스 이상적으로는 로지스틱 회귀 모델 인 y hat은 클래스를 예측할 수 있습니다 고객의 1은 기능 X가 주어 졌을 때 1입니다 고객이 클래스 0에있을 확률은 1에서 이 동영상에서 고객 클래스가 1 명일 확률은 분류에 대한 소개를 제공하여 시작하겠습니다

기계 학습 분류는 감독 학습 방식으로 알려지지 않은 일부 항목을 분류하거나 분류하는 수단으로 생각 개별 클래스 분류 세트는 관계를 배우려고 시도합니다 피처 변수 세트와 대상이 관심있는 대상 변수 사이 속성 및 분류는 이산 형을 갖는 범주 형 변수입니다 일련의 훈련이 주어지면 분류 및 분류 기가 어떻게 작동합니까? 대상 레이블 분류와 함께 데이터 포인트가 클래스를 결정합니다 레이블이없는 테스트 사례의 레이블이 예제를 좋은 설명으로 설명하겠습니다 분류 샘플은 대출 기본 예측입니다 은행이 대출을 상환하지 않을 가능성에 대해 우려하고 있다고 가정 이전 대출 기본 데이터를 사용하여 어떤 고객이 대출을 상환하는 데 문제가있는 경우 대출 신청이 거부되었거나 대체 제품에 대출 목표 제공 기본 예측 변수는 정보 인 기존 대출 기본 데이터를 사용하는 것입니다 주위에 건설 연령 연령 교육과 같은 고객에 대한 분류기는 새로운 고객이나 잠재적 인 미래를 모델로 왜곡시킵니다 그런 다음 레이블을 지정하십시오

즉, 데이터 포인트를 기본값 또는 기본 ur 또는 예 0 또는 1 분류 기가 레이블이없는 테스트 사례를 예측하는 방법입니다 이 특정 예제는 두 개의 이진 분류기에 관한 것입니다 이진 분류에 대한 분류기 모델을 구축 할 수도 있습니다 예를 들어 멀티 클래스 분류는 동안 동일한 질병으로 고통받은 환자 세트에 대한 데이터 그들의 치료 과정은 각 환자가 세 가지 약물 중 하나에 반응했다 이 레이블이 지정된 데이터 세트를 분류 알고리즘과 함께 사용하여 분류 모델을 사용하면 어떤 약물인지 알아낼 수 있습니다 당신이 볼 수있는 것과 같은 질병을 가진 미래의 환자에게 적합 멀티 클래스 분류 분류의 샘플에는 다른 비즈니스가 있습니다 예를 들어 고객이 속한 카테고리를 예측하기위한 사용 사례 고객이 다른 고객으로 전환하는지 여부를 예측하는 이탈 탐지 제공 업체 또는 브랜드 또는 고객이 특정 광고 캠페인 데이터 분류에는 여러 응용 프로그램이 있습니다 다양한 산업에서 본질적으로 많은 문제가 발생할 수 있습니다 특징과 목표 변수 사이의 연관성으로 표현 라벨 데이터를 사용할 수있는 경우 광범위한 적용 가능성을 제공합니다 분류를 위해 예를 들어 분류를 이메일에 사용할 수 있습니다 음성 인식 필기 인식 생체 인식 필터링 문서 분류와 훨씬 더 많은 분류 유형이 있습니다 머신 러닝의 알고리즘에는 의사 결정 트리가 포함됩니다

선형 판별 분석 k 가장 가까운 이웃 로지스틱 회귀 신경망과 지원 벡터 머신에는 여러 유형이 있습니다 분류 알고리즘 우리는이 과정에서 몇 가지만 다루겠습니다 이 비디오에 오신 것을 환영합니다 우리는 K 가장 가까운 이웃 알고리즘을 다룰 것입니다 시작하자 통신 공급자는 서비스 사용 패턴을 분류하여 고객 기반을 세분화했습니다

인구 통계 데이터를 사용할 수있는 경우 고객을 4 개의 그룹으로 회사가 개인을위한 오퍼를 사용자 정의 할 수있는 그룹 멤버십 예측 잠재 고객에게 제공되는 분류 문제입니다 사전 정의 된 레이블이있는 데이터 세트 예측을 위해 사용할 모델을 구축해야합니다 예에서 인구 통계 사용에 중점을 둔 새로운 사례 또는 알려지지 않은 사례 사용 패턴을 예측하기위한 지역 연령 및 결혼 상태와 같은 데이터 Cust cat이라는 대상 필드에는 다음과 같은 4 개의 고객 그룹 기본 서비스와 서비스 및 총계 우리의 목표는 예를 들어 행 0을 사용하여 분류기를 구축하는 것입니다 행 8의 클래스를 예측하기 위해 특정 유형의 시연을 위해서 K 인접 이웃이라고하는 분류 예측 자로서 구체적으로 연령과 소득으로 2 개의 분야 만 그룹 멤버십을 기반으로 고객을 플로팅합니다 나이 및 소득이 알려진 레코드 번호 8과 같은 신규 고객 이 고객의 클래스를 찾아 가장 가까운 사례 중 하나를 찾아서 새 고객과 동일한 클래스 레이블을 사용하여 새로운 고객은 그룹 4, 즉 가장 가까운 그룹이기 때문에 전체 서비스 일 가능성이 높습니다 이웃은 또한 클래스 4입니다

네, 우리는 실제로 가장 가까운 이웃입니다 이제 문제는 우리가 근거한 판단을 어느 정도 신뢰할 수 있는가하는 것입니다 첫 번째 가장 가까운 이웃, 특히 첫 번째 경우 가장 가까운 이웃은 매우 구체적인 경우이거나 특이한 것입니다 이제 살펴 보겠습니다 가장 가까운 이웃을 선택하기보다는 다시 산점도를 가장 가까운 5 명의 이웃을 선택하고 그들 사이에서 다수결을한다면 이 경우에 우리의 새로운 고객을 정의하십시오 가장 가까운 5 명 중 3 명은 우리에게 3 급으로 가라고 말합니다 플러스 서비스는 사실이 경우에 더 의미가 없습니다

K 가장 가까운 이웃 알고리즘에서 K 값은 5입니다 K 가장 가까운 이웃 알고리즘의 직관을 강조합니다 K 가장 가까운 이웃 정의 K 가장 가까운 이웃 알고리즘은 많은 레이블 포인트를 사용하여 분류 알고리즘을 사용하는 분류 알고리즘 이 알고리즘이 사례를 기반으로 사례를 분류하는 다른 지점에 레이블을 지정하는 방법 알아보기 다른 경우 및 K 가장 가까운 이웃 데이터 포인트와의 유사성 서로 가까이있는 이웃이라고한다 k 가장 가까운 이웃은 이것을 기반으로한다 같은 클래스 레이블을 가진 유사한 사례가 서로 가까이 있습니다

두 경우 사이의 거리는 존재하지 않는 차이의 척도입니다 유사성 또는 반대로 거리를 계산하는 다른 방법 또는 예를 들어 유클리드를 사용하여 두 데이터 포인트의 비 유사성을 수행 할 수 있습니다 이제 거리는 K 가장 가까운 이웃 알고리즘이 실제로 어떻게 작동하는지 봅시다 분류 문제 K 가장 가까운 이웃 알고리즘은 다음과 같이 작동합니다 K에 대한 값을 선택하여 새 사례 홀드 아웃에서 거리를 계산합니다

데이터 세트의 각 사례는 알려지지 않은 데이터 포인트의 측정에 가장 가까운 훈련 데이터 4 개는 가장 많이 사용하여 알려지지 않은 데이터 포인트의 응답을 예측합니다 K 가장 가까운 이웃의 인기있는 반응 값에는 두 부분이 있습니다 이 알고리즘은 먼저 약간 혼란 스러울 수 있습니다 예를 들어 올바른 K와 두 번째 사례 간의 유사성을 계산하는 방법 고객 중 먼저 두 번째 관심사부터 시작하겠습니다 두 데이터 포인트 간의 유사성을 계산하면 고객 고객 1과 고객 2 그리고 잠시 동안이 두 고객은 특정 유형의 이 두 고객의 거리를 계산하는 Minkowski 거리 실제로 X 2에서 X 1의 유클리드 거리 거리는 34에서 32까지의 루트입니다

2의 거듭 제곱은 4입니다 예를 들어 둘 이상의 기능이 있다면 어떨까요? 연령 및 소득 각 고객의 소득 및 연령이있는 경우에도 여전히 같은 공식이지만 이번에는 2 차원 공간에서 사용할 수 있습니다 다차원 벡터에도 같은 거리 행렬을 사용합니다 정확한 비 유사성 측정을 위해 기능 세트를 정규화해야합니다 이 목적을 위해 사용될 수 있지만 다른 데이터 유형과 도메인에 따라 크게 달라집니다 K와 K가 가장 가까운 이웃은 검사 할 가장 가까운 이웃 수를 지정해야합니다 사용자가 올바른 케이크를 선택하는 방법은 무엇입니까? 무슨 일이 일어 났는지 차트에 물음표로 표시된 고객 클래스 K의 매우 낮은 값을 선택하면 k가 첫 번째 가장 가까운 점 1과 같다고 가정 해 봅시다

클래스 1 인 파란색 일 것입니다 주변의 점은 마젠타 또는 클래스 4입니다 이웃은 파란색입니다 데이터에서 잡음을 포착했다고 말할 수 있습니다 데이터에 이상이 있었던 점 중 하나를 K의 낮은 값으로 선택했습니다

모델이 너무 복잡하여 모델은 예측 과정이 아니라는 것을 의미합니다 샘플 외부 사례에 사용할 수있을 정도로 일반화 즉, 모델을 훈련시키는 데 사용 된 데이터 세트 외부의 데이터입니다 그것은 알려지지 않은 샘플의 예측에 사용될 것으로 신뢰할 수 없었습니다 우리는 일반적인 모델을 원하기 때문에 과적 합이 나쁘다는 것을 기억해야합니다 훈련에 사용 된 데이터뿐만 아니라 모든 데이터에 적용 가능 K와 같은 K의 매우 높은 값을 선택하면 스펙트럼의 측면은 모델이 끝났고 일반화되었으므로 K에 가장 적합한 값을 찾는 방법 일반적인 해결책은 테스트를 위해 데이터의 일부를 예약하는 것입니다 한 번 모델의 정확도 때문에 K와 1을 선택하십시오

그런 다음 훈련 부분을 사용하여 모델링하고 정확도를 계산하십시오 테스트 세트의 모든 샘플을 사용한 예측 이 과정을 반복하여 K를 높이고 모델에 가장 적합한 K를 확인하십시오 우리의 경우 k는 4와 같고 가장 정확한 정확도를 제공합니다 이웃 분석을 사용하여 연속 대상의 값을 계산할 수도 있습니다 이 상황에서 가장 가까운 이웃의 평균 또는 중간 목표 값은 예를 들어 새 사례에 대한 예측 값을 얻는 데 사용됩니다

수와 같은 기능 세트를 기반으로 주택 가격을 예측하고 있습니다 방의 건축 면적은 해마다 만들어 졌으므로 쉽게 찾을 수 있습니다 가장 가까운 이웃 주택 3 곳은 물론 거리뿐만 아니라 모든 속성을 기반으로 집의 가격을 이웃의 매체 안녕하세요,이 비디오에 오신 것을 환영합니다 우리는 평가를 다룰 것입니다 분류기에 대한 측정 항목을 시작하겠습니다 평가 지표는 모델의 성능을 설명합니다

분류에 사용되는 모델 평가 지표에 대해 우리는 과거 데이터 세트를 가지고 있으며 통신 회사 우리는 모델을 훈련했으며 이제 우리는 테스트 세트를 모델에 전달하여 테스트 세트를 사용하여 정확도 계산 예측 레이블을 수정하면 문제는이 모델이 얼마나 정확한지입니다 기본적으로 테스트 세트의 실제 값과 값을 비교합니다 모델 평가 지표의 정확성을 계산하기 위해 모델에 의해 예측 영역에 대한 통찰력을 제공하므로 모델 개발에 핵심적인 역할을합니다 다른 모델 평가 지표가 있지만 개선이 필요할 수 있지만 자카드 인덱스 f1 점수와 로그 손실 먼저 가장 간단한 정확도 측정 중 하나를 살펴 보겠습니다 자카드 지수라고도하는 Jaccard 유사성 계수 이탈 데이터 세트 및 Y 모자의 실제 레이블은 분류기를 사용하면 자카드를 교차점의 크기로 정의 할 수 있습니다 예를 들어 테스트 세트의 성별을 레이블링하기 위해 유니온의 크기로 나눈 값 8 개의 정확한 예측 또는 8 개의 가로 채기와 함께 크기 10의 자카드 지수는 전체 세트가 예측되면 영점 6 6이됩니다

샘플의 라벨은 실제 라벨 세트와 정확히 일치합니다 부분 집합 정확도는 1 점 0입니다 그렇지 않으면 0 점 0입니다 분류기의 정확성을 보는 방법은 혼란을 보는 것입니다 예를 들어 행렬은이 행렬에 40 행만 있다고 가정 해 봅시다 와 비교하여 수정 된 예측과 잘못된 예측을 보여줍니다

실제 레이블 각 혼란 매트릭스 행에는 테스트에서 실제 실제 레이블이 표시됩니다 집합과 열은 분류 자별로 예측 된 레이블을 보여줍니다 첫 번째 행 첫 번째 행은 테스트 세트에서 실제 이탈 가치가있는 고객을위한 것입니다 40 명의 고객 중 15 명의 고객 이탈 가치를 계산할 수 있으므로 1입니다 이 15 개 중 1 개는 분류기에서 6 개를 1 개와 9 개로 올바르게 예측했습니다

이들 중 0 명은 6 명의 고객에 대해 실제 이탈 가치가 1임을 의미합니다 그러나 테스트 세트에서 분류기는 1을 올바르게 예측했습니다 9 명의 고객의 실제 레이블은 1 이었지만 분류자는 다음과 같이 예측했습니다 0으로 좋지 않다 우리는 이것을 모델의 오차로 간주 할 수있다

첫 번째 행은 이탈 가치가 0 인 고객의 경우 두 번째를 살펴 보겠습니다 이탈 가치가 0 인 고객이 25 명인 것 같습니다 분류 기가 올바르게 24 개를 예측하고 그 중 하나를 잘못 예측했습니다 1이므로 고객 이탈을 예측하는 데 훌륭한 일을했습니다 값이 0이면 혼동 행렬에 대해 좋은 점은 특정 클래스를 정확하게 예측하거나 분리하는 모델의 기능 이 예제와 같은 이진 분류기의 경우 이러한 숫자를 해석 할 수 있습니다 카운트 참 긍정 거짓 긍정 참 우리가 할 수있는 각 섹션의 수에 따른 부정 및 오탐 각 라벨의 정밀도를 계산하고 리콜 정밀도는 클래스 레이블이 예측 된 경우 정확도 정밀도는 참 긍정을 참 긍정 + 거짓 긍정으로 나눈 값 리콜은 리콜이 진정한 양의 값으로 정의 된 진정한 양의 비율입니다 true positive와 false negative으로 나눠서 각 클래스의 정밀도와 리콜은 이제 계산할 위치에 있습니다

f1은 해당 라벨의 정밀도와 회수에 따라 각 라벨에 대해 점수를 매 깁니다 f1 점수는 정밀도의 고조파 평균이며 f1 점수가있는 위치를 회상합니다 완벽한 정밀도와 리콜을 나타내는 1의 s 값에 도달 그리고 0에서 최악입니다 분류 기가 좋은 가치를 가지고 있음을 보여주는 좋은 방법입니다 리콜과 정밀도 모두 f1 점수 방정식을 사용하여 정의됩니다 예를 들어 클래스 0에 대한 f1 점수, 즉 churn은 0과 같습니다

클래스 1의 f1 점수, 즉 이탈은 1과 같고 0은 5 5입니다 마지막으로이 분류기의 평균 정확도는 이 경우 영점 7 2 인 두 레이블의 f1 점수 Jaccard와 f1 점수 모두 멀티 클래스 분류 자에 사용될 수 있습니다 이 과정의 범위를 벗어난 것도 이제 다른 것을 살펴 보겠습니다 분류기의 정확도 메트릭 때로는 분류기의 출력이 물류 대신 레이블 대신 클래스 레이블의 확률 회귀 출력은 고객 이탈 가능성, 즉 예 또는 이 확률은 0과 1 사이의 값입니다 로그 손실이라고도하는 로그 손실은 분류기의 성능을 측정합니다 여기서 예측 된 결과는 0과 1 사이의 확률 값이므로 실제 레이블이 1 일 때 0

1 3의 확률을 예측하는 예는 다음과 같습니다 다시 로그 손실이 발생할 수 있습니다 각 로그 손실을 계산할 수 있습니다 각 예측이 얼마나 멀리 떨어져 있는지 측정하는 로그 손실 방정식을 사용한 행 실제 레이블 다음 모든 행에 대한 평균 로그 손실을 계산합니다 테스트 세트 이상적인 분류 기가 점차 작아짐이 분명합니다 로그 손실 값이 낮으므로 로그 손실이 낮은 분류 기가 더 좋습니다

우리가 소개하고 검토 할 비디오의 정확성에 오신 것을 환영합니다 의사 결정 트리입니다 의사 결정 트리가 정확히 어떻게 사용되는지 시작합시다 내 의사 결정 트리를 어떻게 키울 수 있는지 분류하는 데 도움이됩니다 의사 결정 트리라는 용어를 듣고 염두에 두어야 할 질문들 바라건대 당신은 곧이 질문들과 더 많은 것에 대답 할 수있을 것입니다

이 비디오를보고 당신이 의료 연구원이라고 상상해보십시오 이미 수집 한 연구에 대한 데이터 컴파일 그들의 과정 동안 같은 질병으로 고통받은 모든 환자 각 환자가 두 가지 약물 중 하나에 반응 한 치료법을 그리고 당신의 일의 약 B 부분은 어떤 약이 될 수 있는지 알아내는 모델을 만드는 것입니다 기능이 동일한 질병을 가진 미래 환자에게 적합 이 데이터 세트는 우리 그룹의 연령 성별 혈압과 콜레스테롤입니다 환자와 대상은 각 환자가 반응 한 약물이며 샘플입니다 이진 분류기 및 데이터 집합의 훈련 부분을 사용할 수 있습니다 의사 결정 트리를 구축 한 후이를 사용하여 미지의 환자의 클래스를 예측합니다 새로운 환자에게 처방 할 약에 대한 결정을 내릴 수있는 본질 이 데이터 세트에 대한 의사 결정 트리가 작성되는 방법을 보자 훈련 세트를 하나의 노드가 포함 된 별도의 노드로 분할하여 구축 여기서 다이어그램을 보면 데이터의 한 가지 범주 전부 또는 대부분 언급 한 바와 같이 환자의 분류 자임을 알 수 있습니다 새로운 환자에게 약물을 투여하지만 약물 a 또는 B를 선택하기로 한 결정은 영향을받습니다

환자의 상황에 따라 우리는 젊은 중년 또는 환자가 중년이라면 노인은 분명히 약 B를 복용 할 것입니다 다른 한편으로 그가 젊거나 노인 환자라면 더 자세한 정보가 필요합니다 추가 결정을 처방 할 약을 결정할 수 있도록 변수는 콜레스테롤 수치 성별 또는 혈액과 같은 것들 일 수 있습니다 예를 들어 환자가 여성 인 경우 약물을 권장하지만 환자가 남성 인 경우 의사 결정 트리가 표시되는 것처럼 약물 B를 사용합니다 속성을 테스트하고 결과를 기반으로 사례를 분기하는 방법 각 내부 노드는 테스트에 해당하고 각 분기는 테스트 결과 및 각 리프 노드는 이제 환자를 클래스에 할당합니다 문제는 우리가 어떻게 그러한 결정 트리를 구축 할 수 있는가입니다 의사 결정 트리는 다음을 고려하여 의사 결정 트리를 구성 할 수 있습니다

먼저 데이터 세트에서 속성을 선택하십시오 다음 비디오에서 데이터 분할에서 속성의 중요성 우리는 속성의 중요성을 계산하는 방법을 설명합니다 효과적인 속성이거나 다음에 값을 기준으로 데이터를 분할하지 않습니다 가장 좋은 속성은 각 지점으로 이동하여 나머지 지점에 대해 반복하십시오 이 트리를 만든 후 속성을 사용하여 클래스를 예측할 수 있습니다 알 수없는 경우 또는 우리의 경우 새로운 환자에 적합한 약물 그녀의 특징 안녕하세요

이 비디오에서 우리는 과정을 다룰 것입니다 의사 결정 트리 구축에 대한 내용이므로 약물 데이터 세트를 다시 고려하십시오 문제는 해당 데이터 세트를 기반으로 의사 결정 트리를 작성하는 방법입니다 의사 결정 트리는 재귀 분할을 사용하여 구축되어 데이터를 분류합니다 데이터 세트에 14 명의 환자가 있고 알고리즘이 가장 많이 선택한다고합니다 의사 결정에 중요한 데이터를 분할하는 예측 기능 트리는 분할하기에 가장 적합한 속성을 결정하는 것입니다 이 기능을 기반으로 한 데이터 우리는 콜레스테롤을 데이터를 분할하는 첫 번째 속성은 데이터를 두 지점으로 분할합니다 환자의 콜레스테롤 수치가 높은지 확인할 수 있습니다 우리는 다음과 같은 경우에도 약물 B가 그에게 적합 할 것이라고 확신 할 수 없습니다 환자의 콜레스테롤이 정상입니다

아직 충분한 증거가 없습니다 약물 a 또는 약물 B가 실제로 적합한 지 결정하기위한 정보 데이터 분할을위한 잘못된 속성 선택 샘플이므로 다른 것을 시도해 봅시다 속성 다시 우리는 이번에 우리의 섹스 속성을 선택 환자가 볼 수 있듯이 우리의 데이터를 남성과 여성의 두 가지로 나눕니다 환자가 여성 인 경우 술에 취한 B가 그녀에게 적합하다고 말할 수 있습니다 확실성이 높지만 환자가 남성 인 경우 충분한 증거가 없습니다 또는 약물 a 또는 약물이 적합한 지 결정하기위한 정보 콜레스테롤 특성과 비교할 때 여전히 더 나은 선택입니다 결과는 노드가 더 순수합니다

우리는 섹스 속성이 더 중요하다고 말할 수 있습니다 콜레스테롤 또는 다른 말로하면 다른 속성보다 더 예측 적입니다 실제로 예측력은 코의 불순물 감소를 기반으로합니다 리드에서 환자의 불순물을 줄이는 최고의 기능을 찾고 해당 기능을 기준으로 분할 한 후 섹스 기능이 좋습니다 그것은 순수한 환자가 거의 발견했기 때문에 다음 경우에 후보 남성 환자 브랜치를 위해 한 걸음 더 나아가 다른 속성을 다시 테스트합니다 우리가 콜레스테롤을 테스트하는 하위 트리를 분할하면 결과를 볼 수 있습니다 예를 들어 환자는 남성이고 그의 콜레스테롤은 높으며 우리는 확실히 약 a를 처방 할 수 있습니다

그러나 그것이 정상이라면, 우리는 약물 B를 처방 할 수 있습니다 데이터를 분할하기위한 속성 선택이 매우 중요하며 모두 중요합니다 분할 후 나뭇잎의 순도에 대해 나무의 노드가 고려됩니다 경우의 100 %에서 노드가 실제로 목표 필드의 특정 범주는 재귀를 사용합니다 교육 기록을 최소화하여 교육 기록을 세그먼트로 분할 각 단계에서의 불순물 노드의 불순물은 데이터의 엔트로피에 의해 계산됩니다

엔트로피 엔트로피는 정보 장애의 양 또는 노드의 엔트로피 데이터의 무작위성 정도는 임의의 데이터가 해당 노드에 있으며 결정시 각 노드에 대해 계산됩니다 우리는 노드에서 가장 작은 엔트로피를 가진 나무를 찾고 있습니다 엔트로피는 해당 노드에서 샘플의 균질성을 계산하는 데 사용됩니다 샘플이 완전히 균일 한 경우 엔트로피는 0이고 샘플은 균등하게 나뉘어져 있습니다 노드의 데이터는 약물 a 또는 약물 B이며 엔트로피는 0이지만 절반이면 데이터 또는 약물 a와 다른 절반은 B이고 엔트로피는 쉽게 속성의 빈도 표를 사용하여 노드의 엔트로피 계산 엔트로피 공식을 통해 p는 a의 비율 또는 비율입니다 약물 a 또는 b와 같은 카테고리는 반드시 기억할 필요는 없지만 라이브러리 또는 패키지에 의해 쉽게 계산되므로이를 계산하십시오 예를 들어 데이터 세트의 엔트로피를 계산해 보겠습니다

그것을 나누기 전에 우리는 9 번의 약물 B와 v의 약물 a를 가지고 있습니다 이 숫자를 엔트로피 공식에 포함시켜 이 경우 분할하기 전에 대상 속성의 불순물은 094이므로 분할 후 엔트로피는 무엇입니까? 이제 다른 속성을 테스트하여 찾을 수 있습니다 가장 예측 성이 좋은 것으로 분기가 더 적습니다 먼저 환자의 콜레스테롤을 선택하고 데이터가 어떻게 나오는지 봅시다 예를 들어 정상일 때 약물 B에 대해 6을 갖는 값을 기준으로 분할 그리고 약물 a의 경우 2를 기반으로이 노드의 엔트로피를 계산할 수 있습니다

이 경우 08 인 약물 a 및 B의 분포 그러나 콜레스테롤이 높으면 약물 B와 3에 대해 데이터가 3으로 나뉩니다 약물의 엔트로피를 계산할 때 우리는 그것이 10이어야한다는 것을 알 수 있습니다 모든 속성을 통해 분할 후 엔트로피를 계산 한 다음 가장 좋은 속성을 선택하십시오 다른 필드를 사용해 봅시다

sex 속성을 사용하여 다음에 확인할 수있는 다음 확인을위한 sex 속성 그 가치가 여성 일 때 데이터를 나누다 약물 B와 약물에 반응하는 환자의 경우이 노드의 엔트로피 098로 분기의 반대편에는 그리 유망하지 않습니다 sex 속성 값이 male이면 결과는 6보다 더 순수합니다 약물 B의 경우 약물 a의 경우이 그룹의 엔트로피는 0 점입니다 다섯 아홉 지금 질문은 콜레스테롤과 성 속성 사이에 하나는 나누는 첫 번째 속성에서 더 나은 선택입니다 데이터를 두 개의 브랜치 또는 다른 말로 표현한 결과 약물에 대한 더 순수한 노드 또는 어떤 나무에서 우리는 후 엔트로피가 적습니까? 엔트로피가 098 인 성 속성을 분할하기 전에 분할하기 0

5 9에서 또는 엔트로피가 08 1 및 1 포인트 인 콜레스테롤 특성 가지가 0이면 답은 더 높은 나무입니다 분할 후 얻은 정보이므로 정보 획득 정보 란 무엇입니까? 게임은 후에 확실성의 수준을 높일 수있는 정보입니다 쪼개기 전에 쪼개기-가중하기 전에 나무의 엔트로피 속성에 의한 분할 후 엔트로피 정보 획득과 엔트로피와는 반대로 엔트로피 또는 무작위의 양은 얻은 정보 또는 확실성의 양이 증가하고 그 반대의 경우도 마찬가지 의사 결정 트리를 구성하는 것은 최고 정보 게임 정보 이득이 어떻게 계산되는지 봅시다 언급 된 바와 같이 성 정보는 얻은 정보는 엔트로피 분할 전 트리에서 가중치 가장자리를 뺀 값 분할 후 분할 전 나무의 엔트로피는 094입니다

여성 환자는 14 명 중 7 명이고 그의 엔트로피는 098 5입니다 남성은 14 명 중 7 명이고 남성 노드의 엔트로피는 05 9입니다 여기서 대괄호는 분할 후 가중 엔트로피입니다

sex 속성을 사용하여 데이터 세트를 분할하면 트리에서 얻은 정보 보다시피 엔트로피를 고려할 것입니다 각 리프 노드 아래로 떨어지는 샘플 분포와 가중치를 적용합니다 그 아래로 떨어지는 샘플의 비율에 의해 가중되는 엔트로피의 평균 우리가 콜레스테롤을 사용하면 나무의 정보 획득 량을 계산할 수 있습니다 또한 그것은 이제 제로 포인트 여덟입니다 문제는 어떤 속성이 더 더 높은 정보를 얻은 트리에 언급 된 것처럼 적합합니다 이것을 분할하면 섹스 속성이 의미되므로 섹스 속성을 첫 번째 스플리터 이제 섹스로 분기 한 후 다음 속성은 무엇입니까 우리가 각각에 대해 프로세스를 반복해야한다고 짐작할 수 있습니다

다른 속성을 각각 분기하고 테스트하여 가장 많이 도달 순수한 잎 이것은 의사 결정 트리를 구축하고 환영합니다 우리는 로지스틱 회귀라는 기계 학습 방법을 배웁니다 분류에 사용 되며이 방법을 검사하면 구체적으로 대답합니다 이 세 가지 질문은 로지스틱 회귀가 무엇이며 어떤 종류의 문제가 될 수 있는가 로지스틱 회귀로 해결되며 어떤 상황에서 로지스틱을 사용합니까? 회귀 분석 시작하기 로지스틱 회귀 분석은 통계 및 기계입니다 를 기반으로 데이터 세트의 레코드를 분류하는 학습 기술 입력 필드의 값은 통신 데이터 세트가 있다고 가정 해 봅시다

어떤 고객이 떠날 수 있는지 이해하기 위해 분석하고 싶습니다 다음 달 우리는 각 행이 나타내는 역사적인 고객 데이터입니다 한 고객은 귀하가이 회사의 분석 가라고 생각하며 누가 떠나고 있는지 그리고 왜 데이터 세트를 사용하여 모델 기반을 구축하는지 알아보십시오 과거 기록을보고 미래의 이탈을 예측하는 데 사용합니다 고객 그룹 데이터 세트에는 각 서비스에 대한 정보가 포함됩니다 고객이 고객 계정 정보 인구 통계에 가입했습니다 성별 및 연령대와 같은 고객 및 지난 달에 회사를 떠났다 로지스틱 회귀 분석을 사용하여 고객 이탈을 예측하기위한 모델을 구축합니다

로지스틱 회귀 분석에서 하나 이상의 독립 변수를 사용합니다 우리가 부르는 이탈과 같은 결과를 예측하기 위해 재임 연령 및 소득과 같은 고객의 사용 중단 여부를 나타내는 종속 변수 서비스 로지스틱 회귀는 선형 회귀와 유사하지만 선형 숫자 필드 대신 범주 형 또는 이산 형 대상 필드 예측 회귀는 다음과 같은 변수의 연속 값을 예측하려고 시도 할 수 있습니다 환자의 집 혈압 가격 또는 자동차의 연료 소비 그러나 로지스틱 회귀 분석에서 yes / no와 같은 이진 변수를 예측합니다 참 / 거짓 성공 또는 실패 성공 임신하지 않음 등 로지스틱 회귀 종속 변수에서 0 또는 1로 코딩 될 수 있어야합니다 범주 형인 경우 더미 또는 표시기 코드 여야합니다

연속적인 값으로 변환해야합니다 로지스틱 회귀는 이진 분류 및 다중 클래스 모두에 사용될 수 있습니다 분류하지만이 비디오의 단순성을 위해 바이너리에 중점을 둘 것입니다 분류 로지스틱 회귀의 일부 응용을 살펴 보자 언급 된 로지스틱 회귀 분석이 어떻게 작동하는지 설명하기 전에 분류 알고리즘의 유형으로 다른 상황에서 사용할 수 있습니다 예를 들어 사람이 심장 마비를 일으킬 확률을 예측하는 예 개인의 연령 성별에 대한 지식을 바탕으로 지정된 기간 체질량 지수 또는 다친 환자의 사망률 예측 또는 환자에게 당뇨병과 같은 주어진 질병이 있는지 예측 체중 신장 혈압과 같은 환자의 관찰 된 특성 마케팅 상황에서 다양한 혈액 검사 결과 등 고객이 제품을 구매하거나 중단 할 가능성을 예측 이탈 예제에서 수행 한 구독은 물류를 사용할 수도 있습니다

주어진 공정 시스템의 고장 확률을 예측하기위한 회귀 제품을 사용하여 주택 소유자의 채무 불이행 가능성을 예측할 수도 있습니다 모기지에서 이들은 해결 될 수있는 문제의 좋은 예입니다 로지스틱 회귀 분석을 사용하면 이러한 모든 예에서 우리는 또한 사건의 확률을 측정하는 각 사건의 클래스를 예측 특정 클래스에 속할 수있는 다른 기계 알고리즘이 있습니다 언제 물류를 사용해야 하는가에 대한 변수를 분류하거나 추정 여기서 회귀는 로지스틱 회귀가 좋은 상황을위한 것입니다 데이터의 대상 필드가 범주 형이거나 구체적 일 때 첫 번째 후보 0 1 yes / no churn 또는 no churn positive negative 등의 이진수입니다 예를 들어 원하는 경우 예측 확률이 필요합니다 고객이 제품 물류를 구매할 확률이 무엇인지 파악 회귀 분석은 주어진 데이터 표본에 대해 0과 1 사이의 확률 점수를 반환합니다

실제로 로지스틱 회귀 분석은 해당 표본의 확률을 예측합니다 이 경우 세 번째 확률을 기준으로 사례를 개별 클래스에 매핑했습니다 로지스틱 회귀의 결정 경계는 선 또는 평면 또는 초평면 분류기는 모든 점을 분류합니다 한 계급에 속하는 결정 경계의 한 쪽과 예를 들어 우리가 단지 두 개만 있다면 다른 클래스에 속하는 다른 쪽 우리가 얻을 수있는 다항식 처리를 적용하지 않습니다 세타 0 + 세타 1 x1 + 세타 2 x2와 같은 불평등은 0보다 큽니다 로지스틱 회귀를 사용할 때는 반평면이 쉽게 그럴듯하다 다항식 처리를 사용하여 복잡한 결정 경계를 달성 할 수도 있습니다

여기서 범위를 벗어난 것은 결정에서 더 많은 통찰력을 얻을 수 있습니다 로지스틱 회귀가 어떻게 작동하는지 이해할 때 경계 최고의 기능을 선택할 수있는 기능의 영향을 이해해야합니다 로지스틱 회귀 모형의 통계적 유의성에 근거 최적의 매개 변수를 찾은 후의 계수 또는 매개 변수 가중치 세타 1이 0에 가까워진 X는 예측에 더 작은 영향을 미칩니다 세타의 절대 값이 큰 기능 1 실제로 독립 변수가 미치는 영향을 이해할 수 있습니다 다른 독립 변수를 제어하면서 종속 변수를 살펴 보겠습니다 데이터 세트에서 다시 독립 변수를 X로 정의하고 종속 변수를 Y로 변경하면 단순성을 위해 대상을 코딩하거나 로지스틱 회귀의 목표는 0 또는 1의 종속 값으로 모형을 작성하는 것입니다

이 경우 고객이기도 한 각 샘플의 클래스를 예측 각 샘플이 클래스에 속하는 확률로 문제를 공식화하기 시작 X는 실수의 공간에 데이터 세트입니다 M 차원 또는 피처 및 n 레코드 및 Y 인 M x n 0 또는 1이 이상적 일 수있는 클래스를 예측하려는 클래스 y 모자라는 회귀 모델은 고객의 클래스를 예측할 수 있습니다 그것의 특징 X가 주어지면 1입니다 그것은 또한 확률을 아주 쉽게 보여줄 수 있습니다 클래스 0에있는 고객의 확률은 1에서 확률을 뺀 것으로 계산할 수 있습니다 고객 클래스가 1 명이며이 동영상에서 환영합니다

선형 회귀와 로지스틱 회귀의 차이점을 배우십시오 선형 회귀를 통해 왜 이진에 대해 올바르게 사용할 수 없는지 확인하십시오 분류 문제 우리는 또한 주요 인 시그 모이 드 함수를 봅니다 로지스틱 회귀 분석의 일부 시작하자 로지스틱 회귀의 목표를 다시 설정하여 각 고객의 클래스와 각 샘플의 확률을 예측 이상적으로 클래스에 속하면 우리는 추정 할 수있는 모델 모자를 만들고 싶습니다 XI가 강조하고 싶은 기능을 감안할 때 고객의 클래스는 1입니다 Y는 실제 값이라고도하는 레이블 벡터입니다

예측 및 Y 모자는 모델 매핑에 의해 예측 된 값의 벡터입니다 정수에 대한 클래스 레이블은 선형 회귀를 사용하여이를 해결할 수 있습니다 문제 먼저 선형 회귀가 어떻게 더 잘 이해되는지 기억해 봅시다 로지스틱 회귀 분석은 1 분 동안 이탈 예측을 잊고 가정합니다 우리의 목표는 데이터 세트에서 고객의 소득을 예측하는 것입니다 범주 값인 이탈을 예측하는 대신 지속적인 가치 인 소득을 예측 해보자 고객 연령과 같은 독립 변수를 선택하고 물론 소득과 같은 종속 변수 우리는 더 많은 기능을 가질 수 있지만 간단하게하기 위해 하나의 기능 만 취하겠습니다 독립 변수로서의 연령과 소득은 우리가 목표로하는 가치를 가진다 선형 회귀를 사용하여 선 또는 다항식을 적합하게 예측할 수 있습니다

모델 훈련 또는 계산을 통해이 라인을 찾을 수있는 데이터 수학적으로 샘플 세트를 바탕으로 이것은 직선이라고 말할 것입니다 샘플 세트를 통해이 라인에는 더하기 B x1로 표시된 방정식이 있습니다 이 선을 사용하여 연속 값 Y를 예측합니다 나이에 따른 알 수없는 고객의 수입 우리는 이탈을 예측하고 싶습니다 동일한 기술을 사용하여 범주를 예측할 수 있습니까? 고객 이탈에 대한 데이터가 제공되었다고 가정하겠습니다 이번 목표는 고객 연령에 따라 고객 이탈을 예측하는 것입니다

특징 연령이 x1로 표시되고 범주 적 특징이 2로 이탈 클래스 이탈은 예이며 이탈은 언급 한대로 예, 아니오 2를 매핑 할 수 있습니다 정수 값 0과 1 이제 어떻게 그래픽으로 모델링 할 수 있을까요? 산점도로 데이터를 나타내지 만 이번에는 두 개의 값만 있습니다 이 플롯에서 y 축의 경우 클래스 0은 빨간색으로 표시되고 클래스 1은 여기서 우리의 목표는 기존 데이터를 기반으로 모델을 만들어 신규 고객은 빨간색 또는 파란색입니다 선형에 사용하는 것과 동일한 기술을 사용하겠습니다 범주 형 속성의 문제를 해결할 수 있는지 확인하기 위해 회귀 분석 선형 회귀가있는 치트와 같이 다시 다항식을 전통적으로 플러스 BX로 표시되는이 다항식은 전통적으로 Fatah의 0 + theta 1 x 1을 가지고 있습니다 이는 벡터 세타 0으로 표시되며, 여기서 벡터 R 세타 0 및 또한 세타가 X를 전치 할 때이 선의 공식을 공식적으로 보여줄 수 있습니다 일반적으로 다차원 공간에 대한 방정식을 세타로 표시 할 수 있습니다

X를 전치하십시오 여기서 theta는 라인의 매개 변수입니다 2 차원 공간 또는 3 차원 공간에서 평면의 매개 변수 등 Stata는 매개 변수로 구성된 벡터이며 X를 곱해야합니다 조옮김 세타 세타는 또한 전통적이라고도합니다 이 두 항을 모두 사용하여 방정식의 인수 또는 신뢰도 상호 교환 가능하고 X는 어쨌든 주어진 고객을 나타내는 기능 세트입니다

모든 기능 집합 X 세타 매개 변수의 데이터 집합은 최적화 알고리즘 또는 수학적으로 피팅 라인 예를 들어이 라인의 매개 변수는 마이너스 1과 01이며 선에 대한 방정식은-1에 01 X 1을 뺀 값입니다 이제이 회귀 분석을 사용할 수 있습니다 예를 들어 고객의 새로운 고객의 전환을 예측하는 라인 또는 X 값이 age 인 13 인 데이터 포인트를 값에 연결한다고 가정 해 보겠습니다 행 수식과 Y 값이 계산되고 예를 들어 p1 포인트의 경우 우리는 세타 전치 x = -1 + 0

1 x x1을가집니다 빼기 1 더하기 01 곱하기 13 같음 03 우리는 지금 그래프에 표시 할 수 있습니다 클래스를 정의하기 위해 여기에 임계 값을 정의 할 수 있습니다 (예 : 05)

클래스 0과 클래스를 분리 할 수있는 모델 Y 모자에 대한 규칙 세타 전치 X의 값이 05보다 작 으면 클래스는 0입니다 그렇지 않으면 세타 전치 X의 값이 05보다 크면 클래스가 1이고 고객 Y 값이 임계 값보다 작기 때문에 모델에 따라 클래스 0에 속한다고 말하지만 여기에 한 가지 문제가 있습니다 보시다시피이 고객이 클래스 0에 속할 확률입니다

이 문제를 해결하는 가장 좋은 모델이 아니라 다른 문제가 있습니다 선형 회귀가 분류에 적합한 방법이 아닌지 확인 회귀선을 사용하여 클래스를 계산하는 경우 언급 한 문제 점의 경우 항상 3 또는 음수 2와 같은 숫자를 반환합니다 그런 다음 영점 5와 같은 임계 값을 사용하여 0 또는 1의 클래스를 가리킴이 임계 값은 단계 함수로 작동합니다 크거나 작은 양의 값에 관계없이 0 또는 1을 출력합니다 입력은 임계 값을 사용하므로 레코드 통지 클래스를 찾을 수 있습니다

스텝 함수에서 값이 클수록 값이 클지라도 05보다 작 으면 값이 아무리 작더라도 1과 같고 그 반대도 마찬가지입니다 Y는 05보다 작 으면 출력은 0이됩니다 1000의 값이 1 인 고객의 차이는 다음과 같습니다

1이 단계 함수 대신에 우리가 더 매끄럽다면 좋지 않을 것입니다 이 값을 실제로 0과 1 사이에 투영하는 첫 번째 줄 이 방법은 실제로 고객이 매우 바람직한 클래스 우리에게 확률을 줄 수있는 방법이 필요합니다 수업에 빠지는 것의 과학적인 해결책은 무엇입니까? 세타 조옮김 X를 사용하는 대신에 특정 함수를 사용합니다 시그 모이 드 다음 세타 전치의 시그 모이 드는 우리에게 점의 확률을줍니다 y 값 대신 클래스에 속한다고 직접 설명하겠습니다 잠시 후 sigmoid 함수이지만 지금은 트릭을 수행한다는 것을 수락하십시오 세타 전치 X 값을 직접 계산하는 대신 세타 전치 X가 매우 크거나 작을 확률은 항상 세타의 크기에 따라 0과 1 사이의 값을 반환합니다 조옮김 X는 이제 모델이 세타 조옮김 X의 시그 모이 드입니다

X가 주어지면 출력이 1 일 확률을 나타냅니다 S 자형 함수는 무엇이며 S 자형이 실제로 무엇인지 자세히 설명하겠습니다 로지스틱 함수라고도하는 시그 모이 드 함수 step 함수와 유사하며 다음 식에서 사용됩니다 로지스틱 회귀 분석 시그 모이 드 함수는 처음에는 약간 복잡해 보이지만 이 방정식을 기억하는 것에 대해 걱정하지 마십시오 그것으로 작업하면 theta가 X를 전치 할 때 S 자형 방정식에서 e는-의 세분을 X의 전치로 옮깁니다

분수는 거의 0이되고 시그 모이 드 함수의 값은 세타 조옮김 X가 매우 작 으면 시그 모이 드 함수가 세타 전치 X가 얻을 때 S 자형 플롯에 0에 더 가깝습니다 시그 모이 드 함수의 값이 1에 가까워지고 세타 전치 X가 매우 작습니다 시그 모이 드 함수가 0에 가까워 지므로 시그 모이 드 함수 출력은 항상 0과 1 사이입니다 확률로 결과 S 자형의 결과가 함수가 1에 가까워짐에 따라 y가 1 일 때 X는 1이 될 확률 S 자형 값이 0에 가까울수록 X가 매우 작을 때 y는 1과 같습니다 그래서 우리가 사용할 때 모델의 출력은 무엇입니까? 로지스틱 회귀 분석의 시그 모이 드 함수는 입력 X는 기본 클래스 y에 1이고,이 공식을 쓸 수 있습니다 X가 주어진 y의 확률이 1과 같으므로 Y의 확률을 쓸 수도 있습니다 X가 1 인 경우 y를 1로했을 때의 확률은 1입니다

예를 들어 고객이 회사에 머무를 확률은 다음과 같이 표시 될 수 있습니다 고객의 소득과 연령을 감안할 때 이탈 확률은 1과 같습니다 예를 들어 08이고 동일한 고객에 대해 이탈 확률은 0입니다 고객의 소득과 연령은 1에서 0

8을 02로해서 계산할 수 있습니다 이제 우리의 임무는 모델이 매개 변수 값을 설정하도록 훈련시키는 것입니다 우리의 모델은 y의 확률이 X에 주어진 1과 같다고 추정 한 것입니다 사실 이것은 로지스틱 회귀에 의해 만들어진 좋은 분류기 모델입니다

우리를 위해해야 ​​하는데도 y의 확률은 1을 뺀 것으로 표시 될 수있는 X의 클래스 0에 속합니다 세타의 시그마는 이제 X를 바꿉니다 문제는 우리가 이것을 어떻게 달성 할 수 있는지입니다 훈련 과정을 통해 세타를 찾을 수 있습니다 프로세스는 1 단계입니다

대부분의 경우와 같이 임의의 값으로 세타 벡터를 초기화합니다 기계 학습 알고리즘 (예 : -1 또는 2 단계 2)은 모델을 계산합니다 샘플 고객에 대한 세타 전치 X의 시그 모이 드 출력 세타 조옮김 X의 트레이닝 세트 X는 피처 벡터 값입니다 예를 들어 2 및 5에 대한 고객의 연령 및 수입 및 세타는 이전 단계에서 설정 한 신뢰도 또는 가중치 방정식은 예측 값, 즉 고객은 클래스 1에 속합니다 3 단계 모델 y 모자의 출력을 비교합니다

이는 실제 레이블이있는 영점 7이라고 할 수 있습니다 예를 들어 chert와 같은 고객은 다음과 같이 차이를 기록합니다 이 고객에 대한 모델 오류는 1 마이너스 영점 7입니다 물론 제로 포인트 3과 같은 것은 하나의 고객에 대한 오류입니다 교육 세트 4 단계의 모든 고객 중 이전 단계에서했던 모든 고객과이 오류를 합산 오차는 모델의 비용이며 모델 비용 함수로 계산됩니다

그런데 비용 함수는 기본적으로 오류를 계산하는 방법을 나타냅니다 실제 모델과 모델의 차이점 인 모델 예측 된 값을 통해 비용이 모델의 추정 수준을 보여줍니다 따라서 고객 레이블은 비용이 낮을수록 모델의 품질이 향상됩니다 고객 라벨을 정확하게 추정하고 우리가 원하는 것은 이 원인 단계 5를 최소화하려고 시도하지만 세타의 초기 값 때문에 무작위로 선택되었습니다 비용 함수가 매우 높을 가능성이 높습니다 총 비용 단계 6을 희망적으로 줄 이도록 세타를 변경합니다 세타 값을 변경 한 후 2 단계로 돌아갑니다

그런 다음 다른 반복을 시작하고 모델 비용을 다시 계산합니다 세타의 값을 바꾸면서 계속해서 비용이 충분히 낮아질 때까지 시간이 걸리므로 두 가지 질문이 먼저 발생합니다 세타 값을 바꿔서 비용을 줄일 수 있을까요? 반복과 둘째로 반복을 중단해야 할 때 세타 값을 변경하는 방법이지만 가장 인기있는 방법 중 하나는 그라디언트입니다 하강 또한 반복을 중지하는 다양한 방법이 있지만 본질적으로 중지 모델의 정확도를 계산하여 훈련 만족스러운 안녕하세요이 동영상에 오신 것을 환영합니다

로지스틱 회귀 모델 또한 매개 변수를 변경하는 방법을 논의 할 것입니다 결과를 더 잘 추정하기 위해 모델의 로지스틱 회귀 분석에서 함수 및 그라디언트 하강 최적화 방법 모델은 물류 교육의 주요 목표를 시작합시다 회귀는 모형의 매개 변수를 최고로 변경하는 것입니다 고객과 같은 데이터 세트의 샘플 라벨 추정 우리는 그것을 어떻게 간단히할까요? 먼저 비용 함수를 살펴보고 비용 함수와 매개 변수 세타 사이의 관계를 확인하십시오 따라서 비용 함수를 공식화 한 다음 비용의 미분을 사용하여 비용을 줄이기 위해 매개 변수를 변경하는 방법을 찾을 수 있습니다 오류가 어떻게 작동하는지 알아보기 위해 뛰어 들지만 설명하기 전에 기본적인 수학적 배경이 필요하다는 점을 강조해야합니다 이해하지만 걱정하지 않아도됩니다 Python R 및 Scala와 같은 대부분의 데이터 과학 언어에는 패키지가 있거나 이러한 매개 변수를 계산하는 라이브러리이므로 살펴 보겠습니다 먼저 샘플 사례에 대한 비용 함수 방정식을 찾아 보겠습니다 이탈 문제에서 고객 중 하나를 사용할 수 있습니다 비용 함수를 계산하는 방정식 비용 함수는 y의 실제 값과 모델 출력 Y hat이 일반적인 규칙입니다

기계 학습에서 대부분의 비용 함수 우리는 이것을 우리의 비용으로 보여줄 수 있습니다 실제 레이블과 비교하는 모델입니다 모델의 예측 값과 목표 필드의 실제 값 우리 모델의 예측 값은 세타 트랜스의 시그 모이 드입니다 X는 일반적으로이 방정식의 제곱이 부정적인 결과와 단순성을 위해이 값의 절반은 파생 프로세스를 통해 비용 함수로 간주됩니다 훈련 세트의 모든 샘플에 대한 비용 함수 고객은 모든 경우의 비용 함수의 평균 합계로 작성할 수 있습니다 또한 평균 제곱 오차라고도하며 매개 변수의 함수이므로 벡터 세타 그것은 세타의 J로 표시됩니다 좋아 좋아 우리는 지금 비용 함수를 가지고 이 비용을 최소화하는 최고의 무게 또는 매개 변수를 찾거나 설정하는 방법 함수는 우리가 계산해야합니다 이 비용 함수의 최소 포인트이며 모델을 사용하여 함수의 최소 지점을 찾을 수 있지만 함수의 미분 세계 최소값을 찾는 쉬운 방법은 없습니다 도달하는 방법을 설명하는 이러한 복잡성을 감안할 때 이러한 방정식을 지적하십시오 이 방정식의 전체 최소값은이 비디오의 범위를 벗어납니다 솔루션은 우리가 다른 비용 함수를 찾아야합니다

최소 점을 찾기가 더 쉬운 동일한 동작을 우리의 모델에 대한 바람직한 비용 함수 실제 값은 y 또는 0 또는 1이며 모델은 우리가 추정 할 때 잠시 동안 모델에 대한 간단한 비용 함수를 찾고 싶습니다 Y의 바람직한 값은 1입니다 이는 y가 1 인 것으로 추정하면 모형이 가장 적합 함을 의미합니다 이 경우 결과가 0이면 0을 반환하는 비용 함수가 필요합니다 모델은 실제 라벨과 동일하며 비용은 유지해야합니다 모델의 결과가 하나에서 멀어지고 비용이 증가함에 따라 증가 모델의 결과가 0에 가까우면 매우 큰 마이너스 로그 함수는 우리에게 그러한 비용 함수를 제공합니다

값이 1이고 모형에서 1을 뺀 로그 함수는 비용 0을 반환합니다 그러나 예측이 1보다 작은 경우 빼기 로그 함수는 더 큰 값을 반환합니다 마이너스 로그 기능을 사용하여 비용을 계산할 수 있습니다 로지스틱 회귀 모델이므로 일반적으로 비용 함수의 미분을 계산하는 것은 어렵다 이제 우리는 쉽게 증명할 수있는 모델의 마이너스 로그로 바꿀 수 있습니다 바람직한 y가 1 인 경우 비용을 마이너스 로그로 계산할 수 있음 y 모자이며 바람직한 y가 0 인 경우 비용은 마이너스로 계산할 수 있습니다

log 1 빼기 y 모자 이제 총 비용 함수에 연결하고 다시 쓸 수 있습니다 이 함수는 로지스틱 회귀 비용 함수입니다 클래스가 0 인 상황을 처벌합니다 모델 출력은 1이고 그 반대도 마찬가지입니다 그러나 Y 모자는 그렇지 않습니다

클래스를 출력으로 반환하지만 0 또는 1의 값으로 가정해야합니다 이제이 함수를 사용하여 매개 변수를 쉽게 찾을 수 있습니다 비용을 최소화 할 수있는 방식으로 우리 모델 우리의 목표는 실제 라벨 발견을 가장 잘 추정하는 모델을 찾는 것이 었습니다 가장 좋은 모델은 해당 모델에 가장 적합한 매개 변수 세타를 찾는 것을 의미합니다 첫 번째 질문은 우리가 모델에 가장 적합한 매개 변수를 어떻게 찾습니까? 다시 말해, 모델의 비용 함수를 찾아 최소화 세타 J는 다음 질문을 정의했습니다 비용을 최소화하는 방법은 답이 최적화를 사용하는 기능 접근법에는 다른 최적화 접근법이 있지만 우리는 하나를 사용합니다

여기에서 가장 유명하고 효과적인 방법 중 하나 다음 질문은 그라디언트 디센트가 무엇이며 일반적으로 그라디언트 디센트는 특히 함수의 최소값을 찾는 반복적 접근 케이스 그라디언트 디센트는 비용 함수의 미분을 사용하는 기술입니다 비용 또는 오류를 최소화하기 위해 매개 변수 값을 변경하는 방법 기울기 하강의 주요 목표는 매개 변수를 변경하는 것입니다 그라디언트 디센트가 생각하는 방법을 비용을 최소화하기 위해 2 차원 공간에있는 모델의 매개 변수 또는 가중치 예를 들어 두 기능 세트의 연령 및 소득 회수에 대한 세타 1 세타 2 이전 슬라이드에서 논의한 비용 함수 J 변수 함수 theta 1과 theta 2의 함수 인 비용 함수 J입니다 관찰 된 호출 또는 오류 J 함수의 차원을 추가합니다 세타 1과 세타 2의 모든 가능한 값을 기반으로 비용 함수를 플로팅합니다

우리는 이와 같은 것을 볼 수 있습니다 매개 변수의 함수 인 오류 인 매개 변수의 값 비용 함수의 오류 곡선 또는 내부 보울이라고합니다 이 오류 Bowl을 사용하여 최상의 결과 값을 찾는 방법 지금 비용 가치를 최소화하는 것은 문제가 가장 좋은 점입니다 비용 함수를 지적하십시오 예 오차 곡선은 무엇을해야합니까? 매개 변수를 변경하여 비용을 계산하지만 당신의 무게 또는 일부 가치를 공제하고 그 가치가 얼마나 될 수 있을까요 생각할 수있는 그릇의 한 지점을 찾는 임의의 매개 변수 값을 선택하십시오

시작점은 노란색 점이며 델타로 매개 변수를 변경합니다 theta1과 delta theta2를 살펴보고 표면에 한 걸음 씩 가자 우리가 아래쪽으로 가고있는 한 그릇에서 한 발 아래로 내려 가면 더 가파른 경사를 더 가파르게 밟을 수 있습니다 더 작은 단계를 취할 수 있도록 경사가 가장 낮은 지점에 접근합니다 평평한 표면에 도달 할 때까지 이것은 곡선의 최소 점이며 최적의 theta1 theta2이 단계들이 실제로 의미하는 것은 무엇입니까 우리가 내려갈 수 있도록이 단계들을 취해야 할 방향과 방법 이 단계의 방향과 크기를 찾으려면 단계가 커야합니다 다른 말로하면 매개 변수를 업데이트하는 방법을 찾으려면 해당 시점에서 비용 함수의 기울기 기울기는 모든 점에서 표면의 기울기와 방향입니다

기울기는 가장 큰 오르막의 방향입니다 이제 문제는 우리가 당신을 선택하면 어떤 시점에서 비용 함수의 기울기를 계산합니까 이 표면의 임의의 점, 예를 들어 노란색 점은 그 시점에서 각 매개 변수에 대한 theta의 J의 미분 이동하면 해당 시점에서 각 매개 변수에 대한 이동의 기울기 그 경사의 반대 방향으로 우리가 예를 들어 우리가 J의 미분을 계산한다면 세타 하나 우리는 그것이 양수라는 것을 알아 이것은 세타가 증가함에 따라 기능이 증가하고 있음을 나타냅니다 J를 줄이면 반대 방향으로 움직여야합니다 이것은 세타 1에 대한 음의 미분의 방향으로 이동하는 것을 의미한다 기울기 각 단계마다 다른 매개 변수에 대해서도 계산해야합니다 기울기 값은 경사가 큰 경우 걸음 수를 나타냅니다

경사가 최소 인 경우 멀어지기 때문에 큰 걸음을 내딛어 야합니다 작음 우리는 더 작은 단계의 기울기를 가져야합니다 반복 할 때마다 최소를 향한 작은 단계 비용 함수 J는이 식을 사용하여 계산됩니다 J 함수의 미분은 계산해야합니다 여기서 우리의 범위를 벗어나지 만 정직하게 파생 된 개념 이것을 쉽게 사용할 수 있기 때문에 모든 세부 사항을 기억해야합니다 그라디언트를 계산하는 방정식 그래서 간단히 말해서이 방정식은 그 지점의 경사와 우리는 반대 방향으로 매개 변수를 업데이트해야합니다 기울기의 모든 기울기의 벡터는 기울기 벡터이며 이 벡터를 사용하여 이전에 취하는 모든 매개 변수를 변경하거나 업데이트하십시오 매개 변수의 값을 구하고 오차 미분을 빼면 우리가 알고있는 세타에 대한 새로운 매개 변수는 비용을 줄입니다

학습 속도 라 불리는 일정한 값 mu에 의한 기울기 값 학습 속도는 우리가 요약하면 우리는 단순히 경사 하강이 단계를 밟는 것과 같다고 말할 수 있습니다 기울기의 현재 방향과 학습 속도는 이 단계를 수행하면 새로운 매개 변수가 반복 작업과 각 반복에서 매개 변수를 업데이트하고 알고리즘 수렴이 허용 가능한 최소값에 도달 할 때까지 원인을 최소화 알았어 훈련을 통해이 시점에서 우리가 한 일을 다시 생각해 보자 알고리즘 다시 단계적으로 우리는 무작위로 매개 변수를 초기화합니다 가치 2 단계 우리는 훈련 세트로 비용 함수를 공급하고 매개 변수가 설정 될 때 높은 오류율이 예상되는 비용 계산 무작위 적으로 3 단계에서 우리는 비용 함수의 기울기를 계산합니다 그래디언트를 계산하기 위해 부분 미분을 사용해야 함을 명심하십시오 벡터 우리는 각 매개 변수에 대한 방정식을 공급하기 위해 모든 훈련 데이터가 필요합니다 물론 이것은 알고리즘의 비싼 부분이지만 일부는 이 단계 4에 대한 솔루션 우리는 새로운 매개 변수로 가중치를 업데이트합니다 5 단계 값은 여기서 2 단계로 돌아가서 앞에서 설명한대로 새로운 매개 변수를 갖는 비용 함수 우리는 오류 표면을 내려갈 때 더 적은 오류를 예상합니다 6 단계의 짧은 비용 또는 일부 반복 횟수에 도달 할 때까지 6 단계 매개 변수는 일부 반복 후에 대략적으로 발견되어야합니다

모델이 준비되었으며 고객의 확률을 보호하는 데 사용할 수 있습니다 머 무르거나 떠나고이 비디오에 오신 것을 환영합니다 우리는 기계를 배울 것입니다 지원 벡터 머신 또는 SVM이라는 학습 방법 분류를 시작하겠습니다 데이터 세트를 확보했다고 가정하겠습니다 에서 추출 된 수천 개의 인간 세포 샘플의 특성을 포함 의 암 분석을 개발할 위험이 있다고 여겨지는 환자 원래 데이터는 많은 특성이 크게 다르다는 것을 보여주었습니다 양성 및 악성 샘플 사이에서 세포의 값을 사용할 수 있습니다 다른 환자의 특성 및 샘플을 조기에 나타냄 새 샘플이 양성인지 악성인지에 관계없이지지 벡터를 사용할 수 있습니다 기계 또는 SVM을 분류기로 사용하여 모델 내에서 패턴을 이해하도록 훈련 모델이 만들어진 후에 양성 또는 악성 세포를 보여줄 수있는 데이터 훈련 된 새로운 또는 알려지지 않은 셀을 예측할 수 있습니다 정확도 이제 SVM에 지원 벡터를 공식적으로 정의 해 드리겠습니다

기계는 알고리즘을 찾아서 사례를 분류 할 수있는 감독 알고리즘입니다 분리기 SVM은 먼저 데이터를 고차원 피쳐 공간에 매핑하여 작동합니다 데이터 포인트가 다른 경우에도 데이터 포인트를 분류 할 수 있도록 선형으로 분리 가능한 경우 데이터가 분리해야하는 데이터에 대해 구분 기호가 추정됩니다 분리기가 초평면으로 그려 질 수있는 방식으로 변형된다 예를 들어 다음의 분포를 보여주는 다음 그림을 고려하십시오 가능한 한 단위 크기와 덩어리 두께를 기반으로 한 작은 셀 세트 데이터 포인트가 두 가지 카테고리로 분류되어 선형이 아닌 여러 데이터 세트는 두 범주가 곡선으로 분리 되나 선형이 아닌 선형으로 정렬 우리가 할 수있는 대부분의 실제 데이터 세트의 경우 인 분리 할 수없는 데이터 세트 이 데이터를 더 높은 차원의 공간으로 전송 (예 : 매핑) 변형 후 3 차원 공간으로 우리가 지금 3에있는 것처럼 2 개의 카테고리는 초평면으로 정의 될 수있다 이 공간을 사용할 수있는 평면으로 구분 기호가 표시되는 치수 공간 새로운 또는 알려지지 않은 사례를 분류하므로 SVM 알고리즘은 최적의 결과를 출력합니다 새로운 예제를 분류하는 초평면은 두 가지 어려운 질문이 있습니다

먼저 구분 기호와 같은 방식으로 데이터를 어떻게 전송합니까? 초평면으로 그려 질 수 있습니다 변형 후 초평면 분리기 먼저 살펴 보자 단순성을 위해 데이터가 어떻게 작동하는지보기 위해 데이터 변환 우리의 데이터 세트는 1 차원 데이터입니다 선형으로 분리 할 수 ​​없다는 것을 알 수 있습니다 예를 들어 2 차원 공간으로 옮기면 출력이있는 함수를 사용하여 X를 새 공간에 매핑하여 데이터의 차원 x와 x의 제곱은 이제 데이터를 선형으로 분리 할 수 ​​있습니다 2 차원 공간 초평면은 평면을 2로 나누는 선입니다 각 클래스가 어느 한쪽에 놓여있는 부분은이 라인을 사용하여 기본적으로 데이터를 더 높은 차원 공간에 매핑하는 새로운 사례를 분류합니다

변환에 사용되는 수학 함수에서 커널이라고합니다 커널 함수라고하며 선형과 같은 다른 유형일 수 있습니다 다항 방사형 기저 함수 또는 RBF 및 시그 모이 드 각 함수에는 그 자체의 특징 그 장단점과 방정식이지만 좋은 소식 대부분이 이미 구현되어 있으므로 알 필요가 없습니다 쉬운 방법이 없기 때문에 데이터 과학 프로그래밍 언어 라이브러리 주어진 데이터 세트에서 어떤 기능이 가장 잘 작동하는지 알기 다른 기능을 차례로 선택하고 결과를 비교하십시오 또 다른 질문은 구체적으로 어떻게 올바른 분리자를 찾는가? 변형 후 기본적으로 SVM은 여기에 표시된 것처럼 데이터 집합을 두 개의 클래스로 가장 잘 나누는 초평면 2 차원 공간에서는 초평면을 파란색 점을 빨간색 점과 선형으로 분리하여 하나의 합리적인 선택으로 최고의 초평면은 가장 큰 분리를 나타내는 것입니다

목표는 다음과 같은 초평면을 선택하는 것입니다 초평면에 가장 가까운 가능한 예는 지원으로 큰 마진 벡터 만 지원하기 위해서는 벡터 만 지원하는 것이 직관적입니다 목표와 다른 훈련 예제는 무시할 수 있습니다 벡터를 지원할 수있는 최대 거리를 갖도록하는 초평면 초평면 및 경계 결정 선에는 고유 한 점이 있습니다 최적화 된 초평면을 찾는 공식은 좀 더 많은 수학을 포함하는 방정식 그래서 나는 그것을 거치지 않을 것입니다 하이퍼 플레인은 여백을 극대화하고 다른 많은 문제와 마찬가지로 최적화 절차 이 최적화 문제는 구배 하강으로도 해결할 수 있습니다 이 비디오의 범위의 따라서 알고리즘의 출력은 값 W입니다 이 추정치를 사용하여 분류 할 수있는 라인의 경우 B 선 입력 값을 선 방정식에 꽂으면 충분합니다

알 수없는 점이 선 위 또는 아래에 있는지 계산할 수 있습니다 방정식은 0보다 큰 값을 반환하고 점은 첫 번째에 속합니다 지원 위의 두 가지 주요 장점과 그 반대 인 클래스 벡터 기계는 고차원 공간에서 정확하고 그들은 지원이라는 의사 결정 기능에서 훈련 포인트의 하위 세트를 사용합니다 또한 메모리 효율적이므로 지원 벡터의 단점 기계는 알고리즘이 다음과 같은 경우에 과적 합하기 쉽다는 사실을 포함합니다 기능의 수가 숫자보다 훨씬 큽니다 또한 SVM은 다음과 같은 확률 추정치를 직접 제공하지 않습니다 대부분의 분류 문제에서 바람직하며 마지막으로 svms는 그리 좋지 않습니다

데이터 집합이 시간과 같이 매우 큰 경우 효율적인 계산 1,000 개가 넘는 행이 있고 이제 마지막 질문은 어떤 상황에 있는가 SVM을 잘 사용해야합니까 SVM은 이미지와 같은 이미지 분석 작업에 적합합니다 분류 및 필기 숫자 인식도 SVM이 매우 효과적입니다 텍스트 마이닝 세금에서 특히 높은 처리에 대한 효과로 인해 차원 데이터 (예 : 스팸 다음 카테고리 감지) 할당 및 감정 분석 SVM의 다른 응용 프로그램은 유전자에 있습니다 높은 차원의 힘으로 인해 다시 표현 데이터 분류 데이터 분류 SVM은 다른 유형의 기계 학습에도 사용할 수 있습니다 회귀 이상치 탐지 및 클러스터링과 같은 문제 이 특정 문제에 대해 더 많이 탐구하고 안녕하세요 이 비디오는 클러스터링에 대한 고급 소개를 제공합니다 응용 프로그램과 다양한 유형의 클러스터링 알고리즘을 시작하겠습니다 고객 데이터 세트가 있고 고객을 적용해야한다고 상상해보십시오 이 과거 데이터에 대한 세분화 고객 세분화는 고객층을 비슷한 개인 그룹으로 분할 그것은 사업을 할 수 있기 때문에 중요한 전략입니다 보다 효과적으로 할당하기 위해 특정 고객 그룹을 타겟팅 예를 들어 한 그룹에는 제품을 구매할 가능성이 높은 높은 이익과 낮은 위험 이 정보를 아는 서비스에 가입하면 업체가 헌신 할 수 있습니다 다른 그룹에서 이러한 고객을 유지하는 데 더 많은 시간과 관심 비영리 단체 등의 고객 포함 일반적인 세분화 프로세스는 일반적으로 대량의 다양한 데이터 따라서 세그먼트를 도출하기위한 분석적 접근이 필요합니다 대규모 데이터 세트의 그룹을 기반으로 고객을 그룹화 할 수 있습니다

연령 성별이자 지출 습관 등 여러 가지 요소 중요한 요구 사항은 사용 가능한 데이터를 고객이 서로 어떻게 유사한 지 파악하고 식별하는 방법 고객 세트를 고객의 특성에 따라 카테고리로 나눕니다 고객에게 사용될 수있는 가장 많이 채택 된 접근법 중 하나를 공유 세그먼테이션은 클러스터링입니다 클러스터링은 감독되지 않은 데이터 만 그룹화 할 수 있습니다 고객과의 유사성에 따라 고객을 분할합니다 예를 들어 3 개의 클러스터로 상호 배타적 인 그룹으로 각 클러스터의 고객은 인구 통계적으로 서로 비슷합니다

공통된 특성을 고려한 각 그룹에 대한 프로파일 작성 예를 들어 첫 번째 그룹은 풍부하고 중년 고객 중 두 번째는 젊은 교육과 중산층으로 구성됩니다 고객과 세 번째 그룹에는 젊고 저소득층 고객이 포함됩니다 데이터 세트의 각 개인을이 그룹 중 하나에 할당하거나 고객 세그먼트는 이제 데이터 세트에서이 세그먼트와 교차 조인한다고 상상합니다 고객이 구매 한 제품 또는 서비스의 데이터 세트 귀하의 회사는이 정보가 실제로 이해하고 예측하는 데 도움이 될 것입니다 개별 고객 선호도와 구매 행동의 차이점 실제로이 정보를 가지고있는 다양한 제품에서 각 세그먼트 고객을 위해 고도로 개인화 된 경험을 개발하는 회사 세그먼테이션은 클러스터링 클러스터 분석의 일반적인 사용법 중 하나입니다 서로 다른 도메인에 많은 다른 응용 프로그램이 있으므로 먼저 정의 해 봅시다 클러스터링을하면 다른 애플리케이션을 살펴볼 것입니다 데이터 세트의 클러스터는 감독되지 않으므로 클러스터 란 무엇입니까? 데이터 세트의 다른 개체와 유사한 데이터 포인트 또는 개체의 다른 클러스터의 데이터 포인트와 그룹화 및 유사하지 않은 문제는 무엇입니까? 클러스터링과 분류가 다릅니다

고객 데이터 세트 다시 분류 알고리즘 범주 클래스 예측 이 레이블은 인스턴스를 기본 또는 예를 들어 분석가가 고객 데이터를 순서대로 분석하려는 경우 기본값이 아닙니다 결제시 기본 결제 대상 고객을 파악하기 위해 라벨이 지정된 데이터를 사용합니다 훈련 데이터로 설정하고 다음과 같은 분류 접근법을 사용합니다 의사 결정 트리 지원 벡터 시스템 또는 SVM 또는 로지스틱 회귀 예측 신규 또는 알려지지 않은 고객의 기본값 일반적으로 말하기 분류는 각 교육이 진행되는 감독 학습입니다 데이터 인스턴스는 클러스터링의 특정 클래스에 속하지만 데이터는 레이블이없고 프로세스가 감독되지 않습니다

예를 들어 k-means와 같은 클러스터링 알고리즘은 언급 된 것과 유사한 고객을 그룹화하고 비슷한 속성을 공유하는지 여부에 따라 클러스터에 할당 나이 교육과 같은 몇 가지 예를 들어 드리겠습니다 더 많은 클러스터링 샘플에 대해 생각하고 싶은 산업 소매 업계에서 클러스터링은 고객은 인구 통계 학적 특성에 따라 정보를 사용합니다 다양한 고객 그룹의 구매 패턴을 식별하기 위해 유사한 시스템 또는 유사한 사용자 그룹을 찾는 추천 시스템 공동 작업 필터링에 사용하여 책이나 영화 등을 은행 분석가의 고객은 찾을 수있는 일반 거래 클러스터를 찾습니다 사기성 신용 카드 사용 패턴은 클러스터링을 사용하여 예를 들어 충성 고객을 찾기 위해 고객 클러스터 식별 보험 산업 클러스터링의 고객 이탈은 사기에 사용됩니다 클레임 분석에서 탐지 또는 특정 보험 위험 평가 출판 미디어 클러스터링에서 세그먼트를 기반으로 고객은 내용에 따라 뉴스를 자동 분류하거나 뉴스에 태그를 달고 클러스터링 의학 분야의 독자들에게 유사한 뉴스 기사를 추천하기 위해 비슷한 특성을 바탕으로 환자 행동을 특성화 다른 질병이나 생물학에 대한 성공적인 의료 요법을 식별 클러스터링은 유사한 발현 패턴을 갖는 유전자를 그룹화하거나 주위를 둘러 보면 가족 유대를 식별하는 유전자 마커 클러스터링의 다른 많은 응용 프로그램을 찾을 수 있지만 일반적으로 클러스터링은 탐색 목적 데이터 분석 중 하나의 목적으로 사용 요약 생성 또는 특히 사용되는 스케일 이상치 탐지 감소 사기 탐지 또는 소음 제거를 위해 중복 및 데이터 세트를 찾거나 어느 하나의 예측을위한 전처리 단계 다른 데이터 마이닝 작업이나 복잡한 시스템의 일부로 간단히 살펴 보겠습니다 다른 클러스터링 알고리즘 및 특성 파티션 기반 클러스터링은 구형과 같은 클러스터링 알고리즘 그룹입니다 k- 평균 k 중앙값 또는 퍼지 c와 같은 군집은 이러한 알고리즘이 비교적 효율적이며 중형 및 대형 데이터베이스에 사용됩니다

계층 적 클러스터링 알고리즘은 다음과 같은 클러스터 트리를 생성합니다 응집 및 분열 알고리즘이 알고리즘 그룹은 매우 직관적이며 일반적으로 소형 데이터 셋 밀도 기반의 사용에 적합 클러스터링 알고리즘은 특히 좋은 임의의 모양의 클러스터를 생성합니다 공간 클러스터를 다룰 때 또는 데이터 세트에 노이즈가있는 경우 예를 들어 우리가 다루게 될이 비디오에서 DB 스캔 알고리즘에 오신 것을 환영합니다 k- 평균 군집화이므로 고객 데이터가 있다고 상상해 봅시다 이 내역 데이터에 고객 세분화를 적용해야합니다 고객 세분화는 고객 기반을 그룹으로 분할하는 관행입니다

알고리즘 중 하나와 비슷한 특성을 가진 개인의 고객 세분화에 사용할 수있는 것은 k- 평균 군집화입니다 k- 평균은 고객의 유사성에 따라 감독되지 않은 데이터 만 그룹화 할 수 있습니다 서로가이 기술을보다 공식적으로 정의하자 계층 적 계층 또는 밀도 분할과 같은 클러스터링 알고리즘 기반 클러스터링 k- 평균은 파티션 클러스터링의 한 유형입니다 데이터를 겹치지 않는 Kate 하위 세트 또는 클러스터로 나눕니다 클러스터 내부 구조 또는 레이블이 없으면 클러스터 내의 비지도 알고리즘 객체는 매우 유사하며 객체는 당신이 볼 수 있듯이 다른 클러스터에서 매우 다르거 나 비슷하지 않습니다 k- 평균을 사용하기 위해 유사한 샘플을 찾아야합니다

이제 고객은 몇 가지 주요 질문에 직면하게됩니다 군집화에서 표본의 유사성 고객의 목표는 인구 통계와 관련이 있지만 k- 평균은 유사한 샘플이 군집 및 이종 표본이 다른 군집에 속한다는 것을 알 수 있습니다 유사성 메트릭 대신에 유사성 메트릭을 사용할 수 있습니다 일반적으로 서로로부터 샘플의 거리는 k- 평균이 클러스터 내 거리를 최소화하려고 시도하고 이제 클러스터 간 거리를 최대화하십시오 문제는 Disome Alera T 또는 두 고객과 같은 두 경우의 거리는 우리가 두 명의 고객이 고객을 한 명의 고객이라고 부를 것입니다

이 두 고객 각각에 대해 하나의 기능 만 있으며 그 기능은 우리는 쉽게 특정 유형의 Minkowski 거리를 사용하여 이 두 고객의 거리는 실제로 유클리드 거리 거리입니다 X 2의 X 1은 34에서 30의 제곱을 빼고 4의 4입니다 나이와 소득 (예 : 소득이있는 경우)과 같은 둘 이상의 기능 각 고객의 연령대는 여전히 동일한 공식을 사용할 수 있지만 이번에는 2 차원 공간에서도 같은 거리 행렬을 사용할 수 있습니다 다차원 벡터는 물론 기능 세트를 정규화하여 정확한 불일치 측정 다른 불일치 측정도 있습니다 이 목적으로 사용할 수 있지만 데이터 유형과 또한 클러스터링이 수행되는 도메인 예를 들어 유클리드 거리 코사인 유사성 평균을 사용할 수 있습니다 거리 등은 실제로 유사성 측정 haile이 클러스터를 제어하는 ​​방법을 제어합니다 귀하의 도메인 지식을 이해하는 것이 좋습니다 데이터 세트 및 지형지 물 유형을 입력 한 다음 의미있는 거리를 선택하십시오

측정은 이제 K가 클러스터링이 어떻게 작동 하는지를 보여 드리겠습니다 단순성 데이터 셋에 연령과 소득의 두 가지 기능 만 있다고 가정 해 봅시다 이것은 고객이 우리가 보여줄 수있는 2 차원 공간이라는 것을 의미합니다 산점도를 사용하여 고객의 분포는 y 축이 연령을 나타냅니다 x 축은 고객 데이터 세트를 군집화하려는 고객의 수입을 보여줍니다 첫 번째 두 차원을 기반으로 별개의 그룹 또는 클러스터로 k- 평균의 핵심 개념 인 군집 수를 결정해야합니다

알고리즘은 각 클러스터의 중심점을 임의로 선택한다는 것입니다 본질적으로 클러스터 수를 나타내는 K를 초기화해야합니다 데이터 세트에서 클러스터 수를 결정하거나 K는 어려운 문제입니다 k- 나중에 우리가 나중에 논의 할 것을 의미합니다 그의 인생에서 우리의 표본 데이터는 클러스터이 세 가지 데이터 포인트를 클러스터의 중심이라고하며 고객 기능과 기능 크기가 동일해야합니다 이 중심을 선택하십시오 데이터 세트의이 관측 값을 초기 수단으로 사용 우리는 클러스터의 3 개의 임의의 점과 중심을 만들 수 있습니다

초기화 단계 후 플롯에 빨간색으로 표시되는 선택 각 클러스터의 중심을 정의하고 이 목적을 위해 가장 가까운 센터에 고객을 각 데이터 포인트 또는 우리의 경우 각 고객의 중심으로부터의 거리 데이터의 성격과 목적에 따라 앞에서 언급 한 포인트 클러스터링을 사용하는 경우 다른 거리 측정 값이있을 수 있습니다 아이템을 클러스터에 배치하는 데 사용되므로 각 행은 호출 된 각 중심으로부터 고객의 거리를 나타냅니다 k- 평균 군집화의 주요 목표는 거리 매트릭스를 최소화하는 것입니다 클러스터의 중심에서 데이터 포인트의 거리를 다른 군집 중심으로부터의 거리가 있으므로이 단계에서 각 데이터 포인트에 가장 가까운 중심 거리를 찾기 위해 거리 행렬을 사용할 수 있습니다 각 데이터에 가장 가까운 중심을 찾는 가장 가까운 중심 2 개의 데이터 포인트 각 데이터 포인트를 해당 클러스터에 할당합니다 즉, 모든 고객 중심으로부터의 거리에 따라 클러스터로 떨어질 것입니다 우리는 클러스터가 양호하지 않다고 쉽게 말할 수 있습니다

첫 번째 모델에서 중심이 무작위로 선택되었습니다 여기서 오류는 각 점의 총 거리를 오류 그것의 중심으로부터 그것은 클러스터의 제곱합 오차 내에서 보여 질 수있다 직관적으로 우리는이 오류를 줄이려고 노력합니다 클러스터의 모든 구성원의 거리가 중심에서 최소화 되었으니 이제 문제는 어떻게 우리가 그것을 오류가 적은 더 나은 군집 괜찮습니다 다음 단계에서 중심을 움직입니다 클러스터 센터는 클러스터의 평균 4 개 데이터 포인트로 업데이트됩니다

실제로 각 중심은 클러스터 멤버에 따라 움직입니다 세 군집 각각의 중심이 예를 들어 8 점 조정은 7 점 4와 3 점 6과 B 점 기능은 7 포인트 8과 3 포인트 8의 새로운 중심입니다 두 점을 가진 클러스터는 그 평균이 7 점 6입니다 3 포인트 7에 새로운 중심이 있습니다 다시 한번 추측 할 수 있습니다 새로운 중심에서 모든 점의 거리를 계산해야합니다 점이 다시 모여 중심이 다시 움직입니다

이것은 중심이 더 이상 움직이지 않을 때까지 계속됩니다 중심은 각 점 거리를 중심으로 이동합니다 다시 측정해야합니다 예 k- 평균은 반복 알고리즘이며 2 ~ 4 단계를 반복해야합니다 알고리즘이 각 반복에서 수렴 될 때까지 중심을 이동합니다 새로운 중심으로부터의 거리를 계산하고 데이터 포인트를 가장 가까운 중심에서 최소 오류 또는 가장 큰 클러스터 그러나 밀도가 높은 클러스터는 휴리스틱 알고리즘이므로 그것이 세계 최적으로 수렴하고 결과가 달라질 수 있음을 보장 초기 클러스터에서이 알고리즘은 결과이지만 결과는 로컬 최적 일 수 있습니다

즉 반드시 최고 일 필요는 없습니다 이 문제를 해결하기위한 가능한 결과 전체 프로세스를 실행하는 것이 일반적입니다 시작 조건이 다른 여러 번 무작위로 중심을 시작하면 더 나은 결과를 얻을 수 있으며 소유자는 일반적으로 매우 빠르게 여러 번 실행해도 아무런 문제가 없습니다 이 비디오에 오신 것을 환영합니다 k- 평균 정확도 및 특성을 살펴 보겠습니다 시작합시다 우리가 이야기하기 전에 알고리즘을 좀 더 구체적으로 정의 해 봅시다 정확도에 대해 k- 평균 알고리즘을 무작위로 K 중심을 배치함으로써 작동합니다

클러스터가 멀리 떨어져있는 각 클러스터마다 하나씩 다음 단계는 각 데이터의 거리를 계산하는 것입니다 중심점으로부터의 점 또는 물체 유클리드 거리는 측정에 사용됩니다 물체에서 중심까지의 거리는 유클리드 거리뿐만 아니라 다른 유형의 거리 측정도 사용할 수 있습니다 유클리드 거리는 가장 인기가 있으므로 각 데이터를 할당하기 때문에 사용됩니다 각 데이터에 대해 다음에 그룹을 생성하는 가장 가까운 중심을 가리 키거나 개체 포인트는 그룹으로 분류되어 사건의 위치를 ​​다시 계산 새로운 중심 위치는 모든 중심점의 평균에 의해 결정됩니다 그룹은 마침내 중심이 더 이상 움직이지 않을 때까지 계속됩니다 문제는 우리가 형성 한 클러스터의 장점을 어떻게 평가할 수 있는가입니다 k- 평균은 다시 말해 k- 평균의 정확도를 어떻게 계산 하는가 클러스터링의 한 가지 방법은 클러스터를 기본 진리와 비교하는 것입니다 케이트는 감독되지 않은 알고리즘 우리는 일반적으로 사실과 현실이 없습니다 사용되는 문제이지만 여전히 각 클러스터의 기반이 얼마나 나쁜지를 말할 수있는 방법이 있습니다 k- 평균의 목표에서이 값은 평균 거리입니다 클러스터 내 데이터 포인트도 데이터 포인트 거리의 평균 클러스터 중심에서 클러스터링에 대한 오류 메트릭으로 사용할 수 있습니다

기본적으로 데이터 세트 또는 K의 클러스터 수를 결정하는 알고리즘 k- 평균 알고리즘에서 올바른 데이터 클러스터링에서 빈번한 문제입니다 K의 선택은 모양에 따라 매우 다르기 때문에 종종 모호합니다 데이터 세트에서 포인트 분포의 규모 이 문제를 해결하지만 일반적으로 사용되는 기술 중 하나는 K의 다른 값에 대해 클러스터링을 실행하고 이 지표를 군집화하기위한 정확도는 데이터 포인트와 우리의 클러스터가 얼마나 조밀한지를 나타내는 클러스터 중심 클러스터링 오류를 최소화 한 다음 이 측정 항목은 K에 가장 적합한 값을 찾을 수 있지만 문제는 중심점 거리 두 개의 데이터 포인트의 클러스터 수 증가 항상이 값을 줄이려면 K를 늘리면 항상 오류가 줄어 듭니다 K의 함수로서의 메트릭 값이 그려지고 팔꿈치 포인트는 급격히 감소하는 비율이 이 방법을 클러스터링하기에 적합한 K를 엘보우 방법이라고합니다 k- 평균 군집화 k- 평균은 파티션 기반 클러스터링으로 B가 생산하는 중대형 데이터 세트에서 상대적으로 효율적 클러스터가 중심을 중심으로 형성되기 때문에 구형 클러스터 C의 단점은 클러스터 수를 미리 지정해야한다는 것입니다 쉬운 작업은 아닙니다

안녕하세요이 비디오에서 환영합니다 계층 적 클러스터링을 시작하겠습니다이 차트를 살펴 보겠습니다 UCLA 생물학자가 이끄는 국제 과학자 팀은이 덴드로 그램을 85 종 및 200 종 이상의 900 마리의 개에서 얻은 유전 데이터보고 북미 유럽의 인구를 포함한 전세계 야생 회색 늑대 중동 및 동아시아 그들은 분자 유전 기술을 사용하여 분석합니다

이 도표는 48,000 개 이상의 유전자 마커를 유전자 데이터의 계층 적 유사성에 기반한이 동물들 클러스터링 알고리즘은 각 노드가 클러스터 인 클러스터의 계층 구조를 구축합니다 의 딸 노드 전략의 클러스터로 구성 계층 적 클러스터링은 일반적으로 두 가지 유형으로 나누어집니다 응집 분할은 하향식이므로 모든 관측치에서 큰 클러스터를 작은 조각으로 나눕니다 응집 된 클러스터를 나누는 것이 각 관측 값이 자체 군집에서 시작되는 상향식입니다 계층 쌍 위로 이동함에 따라 클러스터 쌍이 병합됩니다 응집이란 이것이 정확히하는 일을 모으거나 모으는 것을 의미합니다 군집을 사용하면 응집 접근법이 데이터에서 더 많이 사용됩니다

이 비디오의 주요 주제는 과학자들입니다 응집 된 클러스터링이 방법은 개인으로부터 계층을 구축합니다 이 예에서 클러스터를 점진적으로 병합하여 요소를 캐나다의 6 개 도시를 서로의 거리를 기준으로 묶으려고합니다 그들은 토론토 오타와 밴쿠버 몬트리올 위니펙과 에드먼턴입니다 이 단계에서 거리 행렬을 구성합니다 J 열은 실제로 I와 J 도시 사이의 거리입니다 알고리즘이 시작되는 각 도시 쌍 사이의 거리 각 도시를 자체 클러스터에 할당하여 6 개의 도시가있는 경우 6 개의 도시가 각각 하나의 도시 만 포함 된 클러스터는 각 도시를 표시하여 이름의 처음 두 문자는 첫 번째 단계는 어느 도시를 결정하는 것입니다 지금부터 클러스터라고 부르고 일반적으로 우리가 원하는 클러스터로 병합합시다

선택한 거리에 따라 가장 가까운 두 개의 클러스터를 거리 행렬 몬트리올과 오타와가 가장 가까운 군집이므로 그중에서 우리는 단지 단순한 일차원을 사용한다는 것을 주목하십시오 여기에 거리 기능이 있지만 다차원 및 거리에있는 물체 측정은 피어슨 평균 거리 또는 다른 많은 거리에서 희미해질 수 있습니다 어쨌든 데이터 유형과 도메인 지식에 따라 거리 행렬에서 가장 가까운 두 도시와 행과 열이 거리 행렬 행에서 볼 수 있듯이 클러스터가 구성 될 때 병합 몬트리올 및 오타와 도시 관련 열이 클러스터로 병합됩니다 모든 도시에서이 새로운 병합 클러스터까지의 거리 업데이트되지만 예를 들어 위니펙과의 거리를 어떻게 계산합니까? 오타와 몬트리올 클러스터에는 다양한 접근 방식이 있지만 예를 들어 오타와의 중심에서 거리를 선택한다고 가정하십시오 몬트리올 클러스터에서 위니펙으로 거리 행렬 업데이트 클러스터 다음으로 우리는 다시 가장 가까운 클러스터를 찾습니다이 경우 오타와 몬트리올과 토론토는 다른 클러스터를 만드는 가장 가까운 것들입니다

다음 단계는 밴쿠버 클러스터와 가장 가까운 거리입니다 매트릭스 테이블에서 데이터를 얻는 새로운 클러스터를 형성하는 에드먼턴 클러스터 클러스터가 병합되면 기본적으로 행과 열이 병합됩니다 업데이트 된 거리는 이것을 구현하는 일반적인 방법입니다 클러스터링을 통해 클러스터 간의 거리를 현금화 할 수 있다는 이점이 있습니다 클러스터를 병합하여 집계 알고리즘이 진행되는 것과 동일한 방식 모든 클러스터가 병합되고 트리가 완성 될 때까지 반복합니다 모든 도시가 6 크기의 단일 클러스터로 클러스터 될 때까지 계층 적 클러스터링은 일반적으로 다음과 같이 덴드로 그램으로 표시됩니다 이 슬라이드는 각 병합이 수평선 수평선의 y 좌표는 도시가 단일 클러스터로 간주되는 곳에 병합 된 두 클러스터 덴드로 그램을 사용하면 맨 아래 레이어에서 맨 위 노드로 이동하여 묘사 된 클러스터링을 초래 한 병합 이력을 재구성 본질적으로 계층 적 클러스터링에는 미리 지정된 수의 그러나 일부 응용 프로그램에서는 분리 된 클러스터의 파티션을 원합니다 이 경우 플랫 클러스터링에서와 마찬가지로 계층 구조를 잘라야합니다

예를 들어 특정 수준의 유사성을 자르는 경우 비슷한 도시의 3 개 클러스터 안녕하세요이 비디오에 오신 것을 환영합니다 계층 적 클러스터링에 대한 자세한 내용을 시작하겠습니다 시작하겠습니다 계층 적 클러스터링을위한 응집 알고리즘에서 응집 클러스터링은 상향식 접근 방식이며 데이터 집합에 n이 있다고 가정 해 봅시다

데이터 포인트 먼저 각 데이터 포인트마다 n 개의 클러스터를 생성하고 각 점은 다음으로 거리를 계산하려는 클러스터로 지정됩니다 그 후 우리는 반복적으로 N x n 테이블이 될 근접 행렬 지정된 클러스터 번호에 도달 할 때까지 다음 단계를 실행하십시오 하나의 클러스터 만 남을 때까지 가장 가까운 두 개의 클러스터를 병합 거리는 근접 매트릭스에서 이미 계산 된 후 우리가 도달 한 후 우리가 멈춘 새로운 값을 가진 근접 행렬 지정된 수의 클러스터 또는 하나의 클러스터 만 남아 있습니다 근접 행렬에서 덴드로 그램에 저장된 결과 클러스터 사이의 거리와 가장 가까운 클러스터를 병합 핵심 작업은 클러스터 간의 근접성 계산입니다 하나의 포인트와이 시점에서 여러 데이터 포인트가있는 클러스터 예를 들어 어떻게해야합니까? 이 군집 사이의 거리를 측정하고 우리는 어떻게 클러스터 중에서 가장 가까운 곳에서 먼저 어떤 점을 사용하는지 물어볼 수 있습니다 한 점씩 두 클러스터 사이의 거리를 계산하는 방법 환자의 데이터 세트가 있고이를 묶고 싶다고 가정합니다

계층 구조 클러스터링을 사용하여 데이터 포인트가 기능 세트를 가진 환자 나이 체질량 지수 또는 BMI와 혈압과 같은 3 차원의 서로 다른 거리 측정을 사용하여 유클리드 거리와 같이 n 명의 환자가 있다면 n 비 유사 거리 행렬로 N을 만들면 데이터 포인트가 하나 인 클러스터는 언급했지만 클러스터를 병합합니다 응집성 군집화 문제는 어떻게 우리가 각 군집에 여러 환자가있을 때 군집 사이의 거리 다른 기준을 사용하여 가장 가까운 군집을 찾아 합병 일반적으로 데이터의 데이터 유형 차원에 완전히 의존하고 가장 중요한 것은 실제로 데이터 세트의 도메인 지식이 다르다는 것입니다 군집 사이의 거리를 정의하는 방법은 우리가 할 수있는 여러 가지 방법이 있다고 상상할 수있는 다른 알고리즘 첫 번째를 단일 연결이라고합니다 군집 단일 연계는 두 점 사이의 최단 거리로 정의됩니다 포인트 a와 같은 각 클러스터에서 다음 모임은 완전한 연결 클러스터링입니다 이번에 우리는 각 점 사이의 가장 긴 거리를 찾고 있습니다 점 A와의 ​​거리와 같은 군집 V 세 번째 유형의 연계는 평균 연계 클러스터링 또는 평균 거리입니다 이것은 우리가 하나의 클러스터에서 각 지점의 평균 거리를보고 있음을 의미합니다 다른 클러스터의 모든 지점에서 검토 할 최종 연계 유형은 중심 연결 클러스터링 중심은 기능 세트의 평균입니다

이 연계는 각각의 중심을 고려한 클러스터의 포인트 최소 인스턴스를 결정할 때 클러스터는 세 가지 주요 장점이 있습니다 먼저 계층 적 클러스터링을 사용하기 위해 알고리즘의 두 번째 계층 클러스터링에 필요한 클러스터는 쉽습니다 생성 된 덴드로 그램을 구현하고 세 번째로 이해하는 것은 매우 유용합니다 알고리즘에는 결코 취소 할 수없는 몇 가지 단점이 있지만 예를 들어 알고리즘이 두 지점 이상을 클러스터링하는 이전 단계 우리는 연결이 프로그램이 그것을 취소 할 수없는 좋은 연결이 아니라는 것을 알았습니다 2 단계 : 클러스터링의 시간 복잡성이 매우 길어질 수 있음 k- 평균과 같은 효율적인 알고리즘과 비교 한 계산 시간 마지막으로 큰 데이터 세트가 있으면 결정하기가 어려워 질 수 있습니다 덴드로 그램으로 정확한 클러스터 수를 비교해 봅시다 k- 평균 게이트 수단을 사용한 계층 적 클러스터링은 대규모에 더 효율적입니다 k- 평균 계층 적 군집과 달리 데이터 집합은 필요하지 않습니다 계층 적 클러스터링으로 지정할 클러스터 수는 해상도에 따라 하나의 분할, 반면 K는 데이터 계층 클러스터링의 한 파티션은 항상 생성 다른 군집을 반환하는 k- 평균과 대조적으로 동일한 군집 센트 로이드의 임의 초기화로 인해 실행될 때마다 hello and 이 비디오에 오신 것을 환영합니다

밀도 기반 클러스터링 DD 스캔을 다룰 것입니다 공간 데이터를 검사 할 때 사용하기에 적합한 알고리즘입니다 k-means와 같은 대부분의 기존 클러스터링 기술을 시작했습니다 계층 적 및 퍼지 클러스터링을 사용하여 감독되지 않은 상태에서 데이터를 그룹화 할 수 있습니다 그러나 임의의 모양의 클러스터 또는 클러스터가있는 작업에 적용될 때 방법 클러스터 내에서 전통적인 기술은 좋은 결과를 얻지 못할 수 있습니다 동일한 클러스터의 요소 인 결과가 충분히 공유되지 않을 수 있습니다 분할하는 동안 유사성 또는 성능이 추가로 저하 될 수 있습니다 k- 평균과 같은 기반 알고리즘은 이해하기 쉽고 구현하기 쉬울 수 있습니다

실제로 알고리즘에는 모든 점이 할당 된 특이 치에 대한 개념이 없습니다 비정상 도메인에 속하지 않아도 클러스터에 이상 지점이 동일한 군집 정규 데이터 점 이상 점 클러스터 중심을 향해 끌어 당겨서 대비 밀도 기반 클러스터링의 이상 점은 높은 영역을 찾습니다 저밀도 영역에 의해 서로 분리되는 밀도 이 문맥에서 밀도는 지정된 내의 포인트 수로 정의됩니다 특정의 매우 인기있는 밀도 기반 클러스터링 유형은 DP 스캔입니다 DB 스캔은 클래스 식별과 같은 작업에 특히 효과적입니다

공간적 맥락 DB 스캔 알고리즘의 놀라운 특성은 노이즈의 영향을받지 않고 임의의 모양의 클러스터를 찾습니다 예를 들어이지도는 캐나다 DB 스캔에서 기상 관측소의 위치를 ​​보여줍니다 같은 날씨를 보여주는 스테이션 그룹을 찾기 위해 여기에서 사용하십시오 당신이 볼 수 있듯이 조건은 다른 임의의 모양 클러스터를 찾을뿐만 아니라 밀도가 낮은 것을 무시하여 데이터 중심 샘플의 밀도가 높은 부분을 찾을 수 있습니다 영역 또는 노이즈는 이제이 클러스터링 알고리즘을 통해 작동 방식을 살펴 보겠습니다 DB 스캔은 노이즈가있는 애플리케이션의 밀도 기반 공간 클러스터링을 나타냅니다

이 기술은 기반으로 작동하는 가장 일반적인 클러스터링 알고리즘 중 하나입니다 객체 DB 스캔의 밀도에 대해 특정 점이 클러스터에 속하며 해당 클러스터의 다른 많은 지점에 가깝습니다 그것은 두 개의 매개 변수를 기반으로 작동하며 최소 지점은 지정된 반경 내에 충분한 점이 포함 된 경우 밀집 면적 mm은 우리가 원하는 최소 데이터 포인트 수를 결정합니다 클러스터를 정의하기위한 이웃 반경을 위해 두 개의 단위로 반경을 정의하겠습니다 간단하게 관심 지점 주위의 반경이 2 센티미터라고 가정합니다 최소 점 또는 M 점을 포함하여 6 점으로 설정하겠습니다 DB 스캔의 작동 방식을 확인하려면 포인트 유형을 결정해야합니다 데이터 세트의 각 포인트는 핵심 주문이거나 특이 치가 될 수 없습니다

이 요점들이 무엇인지 설명 할 것이지만 걱정은하지 않겠습니다 DB 스캔 알고리즘은 각 지점을 방문하여 유형을 먼저 찾은 다음 유형에 따라 군집으로 그룹 점을 무작위로 점을 선택합시다 먼저 핵심 데이터 포인트인지 확인하여 핵심 포인트가 무엇인지 확인합니다 데이터 포인트는 포인트 주변에 있다면 포인트입니다 예를 들어 2 센티미터에 6 개의 점이 있으므로 M 점 이상 렌트 포인트의 이웃 우리는이 포인트를 핵심 포인트로 표시합니다 그것이 핵심 점이 아니라면 다른 점을 보도록하겠습니다

이 점이 핵심 점입니다 아시다시피이 동네에는 5 점만 있습니다 노란색 점이므로이 점은 실제로 어떤 점입니까? 인접 지점 인 경우 데이터 지점이 경계 지점 인 경계 지점 M 개 미만의 데이터 포인트 또는 B를 포함합니다 여기서 일부 코어 포인트에서 도달 할 수 있습니다 도달 능력은 그것이 핵심 지점으로부터 우리의 거리 내에 있다는 것을 의미합니다 노란색 점이 빨간색의 2 센티미터 부근에 있어도 그것은 적어도 6을 가지고 있지 않기 때문에 그 자체로는 핵심 포인트가 아닙니다

우리가 볼 수 있듯이 그 이웃의 포인트는 다음 포인트로 계속됩니다 또한 핵심 지점과 그 주변이 아닌 핵심 지점 및 그 주변의 모든 지점 다음 핵심 지점과 다음 핵심 지점을 볼 수 있습니다 핵심 포인트도 아니고 국경 포인트도 아니므로 이상 점 이상 점이 란 무엇입니까? 핵심 점이 아닌 점입니다 또한 우리가 계속 방문하는 핵심 지점에서 도달 할 수있을만큼 가까이 있지 않습니다 데이터 세트의 모든 포인트를 핵심 순서 또는 이상치로 레이블을 지정합니다

다음 단계는 인접하는 핵심 지점을 연결하고 동일한 지점에 배치하는 것입니다 클러스터는 하나 이상의 코어 포인트에 도달 할 수있는 모든 지점으로 형성됩니다 핵심 포인트와 모든 경계선은 단순히 모든 클러스터를 형성하고 찾습니다 이상 치들뿐만 아니라 DB 스캔이 왜 멋진 지 알아보기 위해이 내용을 다시 한 번 검토하겠습니다 꿀벌은 임의의 모양의 클러스터를 제한 할 수 있으며 심지어 클러스터를 찾을 수 있습니다 다른 클러스터 DB 스캔으로 완전히 둘러싸인 소음 개념 그 DB 스캔 위에 두 개의 특이 치가 있습니까? 많은 실제 문제에서 사용하기에 매우 실용적입니다 k와 같은 군집 수를 지정하려면 k를 의미합니다 hello와 이 비디오에 오신 것을 환영합니다

빠른 소개를하겠습니다 추천 시스템을 시작하겠습니다 사람들의 취향이 다를 수 있지만 일반적으로 유사점과 사람들이 좋아하는 경향이 있거나 그것을 보는 또 다른 방법은 사람들이 같은 범주의 것을 좋아하는 경향이 있다는 것입니다 또는 예를 들어 최근에 기계 학습 및 Python에 관한 책을 구입했으며 즐기 셨습니다 그것을 읽고 당신은 또한 데이터에 대한 책을 읽는 것을 즐길 가능성이 매우 높습니다 시각화 사람들은 또한 사람들의 맛과 비슷한 맛을 가지고 있습니다 그들은 그들의 생활에서 추천자 시스템이 당신이 좋아할만한 것을 예측하는 데 도움이되는 패턴과 유사한 행동 추천 시스템에는 많은 응용 프로그램이 있습니다 실제로 추천 시스템에 이미 익숙하다 예를 들어 아마존에 관한 책과 넷플릭스에 관한 영화를 제안하는 웹 사이트 Netflix의 모든 웹 사이트는 고객이 선택한 경우 특정 영화가 자주 시청되는 경우 Netflix의 추천 시스템은 영화가 점점 커지도록 보장합니다 또 다른 예를 매일 사용할 수있는 권장 사항 수 추천 엔진을 사용하여 어디에서나 추천하는 모바일 앱 Facebook 또는 LinkedIn과 같은 소셜 미디어 사이트에 적용하거나 적용 할 직업 정기적으로 친구 추천 추천 시스템을 사용하는 것이 좋습니다 예를 들어 뉴스를 볼 때 웹에서 경험을 개인화하십시오

플랫폼 웹 사이트 추천 시스템은 스토리 유형을 기록합니다 클릭 한 다음 어떤 유형의 앞으로 읽고 싶은 이야기가 많이 있습니다 이러한 유형의 예제는 매일 증가하고 있습니다 추천 시스템을 사용하여 얻을 수있는 주요 이점을 자세히 살펴보십시오 추천 시스템 사용의 주요 장점은 사용자가 그들이 관심을 가질 수있는 다양한 제품에 대한 광범위한 노출 이 노출은 사용자에게 지속적인 사용 또는 구매를 권장합니다 제품은 사용자에게 더 나은 경험을 제공 할뿐만 아니라 하지만 잠재적 인 수익 증가와 함께 서비스 제공 업체에도 혜택을줍니다 고객의 보안 향상에는 일반적으로 두 가지 주요 유형이 있습니다 추천 시스템 콘텐츠 기반 및 공동 필터링 각각의 차이점은 소비자의 진술 유형에 의해 요약 될 수 있습니다

예를 들어 콘텐츠 기반의 주요 패러다임을 만들 수 있습니다 추천 시스템은 성명서에 의해 구동됩니다 콘텐츠 기반 시스템이 사용자가 무엇을 파악하려고 시도하기 전에 내가 좋아했던 것 가장 좋아하는 항목은 공유 항목에 대한 권장 사항입니다 이러한 측면의 협업 필터링은 사용자의 말을 기반으로합니다 내가 좋아할 수도 있기 때문에 내 이웃들에게 인기있는 것을 말해 협업 필터링 기술은 유사한 사용자 그룹을 찾고 제공합니다 해당 그룹 내에서 비슷한 취향을 기반으로 한 권장 사항은 사용자가 유사한 사용자가 관심을 갖는 것에 관심이있을 수 있음 다양한 메커니즘을 결합한 하이브리드 추천 시스템이 있습니다

추천 시스템 구현 조건에는 두 가지 유형의 메모리 기반이 있습니다 전체 사용자 항목을 사용하는 메모리 기반 접근 방식을 기반으로하는 모델 추천 시스템을 생성하기위한 데이터 세트 이러한 기술의 대략적인 사용자 또는 항목 예에는 Pearson이 포함됩니다 상관 관계 코사인 유사성과 유클리드 거리 사용자 기반 모델은 학습하려는 시도로 개발 된 모델 기반 접근법 선호도 모델은 다음과 같은 기계 학습 기술을 사용하여 만들 수 있습니다 이 비디오에서 회귀 클러스터링 분류 등 콘텐츠 기반 추천 시스템을 다룰 예정이므로 시작하겠습니다 콘텐츠 기반 추천 시스템은 사용자 기반으로 아이템을 추천하려고합니다

프로필에서 사용자 프로필은 해당 사용자 기본 설정을 중심으로합니다 그리고 횟수를 포함하여 사용자 등급에 따라 모양이 맛 사용자가 다른 항목을 클릭했거나 해당 항목을 좋아했을 수도 있습니다 추천 프로세스는 해당 항목 간의 유사성을 기반으로합니다 품목의 유사성 또는 근접성은 우리가 이야기하는 내용을 말할 때 예를 들어 Gouri 태그 장르 등 4 개의 영화가 있으며 사용자가 처음 두 항목을 좋아하거나 평가하는 경우 항목 3이 장르 측면에서 항목 1과 유사하면 엔진은 또한 본질적으로 사용자에게 3 번 항목을 추천합니다 추천 시스템 엔진은 이제 컨텐츠 기반 추천 프로그램에 대해 알아 보겠습니다

작동 방식을 확인할 수있는 시스템 6 개의 영화 데이터 세트 만 있다고 가정 해 봅시다 이 데이터 세트는 사용자가 본 영화와 각 장르의 장르를 보여줍니다 예를 들어 배트맨 대 슈퍼맨은 모험 슈퍼 히어로에 있습니다 은하계의 장르와 보호자는 코미디 모험 슈퍼 히어로에 있으며 공상 과학 장르 z'm 사용자가 3 편의 영화를보고 평가했다고 가정 해 보겠습니다 지금까지 그녀는 10 점 만점에 2 점을 받았습니다 10-두 번째 영화 10에서 8에서 세 번째로 추천자의 작업 엔진은이 사용자 또는 세 가지 후보 영화 중 하나를 추천하는 것입니다 다시 말해, 사용자가 평가할 수있는 수준을 보호하고자합니다 그녀가 이것을 달성하기 위해 그들을 볼 수 있다면 세 개의 후보 영화 먼저 사용자 프로필을 작성하십시오

벡터를 생성하여 그녀가 이미 본 영화는 사용자 평가를 입력 한 다음 장르 영화가 사용되는 원 핫 인코딩 방식을 통해 영화를 인코딩 여기서는 기능 세트로이 세 개의 영화를 사용하여 이 두 행렬을 곱하면 영화 기능 세트 행렬을 나타냅니다 영화에 대한 가중치 기능을 설정하십시오 결과를 살펴 보겠습니다 이 매트릭스는 매트릭스를 장르하는 방법이라고도하며 시청 한 영화를 기준으로 각 장르에 대한 사용자의 관심사 이제 가중 된 re 레 마이 트릭을 고려할 때 활성 프로파일을 형성 할 수 있습니다 사용자는 기본적으로 장르의 가중치를 집계 한 다음 정규화 할 수 있습니다 사용자 프로필을 찾으려면 그녀가 슈퍼 히어로를 좋아한다는 것을 분명히 나타냅니다 다른 장르보다 더 많은 영화 이 사용자에게 추천하는 것은 적절합니다

사용자가 세척하지 않은 추천 영화 영화도 지금 우리는 어디에 위치 사용자에게 가장 적합한 것을 파악해야합니다 이 작업을 수행하려면 사용자 프로필 매트릭스에 후보 영화를 곱하면됩니다 가중 영화 행렬을 생성하는 행렬 그것은 우리가 지금 사용자 프로필과 관련하여 각 장르의 무게를 보여줍니다 이 가중치 등급을 집계하여 활성 사용자에게 가능한 관심 수준을 얻습니다 이 세 영화에서 본질적으로 우리가 정렬 할 수있는 추천 목록이 있습니다 예를 들어 영화의 순위를 매기고 사용자에게 추천하기 위해 은하계 히치하이커를위한 안내서는 우리 목록에서 가장 높은 점수를 받았으며 적절합니다

사용자에게 추천하기 위해 돌아와서 지금까지 논의한 내용을 요약하기 위해 사용자에 대한 예측 등급 콘텐츠 기반 시스템에서의 추천은 사용자의 취향과 콘텐츠에 기초 또는 모델과 같은 기능 세트 항목은 매우 효율적이지만 경우에 따라 예를 들어 작동하지 않습니다 드라마 장르에 영화가 있다고 가정하면 사용자가 본 적이 없어서이 장르는 프로필에 없습니다 따라서 이미 존재하는 장르와 관련된 권장 사항 만 가져옵니다 그녀의 프로필과 추천 엔진은 어떤 영화도 추천하지 않습니다 다른 장르이 문제는 다른 유형의 추천 시스템으로 해결할 수 있습니다 공동 작업 필터링 안녕하세요이 동영상에 오신 것을 환영합니다 협업 필터링이라는 추천 시스템 기술을 다루기 때문에 협업 필터링 시작은 제품과 사람들의 관심사 사이에 관계가 존재한다는 사실 추천 시스템은 협업 필터링을 사용하여 이러한 관계를 찾습니다

사용자가 좋아하거나 좋아할만한 제품을 정확하게 추천합니다 공동 작업 필터링에 관심이 있으려면 기본적으로 사용자 기반의 두 가지 방법이 있습니다 항목 기반 사용자 기반 협업 필터링은 사용자를 기반으로합니다 유사성 또는 이웃 항목 기반 협업 필터링은 항목 간의 유사성 먼저 사용자 기반의 직관을 살펴 보겠습니다 우리가 가지고있는 사용자 기반 협업 필터링의 접근 방식 추천을위한 활성 사용자 협업 필터링 엔진은 먼저 유사한 사용자를 찾고 활동적인 사용자 비가 패턴 협업 필터링 기초 기록 환경 설정 및 사용자가 선택한 사항과 유사 예를 들어 영화를 보거나 즐길 때 유사한 사용자가 높게 평가 한 후 이와 유사한 등급을 사용합니다

사용자는 자신이 가진 영화에 대해 활성 사용자의 가능한 등급을 예측할 수 있습니다 예를 들어 두 명의 사용자가 비슷하거나 이웃 인 경우 관심있는 영화와 관련하여 영화를 이웃이 이미 본 사용자는 알고리즘을 살펴보고 이 모든 것이 어떻게 작동하는지 간단한 사용자 항목 매트릭스가 있다고 가정합니다 5 가지 영화에 대한 4 명의 사용자 평가를 보여줍니다 활동적인 사용자는이 5 가지 영화 중 3 개를보고 평가했습니다 활동중인 사용자가 보지 않은 두 영화 중 어떤 영화가 첫 번째 단계는 활성 사용자와의 유사성을 발견하는 것입니다 다른 사용자들에게 우리가 이것을 잘하는 방법은 여러 가지를 통해 수행 할 수 있습니다 거리와 같은 다른 통계 및 빅토리아 기법 또는 유클리드 거리 피어슨 상관 관계를 포함한 유사성 측정 코사인 유사성 등을 사용하여 둘 사이의 유사성 수준을 계산합니다

사용자는 과거에 두 사용자 모두 평가 한 3 개의 영화를 사용합니다 유사성 측정에 사용하는 것과 상관없이 활성 사용자와 다른 사용자 사이의 유사성은 07 09 및 04 일 수 있습니다 이 숫자는 활성 사용자의 유사성 가중치 또는 근접성을 나타냅니다

데이터 세트의 다른 사용자에게 다음 단계는 가중치 등급을 작성하는 것입니다 우리는 방금 사용자의 활성 사용자와 사용자의 유사성을 계산했습니다 이전 슬라이드를 사용하여 가능한 의견을 계산할 수 있습니다 영화를 목표로하는 우리의 활동적인 사용자는 이것을 곱해서 달성됩니다 사용자 등급과의 유사성 가중치 두 후보 영화에 대한 사용자의 이웃 의견을 나타냅니다 실제로 추천을 위해 다른 사용자의 행동을 통합합니다

더 유사한 사용자의 평가에 더 많은 가중치를 부여합니다 활성 사용자는 이제 전체를 집계하여 추천 매트릭스를 생성 할 수 있습니다 세 명의 사용자가 첫 번째 잠재적 영화를 평가함에 따라 요금의 가중치 두 명의 사용자가 가중치 등급을 정규화해야하는 두 번째 영화를 평가했습니다 사용자를위한 유사성 지수의 합계로 나누어서 결과는 활성 사용자가 이들에게 제공 할 잠재적 인 평가입니다 다른 사용자와의 유사성을 기반으로 한 영화는 우리가 그것을 사용할 수 있음이 분명합니다 현재 활성 사용자에게 추천을 제공하기 위해 영화의 순위를 정합니다 사용자 기반 협업과 항목 기반 협업의 차이점을 살펴 보겠습니다 사용자 기반 접근 방식에서 필터링 권장 사항은 예를 들어 다음과 같이 공통된 환경 설정을 공유하는 동일한 이웃 사용자 1과 사용자 3은 모두 항목 3과 항목 4를 좋아했습니다

이웃 사용자와 사용자 1이 긍정적으로 평가 한 항목 1을 추천합니다 항목 기반 접근 방식의 사용자 3에서 유사한 항목이 사용자의 행동은 내용에 근거하지 않는다는 점에 유의하십시오 예를 들어 항목 1과 항목 3은 원래의 이웃 항목으로 간주됩니다 사용자 1과 사용자 2에 의해 긍정적으로 평가되므로 항목 1을 사용자 3에게 추천 할 수 있습니다 그가 이미 항목 3에 관심을 보였으므로 여기에 권장 사항은 사용자가 공동 작업을 선호 할 수있는 주변 항목에 따라 필터링은 매우 효과적인 추천 시스템이지만 Dana 희소성 데이터 희소성입니다

일반적으로 언급 된 협업 기반 추천자로서 제한된 수의 항목 다른 사용자로 인해 아이템을 해방 한 경우에만 아이템의 코 골기 예측 희소성 사용자 항목 데이터 세트에서 평가가 충분하지 않을 수 있습니다 유지할 또 다른 문제에 대한 적절한 권장 사항을 제공하는 것이 불가능합니다 마음은 콜드 스타트 ​​콜드 스타트는 어려움을 나타냅니다 추천 시스템에는 새로운 사용자가있을 때와 같은 프로필이 없으므로 그들에게 존재하지만 콜드 스타트는 새로운 아이템이있을 때도 일어날 수 있습니다 평가 확장 성을받지 못한 경우 사용자 또는 항목이 증가하고 데이터 양이 협업 필터링을 확장합니다 알고리즘의 증가로 인해 성능이 저하되기 시작합니다 유사도 계산 이러한 각 문제에 대한 몇 가지 솔루션이 있습니다

하이브리드 기반 추천 시스템을 사용하는 등의 범위를 벗어납니다 시청 해주셔서 감사합니다 당신 당신

Deep learning nails correlation. Causation is another matter. | Gary Marcus

말하고 싶은 오래된 농담 통계학자가 있는데, 그것은 당신의 어휘 크기가 손의 크기와 관련이 있습니다 그리고 사실입니다

전체 인구를 가로 질러 가면 모든 사람의 손 크기와 모든 사람의 어휘를 측정하고, 평균적으로 손이 큰 사람들은 어휘력이 더 큽니다 그러나 그것은 더 큰 손을 가짐으로써 반대로 더 큰 어휘를 제공한다는 것을 의미합니까? 공부하고 책을 읽는데 음 아니

그것은 성인이 아이들보다 더 많은 단어를 알고 경향이 있으며 더 큰 경향이 있음을 의미합니다 소유 무언가로 인해 단어를 배우고 손을 키우게됩니다 정말 같은 것은 아닙니다 따라서 인과 관계는 손을 키우면 실제로 어휘를 키우게 될 것입니다

그러나 그것은 없습니다 우리는 상관 관계가 있습니다 딥 러닝은 상관 관계보다 더 환상적입니다 그러나 첫 번째 근사치가 그 일을하고 있습니다 상관 관계입니다

인과 관계를 나타내는 방법은 없습니다 우리가 딥 러닝 시스템을 요청하고 싶다면 더 큰 손을 키우는 것은 더 큰 어휘? 딥 러닝 시스템은 여기에 여러 가지 관찰이 있다고 말할 수 있습니다 그들은 분명히 상관이있는 것 같습니다 그러나 손이 자라는 원인은 모든 종류의 신진 대사 과정이라고 말할 수 없습니다 어휘력을 증가시키는 원인은 모든 종류의 학습 경험입니다

따라서 인과 관계가 있는지에 대한 질문조차 할 방법이 없습니다 당신의 손 크기와 어휘 사이 그것들은 서로 관련되어 있다는 것을 알 수 있습니다 그리고 그것은 어떤 목적으로도 좋을 수 있습니다 가장 큰 어휘를 가진 사람들을 골라 내려면 유용 할거야

메카니즘이 무엇인지 알고 싶다면 왜 이런 것들이 서로 관련이 있는지, 그리고 한 사람이 다른 사람을 유발하는지 여부-아마도 알고 싶은 딥 러닝 당신의 도구가 아닙니다

Artificial Intelligence (AI) Vs Machine Learning (ML)

인공 지능과 기계 학습은 종종 서로 교환 가능하게 참조됩니다 그리고 그것은 보통 사람이 서로를 구별 할 수 없다는 사실입니다 AI와 ML은 일상 생활에서 두 기술을 모두 사용하지만

AI와 ML이 매우 다르다는 것을 알고 있습니까? 차이점을 알아 봅시다! AI는 기계 지능이라고도하는 인공 지능을 의미합니다 AI의 초기 개발은 주로 계산에 중점을 두었습니다 오늘날 우리는 스스로 결정할 수있는 AI 응용 프로그램에 관심이 있습니다 인공 지능에는 두 가지 유형이 있습니다 인공 일반 지능 (AGI) 및 인공 응용 지능 (AAI)

"강력한 AI"또는 "전체 AI"라고도하는 인공 일반 지능 (AGI)의 주요 목표는 인간이 할 수있는 것과 같은 방식으로 작업을 이해하고 배우고 수행하는 기계의 능력을 개발하는 것입니다 "약한 AI"또는 "좁은 AI"라고도하는 인공적 응용 지능 (AAI) 특정 작업을 자동화하는 데 사용되는 소프트웨어를 나타냅니다 그러나 AAI는 모든 범위의 인간 지능을 시뮬레이션하려는 것이 아닙니다 한편 머신 러닝 (ML)은 분석하는 알고리즘 세트입니다 패턴을 감지하고 정확한 추측을하기 위해 대량의 데이터가 필요합니다

기계 학습에는 여러 유형이 있으며 그 중 하나는지도 학습입니다 알고리즘은 라벨이 지정된 데이터, Google지도와 같은 애플리케이션을 사용하여 학습됩니다 시간 및 날짜와 같은 데이터를 사용하여 시간을 계산하도록 훈련 주어진 경로를 통해 집에 도착하려면 사용자가 필요합니다 다음 유형의 기계 학습은 비지도 학습입니다 반면에 레이블이없는 데이터를 사용합니다

기계를 가능하게합니다 찾을 수있는 패턴을 감지합니다 그러나 유용한 기술이 될 수 있습니다 이전에는 감지되지 않은 패턴과 감독되지 않은 데이터를 찾기가 쉽지 않습니다 기계 학습의 마지막 유형은 강화 학습입니다 주어진 목표를 달성하기 위해 시행 착오를 통해 배우는 알고리즘 강화 학습은 AlphaGo를 개발하는 데 사용되었습니다

월드 바둑 챔피언을 이길 수있는 최초의 컴퓨터 프로그램 AI와 ML에는 4 가지 주요 차이점이 있습니다 먼저 머신 러닝은 많은 인공 지능 응용 프로그램 둘째, 기계 학습은 하위 집합입니다 AI의 모든 머신 러닝은 인공 지능이지만 전부는 아닙니다 인공 지능은 기계 학습입니다

셋째, 더 구체적인 목표가 있습니다 머신 러닝 응용 프로그램 뒤에 마지막으로 머신 러닝은 데이터를 통해 인공 지능은 인간 지능의 시뮬레이션입니다 진실은 인공 지능이며 기계 학습은 이미 우리의 일상 생활의 많은 부분을 가능하게 해주었 고 우리의 삶을 더 쉽고 더 만족스럽게 만드는 광범위한 응용 프로그램 다음에 오는 것은 하늘이 한계입니다!

Challenge in applying machine learning technologies? Lei Yang, VP & Head of Engineering @ Quora

이러한 큰 플랫폼을 구축하고 적용하는 데있어 기술적 과제는 무엇입니까? 많은 사용자에게 서비스를 제공하는 기계 학습? 가장 큰 도전은 무엇입니까? 예, 많은 사람들이 있습니다 공유 할 수 있습니다

우리는 이미 기계 학습, 우리가하고있는 일 머신 러닝에만 해당되는 것 중 가장 큰 것 중 하나는 Quora뿐만 아니라 이것을 사용하는 많은 회사에 도전합니다 기술은 개발자 속도입니다 기본적으로 얼마나 빠르게 반복 할 수 있습니까? 많이있다 머신 러닝의 최신 발전 사람들은 모두 연구 논문을 쓰고 있습니다 시간이 지날수록 새로운 것들이 문 밖으로 나옵니다

그러나 어떻게 빨리 선택할 수 있습니까 새로운 모델을 도입하고 새로운 기술을 도입하여 개념에서 제품에 대해 실험 해보십시오 생산? 그것은 큰 병목 현상입니다 우리에게 큰 도전이자 또 다른 단점은 올바른 플랫폼이 있어야한다는 것입니다 매우 빠른 반복, 프로토 타입 및 실험을 지원하기위한 인프라 무엇이 가장 효과적인지 이해하기 위해 다양한 머신 러닝 기술 우리를 위해 우리가 여전히 최적화 할 수있는 기회는 어디에 있습니까? 그리고 우리는 회사와 비교할 수있을 정도로 흥미로운 플랫폼을 구축하는 데 많은 시간 비슷한 크기와 규모로 개발자가 실제로 느낄 수있는 몇 안되는 사람 중 하나입니다

기계 학습이 쉽고 실험 및 프로토 타입이 쉽습니다

SAS Tutorial | Interpreting Machine Learning Models in SAS

[음악 재생] 안녕하세요 저는 분석 교육 컨설턴트 인 Ari Zitin입니다 여기 SAS에서

오늘은 튜토리얼을하겠습니다 모델 해석 능력 도구 활성화 SAS Viya의 Model Studio에서 문제는 모델 해석이 무엇이며 왜 그것을 사용하고 싶습니까? 그래서 스스로에게 물어볼 수있는 몇 가지 질문 모델을 만들 때 다음과 같은 질문이 있습니다 모델이 작동 했습니까? 우리는 모델의 결과로 무엇을 할 것입니까? 모델이 공정 했습니까? 이 질문에 대한 답을 얻을 수 있습니다 모델 해석 도구로 모델이 작동 했습니까? 모델 해석 도구를 사용할 수 있습니다 모델이 어떻게 생각하는지에 대한 직관을 제공하기 위해 데이터에 대해, 어떤 종류의 입력 목표를 예측하는 데 사용하고 있습니다 그리고 그 입력으로 무엇을하고 있는지 확인이 가능합니다 직관을 확인하고 모델이해야 할 일 또는 어떤 종류의 입력을 사용해야하는지, 실제로하고있는 것과 모델로 무엇을 할 수 있는지 같은 질문 일부 모델은 해석 가능한 경우에만 유용합니다

예를 들어 시도하고 변경하기 위해 모델을 구축하는 경우 비즈니스 프로세스, 모델이 제안하는 것을 제안하는 이유를 알고 싶습니다 비즈니스 리더십을 설명 할 수 있습니다 변경해야하는 이유 반대로, 당신이 모델을 만들고 있다면 응답 할 가능성이 가장 높은 고객을 찾으려고 메일 캠페인에, 당신은하지 않을 수 있습니다 모델 해석 가능성에주의하십시오 저는 항상 모델로 무엇을하고 싶은지 생각합니다 모델이 작동하는지 여부 다른 쪽, 모델 해석의 다른 쪽 모델이 공정하고 표준에 부합합니까? 그 규제 기관이 당신을 위해 할당 한? 사람들에게 신용 점수를 줄 때 그들은 그들이 뭘 잘못했는지 알아낼 수 있어야합니다 또는 더 나은 신용 점수를 얻기 위해해야 ​​할 일 더 나은 대출을 받으십시오 따라서 규제 요건이 있습니다

모델을 설명하는 방법에 따라 고객과 규제 기관에 제대로하고 있는지 확인하십시오 공정성 측면에서, 물론, 보호 된 분류를 사용하는 모델입니까? 또는 사람들이 예측하려고 노력하는 것에 대한 특성? 귀하의 모델이 차별적이거나 편향되어 있습니까? 모델 해석 성은 이러한 질문에 대한 답변을 제공합니다 모델이 생각하고있는 것을 말함으로써 그래서 무엇의 세부 사항에 들어가기 위해 모델 해석 성은 실제로 몇 가지 모델을 살펴보고 이러한 모델을 해석합니다 그래서 우리는 고전적인 물류로 시작합니다 또는 선형 회귀

로지스틱 회귀 분석을 생각해 보겠습니다 LOGIT가 있다면- 이것은 일종의 공식입니다 p 모자의는 베타 0 + 베타 1 x1 + 베타 2 x2와 같습니다 이 LOGIT 점수는-우리의 확률입니다 확률을 예측하려고합니다 입력을 기반으로합니다

아이디어는이 모델을 해석 할 수 있다는 것입니다 이 계수들이 베타 1, 베타 2- LOGIT 점수를 어떻게 변경하는지 알려주십시오 본질적으로 확률의 로그 확률입니다 x1을 바꾸면서 x1을 1 단위 씩 늘리면 확률의 로그인 LOGIT 점수를 증가시킵니다 따라서 1-p 모자를 뺀 p 모자의 로그가됩니다

LOGIT 점수를 베타 1 양만큼 변경합니다 기본적으로 우리에게 말하는 것은 로지스틱 회귀를 해석 할 수 있다는 것입니다 이 추정치를 사용하여 우리의 확률을 이것이 예측 된 확률입니다 머신 러닝에서 예측하려는 모든 것 알고리즘-예측 확률이 어떻게 변하는가 입력을 변경하면 그래서 이것은 우리에게 무엇을 알려주기 때문에 해석 가능합니다 이 입력을 변경하면 발생합니다 맥락에서 저는 항상 생각하고 싶습니다

누군가 대출을 신청하고 있고 왜 대출을받지 못했습니까? 그리고 우리는 잘 말할 수 있습니다, 당신의 x1 보유한 연체 크레딧 한도 특정 임계 값을 초과했습니다 대출에 대한 채무 불이행 가능성을 의미 특정 임계 값을 초과 했으므로 대출이 거부되었습니다 그러나 여기서 결론은 기본적으로 로지스틱 회귀는 기본적으로 해석 가능합니다 모델 우리가 생각하는 다음 모델은 근본적으로 해석 가능한 모델은 의사 결정 트리입니다

우리가 결정 트리가 있다고 생각하면 여기 잎이 있습니다 여기에 루트 노드가 있고 분할됩니다 우리는 거기에 갈 x1이 5보다 작다고 가정 해 봅시다 그리고 이것은 그렇습니다, 그리고 이것은 그렇습니다

그리고 우리는 여기 x2가 06보다 작습니다 그리고 이것은 그렇습니다, 그리고 이것은 그렇습니다 그리고 나는 전체 결정 트리를 그리지 않을 것입니다 x1을 따르는 사람들이 0

5보다 작다고 가정 해 봅시다 x2가 06보다 작 으면이를 1로 분류합니다 그리고 우리는이 사람들을 0으로 분류합니다 이 확률이 70 %라고 가정 해 봅시다 이것은 60 %의 확률로, 우리는 그것을 1로 분류합니다

우리는 결국 설명을 얻을 수 있습니다 이 빈에-우리가 그것들을 1로 분류했다고 해봅시다 기본 데이터를 상상하고 있다고 가정 해 봅시다 그래서 우리는 그들이 가고 있다고 예측하고 있습니다 대출금을 불이행 할 때 그들은 왜 우리에게 x1의 가치를 말할 수 있는지 묻습니다 0

5 미만이었습니다 x2의 값이 06 미만입니다 공유 한 사람들의 60 %가 대출의 불이행으로 인해 그래서 당신은 그 쓰레기통에 빠지고, 우리는 예측합니다 당신은 대출을 기본으로합니다 당신이 그것을 바꾸고 싶다면, 우리는 시도하고 조정할 수 있습니다

x1 또는 x2의 가치 연체 신용 한도처럼 다시 한번,이 결정 트리 근본적으로 해석 가능한 모델입니다 이 규칙 목록에서 읽을 수 있기 때문에 왜 우리는 우리가 한 방식으로 누군가를 점수 이제 몇 가지에 대해 생각해 봅시다 의 기본적으로 해석 할 수없는 모델입니다 신경망에 대해 생각한다면 신경망은 방정식을 형성합니다

여기서는 약간의 신경망 다이어그램을 그릴 것입니다 x1과 x2, x1, x2라고합시다 그리고 세 개의 숨겨진 유닛이 있다고 가정 해 봅시다 x1과 x2는 모든 숨겨진 장치에 연결됩니다 숨겨진 레이어가 하나만 있다고 가정하겠습니다

여기서 문제는 여전히 x1의 값을 변경하면 여기이 숨겨진 유닛에 영향을 미칩니다 이 숨겨진 유닛은 여기에 있습니다 결과가 바뀌는 방식 x2의 순간 값에 따라 숨겨진 단위마다 tanh w0과 같은 공식이 있기 때문에 더하기 w1 x1 더하기 w2 x2 보시다시피이 탄의 출력은 여기서 x2의 가치에 따라 우리가 x1을 얼마나 많이 바꾸는가가 아니라 우리가 보는 것은 공식처럼 보이지만 로지스틱 회귀와 같이 개별적으로 독립적으로 각 개인의 효과를 격리 우리는 실제로 어떻게 변화하는지 해석 할 수 없습니다 변수가 결과를 바꿀 것입니다 하루가 끝나면 신경망 단지 큰 공식입니다 그리고 모든 입력을 공식에 ​​연결합니다

그리고 그것은 예측을합니다 그리고 당신이 묻는다면, 예측은 어떻게 될까요? x1을 05로 변경하면 알 수있는 유일한 방법은 x1을 05 씩 변경합니다 모델에 다시 연결하면 정말 해석이 아닙니다 우리는 단지 모델을 말하고 있습니다

이것이 모델이 말하는 것이기 때문입니다 따라서 기본적으로 해석 할 수없는 모델입니다 다음으로 생각하는 것은 숲과 그라디언트 부스팅입니다 나는 단지 작은 다이어그램을 그릴 것입니다 숲은 실제로 결정 트리의 모음 일뿐입니다

저는 여러 가지 결정 트리를 그리는 중입니다 여기에 그들은 막대기 사람들처럼 보입니다 숲과 그라디언트 모두 향상 의사 결정 트리의 통합을 포함합니다 각 트리마다 자체 목록이 있지만 우리가 해석 할 때 우리가 해석 할 수있는 규칙, 우리는 더 이상 그것을 해석 할 수 없습니다 규칙 목록의 일부 조합 실제로 규칙 요약 목록을 제공하지는 않습니다

오히려 우리는 모든 확률을 평균화하고 있습니다 나무에 의해 생성됩니다 따라서 하루가 끝나면 이러한 규칙 중 어느 것도 모델을 스코어링하는 데 사용할 실제 규칙입니다 그것들의 수치 평균 또는 합병입니다 우리는 실제로 평균적인 설명을 할 수 없습니다 갑자기 모든 변수가 결국 예측에 중요하다 우리가 찾고 있던 나무에 따라 목표 우리는 평균화를 할 때 본질적으로 다른 변수를보고있다 또는 다른 경로

따라서 고유 한 규칙 목록이 없습니다 이유를 예측하거나 설명하는 데 사용할 수있는 당신은 당신이 예측 한 것을 예측했습니다 계속해서 소프트웨어와 데이터를 살펴 보겠습니다 우리가 사용할 것입니다 그래서 우리는 타이타닉의 데이터를 사용할 것입니다

타이타닉이 침몰했을 때 살아 남았습니다 우리는 본질적으로 역사적 정보를 가지고 있습니다 승객에 대해, 그들이 어떤 오두막에 있었는지, 몇 살인지 그들의 성별이었습니다 그리고 우리는 그것을 사용하여 예측하고 시도 할 것입니다 타이타닉이 추락했을 때 생존 여부 가장 먼저 할 일은 소프트웨어로 이동하는 것입니다

Chrome을 열고 SAS Viya로갑니다 SAS Drive로 이동합니다 Viya 홈페이지 그리고 데이터에 대해 조금 더 이야기하겠습니다 소프트웨어에 데이터를로드하면 사용하고 있습니다 SAS Drive에서 왼쪽 상단에있는 햄버거 메뉴를 클릭하겠습니다 응용 프로그램 표시 메뉴라고도합니다

하지만 보편적 인 이름 인 햄버거 메뉴는 세 줄로 모델 작성으로갑니다 이를 통해 SAS Model Studio로 이동합니다 SAS Model Studio에서 새 프로젝트를 만들겠습니다 새 프로젝트를 클릭하겠습니다

이 타이타닉 모델 해석 가능성 데모 (Titanic Model Interpretability Demo)라고합니다 빈 템플릿을 사용하고 데이터를 선택하겠습니다 이것은 타이타닉 데이터가 될 것이므로 Import로갑니다 로컬 컴퓨터에서 로컬로 가져옵니다 데이터 D, 워크샵, SAS, UA19 이 자료는 유효하다

아래에 링크가 있으므로 이 데이터를 직접 찾을 수 있습니다 Import Item을 클릭하여 메모리에로드합니다 작은 데이터 세트이므로 매우 빠릅니다 오, 실제로 테이블이 이미있는 영역을 알려줍니다 존재합니다 난 그냥 좋은 측정을 위해 교체합니다

아마 그럴 필요는 없었을 것입니다 테이블이 이미 메모리에 있었기 때문에 그러나 나는 오늘 일찍 이것을로드했습니다 확인을 클릭하겠습니다 계속해서 저장을 클릭하십시오 타이타닉 데이터로 프로젝트를 빌드합니다

그리고 그것은 즉시 우리를 데리고 시작 Model Studio에서 데이터 탭이라고 부르는 방금로드 한 데이터에 대한 정보 입력 내용에 대해 이야기하겠습니다 내가 제거하는 과정을 겪을 때 사용하고 싶지 않습니다 먼저, 우리는 예측 모델링을하고 있습니다 "목표 역할을 가진 변수를 지정해야합니다" 우리는 목표가 필요합니다 우리는 사람들의 생존 여부를 예측하고 싶습니다 타이타닉이 추락했을 때 얼어 붙은 북대서양 물에 빠졌습니다

클릭은 살아 남았습니다 역할을 입력에서 대상으로 변경하겠습니다 이제 입력을 통해 목표를 시도하고 예측하려고합니다 타입별로 정렬하겠습니다 실례합니다

역할별로 정렬하겠습니다 입력인지 아닌지 걱정하기 때문입니다 우리가 남길 수있는 ID 변수 key_ID의 경우 이것을 ID에서 키로 변경하겠습니다 이 키를 참조 키로 사용하기 때문에 데이터의 개별 행

key_ID 아래에서 Key를 클릭하겠습니다 또한 일부 변수를 거부하고 싶습니다 저는 착수와 양피지를 선택하고 아래로 스크롤합니다 보트는 이미 거부되었습니다 그리고 저는이 두 가지를 거절 할 것입니다

입력 역할에서 거부 됨 역할로 전환하십시오 우리가 관심을 갖는 5 개의 입력 변수가 남습니다 그래서 나는 이것을 리조트 할 것입니다 우리는 그 다섯 개를 모두 볼 수 있습니다 전부

우리는 성관계를 가졌으니 그것은 남자 나 여자입니다 나이가 있습니다 나이는 몇 살인 지에 대한 숫자 변수입니다 아르 요금이 얼마인지에 대한 숫자 변수 인 운임이 있습니다 그들의 티켓을 지불했다 범주 형 변수 인 pclass가 있습니다

아, 그리고 그것은 수준이 명 목적이라는 것을 알고 있으므로 그것을 받아들입니다 일등석 객실은 1 등입니다 2 등석 객실은 2 등급, 3 등석 객실은 3 등급, 가장 싼 오두막 그리고 형제 자매와 배우자, sibsp, 형제 자매 및 / 또는 배우자 수 당신은 온보드했다 그래서 나는 항상 이것을 당신이 1을 가진 것처럼 해석합니다

아마 배우자 일 것입니다 당신이 1 이상을 가지고 있다면, 나는 많은 사람들을 생각하지 않습니다 타이타닉에서 두 명 이상의 배우자를 데리고 왔습니다 데이터가 준비되었으므로 이제 파이프 라인 탭으로 이동하여 파이프 라인을 클릭합니다 간단한 예측 모델링을 구축하는 것부터 시작하겠습니다 파이프 라인

데이터, 하위 노드 추가,지도 학습을 마우스 오른쪽 버튼으로 클릭하십시오 의사 결정 트리를 작성하겠습니다 또한 데이터를 마우스 오른쪽 버튼으로 클릭하고 추가합니다 하위 노드,지도 학습, 그라디언트 부스팅 해석 가능한 모델 인 의사 결정 트리가 있습니다

해석 할 수없는 모델 인 그라디언트 부스팅 모델 그라디언트 부스팅을 클릭하겠습니다 우리는 상당히 흥미로운 것을 발견 할 것입니다 모델 해석 기능을 켤 수 있다는 것을 알고 계셨습니까? 한 번의 클릭으로 우리는 단지 글로벌 통역 성을 열 것입니다 PD 도표를 클릭하여 모형 해석 성을 켭니다 실제로 몇 번 더 클릭하면 나머지 모델 해석 도구 PD 플롯을 클릭하면 아래로 스크롤합니다

현지 통역 가능성 ICE 플롯을 선택하겠습니다 LIME을 켜겠습니다 덧붙여 설명하겠습니다 우리가 실제로 할 때이 모든 것의 의미 결과를보십시오 그러나 당신은 당신이 정말로하지 않는 것을 알 수 있습니다 클릭하는 것의 의미를 알아야합니다 켜십시오

이 모든 설정을 기본값으로 두겠습니다 파이프 라인을 실행하십시오 그것이 실행되는 동안, 우리는 결정의 결과를 볼 것입니다 우리가 그것을 해석 할 수있는 방법을보기 위해 나무 그러나 궁극적으로 그래디언트 부스팅 모델은 조금 더 잘 수행합니다 약간 더 나은 모델입니다

사용할 수 있기를 원하지만 우리 만 우리가 이해한다면 받아 들일 수있어 모델이 어떻게 작동하고 해석하는지 그래서 우리는 다양한 모델 해석 도구를 켰습니다 의사 결정 트리의 결과를 살펴 보겠습니다 그런 다음이 개별 모델에 대해 이야기하겠습니다 해석 가능성 도표 결과를보고 실제로 시도하고 만들 수 있습니다 우리의 해석

의사 결정 트리를 마우스 오른쪽 버튼으로 클릭하고 결과를 선택합니다 의사 결정 트리를 해석 할 때 실제로 결정 트리 다이어그램은 이것이 바로 트리 다이어그램입니다 전체 화면으로 확대하고 확대 해 보겠습니다 그래서 우리는 즉시 봅니다 섹스를 기반으로 한 분할이 있습니다

여기는 수컷, 여기는 암컷입니다 우리는 생존이 1이고 죽는 것이 0이라는 것을 알 수 있습니다 그래서 우리는 여성이 훨씬 더 남성보다 타이타닉 침몰에서 살아남을 가능성이 높습니다 왼쪽의 남성 통로를 따라 가면 525 세 남성의 경우 기본적으로 5 살 이상입니다 약 82 %가 타이타닉이 침몰했을 때 죽었다

그래서 이것은 우리의 직감과 일치합니다 타이타닉에 대해 역사적으로 살펴보면 1800 년대 후반과 1900 년대 초에는이 철학이 있습니다 배가 가라 앉자 그들은 여자와 아이들을 먼저 구했습니다 이것은 당신이 여자가 아니고 아이가 아닌지를 나타냅니다 죽을 확률이 훨씬 높다 보트에있는 다른 사람들보다 따라서 전체 트리 다이어그램을 계속 해석 할 수 있습니다

그렇게하는 대신 결과로갑니다 Gradient Boosting 노드에서 실제로 의사 결정 트리 노드의 결과를 닫습니다 그라디언트 부스팅을 마우스 오른쪽 버튼으로 클릭하고 결과를 선택합니다 그래디언트 부스팅의 요약 결과를 얻습니다 모델이 실제로 얼마나 잘 수행했는지 알려줍니다 이 오류 그림과 같은 것들은 훈련 데이터, 검증 데이터 및 테스트를 보여줍니다 데이터

기본적으로 이러한 데이터의 평균 제곱 오차 나무 수의 함수로 모델에 나무를 더 추가 할 때 우리는 더 나은 성능을 얻습니다 그래디언트 부스팅 모델이 더 좋습니다 개별 의사 결정 트리보다 여기에 하나의 나무 그러나 더 이상 트리 다이어그램이 없습니다 이 모든 노드 결과를 스크롤하고 검색 할 수 있습니다

내 마음의 내용에, 나는 나무 다이어그램을 찾을 수 없습니다 존재하지 않기 때문입니다 이제 모델로 가야합니다 있던 해석 성 결과 이 모든 모델 해석 성을 켜면 생성됩니다 도구 모델 해석을 클릭합니다 부분 의존성 플롯으로갑니다 이제부터 살펴 보겠습니다 몇 가지 설명을 드리겠습니다

오른쪽에는 약간의 요약 설명이 있습니다 우리가 줄거리에서보고있는 것의 이것이 알림으로 유용하다고 생각합니다 하지만 때로는 이런 것들을 배울 때 이 자동 생성 텍스트는 약간 형식적입니다 그래서 나는 당신에게 방법에 대한 일종의 설명을 줄 것입니다 부분 의존도에 대해 생각합니다 그리고 우리는 그것들을 어떻게 만드는지 이야기 할 것입니다

우리가보고있는 것은 평균적으로 전체 데이터 세트에서 여성을 예측합니다 생존 확률 066 % 따라서 생존율이 66 %입니다 남성의 경우 평균 21 %의 생존 확률을 얻습니다 나이가 아닌 연속 변수 이산 변수, 우리는 지속적인 예측을 얻습니다 연령에 따른 다른 평균 예측에 대해 우리는 15 세 미만의 사람들에게 우리는 그들이 생존 할 가능성이 훨씬 높다 15 세 이상의 사람들보다 50 세 이상이면 차가운 북대서양에서 살아남을 수있는 기회 우리의 직관과 일치하는 꽤 내려갑니다 아이들을 먼저 구하고 특정 연령 이상의 사람들을 구했습니다 단순히 수영 능력이 없다 차가운 물에 아주 오랫동안

결과를 얻은 다음 질문을받습니다 이 결과를 어떻게 구성합니까? 실제로 이것을 생성하기 위해 무엇을 했습니까? 실제로 소프트웨어를 빨리 최소화하겠습니다 약간의 그림을하기 위해서 우리가하고있는 일을 설명하기 위해 잠깐만 나는 여기에 조금 엉켜있다 부분 의존도를 만들 때 전체 데이터 세트가 있다고 상상해보십시오 그리고 이것이 나이와 같은 입력이라고 가정 해 봅시다

그리고 이것들은 다른 모든 입력, 즉 섹스 등입니다 그리고 여기 우리가 될 것입니다 우리가하는 일은 예측하고 싶어 모든 원래 데이터 세트 이것들은 원래 숫자입니다 그런 다음 플러그인합니다 우리가 부분적으로 의존하고 싶다고 가정 해 봅시다 음모, 나이에 PD 음모

따라서 플러그인 연령은 1 인당 1입니다 우리는 상상하고 있습니다 타이타닉이라고 해봅시다 성인으로 채워지는 대신 우리는 1 세의 타이타닉을 보냈습니다 그러나 그들은 모두 같은 사람들이었습니다

그들은 모두 같은 특성을 가졌습니다 같은 섹스, 같은 클래스, 그들은 같은 돈을 보냈다 운임에 우리는 1 세인 모두에게 목표에 대한 예측 확률은 얼마입니까? 이 숫자를 모두 생성하므로 예측 열에 있습니다 여기에서 평균을 구합니다 모든 예측의 평균을 구합니다

이것이 부분 의존도의 요점이됩니다 저는 이것을 나이로 상상할 수 있습니다 그리고 이것은 평균 목표입니다 그리고 우리가 상상하는 것은 이제 우리는 나이 1의 가치를 얻었습니다 우리는 1을 가지고이 평균을 플러그인합니다

우리는 여기서 계산했습니다 이제이 과정을 반복하므로 지우개를 가져 와서 이 값을 지우십시오 이제 나이를 2로 바꿉니다 실수로 마우스 오른쪽 버튼을 클릭했습니다 실례합니다

그리고 또 다른 평균 예측을합니다 나이에 대한 결과는 2입니다 우리는 나이의 모든 다른 가치를 위해 이것을합니다 이제 소프트웨어로 돌아갑니다 실제로 우리는 줄거리를 볼 수 있습니다 아주 우연히 그려지지 않았습니다 결과를 모두 지우겠습니다

이제 부분 의존도를 살펴보면 우리는 이것을 기본적으로 산포처럼 본다 이 나이의 모든 다른 가치에 대한 음모 실제로 보시다시피 그들은 나이를 먹지 않았습니다 나이는 1, 나이는 2, 나이는 3입니다 그래서 우리는 모든 평균 예측을 얻습니다 목표 변수 이것이 우리에게 보여주는 것은 전체입니다 이 변수에 대한 모델의 생각 개별 효과를 씻어 내고 그러나 우리는 도움이되는 평균을 얻습니다 나이가 바뀌면 목표가 어떻게 변할 수 있는지 설명해주세요 예측

그래서 우리는 섹스를 위해 하나를 봅니다 이것은 여성이 남성보다 더 잘 생존한다는 것을 알려줍니다 나이가 들면서 젊은이들이 더 잘 살아남을 수 있습니다 나이든 사람들보다 이 모든 것은 여성을 구한 직관과 일치합니다 아이들이 먼저 운임을 보면 사람들을 볼 수 있습니다 운임이 더 비싼 사람 사람들보다 조금 더 잘 살아 남기 위해 요금을 더 낮게 지불 한 사람

내가 항상 생각하는 방식 더 많은 돈을 지불 한 사람들은 일류 오두막에 있었고 그래서 그들은 보트 위에있었습니다 가라 앉을 때, 그들은 훨씬 더 빨리 나왔습니다 바닥에 있던 사람들보다 아마도이 직선이 보입니다 운임에 100 달러 이상을 지불 한 한두 사람 만

이 사람은 기름 거물처럼 배 위에 집행 실이 있었어요 그래서 우리 모델은 실제로 알지 못합니다 그 사람들에 대해서만 예측하는 방법 한 가지 예가 있었으므로 기본적으로 일정한 예측을합니다 더 높은 요금 우리는 pclass를 볼 수 있으며 이것은 우리의 직감과 일치합니다 일등석은 생존율이 가장 높으며 두 번째 클래스는 낮고 세 번째 클래스는 가장 낮습니다 그리고 나는 형제 자매와 배우자가 해석하기 어렵다는 것을 알게됩니다

형제 자매 나 배우자가 세 명 이상인 경우 당신의 기회는 약간 낮았습니다 이 줄거리를 보면,이 변수를 알려줍니다 별로 중요하지 않습니다 목표 예측에 큰 영향을 미치지 않습니다 다른 변수로 이것이 부분 의존도입니다 그리고이 부분 의존도는 유용 할 수 있습니다

그러나 그들은 단지 우리에게 평균 정보를 보여줍니다 전체 데이터 세트에 대한 평균입니다 조금만 드릴 다운하려면 현지 정보가 많을수록 현지 통역이 필요합니다 도구 다음에 이야기 할 줄거리는 개별 조건부 기대 도표입니다 이 개별 조건부 기대 도표 부분 의존도와 매우 비슷한 일을하고 그러나 유사성에 따라 그룹으로 묶여 있습니다

결과에서 아래로 스크롤합니다 여기에 개별 조건부까지 기대 이제 클러스터 ID 1과 클러스터 ID 2의 두 클러스터가 있습니다 k는 클러스터링을 수행하여 이러한 클러스터를 생성했습니다 원래 입력 데이터에 대해 모든 유사성에 기반한 클러스터링 다른 입력 변수 그리고 우리는 본질적으로 부분 의존도는 무엇입니까? 그러나 이제는 클러스터 내에서 평균화되었습니다

아이디어는 클러스터 1에 대한 것입니다 우리는 평균 예측을 봅니다 클러스터 1의 모든 사람이 여성이라면 우리는 모든 사람을 평균화하기 위해 평균화를 수행합니다 클러스터 1 내 그리고 클러스터 1의 모든 사람이 남성이라면 우리는 클러스터 1 내에서 평균을냅니다 클러스터 2에 대해서도 동일한 작업을 수행합니다

여러면에서 우리는 같은 일을하고 있습니다 부분적 의존성으로 평균화하는 대신 전체 데이터 세트, 우리는 단지 평균입니다 데이터 집합의 하위 집합을 통해 이제 추상적으로 상상할 수 있습니다 개별 조건부 기대하기 클러스터를 사용하지 않고 각각의 개별 관찰 그리고이 줄거리에서- 숫자 플롯에서 조금 더 쉽습니다 우리가 나이를 보면 두 줄을 보지 않고 각 클러스터마다 1,309 개의 라인이 표시됩니다 타이타닉의 각 사람을 위해

물론 이것은 실제로 해석 할 수있는 음모가 아닙니다 더 높은 해상도로보기 위해 클러스터에서 수행합니다 또는 저해상도 뷰가 그것을 넣는 가장 좋은 방법이 되십시오 보다 높은 관점 각 개별 관찰을 확대했습니다 이것의 끝에서, 나는 그것을하는 데모를 줄 것이다 각각의 개별 관찰에 대해 한 번에 한 줄씩 보면 한 사람의 예측을 설명하는 방법

개별 조건부에서 중요한 부분 기대 도표는 이제 차이점을 볼 수 있다는 것입니다 클러스터 사이 우리가보고있는 것은 클러스터 2가 생존 확률 예측 일반적으로 클러스터 1보다 여성의 경우 089 대신 05입니다 남성의 경우 0

43 대신 02입니다 그러나 입력 간의 관계는 성별과 예측 확률의 관계 생존의 각 클러스터에 대해 동일합니다 클러스터 1 및 클러스터 2의 경우 여성 인 경우, 당신은 남자보다 살아남을 가능성이 더 큽니다 같은 관계가 보입니다

기본적으로 우리는 부분 의존성에서 본 것과 동일한 결과를보고 음모, 그것은 단지 두 개의 클러스터로 나뉩니다 이야기는 나이가 다릅니다 나이에 대한 부분 의존도를 살펴보면 우리는이 곡선, 기본적으로 금 곡선을 보았습니다 이는 클러스터 2에 해당합니다 우리는 보이는 곡선을 보지 못했습니다 씻겨 졌기 때문에 클러스터 1에서 이와 같이 우리가 평균했을 때

이것이 제안하는 것은 한 그룹의 고객- 이것은 단지 내 추측이지만, 이것들은 아마도 티켓에 대해 더 적은 돈을 지불 한 고객 세 번째 반에 있었는데 15 세 미만이라면 당신은 훨씬 더 살아남을 것입니다 그러나 다른 클러스터가 있었다 거의 모든 사람이 살아남을 수있는 고객 나는 이것을 아마도 우리의 부유 한 고객이라고 생각합니다 일류 오두막에있었습니다 클러스터 1의 사람들은 나이가 실제로없는 것 같습니다 예측 확률에 많은 영향을 미칩니다 생존의

그러나 클러스터 2의 경우 나이가 실제로 영향을 미칩니다 이것은 우리가하지 않을 정보의 종류입니다 부분 의존도에서 볼 수 있고 이 개별 조건을 사용해야합니다 그것을 밝히기 위해 기대 플롯 기본적으로 클러스터 1은 클러스터 2보다 작았습니다 우리가 평균화 할 때 씻겨 나옵니다 다른 것을 볼 수 있는지보고 싶습니다 이 음모의 나머지 부분에서

운임에 가면 클러스터 2가 클러스터 1보다 생존율이 훨씬 낮습니다 운임과 예측 확률의 관계 기본적으로 동일합니다 같은 모양의 곡선입니다 여기에 약간의 차이가 있습니다 하지만 약간 증가한 다음 레벨이 떨어집니다

운임을 위해, 우리는 같은 관계를 본다 부분 의존도에서 보았 듯이 pclass의 경우 다시 일치합니다 1 등석, 2 등석, 3 등석 서로 다른 두 개의 클러스터가있는 것 같습니다 클러스터 1, 1 등석과 2 등석은 매우 비슷합니다 클러스터 2에서 두 번째 클래스와 세 번째 클래스는 매우 비슷합니다 이 클러스터는 성별을 기반으로 한 것 같습니다

또는 그들이 보트에서 어디에 있었는지 실제로 이러한 클러스터로 드릴 다운해야합니다 그리고 소프트웨어는 점수 코드를 생성 할 수 있습니다 클러스터에서 원본 데이터를 클러스터에 할당 그들이 어디 있는지 봅니다 기본적으로 누가 어떤 클러스터에 있는지 확인하십시오 이제 부분 의존도에서와 같이 우리는 정말 흥미로운 것을 보지 못합니다 형제 자매와 배우자의 관계

우리는 다시 클러스터 2의 가능성이 훨씬 낮다는 것을 알았습니다 군집 1보다 생존율이 높지만 형제 자매와 배우자에게 어떤 영향을 미치는지 우리가 실제로 보지 못하는 생존율 흥미로운 관계 개별 조건부 결과를 닫을 것입니다 기대 도표 다음 모델 해석 가능성 결과는 로컬입니다 실례합니다

해석 가능한 지역 모델 해석 설명 이 지역 해석 가능한 모델 불가 지 설명 LIME 플롯 또는 LIME 모델입니다 E는 LIME에서 설명 용이기 때문입니다 기본적으로 로컬 선형 피팅을 수행합니다 사용하여 모델을 시도하고 설명하기 위해 국부적으로 선형 회귀

우리는 설명 할 수없는 모델을 가지고 있습니다 신경망이나 그래디언트 부스팅 모델처럼 우리는 그것을 사용하여 로컬로 설명하고 있습니다 기본적으로 데이터에만 로컬로 적합한 모델입니다 그래서 약간의 그림 그리기를 시작하겠습니다 여기에 단계를 설명하는 동안 잠시만

기본적으로 우리가하는 일은 해석 할 수없는 모델입니다 결정 경계를 그릴 것입니다 해석 할 수없는 모델 우리가 두 개의 축을 가지고 있다고 가정 해 봅시다 이것은 나이와 같은 것입니다 그건 그렇고, 나는이 그림을 만들고 있습니다 이것은 데이터가 아닙니다

이것은 단지 예시적인 도면입니다 나이와 요금이라는 두 개의 축이 있다고 가정 해 봅시다 원래 모델이므로 그라디언트 부스팅 모델입니다 해석 할 수없는 모델이이 결정을 생성 경계 파란색 영역의 포인트는 살아남을 사람들로서 적색 영역이 대응함에 따라 모델이 예측하는 사람들에게 죽을 것입니다

이것이 해석 불가능한 모델의 예측입니다 물론 이런 멋진 그림을 그릴 수 있다면 이것은 실제로 모델의 해석입니다 하지만 우리는 정상적으로 상상하고 있습니다 더 높은 차원이 될 것입니다 지금, 우리는 나이와 요금이 있습니다

실제 데이터에는 실제로 5 차원이 있습니다 내가 왜 그리지 않기로 선택했는지 알 것 같아 내가 할 수 없기 때문에 여기에 5 차원의 결정 경계가 있습니다 항상 2 차원 이상으로 시각화하기가 더 어렵습니다 그러나 여기서 해석 할 수없는 모델이 있습니다 검은 색 커서를 다시 잡겠습니다

우리가 바로 여기에있는 요점을 설명하고 싶다고합시다 우리는 왜이 점이 파란색으로 분류 되었는가? 이 사람은 왜 죽지 않고 살아 남았습니까? LIME 설명을 생성하기 위해 가장 먼저해야 할 일은 내가 전화해야 할 것 같아 저는 항상 LIME 다음에 무언가를 말하고 싶습니다 그러나 설명은 내장되어 있습니다 이 공간에서 데이터 포인트를 샘플링했습니다 기본적으로 나이와 공정한 가치를 선택합니다 샘플링 포인트에 불과합니다

여기에서 점을 선택하고 여기에서 점을 선택한다고 가정 해 보겠습니다 여기에서 점을 선택하고 여기에서 점을 선택합니다 여기서 포인트를 선택합니다 우리는 공간에서 몇 가지 점을 선택합니다 우리는이 점들을 적합하게 사용할 것입니다 로컬 선형 모델, 그리고 근처에 몇 점 더 있습니다

이 점을 선택하는 데 중요한 부분은 이것을 섭동 샘플이라고하겠습니다 관심 지점 근처에서 선택한 지점이 여기에 큰 X를 넣어야 할 것 같습니다 더 무겁게 가중 될 것입니다 우리의 관심 지점에 가까운 지점 더 커질 것입니다 그리고 멀리 떨어진 지점은 더 작아 질 것입니다

그리고 그것은 아마도 여기의 요점 일 것입니다 아주 작습니다 기본적으로 포인트를 선택하고 이 점을 사용하여 로컬 모델에 맞출 것입니다 관심있는 관찰에 더 가까운 점은 실제로 그들이 왜 살았는지 설명하고 싶은 사람입니다 그들이 죽었 기 때문에 더 커질 것입니다 로컬 선형 모델에서 더 많은 가중치를 부여 할 것입니다 우리가 그 지점을 생성하면 해석 할 수없는 원래의 점수를 사용하여 점수를 매길 것입니다 모델

이 지점은 파란색 영역에 있으므로 파란색이됩니다 이것은 파란색 영역에서 파란색입니다 이 지점은 빨간색 영역에서 빨간색이됩니다 이것은 적색 영역에서 더 큰 적색 점입니다 좀 더 크기 때문에 중간 크기의 정렬입니다

이것은 파란색 영역에서 큰 포인트입니다 파란색 영역에서 약간 작은 점일 수도 있고 파란색 영역에서 더 큰 점 그리고 우리가 그 포인트를 득점하면 해석 할 수없는 모델을 사용하여 이 샘플을 사용하여 국소 선형 회귀 분석을 시도하십시오 여기에 경계를 설명하십시오 그리고 이것은 기하학적 직관입니다 여기가 정말 가치 있다고 생각합니다

기본적으로 선형 근사를하고 있다는 것입니다 이 곡선에 이 파란색 곡선은 곡선 결정 경계입니다 우리는 실제로 설명 할 수 없으며 단지 그것에 선형 근사치를 생성 할 것입니다 강조하고 싶은 한 가지는 이 선형 근사법은 이 시점에서는 분명히 유효합니다 이 지역에서만 유효합니다 이 선형 근사도 이쪽의 결정 경계에 가깝게 접근하십시오

하지만 여기서 잘 작동합니다 이 선형 근사에는 계수가 있습니다 이 점이 왜이 큰 검은 색 x인지 설명하는 데 사용할 수 있습니다 끝이 아닌 경계의이 쪽에서 득점 이리 제가 강조하고 싶은 한 가지는 정말 건축에 도움이됩니다 직관은 우리의 관심 지점이라고합시다 실제로 여기에있었습니다 그런 다음 로컬 선형 모델은이 지역에 국한됩니다

우리는 이와 같은 것을 기대할 것입니다 그리고 물론 그것은 선이 아닙니다 죄송합니다 나는 그것을 다음과 같이 그려야했다 이것이 직선 인 척하자

나는 통치자가 아닙니다 그리고 여기 아이디어는 이런 종류의 수학은 Taylor 확장 또는 미적분에 익숙합니다 기본적으로 커브를 충분히 확대하면 직선처럼 보입니다 우리가이 지점들에 가깝게 확대하면 비선형에 가까운 선형 모델을 생성 할 수 있습니다 우리가 가진 결정 경계 그래서 그것은 많았습니다

우리는 소프트웨어로 돌아가서 이 선형 모델의 결과에서 우리가 그것들을 어떻게 해석 할 수 있는지보십시오 계속 진행하겠습니다 아래에 무엇이 있는지 볼 수 있습니다 시작하겠습니다 다음은 로컬 모델의 요약입니다

가장 먼저 눈에 띄는 것은 Cluster Centroid 1이라는 단어 따라서 각 점에 로컬 모델을 맞추는 대신 우리 데이터에서 1,309 포인트가됩니다 1,309 개의 현지 모델이 우리는 그것들을 클러스터에 맞 춥니 다 ICE를 할 때와 마찬가지로 클러스터링을했습니다 우리가 볼 필요가 없도록 분리 각각의 관찰에서 이 경우 클러스터를 구축하고 클러스터 중심을 우리가 주변의 포인트 역할을 로컬 모델 생성 제가 보여준 큰 검은 x 그것은 우리가 설명하려는 사람 일 수 있습니다

이 경우에는 클러스터의 중심이됩니다 그래서 우리는 서로 다른 두 가지 로컬 모델에 적합합니다 하나는 클러스터 중심 1 및 하나는 클러스터 중심 2, 모수 추정값을 볼 수 있습니다 각 클러스터 중심에 대해 그리고 이것은 로컬 선형 모델입니다 우리는 얼마나 잘했는지 평가할 수 있습니다

그 결과를 닫아서 플롯을 볼 수 있습니다 이것이 말하는 것은 Cluster Centroid 1에서 대부분의 관측은 여성의 성관계를 가졌으며 여성이라는 것이 생존 가능성을 높였습니다 클러스터 1에서 대부분의 사람들은 클래스 1을 가졌습니다 그들은 일류 오두막에 있었고 또한 생존율이 향상됩니다 여성보다 약간 적습니다

그리고 다시, 그것은 우리와 일치합니다 먼저 여자와 아이들을 구했습니다 그러나 일반적으로 예상대로 일류 오두막의 사람들은 아마도 더 나은 서비스를 받고 출구에 더 가깝습니다 그리고 우리는 형제 자매와 배우자가 목표를 예측하는 데 훨씬 덜 중요합니다 그래서 우리는 그것이 여성 인 것처럼 보입니다 일등석에서 정말 Cluster Centroid 1에서 관찰 한 대부분의 결과 살아남을 것으로 예상됩니다

Cluster Centroid 2로 가면 그들의 성별이 남성임을 알 수 있습니다 생존율을 낮추고 그리고 그들의 수업은 3 등입니다 또한 생존율을 낮 춥니 다 다시 한번, 형제 자매와 배우자가없는 타이타닉 승객 대부분이 일종의 생존 가능성이 약간 향상됩니다 그러나 3 등석과 남성에서의 상쇄는 아닙니다 이 결과를 닫고 같은 것을 봅니다 구간 변수의 경우

나이는 목표에 대한 부정적인 예측 인자입니다 나이가 많을수록 당신은 살아남 아야합니다 운임은 긍정적 인 예측 자입니다 더 많이 쓸수록 생존 할 확률이 높아집니다 이것은 나이가 예측에서 훨씬 더 중요하다는 것을 알려줍니다

운임보다 당신의 생존 Cluster Centroid 2를 살펴보면 동일한 관계가 나타납니다 그게 우리가 찾은 관계 야 부분 의존도에서 나이는 부정적인 예측 자, 운임입니다 생존 가능성에 대한 긍정적 인 예측 이 결과를 닫겠습니다 우리는 또한 지역 적합 통계를 볼 수 있습니다 모델이 얼마나 잘 수행했는지 확인합니다

로컬 모델은 실제로는 아닙니다 누가 살았고 누가 살았는지 예측하려고 누가 예측했는지 예측하려고합니다 그라디언트 부스팅 모델로 살아남거나 생존 할 수 있습니다 기본적으로 실제 목표를 예측하는 대신 예측을 모방하려고합니다 해석 할 수없는 비선형 모델의 기울기 원래 맞는 부스팅 모델

계속해서 결과를 닫을 게요 계속해서 개별 관찰에 대해 이야기하십시오 그래서 우리는 개별 조건부 ICE 플롯을했습니다 기대와 LIME– 지역 해석 가능 모델에 무관 한 설명 클러스터에서이 작업을 수행했습니다 이제 개별 관찰로 할 수 있습니다

그래디언트의 아래쪽으로 스크롤합니다 부스팅 지역 통역 성을 열겠습니다 아래로 끝까지 스크롤합니다 General ICE / LIME Options를 열겠습니다 다시 아래로 스크롤하십시오 설명 할 인스턴스 유형 클러스터 중심에서 전환하겠습니다 개별 관찰에

여기에 숫자가 필요했습니다 key_ID가됩니다 변수를 설정했을 때를 기억한다면 변수를 키로 설정했습니다 그것은 key_ID였습니다 그냥 1을 입력하겠습니다

이것은 우리의 데이터 세트에서 첫 번째 관찰입니다 데이터를 열어서 볼 수 있습니다 나는 이것이 엘리자베스 앨런 양이라고 생각합니다 그리고 그녀는 살아남은 29 세의 여성이었습니다 모델이 예측 한 이유를 설명하겠습니다

그녀를 위해 예측 한 것 일단이 변경을하면 파이프 라인을 다시 실행할 것입니다 개별 조건부 기대치를 생성합니다 지역 해석 가능한 모델 불가지론 적 설명 이 하나의 관찰에 대해서만 우리가 그 그림으로 되돌아 가면 기본적으로 LIME 플롯을 그렸습니다 이 x가 클러스터 센터가 아니라 x는 이제 Allen Allen입니다 그래서 그녀의 나이, 그녀의 운임, 그리고 그녀의 수업이 될 것입니다 그 모든 정보

그래디언트 부스팅을 마우스 오른쪽 버튼으로 클릭합니다 결과를 선택하겠습니다 Model Interpretability로갑니다 모델의 결과는 바뀌지 않아야합니다 변경된 것은 해석 가능한 결과입니다

이제 개별 조건을 전체 화면으로 보여 드리겠습니다 기대 우리는 그녀가 여자 였기 때문에 볼 수 있습니다 그녀의 생존 확률은 086 일 것으로 예상되었으므로 86 %입니다

그녀가 남성이라면 생존 가능성 약 40 %입니다 데이터에서 기억하는 그녀의 나이는 약 29 세였습니다 여기 어딘가에 그녀의 확률에 대한 예측은 다음과 같습니다 다른 연령대의 생존 그리고 이것은 우리에게 다소 예상치 못한 결과를줍니다

그녀가 더 어리면 우리는 실제로 그녀가 생존 할 가능성이 적을 것으로 예상합니다 그리고 그녀가 나이가 많으면 우리도 그녀가 생존 할 확률이 낮을 것으로 예상합니다 이것은 현재 평균화되지 않았 음을 기억하십시오 우리가 값을 변경한다면 이것은 단지 예측입니다 그녀의 모든 특성을 동일하게 유지합니다 그녀는 일등석에 있었고 여자였습니다 우리는 모델이 그녀를 어떻게 생각하는지 평가합니다 나이를 바꾸면 주목해야 할 것은 그녀가 항상 여자를 유지해 예상되는 생존 확률은 꽤 높으며 무엇이든 상관없이 0

75 이상이 될 것입니다 운임과 같은 다른 것을 볼 수 있습니다 우리는 같은 관계를 봅니다 pclass– 우리는 그녀가 1 등석인지 2 등석인지를보고 그녀는 같은 확률을 얻습니다 하지만 그녀가 3 등석에 빠졌다면 그녀의 생존 확률은 낮아질 것입니다

이런 종류의 직감과 일치 1 등석과 2 등석의 여성들이 꽤 높은 속도로 살아남을 수있었습니다 3 등석의 여성들은 그다지 살아남지 못했습니다 물론, 3 등석의 남성은 가장 잘 살아 남았습니다 일반적으로, 3 등석의 사람들은 일등석과 이등 석의 사람들만큼 많이 만드십시오 결과를 닫고 로컬 모델을 살펴 보겠습니다

이제이 로컬 모델은 그녀의 관찰에 따라 다릅니다 그녀의 근처 어딘가에 유효합니다 그리고 이것은 실제로 설명입니다 앨런 양을 생존자로 분류 한 이유는 죽은 사람에게 우리가 섹스를 보면 그녀는 여자 였고 생존 가능성을 극적으로 향상시킵니다 그녀는 일등석에 있었고, 또한 향상 그녀의 생존 가능성

형제 자매와 배우자와 같은 관계를 큰 영향을 미치지 않는 곳 우리는 또한 지역 설명을 봅니다 구간 변수의 경우 우리는 그녀의 나이가 실제로 감소한 것을 본 그녀의 생존 가능성 로컬 모델로 돌아가서 우리는 개별 조건부 기대에서 보았다 그러나 현지 설명은 아마도 더 유효한 설명이기 때문에 이 로컬 선형 모델에 적합합니다

그리고 우리는 그녀의 운임을 본다 그녀는 티켓에 211 달러를 썼기 때문에 꽤 비싼 티켓을 얻었습니다 아마도 그녀가 생존 할 가능성이 가장 높은 이유 일 것입니다 부유 한 귀족 이 결과를 닫겠습니다

다른 관찰을 위해이 과정을 거칠 수 있습니다 이 도구를 사용하는 방법은 누군가가 그들이 얻은 방식으로 왜 득점했는지 알고 싶어합니다 당신의 모델에서, 당신은 지역 관측을 끌어낼 수 있습니다 특정 개인 또는 관찰을 위해 데이터에서 주변 지역 모델을 만들 수 있습니다 그들이 왜 자신을 분류했는지 설명하고 설명하기 위해 했다 결과를 닫겠습니다

하루가 끝나면 이제 채점을합니다 그 모델을 사용하여 해석 할 수있는 부스팅 모델 해석 성 결과 물론 모델 해석 결과 입력을 해석 할 수있는 경우에만 의미가 있습니다 그리고 그것은이 토론에 대한 큰 메시지입니다 당신이 무슨 일을하든 상관없이 모델을 해석하려면 입력 내용을 이해하기 위해 실제로 모델 해석 성을 사용하려고합니다 이유에 대한 설명이나 이야기가 나오는 결과 당신의 예측은 그들이하는 방식입니다 입력을 기반으로합니다

모델 해석성에 대해 많이 배웠기를 바랍니다 모델 해석 도구 중 일부 우리는 SAS Viya에 있습니다 SAS Users 채널을 구독하려면 클릭하십시오 도움이되는 몇 가지 질문에 대답하려면 여기를 클릭하십시오 더 나은 비디오를 만들고 여기 아래에 일부는 데이터와 일부에 대한 링크 보다 자세하게 설명하거나 멋진 리프레쉬를 제공하는 논문 우리가 말한 것에 대한

2019.09.21 Machine Learning for Designers at Fresh Eyes Berlin

안녕 여러분! 제 이름은 Nono Martínez Alonso입니다 디자이너들을위한 머신 러닝에 관한 연구는 제가 오늘 가져 오는 것은 이러한 사고 방식 또는 기술 변화의 의미에 대한 개요 또는 소개 디자이너 건축가 또는 아티스트 및 제작자에게도 또한 몇 가지 사례 연구 또는 개인적으로 수행 한 프로젝트 또는 다른 사람의 프로젝트를 사용한 적이있는 프로젝트 창의적인 노력을위한 활주로와 괜찮습니다

먼저 시작하겠습니다 Matt Turlock의 신선한 눈 워크샵 주제를 감사드립니다 Kyle Steinfeld가 여기에 있고 다른 사람들은 해외에 있습니다 Adam Menges Kat과 Samantha Walker는 2018 년에 나의 지오메트리 작업장의 일부였습니다 그들은 기계를 사용하는 것이 무엇을 의미하는지에 대해 많은 연구를 해왔습니다

학습 도구 또는 생성적인 건축 디자인이며 이것은 아닙니다 이 대화의 일부이지만 동일한 프레임 워크 내에서 알고 있으므로 지난 수십 년 동안 볼 수 있듯이 예를 들어 기계적으로 그리고 더 최근에 잉크로 쓰는 것 우리는 디지털 방식으로 또는 손가락을 두드리면서 변화하는 것을 보았습니다 전화와 우리가 지금 보는 것은 때로 지능형 일을하는 것입니다 인터페이스가 사라져서 컴퓨터로 기계식 타자기가 될 노트북 그리고 Siri가 어떤 식 으로든 바래 지도록 만듭니다 Kevin Kelly는 미래 학자이며 우리가 추가 한 모든 것을 썼습니다 지금까지 전기는 인텔리전스를 추가하려고합니다 그것이 보였고 나는 여기에 약간의 끄덕임 머리를 보았습니다

우리가 지금 만들고자하는 전기 또는 일종의 힘으로 자동화 더 지능적 일 수도 있고 스스로 반응하거나보다 효율적으로 작업 할 수도 있습니다 옳고 그름이 아닌이 전환은 우리가 우리가 그 전에 수동으로 일을 한 건설 산업 세계를 빔 기계적으로 자동화하여 로봇을 사용하고 있으며 이제 로봇을 사용하려고하지만 환경에 대해 좀 더 지능적이거나 현실 세계를 이해하는 방법이 있습니다 하지만이 변화 나이 변화가 디자인에서 중요하다고 생각하는 이유 내가 옳게 믿는 것은 최종 목표를 위해 정말 중요하다는 것입니다 우리는 우리가 사용했던 인터페이스를 디자인 프로젝트에 넣습니다 종이에 스케치 할 연필이 있고 우리는 손으로 이것을하지 않았습니다 컴퓨터로 자동으로 행을 작성하거나 선을 그립니다

두 지점을 클릭하면 이 프레젠테이션의 범위에 속하지 않는 한 가지 올바른 방법은 이 작업을 수동으로 수행하면 실제로 머신 러닝 알고리즘에 더 많은 힌트가 제공됩니다 이 네 줄은 우리 자신이 다르기 때문에 수천 명의 사람들에게도 똑같을 수 있습니다 선이 정확히 동일하지만 두 점을 동일하게 클릭하십시오 우리는 당신이 손으로 그것을 할 경우 각 사람이 다른 성격을 추가 할 것입니다 보았다 그들의 그림과 오늘 우리는 이와 같은 데이터로 건물을 정의하고 있습니다 예를 들어 Revit의 스크린 샷이며 때로는 선을 그리지 않습니다 또는 지오메트리 슬라이더 만 움직이고 매개 변수를 만들고 코드도 사용합니다 인터페이스로서 우리는 한 줄만 코딩하면 일부를 생성 할 수 있습니다 우리가 지금보고있는 것은 우리에게 도움을 요청하는 것과 같은 일을 할 수있는 인터페이스 컬러 드로잉 또는 집 또는 다른 무언가 새로운 패러다임을 제시 바로 이것이 제가 GSD에서 한 일과 새로운 패러다임의 일부입니다 디자이너가 프로그래머가 될 수있는 데이터 셋을 만들어서 올바른 이미지 세트를 선택하면 디자인 프로세스의 일부가됩니다

이미지가 잘 생겼기 때문에 나는 은유 적으로 옳다는 의미이기 때문에 학습 알고리즘의 일부를 변경하려고합니다 느낌에 따라 다르게 작동하도록 프로그램을 조정하는 방법 새로운 이미지는 물론 코드를 작성하는 대신 여기에 의존한다는 것을 의미합니다 우리는 이미지를 느끼는 알고리즘이며 알고리즘에 있습니다 그리고 다시 전환이 수동에서 아날로그에서 디지털로 진행되는 것처럼 우리가 지금 보는 것은 코드와 데이터에서 자동화 된 자동화 시대입니다 프로세스에 인텔리전스를 추가하면 머신에서 볼 수 있습니다

이전에 사용했던 프로세스를 자동화하거나 건너 뛰고 더 추가 할 수 있습니다 우리가 수행하는 프로세스와 내가 한 일에 대한 더 높은 정확도 로봇이나 기계가 작업이 아닌 작업을 대체하고 우리가 보는 것은 기술이 발전함에 따라 위협을 계속 움직입니다 우리가 인공 지능을 고려할 때마다 몇 년 전에 인공 지능으로 우리가 한계를 뛰어 넘는 새로운 목표 우리는 확인이라고 말 했으므로 그것은 새로운 알고리즘 일뿐입니다 우리가 도달하지 못한 것은 인공 지능입니다 그래서 우리는 계속 교체합니다

소규모 작업을 수행 한 다음 디자인을하거나 다른 방식으로 작업 할 수 있습니다 이것을 요약하면 자동화와 지능이 우리를 이끌 것이라고 믿습니다 반드시 설계되지 않은 작업을 건너 뛸 수 있도록 자동화 프로세스가 점점 더 잘 반복되고 실시간 피드백은 설계 프로세스를 실제로 다르게 만드는 예입니다 시뮬레이션 반복 시간을 15에서 단축 할 수 있다는 것을 알고 있습니다 몇 분에서 1 초까지 걸리며 여러 시간 사이에 반복 할 수 있습니다 며칠 또는 몇 시간이 아닌 1 분 안에 다른 디자인 옵션 이것은 우리의 로봇이 특정 작업을 대체하고있는 하나의 예입니다

목재 스터드를 움직이면 제자리에 고정해도되지만 그것이 제 위치에 있는지 확인해야하는 루프의 인간 그리고 나는 양키에게 인용하며 그와 대화를 나눈 것은 당신이 이미 디자인을 어떻게 알고 있는지 알고있을 때 일이 바로 작동합니다 그리고 당신은 단지 천 빔을 배치해야합니다 컴퓨터가 할 수있는 일입니다 더 이상 결정을 내릴 필요가 없습니다 모든 것이 결정론 적이므로 알고리즘으로 전달할 수 있습니다 우리는 디자이너들에게 내가하고 싶은 한 가지 일을 할 필요가 없습니다 이 워크샵은 또한 우리가 말할 때 우리가 의미하는 바를 조금 명확하게하는 것입니다

내가 이미 알고있는 개념이 조금 있습니다 우리가 전산 설계 유전자 설계 인공을 갖도록 명확히하고 싶습니다 지능 기계 학습 및 일반 확산 지능 및 무엇 전산 설계 우리는 그것이 무엇인지 모르지만 일련의 명령을 정의합니다 디자인을 얻는 단계를 정의하는 규칙 및 관계 정보 생성 디자인 Kyle은이 개념을 워크샵에 대한 작은 조정이지만 일반적으로 처리로 정의합니다 설계자는 설계 매개 변수 및 계산 모델을 정의합니다

형상을 생성하고 기계는 설계 옵션을 생성합니다 일련의 목표에 대해 평가하고 목표에 따라 목표를 개선합니다 얻은 결과는 최적화하려고 시도한 다음 각각의 순위를 매 깁니다 목표를 달성하기 위해 얻은 결과에 따라 디자인 옵션 당신은 디자이너로서 당신이 프로세스에서 올바르게 설정하므로 원하는 것을 가공하되 최고의 결과를 얻으십시오 컴퓨터가 대화식 디자인의 다이어그램임을 최적화하려고합니다

컴퓨터가 분석 및 순위를 생성하고 진화해야하는 워크 플로 그래서 당신은 그것이 얼마나 좋은지를보고, 진화하고 인공 지능에서 루프의 모든 단계를 조금 더 개선하십시오 이제 그것은 과대 광고 용어이므로 우리는 그것이 무엇을 의미하는지 알고 있지만 작은 구별이므로 일반적으로 시도하는 모든 기계와 알고리즘입니다 인지 기능을 어떻게 말하는지 모방하지만 우리의 방법과 전통적인 인공 지능에 맞는 몇 가지 뉘앙스 우리는 70 년대에 개발 된 클래식 인공 지능을 오늘날 우리가 사용하는 것들은 4050 년 전에 고전처럼 개발되었습니다 진영 문제 또는 다른 많은 문제의 다락방 알고리즘 검색 우리가 오늘 더 집중하고있는 머신 러닝은 알고리즘입니다 명시 적으로 배우지 않고 모범을 통해 배우고 개선 할 수있는 능력 새로운 데이터 세트를 위해 프로그래밍되었으며 최근에도 호황을 누리고 있습니다 새로운 신경망 아키텍처와 GPU의 힘 그리고 일반적인 인공 지능은 우리가 당신이 신과 같은 것으로 알고있는 것입니다 우리가 어떻게 행동하는지 생각하는 방법을 복제하는 방법을 아는 생물 내가 결정한이 프로젝트를 통해 말할 것입니다

때때로 다른 곳에서 그러니까 그림이 내 주인의 것이면 예라고 말하십시오 하버드 디자인 스쿨 대학원에서 논문을 작성했는데 사물의 아키텍처 측면을 살펴보고 디자인 분야의 행 머신 러닝 장소 기계가 래스터가있는 이미지로 작업하기가 더 쉬워지기 전에 주석 처리됨 벡터 데이터보다 오늘날의 데이터를 사용하므로 일반적으로 그림을 사용합니다 우리가 보는 것처럼 세상을 대표한다고 생각하고 이미 존재하는 것을 보았습니다 우리의 삶을 편하게 만들어주는 드로잉 소프트웨어 복사 / 붙여 넣기 및 사물 복제 또는 복제를 수행하고 CAD를 사용하면 정말 쉽게 만들 수 있습니다 형상이나 반복적 인 형태와 복잡한 형상은 기계 안에 있지만 우리가 이해한다고 정의하면 프로세스가 실제로 참여하지 않습니다 세상을보고 기계를 표현함으로써 몇 번의 머신이나 프로그램에서 세상을 어떻게 해석해야하는지 정말 소위 생각합니다 그들은 좁은 길 눈이라고 불려 요 새를 그리는 법만 알기 때문에 나는 동그라미를주고 세계와 당신은 저녁 식사를 그립니다 당신이 무엇을하든 상관 없습니다 새와이 급등한 인공 지능과 기계로 만들어 학습은 예를 들어 컴퓨터가 우리를 도울 수 있도록 컴퓨터를 도와줍니다 계속하거나 나는이 프로젝트의 전제였던 그림을 그렸습니다

프로젝트는 고전 도구 모음에서 벗어나려고했습니다 컴퓨터 프로그램에서 포인트 앤 클릭을하고 왼쪽에서 볼 수 있지만 왼쪽에서 볼 수있는 것은 당신의 결과를 알고 당신이 해결하고자하는 것을 알고 당신이 원하는 종류의 그 루프에서 벗어나 컴퓨터는 바로 그 경로를 제공 할 수 있습니다 올바른 길로 올라갈 수있는 최적의 길은 조각 과정입니다 다른 모양을 가질 때마다 탐색 할 수 있습니다 재평가 당신이이 프로젝트에서 우리가 볼 수있는 것입니다 기계 또는 파티 물고기 지능이 당신을 가져 오는 시간 그림을 색칠하는 방법에 대한 제안은 다른 그림을 계속 그릴 수 있습니다

응용 프로그램 자체가 iPad 응용 프로그램 이었기 때문에 왼쪽에있는 모든 태블릿이나 컴퓨터를 사용하는 다른 사람 일 수 있도록 도와주는 상담원 또는 그림을 계속 사용할 수있는 전화 또는 봇 Photoshop 레이어처럼 보이지만 역사는 각 에이전트가 프로젝트에 실제로 추가 한 도면 당신은 여기에있는 모든 것을 볼 수 있습니다 그리고 당신은 모든 자원과 사물을 가지고 있고 중간에 드론 오른쪽 우리 모두가 내가 어떻게 보이는지 알고 있지만 이것은 공유 모두가 동시에 볼 수있는 캔버스와 내가 개발 한 것은 봇 세트는 맞지만 각각 봇은 좁지 만 특정 행동을했습니다 예를 들어 올바른 질감은 도면의 질감을 생성합니다 당신은 계속 스케치 ATAR 우리를 계속하려고 할 것입니다 스케 쳐가 필요한 다음 단계로 그림을 채 웁니다 손 스케치 텍스처처럼 보이는 것과 다른 이름으로 설명이 필요하지 않습니다

하단 그러나 그들은 개념적으로 거기 있었고 그들이 할 수있는 명확한 방법이 있습니다 예를 들어 분류기를 합리화하도록 개발하십시오 학습자 주변 학습자 개념은 아마도 가장 흥미로울 것입니다 생성하는 동안 피드백 루프를 만드는 것을 의미하기 때문에 봇이 수행 한 작업에서 배울 수있는 그림의 역사 향후 제안을 위해 지식을 재조정 프리젠 테이션 몇 주 전에 제작 한 프로토 타입으로 봇에게 데이지에 대한 제안을 해달라고 말하고 데이지는 맞지만 이것이 생성 적 적이라고 불리는 것을 볼 수 있습니다 결과를 보간 할 수있는 네트워크는 직사각형의 꽃이 없었습니다 훈련 세트의 꽃잎이지만 알고리즘은 무언가를 짜려고합니다 꽃 모양의 무언가를 생성하기 위해 그 모양으로 시스템의 백그라운드에서 백그라운드에서 Pix2Pix를 실행합니다

이 신경망 아키텍처를 만들지 않았지만 Phillip Isola가 수행했습니다 버클리에있는 그의 팀과 오른쪽에는 내가 그것을 사용할 수있게했던 텐서 플로우 크리스토퍼 헤세가 만든 그는 정말 바이러스 성했기 때문에이 프로젝트를 알고 내일을 잘라 가장자리와 내가 강조 할 한 가지는 당신이 잘 하자는 것입니다 이 비자에 중점을 두어 텍스처입니다 나는 다른 유형의 꽃으로 다른 유형의 드레스 또는 다른 훈련 훈련 세트와 나는 단지 기계가 실제로 무엇을하는지 탐구하고 있었다 이건 스케 쳐 였기 때문에 제가 손으로 스케치 한 것 같아요 나무의 육십 사 스케치 도면 우리 엄마에 의해 실제로 그녀는 내가하는 동안 케임브리지는 그녀가 스페인에 있었고 그녀를 도울 수 있도록 내가 무엇을 할 수 있는지 말했다 실제로 64 그루의 나무를 스케치했고 우리는 훈련했습니다

나중에 보여 주면 아마 내가 가장 좋아하는 것이 이것은 신경망을 사용하여 그리는 더 추상적 인 것입니다 제대로 그려지지 않을 것으로 예상되는 것들 알고리즘의 장점을 알고있을 때 알고리즘이 작동하도록하기 위해 그러나 당신이 훈련되지 않은 무언가를 그리려고 할 때 그것은 조금 실제로 알지 못하고 일부를 생성하려고 시도합니다 그것이 맞지 않는 가장자리 케이스와 같은 것이지만 어쩌면 그래도 어쩌면 그것은 우리에게 그림에 대한 영감을 줄 수 있습니다 1000 드레스의 스케치 그것은 잘 작동하지 않았지만 내가 긁은 1000 드레스입니다 Met Museum 웹 사이트에서 수십만 개에 달하는 거기에서 얻을 수있는 것들과 이것으로부터 쉬운 것은 우리가 온라인으로 바로 얻을 수 있다는 것입니다 우리는 그것을 긁습니다 우리가 사용할 수없는 저작권이나 다른 것들이 있지만 실제로 사람이 직접 손으로하는 것이므로 나무는 왼쪽에 손 스케치입니다 우리는 무언가로 가장자리 추출을 수행합니다

Mathematica와 같은 또는 심지어 Photoshop으로 할 수 있다고 생각합니다 이것과 같은 것입니다 그래서 이것은 당신이 증강을 사용하는 훈련 세트입니다 400 개의 샘플이 회전하거나 크기가 조절되는 기술 이 오른쪽으로 돼지와 같은 것을 돼지에게 훈련시킬 수 있습니다 윤곽선의 그림과 질감으로 채 웁니다

Mathematica를 어떻게 사용합니까? Mathematica는 H 추출을 갖습니다 알고리즘 예 예 그리고 당신이해야 할 것은 당신이해야 할 유일한 것은 매개 변수로 조정하여 그렇습니다 요약하자면이 프로젝트의 중요성은 각 트레이닝 세트가 이미지를 변경하면 알고리즘이 완전히 달라집니다 결과적으로 코드 라인을 코딩 할 필요가 없기 때문에 쉽습니다 방금 입력 한 코드를 작성할 필요가 없으며 이것이 바로 내가 한 일입니다 프로젝트의 마지막 30 일 동안 나는 하루에 8 시간 후에 밤에 기차를 타면 깨어날 것입니다

준비가 되었으면 시도해야하며 60 %라고 말합니다 내가 어떤 종류의 것을 배우기 시작했을 때 내가 잘 해낸 것들 중 훈련 세트가 더 잘 작동했고 그때가 좀 더 재미있어지기 시작했습니다 하지만 때로는 직관적으로이 일이 내가 준 것에서 많은 패턴이 있지만 실제로 보지 못할 것입니다 꽃 이랑 같이 정말 반복적이기 때문에 반응이 빠릅니다 그림에 꽃이 어떻게 나타나는지에 대한 패턴이지만 괜찮습니다

암시 그림 이미지는 마지막으로 몇 가지를 보여주고 싶은 것을 보여줍니다 활주로와 함께 실험적인 것들 활주로는 실제로 새로운 도구입니다 cristóvão Valenzuela와 그의 팀에 의해 개발되었으며 이것은 그들이 시작한 스타트 업 나는 1 년 전에 그렇게 생각하지 않습니다 그들이하려고하는 것은 응용 프로그램이나 기계 주위에 프레임 워크를 제공하는 것입니다 잘 모르는 창조적 인 사람들을위한 올바른 제작자 학습 Python은 github 및 복제 저장소에 대해 많은 코딩에 대해 모든 일을하고 어쩌면 내가 말하는 것을 이해하지 못한다면 그게 당신을위한 것이며 그들은 쉽게 다운로드 할 수 있도록 노력하고 있습니다 컴퓨터에서 로컬로 실행하기 위해 서버에서 실행하도록 모델 또는 클라우드에서 실행하고 모델을 교육 바로 그것이 그들이 지금 만들고있는 것들 중 하나입니다 다른 아키텍처에서 새로운 모델을 쉽게 훈련시킬 수 있습니다

사실 저는 작년에 개인적으로 Christopher와 인터뷰를했습니다 그녀가 내가 재미 있다고 말한 것은 그가 가장 좋아하는 사용자 인터페이스 중 하나입니다 Spotify이고 나에게 이것은 머신 러닝의 Spotify처럼 보입니다 당신은 여기에서 볼 수 있습니다 조금 바뀌는 것 같습니다

다시하지만 이것과 비슷해 보이므로 집에서 실례합니다 이것은 PostNet 모델로 호출 할 때 새로운 작업 공간을 만드는 것입니다 이것이 비디오에서 골격을 얻는 오픈 소스 모델이라고 가정하거나 이미지를 배경으로 해당 모델을 다운로드하여 얻을 수 있습니다 실행하기 때문에 코드를 작성할 필요가 없었습니다 알고리즘은 그들이하는 일을합니다

비디오 또는 카메라에서 가져온 카메라를 JSON 형식으로 출력합니다 여기에서 렌더링하지만 JSON 형식으로 진행됩니다 다른 응용 프로그램에서 웹 사이트 또는 메뚜기 또는 그 정보를 바로 읽으려는 다른 장소 이것에 대해 똑같은 것은 타일 전송이므로 모델이 있습니다 여기 사산이나 다른 예술가들처럼 당신도 그 삶을 할 수 있고 부모님의 오래된 사진에서 찍은 사진이며 이것은 이미지를 채색하는 것입니다 웹캠에서 실시간으로 볼 수 있으므로 사진을 색칠 할 수 있습니다

그들이 만들고있는 것의 모델은 인프라와 포장입니다 모델과 오픈 소스 및 커뮤니티는 모델을 추가하여 실제로 내가 이것에서 정말 좋은 점은 그들이 액세스를 민주화하고 있다는 것입니다 나 자신에게조차도 시간을 찾기가 어렵 기 때문에 기계 학습 권리 다른 모델을 사용하는 방법을 배우십시오 예 예 예 그것은 인간의 골격에 배출됩니다 활주로가 아니에요 활주로가 열렸습니다 베타 버전이 더 잘 열렸습니다 당신은 그것을 다운로드하고 그것을 시도 할 수 있습니다 정말 멋지다 다른 두 팀원의 이름을 잊어 버렸습니다

진 코간 GN 코간은 내가 생각하지 않는 것 같아요 그는 자신이 자문위원회에 있었거나 안녕 이제 당신은 코데인 트레이 사람 코데인 기차로 이름을 얻지 못합니다 일반적인 데니 업적 그렇습니다 그들은 그들을 도와 주지만 회사에는 3 명의 핵심 인력이 있고 팀의 규모가 커지면서 또 다른 빠른 예입니다 이것은 하나의 개념입니다 저는이 모델을 보았습니다 가장자리에서 Tacey로 바로 갈 수 있다는 것을 보여 드렸습니다

스페인어 나는이 물건을 번역 할 시간이 없었으므로 여기의 개념은 하나의 도면에서 텍스처로 바로 이동하여 모델이 그리고 오늘 아침에 얘기 한 내용은 등급보다 높은 점수를 매기는 모델은 분류기에 당신은 데이지처럼 보이지 않거나 옳지 않은 것으로 보입니다 유형별로 분류 된 종류를 찾은 다음 메뚜기 다이너 모와 같은 것으로 말 그대로 이미지를 입력했을 수 있습니다 출력을 얻은 다음 분류하면 꽃처럼 보이는지 알 수 있습니다 그런 다음 생성 모델로 되돌아 가서이를 최적화하는 방법을 확인할 수 있습니다 점점 더 비슷한 꽃처럼 보이기 때문에 매번 종류의 꽃과 비슷하도록 출력을 최적화하고 있습니다

그리고 이것은 또 다른 실험이므로 이것은 때때로 직장에서 일한다는 것을 보여주기위한 것입니다 우리는 일 년에 한 번 일주일에 두 번 실험 프로젝트를 얻습니다 활주로와 함께 연주하고 스타일 전송 알고리즘 중 하나를 사용하여 실제로 작업장에있는 클러스터 인 응용 프로그램 우리 옆에있는 것은 우리 앱 중 하나의 초기 단계였습니다 3D 큐브처럼 보이지만 텍스처를 렌더링하기 위해 활주로 2에 연결했습니다 실시간 괜찮아 5 ~ 10 번 정도 속도가 빨라지지만 항상 해당 이미지의 텍스처를 생성하기 위해 활주로를 얻습니다

평범한 큐브를 사용하면 다음과 같은 모양이됩니다 붓과 유성 페인트로 연필로 그린 것입니다 다른 스타일 그게 다야 그리고 내가 이것과 함께하는 유일한 닫는 의견입니다 이미지는 이것이 또한 당신에게 가능성을 제시 할 수있는 것입니다 이미지의 렌더링 프로세스를 건너 뛰는 것을 알고 있으므로 왼쪽과 오른쪽에 텍스처가 생겼습니다 이 이미지는 시간을 절약 할뿐만 아니라 v- 레이를 지불 할 수도 있습니다

이 모델에는 스타일이 포함되어 있으므로 다른 소프트웨어의 경우 3D로 무언가를 조작하고 실시간으로 출력을 얻습니다 감사합니다 당신

Reinforcement Learning: Crash Course AI#9

안녕하세요, Jabril입니다 Crash Course AI에 오신 것을 환영합니다

키가 큰 선반에있는 항아리에서 쿠키를 얻고 싶다고 가정 해 봅시다 쿠키를 얻는 "올바른 방법"은 없습니다 어쩌면 사다리를 찾거나 올가미를 사용하거나 복잡한 풀리 시스템을 만들 수도 있습니다 이것들은 모두 훌륭하거나 끔찍한 아이디어 일 수 있지만 뭔가 효과가 있으면 달콤한 맛을 얻습니다 승리의

그리고 나는 똑같은 일을하면 또 다른 쿠키를 얻을 수 있다는 것을 알게된다 미래 우리는 시행 착오를 통해 많은 것들을 배우고 이런 종류의“행함으로써 배우다” 복잡한 목표를 달성하는 것을 강화 학습이라고합니다 소개 지금까지 Crash Course AI의 두 가지 학습 유형에 대해 이야기했습니다 :지도 학습 교사가 AI를 통해 학습에 대한 답변을 제공하고,지도되지 않은 학습을 통해 AI는 세계에서 패턴을 찾으려고 노력합니다

강화 학습은 AI 훈련을 원하는 상황에 특히 유용합니다 우리는 자신을 완전히 이해하지 못하는 특정 기술을 갖습니다 예를 들어, 나는 걷기에 능숙하지만 걷기 과정을 설명하려고 노력합니다 어려워요 대퇴골은 발과 어떤 각도를 이루어야합니까? 그리고 평균 각속도로 움직여야합니다 어려운

강화 학습을 통해 AI를 훈련시켜 복잡한 작업을 수행 할 수 있습니다 그러나 다른 기술과는 달리, 우리는 작업이 끝날 때만 기술해야합니다 그들은 성공했다가 어떻게했는지 말해달라고 부탁합니다 (이 일반적인 경우에 중점을두고 있지만 때로는이 피드백이 더 일찍 올 수 있습니다 AI가 걷는 법을 배우기를 원한다면, 둘 다 서 있으면 보상을줍니다 앞으로 나아가서 그 시점에 도달하기 위해 어떤 단계를 수행했는지 알아 봅니다

AI가 더 오래 일어나고 앞으로 나아갈수록 더 오래 걸으며 더 많은 보상을 얻습니다 그것은 얻는다 강화 학습의 열쇠가 어떻게 시행 착오인지 다시 한 번 알 수 있습니다 다시 인간에게 보상은 쿠키 또는 보드 게임에서이기는 기쁨 일 수 있습니다

그러나 AI 시스템의 경우 보상은 기본적으로“좋습니다”라는 작은 긍정적 인 신호입니다 직업”과“다시 해”! Google Deepmind는 강화 학습을 사용할 때 매우 인상적인 결과를 얻었습니다 가상 AI 시스템이 장애물 아래에서 걷고, 뛰어 내리고, 심지어 오리에게 가르치는 것을 가르치기 위해 어리석은 것처럼 보이지만 꽤 잘 작동합니다! 다른 연구원들은 실제 로봇이 걷는 법을 배우도록 도왔습니다 따라서 최종 결과를 보는 것은 매우 재미 있고 강화 목표를 이해하는 데 도움이 될 수 있습니다 배우기

하지만 강화 학습이 어떻게 작동하는지 이해하려면 새로운 언어를 배워야합니다 AI와 그들이하는 일에 대해 이야기합니다 이전 에피소드와 마찬가지로 AI (또는 에이전트)가 충실한 주제로 진행되고 있습니다 배우다 에이전트는 조금 앞으로 이동하거나 피킹과 같은 예측을하거나 행동을 수행합니다 게임에서 다음으로 최고의 움직임

그리고 현재 입력을 기반으로 조치를 수행합니다이를 상태라고합니다 지도 학습에서 / each / action 후에 우리는 다음과 같은 교육 레이블을 갖게됩니다 AI가 옳은 일이든 아니든 우리의 AI 우리는 강화 학습으로 그것을 할 수 없습니다

왜냐하면 우리는 "올바른 일"은 실제로 작업이 완전히 끝날 때까지입니다 이 차이는 실제로 강화 학습의 가장 어려운 부분 중 하나를 강조합니다 신용 할당이라고합니다 보상을받는 데 어떤 행동이 도움이되었는지 알기가 어렵습니다 (그리고 신용을 얻어야 함) 모든 행동 후에 생각하기 위해 멈추지 않을 때 어떤 행동이 AI 속도를 늦추는지를 보여줍니다

따라서 에이전트는 환경에 관계없이 잠시 동안 게임 보드, 가상 미로 또는 실제 부엌 그리고 에이전트는 보상을받을 때까지 많은 조치를 취합니다 게임을하거나 쿠키 선반을 키 큰 선반에서 가져옵니다 그런 다음 상담원이 이길 때 (또는 업무에서 성공할 때마다) 조치를 되돌아 볼 수 있습니다 어떤 게임 상태가 도움이되었고 그렇지 않은지를 천천히 알아 냈습니다

이 성찰을하는 동안, 우리는 다른 게임 상태에 가치를 부여하고 결정합니다 행동이 가장 효과적인 정책 강화 학습에서 무엇이든하려면 가치와 정책이 필요합니다 부엌에서 음식, 상자, 작은 가방, 도넛이 달린 접시를 보자고 가정 해 봅시다 그래서 제 뇌는이 각각의 값에 수치 맛 값을 할당 할 수 있습니다 상자에는 아마 6 개의 도넛이 있고, 가방에는 2가 있고, 접시에는 1이 있습니다 할당 한 값은 6, 2 및 1입니다

각각에 가치를 부여 했으므로 어떤 조치를 계획 할 정책을 결정할 수 있습니다 가지다! 가장 간단한 정책은 가장 높은 값 (6 개의 도넛 상자)으로 이동하는 것입니다 그러나 나는 그 안에 볼 수 없으며 베이글 상자가 될 수 있으므로 높은 보상입니다 그러나 높은 위험 다른 정책은 보상이 적지 만 위험이 적을 수 있습니다 맛있는 도넛

개인적으로, 나는 중간 정책을 선택하고 가방이 더 좋습니다 상자보다 내부에 도넛이 있다고 추측 할 수 있으며 1 도넛 값은 그렇지 않습니다 충분히 그것은 어휘력이 많으므로 모든 것을 기억하는 데 도움이되는 이러한 개념을 실제로 보도록하겠습니다 우리의 예는 다른 것과 함께 사용될 수있는 수학적 프레임 워크에 초점을 맞출 것입니다 기본 기계 학습 기술 John-Green-bot이 배터리를 재충전하기 위해 충전소로 가고 싶다고 가정 해 봅시다

이 예에서 John-Green-bot은 새로운 에이전트이고 회의실은 환경입니다 그는 배울 필요가있다 그가 지금 방에있는 곳에서 4 가지 가능한 행동이 있습니다 : 위, 아래, 왼쪽 또는 권리 그리고 그의 국가는 두 가지 다른 입력입니다 : 그가있는 곳, 출신지, 그리고 그는보고 이 예에서는 John-Green-bot이 전체 방을 볼 수 있다고 가정합니다

따라서 그가 움직일 때 (또는 어떤 방향 으로든) 상태가 바뀝니다 그러나 그는 위로 올라가는 것이 좋은 아이디어인지 아직 알지 못합니다 골 존-그린-봇 탐험 해보세요! 그는 배터리를 찾았으므로 보상을 받았습니다 (작은 플러스 하나) 이제 우리는 그가 밟은 길을 되돌아보고 그가 지나간 모든 세포를 줄 수 있습니다 가치-구체적으로 목표 근처에있는 사람들에게는 더 높은 가치, 더 먼 곳에있는 사람들에게는 더 낮은 가치 떨어져 이 높고 낮은 값은 강화 학습의 시행 착오를 돕습니다

그들은 다시 시도 할 때 취해야 할 더 나은 행동에 대한 정보를 에이전트에게 제공합니다! John-Green-bot을 처음 시작할 때, 그는 최대 정책을 결정하려고합니다 보상 그는 배터리로가는 길을 이미 알고 있기 때문에 그 길을 따라 걸을 것입니다 다른 +1 그러나 그것은 너무 쉽다

John-Green-bot이 매번 똑같은 길고 구불 구불 한 경로를 취하는 경우 지루한 종류 시각 강화 학습의 또 다른 중요한 개념은 착취 간의 절충입니다 그리고 탐험 John-Green-bot이 배터리에 접근하는 한 가지 방법을 알았으므로 이제 이것을 이용할 수 있습니다 항상 같은 10 가지 행동을 취함으로써 지식

그것은 끔찍한 생각이 아닙니다-그는 길을 잃지 않을 것이라는 것을 알고 그는 분명히 얻을 것입니다 보상 그러나이 10 행동 경로는 꽤 비효율적이며 더 효율적인 경로가있을 것입니다 저 밖에 따라서 착취가 최선의 전략이 아닐 수도 있습니다 일반적으로 어떤 일이 일어나는지 알기 위해 많은 다른 행동을 시도해 볼 가치가 있습니다

탐험이라고합니다 John-Green-bot이 취하는 모든 새로운 길은 최선의 방법에 대한 정보를 조금 더 줄 것입니다 보상을 받으십시오 John-Green-bot이 100 가지 작업을 탐색하고 경로를 완료 한 후 우리는 그가 간 세포의 가치를 업데이트 할 것입니다 이제 우리는이 모든 새로운 가치를 볼 수 있습니다! 탐험 중에 John-Green-bot은 지름길을 찾았으므로 이제는 경로 만 알고 있습니다

목표를 달성하기 위해 4 가지 행동을 취합니다 이는 새로운 정책 (항상 다음 조치에 가장 적합한 가치를 선택 함)이 취할 것임을 의미합니다 John-Green-bot은 목표까지이 더 빠른 길을 밟습니다 이전보다 훨씬 나아졌지 만 100 번의 행동 중에 탐험, 그는 첫 10 행동보다 / 더 / 비효율적 인 길을 갔다 시도하고 총 6 점 만 얻었습니다 John-Green-bot이 방금 100 가지 행동을 취한 첫 번째 길에 대한 지식을 이용했다면, 그는 그것을 배터리에 10 번 만들었고 10 점을 얻었습니다

따라서 탐험은 시간 낭비라고 말할 수 있습니다 그러나 우리가 새로운 John-Green-bot (4 액션을 알고있는 사람) 사이에 새로운 경쟁을 시작한다면 경로)와 더 젊고 어리석은 자아 (10 개 행동 경로를 알고있는), 100 개가 넘는 행동, 새로운 John-Green-bot은 경로가 훨씬 빠르기 때문에 25 포인트를 얻을 수 있습니다 그의 강화 학습이 도움이되었습니다! 더 나은 길을 찾고자 노력해야합니까? 아니면 더 많은 포인트를 수집하기 위해 바로 착취를 사용해야합니까? 많은 강화 학습 문제에서 우리는 착취와 탐험의 균형이 필요합니다 사람들은이 트레이드 오프를 적극적으로 연구하고 있습니다 이러한 종류의 문제는 다른 종류의 보상을 추가하면 더욱 복잡해질 수 있습니다

+1 배터리와 +3 큰 배터리처럼 또는 John-Green-Bot이 피하기 위해 배워야 할 부정적인 보상이있을 수도 있습니다 이 블랙홀 John-Green-Bot이 강화 학습을 사용하여이 새로운 환경을 탐색하게한다면, 때때로 그는 블랙홀에 빠진다 따라서 셀은 이전 환경과 다른 값을 가지게됩니다 다른 최고의 정책이 될 수 있습니다

또한 이러한 많은 문제에서 전체 환경이 바뀔 수 있습니다 자동차에 인공 지능이있어 집으로가는 데 도움이된다면 같은 길에 다른 사람들이있을 것입니다 매일 자전거, 자동차, 블랙홀 등이 있습니다 우리를 완전히 재 설계하는 건설이있을 수도 있습니다 이것은 강화 학습 문제가 더 재미있어 지지만 훨씬 더 어려워지는 곳입니다

John-Green-bot이 작은 격자를 탐색하는 방법을 배우면 배터리에 더 가까운 셀 멀리 떨어진 것보다 높은 값을 가졌습니다 그러나 많은 문제에 대해 우리는 가치 함수를 사용하여 우리가 무엇을 생각했는지를 원할 것입니다 지금까지 수행하고 수학을 사용하여 다음 움직임을 결정하십시오 예를 들어 AI가 집을 운전하는 데 도움이되는 상황에서 최적화하는 경우 안전과 우리는 우리 앞의 자동차의 브레이크 라이트를 본다 속도를 늦추십시오 그러나 거리에서 도넛 한 봉지가 보이면 멈추고 싶을 것입니다

강화 학습은 수십 년 동안 사용되어 온 강력한 도구입니다 많은 문제가 해결하기 위해서는 엄청난 양의 데이터와 시간이 필요합니다 심층 강화 학습 덕분에 최근에 정말 인상적인 결과가있었습니다 대규모 컴퓨팅 이 시스템은 방대한 환경과 수많은 상태를 탐색 할 수있어 결과로 이어집니다 AI가 게임을 배우는 것을 좋아합니다

이러한 많은 문제의 핵심에는 전진 명령과 같은 이산 기호가 있습니다 또는 게임 보드의 사각형이므로 이러한 공간에서 추론하고 계획하는 방법이 핵심 부분입니다 AI의 다음 주에는 상징적 인 AI에 대해 알아보고 그것이 시스템을위한 강력한 도구 인 방법에 대해 알아 보겠습니다 매일 사용하십시오

그때 만나 Crash Course Ai는 PBS Digital Studios와 연계하여 제작됩니다 Crash Course를 모든 사람에게 무료로 제공하려면 영원히 커뮤니티에 가입하십시오 Patreon에 로봇 동작을 제어하는 ​​다른 방법을 배우려면이 비디오를 확인하십시오

크래쉬 코스 컴퓨터 과학

Best Fit line – Machine Learning Tutorial with python

안녕하세요 여러분 테크 엔지니어링 채널에 오신 것을 환영합니다 이 비디오는 머신 러닝 튜토리얼 07입니다 회귀에 가장 적합한 라인에 관한 모든 것 우리는 주어진 회귀, 또는 가장 적합한 선을 계산하기 위해 노력하고 있습니다

파이썬의 데이터 셋 이전에는 경사를 모을 함수를 작성했습니다 이제 y 절편을 계산해야합니다 이 시점까지 우리의 코드 : 다시 말해, 최적 선의 y 절편에 대한 계산은 다음과 같습니다 b는 y 막대 광산과 같습니다

이것은 경사보다 약간 쉬울 것입니다 이것을 다른 라인에 통합하여 몇 줄을 절약 할 수 있습니다 기능 이름을 바꿉니다 best_fit_slope_and _intercept에 다음으로 b = mean (ys)-(m * mean (xs))를 입력하고 m과 b를 반환합니다 이제 우리는 다음과 같이 호출 할 수 있습니다 : m, b = best_fit_slope_and_intercept (xs, ys) 출력은 0

3 43이어야합니다 이제 데이터 라인을 만들어야합니다 y = mx + b라는 것을 상기하십시오 우리는 이것에 대한 기능을 만들 수 있습니다

고리: regression_line = [(xs의 x에 대한 (m * x) + b]] 위의 1-liner for 루프는 다음과 같습니다 x의 x에 대해 regression_line = [] : regression_lineappend ((m * x) + b) 대단한 노동의 결실을 거두자! 다음 가져 오기를 추가하십시오 matplotlib 가져 오기 스타일에서 plt로 matplotlibpyplot 가져 오기 style

use ( 'ggplot') 이것은 우리가 그래프를 만들고 그렇게 추악하지 않게 만들 수 있습니다 이제 끝 : pltscatter (xs, ys, color = '# 003F72') pltplot (xs, 회귀 _ 라인) pltshow () 먼저 기존 데이터의 산점도를 그린 다음 회귀선을 그래프로 표시합니다

마지막으로 보여주세요 따라서이 모델을 기반으로 실제로 예측하는 방법은 무엇입니까? 만든? 충분히 간단 하죠? 모델이 있고 x 만 입력하면됩니다 예를 들어, 몇 가지 점을 예측해 봅시다 predict_x = 7 우리는 입력 데이터, "기능"을 가지고 있습니다 라벨이 뭐야? predict_y = (m * predict_x) + b 인쇄 (predict_y) 출력 : 6

4 우리는 이제 우리 자신의 모델을 만드는 방법을 알고 있습니다 그러나 우리는 여전히 중요한 것을 놓치고 있습니다 : 얼마나 정확한지 우리 모델? 다음 튜토리얼에서 논의 할 주제입니다!

How machine learning is liberating creativity

나는 기계 학습과 창의성을 어떻게 든 반대되는 것으로 묘사한다고 생각합니다 머신 러닝이 광고에 미치는 영향을 오해합니다

나는 이것이 우리가 계속해서 듣는 반복되는 질문이라고 생각합니다 Photoshop이 나왔을 때 또는 데스크톱 영화 편집을 할 때 모든 사람들은 그러한 도구에 대해 걱정했습니다 창의성과 상충 될 것입니다 그러나 그것은 사실이 아닙니다 사실, 그들은 우리가 지금 가지고있는 새로운 종류의 혁신과 창의성의 물결을 만들었습니다 거의 당연하다

그리고 나는 앞으로 올 모든 도구에 대해 같은 것이 사실이라고 생각합니다 기계 학습 창의성은 다른 모든 변화에 의해 해방되고 있습니다 데이터는 창의성에 영향을 미치므로보다 간략하게 안내 할 수 있습니다 훌륭한 광고 소재는 데이터를 좋아하고 훌륭한 제작자는 제작 대신 자동화를 좋아합니다

광고는 브랜드에 맞는 생태계를 만들고 역동적 인 창의성을 그런 다음 개인을 위해 특별하고 개인적인 무언가로 렌더링 할 수 있습니다 머신 러닝은 오늘날 내가하는 일의 모든 측면을 혼란스럽게 만들고 있습니다 계획 과정에서, 우리가 시장에 대해 알고있는 것, 소비자에 대해 알고있는 것 실제로 아이디어를 만들 수 있습니다 더 많은 입력이 있기 때문입니다 따라서 기계 학습은이를 계획하는 방법을 이해하는 데 도움이 될뿐만 아니라 실제로 구현하는 데 도움이됩니다

뿐만 아니라 나는 이야기가 더 개인적이고 더 가볍고, 더 존중하고, 더 유용 할 수 있다고 생각한다 그들은 데이터 지향적입니다 데이터 중심의 광고 소재는 더 이상이 신발을 해당 신발로 바꾸지 않아도됩니다 그 가격 또는 여기에 로고 이름을 삽입하십시오 우리는 이런 종류의 기술로 훨씬 더 많은 것을 할 수 있습니다

더 인간 실제로 광고는 더 많은 데이터를 기반으로 할 때 더 인간적 일 수 있습니다

The Breakdown: Machine learning in healthcare

저는 Rajaie Batniji입니다 Collective Health의 최고 건강 책임자 저는 Sanjay Basu와 함께 있습니다

연구 및 분석 책임자 오늘 우리는 머신 러닝에 대해 이야기하고 있습니다 우리는 단어를 듣는 데 익숙해지고 있습니다 기계 학습, 어디에나 던져 그러나 과대 광고와 실제를 분리하는 것은 어렵습니다 이제 산 제이 머신 러닝에 많은 노력을 기울이고 있습니다 여기 집단 건강에

고용주는 왜 관심을 가져야합니까? 글쎄요, 저는이 분야에 많은 수사가 있다고 생각합니다 과대 광고가 많이 있습니다 불행히도 우리는 지금 과대 광고는 올바른 방식으로 구체화되지 않습니다 예를 들어 폐렴에 관한 최근의 기계 학습 기사가 있습니다 당신은 예측할 수 있습니까 천식이 있거나 천식이없는 사람 더 많은 치료 지원이 필요하십니까? 기계 학습 알고리즘은 실제로 천식 환자는 지원이 덜 필요합니다 그것은 매우 반 직관적이었습니다

사람들이 알고리즘을 수행하는 것으로 나타났습니다 훌륭한 컴퓨터 과학자들이 시스템에 대한 전문 지식이 없었습니다 그들이 연구하고있는 병원이 천식 환자 자동 분류 집중 치료실에 그래서 그들은 기본적으로 심사 프로토콜과 잘못된 추론 우리는 머신 러닝 문헌에서 많은 것을보고 있습니다 당신은 우리가 어떻게 구축하고 있는지에 대해 약간의 작업을합니다 핵심 제품에 대한 머신 러닝 집단 건강

우리가 기술을 어떻게 사용하고 있는지에 대해 조금 이야기 할 수 있습니까? 네 우리는 약간 백업하고 말 했어요 실제 문제가 무엇인지 봅시다 새로운 기술을 보지 않고 그냥 붙일 무언가를 찾으려고 노력했습니다 우리는 대신에 "고객과 회원이 직면하고있는 주요 문제는 무엇입니까?" 지금 가장 큰 것 중 하나는 실제로 사생활입니다 우리는 의료 데이터를 다루기 때문에

모든 것을 집계하고이 알고리즘을 모두 실행한다면 실제로 많은 위험이 따릅니다 그래서 우리는 문제를 머리에 두었습니다 기계 학습을 사용하는 대신에 사람들의 데이터를 채굴하기 위해 대신 기계 학습자를 사용하여 사람들의 취약점이 어디에 있는지 지적하고 그들의 프라이버시 측면에서? 저격병처럼 사용할 수 있을까요? 헬스 케어 시스템의 모든 다른 플레이어를 볼 수있는 혈통 병원에서 의사 진료실로 프라이버시 장벽을 강화할 수있는 곳을 찾으십시오 보호 수준을 높이기 위해 알고리즘을 사용 하는가? 우리가하는 두 번째 일은 연기입니다 제 3 자 객관적인 검토 자의 종류입니다 우리 연구에서하는 것 중 하나 우리는 한편으로는 고객과 회원이 있다는 것을 알고 있습니다

반면에 이러한 프로그램 파트너가 제공하는 행동 건강 서비스, 다산 의료 클리닉 등 그들은 모두 다양한 주장을한다 이러한 주장을 확인하기는 어렵습니다 그러나 우리는 실제로 주장을 볼 수있는 사람들입니다 실제로 그들이 있는지 여부를 결정할 수 있습니다 적절한 투자 수익률 계산 생식력 프로그램을보고 있다면 생식력에 더 많은 비용이 든다는 결론을 내리는 것은 매우 쉽습니다 하지만 실제로 알고 싶은 것은 추가 한 후입니다 의료 전문 지식에서 사람들은 나이가 많을 수도 있다는 것을 알고 있습니다

그들은 동반 조건이있을 수 있습니다 당신이 말할 수 있기를 원한다는 것은 비용 효율적인 솔루션과 최상의 프로토콜 사용 슬라이싱과 다이 싱뿐만 아니라 다산 서비스를받는 사람들은 비용이 더 많이 든다고 말합니다 감사합니다, 산 제이 기계 학습을 만들어 주셔서 감사합니다 버즈 단어보다 훨씬 더 The Breakdown의 최신 에피소드와 기사 당사 웹 사이트 집합체 healthcom/insights에 있습니다

우리는 당신이 조정하고 더 배우기를 바랍니다