AI Institute "Geometry of Deep Learning" 2019 [Workshop] Day 2 | Session 2

[음악] >> 다음은 CMU의 Nina입니다 데이터 중심 알고리즘 설계에 대해 이야기합니다 여기 있습니다, 니나 >> 멋지다

그래서 나는 사용에 대해 이야기 할 것입니다 데이터 중심 또는 자동 알고리즘 설계를위한 기계 학습 특히 최근에 이에 대한 확실한 보증에 대해 데이터 중심 알고리즘 설계의 매우 흥미로운 영역이라고 생각합니다 대화에서 나는 집중적 인 문제에 초점을 맞출 것이다 분리 된 구조에서도 마찬가지입니다 이산 구조에 대한 조합 알고리즘 제가 생각하는 방식은 기계 학습 및 학습 이론 사용 컴퓨팅 및 알고리즘 설계 이론에 영향을 미치기 위해 희망적으로, 해당 응용 분야

매우 높은 수준의 동기 부여로 시작하겠습니다 이 작업 라인을 위해 알고리즘을 설계하고 분석하는 고전적인 방법 조합 문제에 대한 부과 우리가 설계 한 알고리즘 주어진 문제는 해결하는 데 사용됩니다 문제의 더 나쁜 사례 알고리즘에 전혀 정보가 전혀 없습니다 이 기본 프레임 워크에서 우리가 추구하는 성능 보장 우리 알고리즘은 알고리즘이 해결에도 성공 최악의 경우 근본적인 알고리즘 문제 이 고전적인 틀 안에서 우리는 쉬운 몇 가지 문제가 있다는 것을 알고 있습니다 예를 들어 우리가 걱정한다면 러닝 타임은 우리의 주요 성과 측정입니다

우리는 우리가 가르치는 문제가 있다는 것을 알고 있습니다 우리가 가지고있는 기본 학부 알고리즘 과정 출력이 보장되는 최적 다항식 시간 알고리즘 최적의 솔루션 최악의 경우에도 다항식 시간 그래서 쉬운 몇 가지 문제가 있습니다 클래식 프레임 워크 내에서 그러나 클래식 프레임 워크 내 대부분의 문제는 우리는 그러한 강력한 성능을 보장하지 않습니다 따라서 어려운 문제의 예는 다음과 같습니다 클러스터링 문제, 파티셔닝 문제, 실제로 부분 집합 선택 문제 대부분의 조합 문제는 고전적인 틀 안에서 어렵다 한 가지 흥미로운 접근법 실제로 이러한 어려운 문제에 일반적으로 사용되는 특히 우리가 해결해야 할 경우 근본적인 알고리즘 문제의 한 인스턴스 만이 아니라 그러나 우리가 반복적으로 해결해야하는 경우 기본 알고리즘 문제의 인스턴스

한 가지 흥미로운 접근법이 이 어려운 문제를 해결하는 연습은 사용하는 것입니다 머신 러닝 및 인스턴스 배우기 위해 주어진 영역 우리의 인스턴스 유형에서만 잘 작동하는 알고리즘 물론 이것은 매우 자연스러운 아이디어입니다 실제로는 주어진 유형의 조합 문제에 대해 다른 설정에서 다른 방법이 더 좋습니다 종종 우리가 선택할 수있는 많은 방법이 있습니다 그래서 사용하려고 매우 자연 스럽습니다 머신 러닝 및 인스턴스 우리의 특정 영역에서 배우는 문제 우리의 인스턴스 유형에서만 잘 작동하는 알고리즘

실제로이 접근 방식은 AI 커뮤니티를 포함한 많은 응용 커뮤니티, 에릭 호 비츠가 실제로 이것에 대해 초기 작업을 한 것처럼 또한 전산 생물학 공동체에서 AI 기반 메커니즘 설계 커뮤니티 머신 러닝을 사용한다는 아이디어는 알고리즘을 배우는 데 널리 사용되었습니다 다양한 응용 커뮤니티에서 실제로 몇 가지 획기적인 이러한 영역은이 접근 방식에서 비롯되었습니다 하지만 놀랍게도 기본적으로 아주 최근까지 우리는이 접근법에 대해 공식적으로 거의 알지 못했습니다 오늘 대화에서 최근에 진행 한 작업을 조사하려고합니다 우리는 내 학생들과 공동 작업자와 함께 공식적인 보증을 제공하기 위해 이 데이터 중심 알고리즘 선택

>> 공식 또는 집단 또는 둘 다에 대한 공식 보증? >> 그래서 논의하겠습니다 당연하지, 우리는 분포 학습 형식화를 사용하거나 온라인 학습 공식화와 실제 의미 보증은 특정 공식화에 따라 달라집니다 몇 가지 사례 연구에 대해 언급하겠습니다 또한 힌트를 드리겠습니다 에 의해 발생하는 더 일반적인 원칙의 최악의 종류 이 문제들에 대해 생각하고 더 넓게 특정한 경우를 넘어서 적용 가능합니다 또한 많은 사람들이 여기 청중에는 AI와 기계 학습이 있습니다

나는 분명히 지적하고 싶습니다 이것은 매우 뜨거운 주제와 관련이 있습니다 요즘처럼 응용 기계 학습에서 하이퍼 파라미터 튜닝, 자동 ML, 메타 학습 물론이 주제는 그러한 주제 등과 관련이 있습니다 그러나 우리의 설정에 대해 생각하십시오 조합 설정에 있고 또한 우리는 많은 것에 반대되는 입증 가능한 보증 이러한 주제와 더 많은 내용은 보증없이 ML을 적용합니다

이것은 개괄적 인 개요입니다 이 구조로 제 이야기는 다음과 같습니다 : 우리가 어떻게 생각할 수 있는지 설명하겠습니다 데이터 중심 알고리즘 설계 또는 선택 분포 또는 통계 학습 문제로 몇 가지 사례 연구를 언급하고 이 맥락에서 발생하는 일반적인 샘플 복잡성 이론 얘기 할 시간이 없다고 생각합니다 온라인 학습 공식이지만 기쁘다 해당 공식의 세부 사항에 대해 오프라인으로 이야기하십시오 데이터 중심 알고리즘 설계부터 시작하겠습니다 분포 학습 문제로

그러나 구체적으로하기 전에 예를 들어 보겠습니다 데이터 중심의 접근 방식으로 해결할 수있는 문제 이것은 우리 모두에게 매우 친숙한 문제입니다 뉴스 기사와 같은 일련의 개체가 제공되는 클러스터링 웹 페이지 검색 결과 어떻게 든 그것들을 우리가 할 수있는 것처럼 자연적인 그룹으로 묶습니다 내가 지적하고 싶은 것은 문제의 완벽한 예 우리는 반복적으로 해결해야합니다 주어진 클러스터링 문제의 인스턴스 예를 들어 인터넷 검색을하고 있고 뉴스 기사를 클러스터링하기 위해 클러스터링을 사용한 다음, 물론 매일 뉴스 기사를 모아서 실제로 하루에 여러 번

이것은 완벽한 예입니다 반복적으로 해결해야 할 문제 데이터 중심의 접근 방식으로 넘어갈 수 있습니다 공식적으로 어떤 유형의 클러스터링 기술을 사용하고 있습니까? 목표 기반 클러스터링 기준을 사용할 수 있습니다 K- 평균 목적과 같은 특정 목적 함수를 선택 K- 중앙 목표 또는 중심 목표 주어진 입력 데이터 세트에서 최적화하십시오 그래서 이것은 당신이 사용할 수있는 하나의 공식입니다 물론 우리 모두는 예를 들어 모든 구체적인 목표는 K- 평균 최적화, K- 중앙 최적화, NP-hard도 마찬가지입니다

따라서 데이터 중심 접근 방식을 사용하는 것이 좋습니다 데이터 유형에 적합한 알고리즘을 배우고 보편적으로 효율적인 알고리즘이 없기 때문에 최악의 인스턴스에서 작동합니다 객관적인 클러스터링은 데이터 중심 접근 방식의 적절한 적용 하지만 생각해 보면 더 많은 머신 러닝 공식 숨겨진 진실이 있다고 가정 우리는 그것에 가까워 지려고 노력하고 있습니다 비지도 학습 또는지면 진실 버전의 일치 클러스터링 문제도 이 데이터 중심 접근 방식에 적합합니다 이 두 가지 제형 중 하나 데이터 중심 알고리즘 설계로 캐스팅 할 수 있습니다 이제이 예에서는 이제 우리는 어떻게 생각할 수 있는지 설명 할 수 있습니다 분포 학습 문제로서의 알고리즘 선택에 대해 물론 이것은 매우 친숙 할 것입니다 머신 러닝 사람들에게 청중에서 사람들을 배우는 기계

매우 자연 스럽습니다 우리가하는 일은 우리는 해결하고자하는 알고리즘 문제를 해결합니다 시설 위치 또는 클러스터링 또는 좋아하는 조합 문제 그런 다음 큰 가족을 고칩니다 우리의 문제에 대한 알고리즘 과이 될 수 있습니다 가족의 경우에 매개 변수화 됨 다양한 모듈이있을 수 있기 때문에 알고리즘 가족의 알고리즘은 조정해야 할 노브가있는 다양한 모듈

이 알고리즘 계열을 선택합니다 우리는 그것이 잘 작동한다는 것을 알고 있기 때문에 연습하거나 아마도 당신이 가지고 있기 때문에 믿을만한 분석 이유 데이터 유형에 좋을 수도 있습니다 그리고 우리가하는 일은 도메인에서 발생하는 문제의 전형적인 예는 기술적으로 우리는 전형적인 사례의 샘플을 의 일반적인 인스턴스에 대한 IID 샘플입니다 일부 기본 분포 우리의 사례와 이 전형적인 인스턴스 샘플을 사용하여 우리가 희망하거나 새로운 알고리즘 새로운 인스턴스에 대해 잘 알고 있음 동일한 기본 소스에서옵니다 그건 그렇고, 나는이 그림 목록을 사용하고 있습니다 그러나 희망적으로, 그것은 매우 분명합니다

예를 들어 내가 말하고 있다면 시설 위치 이러한 전형적인 사례는 무엇입니까? 첫 번째 샘플은 입력 그래프입니다 두 번째 샘플은 두 번째 입력 그래프입니다 또는 클러스터링을 수행하는 경우 클러스터링 알고리즘을 배우려고하면 클러스터 문서를 말하면 우리의 전형적인 사례는 무엇입니까? 첫 번째 인스턴스는 첫 번째 문서 집합이 될 수 있습니다 두 번째 인스턴스는 두 번째 문서 세트입니다 게다가 라벨이 없을 수도 있습니다

우리가하려고한다면 K- 평균과 같은 객관적인 클러스터링 클러스터링 또는 그들은 당신이 진실을 일치 시키려고한다면 예를 들어 문서를 IID로 클러스터링하고 문서를 클러스터링합니다 훈련 실례를 바탕으로 실제 수업 환경을 설정해야합니다 기본적으로 전형적인 사례, 우리가하고 싶은 일, 우리는 잘 작동하는 알고리즘을 생각해 내고 싶습니다 우리가 잘 수행한다는 것을 증명할 수 있다는 오는 새로운 무작위 인스턴스 동일한 기본 분포에서 훈련 세트로 전형적인 인스턴스의 물론 이제 우리는 통계 학습 이론 이 프레임 워크의 샘플 복잡성 질문 얼마나 큰지를 분석하는 의미 일반적인 인스턴스 집합은 보장하기위한 것입니다

그러나 우리가 잘하는 알고리즘을 넣으면 일반적인 인스턴스의 훈련 세트를 통해 이 알고리즘은 새로운 인스턴스에서도 잘 작동합니다 같은 출처에서 나온 것입니다 그러나 당신은 훈련 세트를 본 적이 없습니다 물론, 우리는 또한 통계 학습 이론에서 이러한 샘플 복잡성 결과를 분석하기 위해 예를 들어 균일 한 수렴과 복잡한 결과 당신이 이해할 수 있어야하는 것은 본질적인 차원 또는 본질적인 복잡성 의 가족에 의해 유도 된 기능 클래스의 알고리즘과 성능 측정 우리가해야 할 일은 절대 치수를 분석하거나 이 유도 된 기능 클래스의 복잡성 물론, 그것은 핵심 수량입니다 일반적인 균일 한 수렴 범위입니다 이 새로운 도메인에서 흥미로운 점은 학습 이론의 관점에서 흥미 롭습니다

이 설정에 나타나는 기능은 일단 알고리즘 학습을 시작하면 우리의 가설 공간은 알고리즘의 공간입니다 이제 우리는 매우 흥미로운 구조를 얻습니다 특히 알고리즘을 배우고 있기 때문에 조합 문제의 경우 본질적으로 해당 알고리즘에는 조합 모듈이 있습니다 매개 변수를 약간 변경하면 매우 다른 결과물을 얻을 수 있습니다 따라서 해당 비용 함수는 급격한 불연속성을 갖습니다

그래서 개념을 분석하려고 시도하는 것이 흥미 롭습니다 이 시나리오의 차원 그래서 그것이 외부에 있습니다 이러한 문제는 모든 고전적인 통계 학습 이론 이 양식의 몇 가지 예를 볼 수 있습니다 다음은 특정 유형의 기능입니다

우리가 살펴본 다양한 응용 프로그램에 나타납니다 시원한 실제로이 생각은 알고리즘 설계 또는 배급 학습 문제는 실제로 팀 러프 가든 (Tim Roughgarden)과 그의 전 학생이 작성한 논문에서 ITCS와 SICOMP에 논문이 실린 Rishi Gupta 거기서 그는보기 알고리즘 선택에서 모델을 제안했습니다 배급 학습 문제로 재분석 된 매개 변수화 된 가족 부분 집합 선택 문제에 대한 탐욕스러운 알고리즘 배낭 문제처럼 그 작업을 참조하십시오 실제로, 나는 종이가 매혹적인 것을 발견했다

아무도 그런 종이를 쓰지 않아서 놀랐어요 아주 자연 스럽기 때문에 그리고 그것은 또한 매우 강력하다고 생각합니다 저의 학생들과 공동 작업자들은 그래서 우리는 그것을 추적하고 분석했습니다 다양한 조합 문제에 대한 새로운 알고리즘 클래스 나는 단지 그들 중 일부를 빠르게 언급 할 것이고 그들 중 몇 가지에 대해 자세히 알아보십시오 예를 들어, 주제에 관한 첫 번째 논문에서 클러스터링 문제와 관련하여 매개 변수화 된 연결 절차를 살펴 보았습니다

클러스터링 다음에 일부는 고정 된 유형의 후 처리에 대해 말합니다 또한 [들리지 않음]의 클러스터링을 위해 우리는 무한 가족을 보았다 로이드의 방법 특히 Lloyd의 방법 중 일부를 매개 변수화했습니다 로이드의 방법을 초기화하는 법을 배웁니다 더 최근에는 일부 동료들과 CMU의 컴퓨터 생물학에서 매개 변수화 된 동적 프로그래밍 절차를 살펴 보았습니다 정렬 문제 해결 서열 정렬과 같은 전산 생물학

이것들은 우리가 살펴본 몇 가지 유형의 계산 문제입니다 우리는 또한 원본 논문을 보았습니다 매우 다른 유형의 알고리즘 예를 들어, 해결하려는 경우 다음과 같이 쓸 수있는 파티션 문제 Max-Cut과 같은 정수 이차 프로그램 우리는 가족을 보았다 알고리즘 또는 반정의 프로그래밍 감소 반올림 된 반올림으로 다시 모든 유형의 인스턴스가 얼마나 둥근 지 알아 봅니다

그런 다음 지금까지 설명한 모든 예에서 실제로 의도적으로 우리의 질문으로 돌아가서 우리가 보는 알고리즘 다항식 시간과 시간 설계 배우려고 노력하는 알고리즘입니다 Max-Cut의 가치가 좋은 것처럼 좋은 솔루션 품질 또는 문서를 클러스터링하거나 시퀀스를 잘 정렬 할 수 있습니다 하지만 우리는 또한 예를 들어, 우리는 혼합 정수 프로그램을 통해 해결하는 것을 보았습니다 유형의 분기 및 바운드 인공 지능과 OR을 사용하는 동안 기술 이 어셈블리의 알고리즘은 문제를 해결하기 위해 최적이지만 그들은 걸릴 수 있습니다 그의 오랜 시간을 최적화하려고 노력하고 있습니다 따라서 알고리즘의 솔루션 품질은 실행 시간입니다

우리는 또한 매우 관련된 기술도 보았다 의 맥락에서 나타나는 다중 구매자, 다중 항목 시나리오를위한 자동화 된 메커니즘 설계 다시, 우리는 여기서 어셈블리를 보았습니다 매개 변수화 된 VCG 경매와 같은 메커니즘 긍정적 인 가격 등 여기서는 수익을 최적화하고 있습니다 따라서 수익, 그의 절차 범위의 솔루션 품질

이 모든 것을 살펴본 결과, 몇 가지 일반적인 패턴이 등장 그에 대해 조금 말씀 드리겠습니다 하지만 그렇게하기 전에 구체적이고 생각할 구체적인 예를 명심하십시오 그리고 당신에게 가족의 간단한 예를 제공하기 위해 클러스터링 문제에 대한 매개 변수화 된 알고리즘 따라서 데이터 중심 접근 방식을 사용하려면 클러스터링 문제의 경우 가장 먼저하고 싶은 일은 당연히 내려 놓는 것입니다 알고리즘 계열 여기, 간단한 가족입니다 우리가 살펴본 알고리즘은 연습을 사용하는 동안 또한 좋은 기사 속성이 있기 때문에 데이터는 안정적인 유형의 인스턴스와 같이 매우 좋습니다 [들리지 않음]에서 알려짐 이러한 경우를 넘어서서 계산한다면, [들리지 않음]

따라서 수식의 균형은 다음과 같이 매우 간단합니다 두 단계가 있습니다 각 요소에는 두 단계가 있습니다 먼저 상향식 연결 절차를 사용하여 데이터를 생성하기 위해 계층 구조에 연결하는 욕심 많은 절차 클러스터 트리를 만든 다음 이 세 가지에 대한 고정 후 처리 예를 들어, 동적 프로그래밍을 위해 최고의 K- 평균 군집 추출 마지막 K- 머지로 클러스터 된 인덱스를 출력 할 수도 있습니다 또는 계층 구조를 사용자와 사용자가 볼 수 있습니다

물론, 그냥 생각 나게하기 위해 상향식 응집 결합 절차는 무엇을 의미합니까? 그래서 우리가하는 일은 그들 만의 작은 클러스터에서 시작하는 것입니다 두 개의 '가장 가까운'클러스터를 반복적으로 병합하겠습니다 물론, 다른 정의 가장 가까운 알고리즘은 다른 알고리즘으로 이어집니다 예를 들어 다음은 '가장 가까운'에 대한 다른 정의입니다 다른 알고리즘으로 이어지는 점의 하위 집합 사이

여기에 예가 있습니다 우리의 고전적인 알고리즘 기본 알고리즘 머신 러닝 과정에서 단일 연결, 정의 하시겠습니까 두 부분 집합 A와 B 사이의 거리 두 하위 집합의 점 사이의 최소 거리가됩니다 여기서는 기준점 사이의 거리가 고정되어 있다고 가정합니다 그래서 우리는이 엔티티를 정의하여 포인트 간의 갱신 거리 및 대응하는 부분 집합 그러나 또 다른 고전적인 알고리즘, 완벽한 연결, 두 부분 집합 사이의 거리를 사이의 최대 거리 해당 하위 집합의 포인트 이제 무한한 가족이 등장한다고 상상할 수도 있습니다 우리가 원할 수도 있기 때문에 연결 절차 이 기본 기준을 보간합니다

예를 들어 여기에 가족의 예가 있습니다 그러나 우리의 일을 살펴보기 위해 알파 가중치 연결이라고합니다 지금은 매개 변수 알파가 있지만 희망이 있습니다 데이터를 조정하고 거리를 정의합니다 두 하위 집합 A와 B 사이 1에서 알파를 뺀 거리 단일 결합과 알파 시간 완전한 연결에 의해 주어진 거리 이것이 알파 가중치 링크의 구체적인 예입니다

가족은 매개 변수화 된 가족의 구체적인 예입니다 조합 문제 클러스터링을위한 알고리즘 이제 우리는 무엇을 이해하기 시작할 수 있다고 생각합니다 이 알고리즘 군의 2 차원은 그건 그렇고, 2 차원은 무엇입니까? 가장 자연스러운 확장 일뿐입니다 실제 유효한 함수에 대한 VC 차원 나는 그것을 정확하게 정의하지 않을 것이다 그러나 이것이 당신이 알아야 할 전부입니다 이 특정 알고리즘 제품군의 경우 나는 당신에 대해 빨리 보여줄 것입니다 절대 치수는 log n뿐입니다

또는 n은 내가 해결해야 할 입력 인스턴스의 포인트 차원이 log n이므로 실제로 당신은 또한 보여줄 수 있지만 실제로 당신이 세트 S 또는 트레이닝 세트의 전형적인 예 클러스터링 문제의 전형적인 사례 우리는 최고의 알고리즘을 찾을 수 있습니다 다항식 시간에이 가족 다른 말로하면 기계 학습 이론 원자에서 그냥 ERM을 해결하십시오 다항식 시간을 효율적으로 이 간단한 군집 절차입니다 이 조합 문제 중 하나에서 여기서의 도전은 실제로 이 조합 유형의 출력으로 인해 언급했듯이 알파를 약간 변경 한 경우, 이것은 의사 결정의 초기에 변화로 이어질 수 있습니다 그런 다음 눈덩이를 만들어 생산할 수있는 연결 절차 나중에 훨씬 더 큰 변화

다시 말해, 약간 변경하면 알파 당신은 완전히 다른 출력을 얻을 수 있습니다 이건 정말 어려움이지만 우리가 보여줄 수있는 것은 이것이 너무 자주 일어나지 않는다는 것입니다 이제 이것은 치수 경계로 이동합니다 특히, 우리가 보여줄 수있는 것은 암시하는 주요 사실 의사 차원은 n의 로그 만입니다 또는 n은 상한이다 입력 인스턴스의 포인트 수 따라서 그 효과는 다음과 같습니다

기본적으로 해당 비용 함수는 부분적으로 일정합니다 그래서 그것은 무엇을 의미합니까? 주어진 알파 값에 대해 연동 알고리즘으로 알파를 실행하면 일련의 결정과 우리는 특정 연계 트리를 만듭니다 물론 알파를 바꾸면 나는 다른 나무를 얻을 것입니다 그러나 여기에서 알파를 0에서 1로 바꾸면 n 포인트의 클러스터링 인스턴스를 수정하면 그런 다음 매개 변수 Alpha를 0에서 1로 변경합니다 또는 최대 n 번째 여덟 번째 스위칭 지점 트리는 인스턴스 변경을 생성합니다

물론 이것은 다음을 의미하지 않습니다 상단의 비용 함수가 무엇이든 k에 대한 근거 진실의 예는 상수 등을 의미합니다 여기에서 해당 비용 함수는 조각 단위입니다 n에서 8까지의 상수 어느 것이 좋을까요? n은 2 차원에 암시 적입니다 엔

빨리 줄게 이 단계가 어떻게 입증되는지에 대한 높은 수준의 아이디어 이 특정 경우에는 전혀 어렵지 않습니다 핵심 아이디어는 다음과 같습니다 따라서 클러스터링 인스턴스를 수정하면 알파를 고치고 싶다고 해봅시다 연계 절차를위한 마일 단위 매개 변수는 어느 것입니까? 알고리즘의 어느 시점에서, 알고리즘은 Blob N_1을 병합해야하는지 결정해야합니다

N_2 또는 Blob과 N_3 및 N_4를 병합해야합니다 권리? 이제 결정은 여덟 가지 점에 달려 있습니다 내가 P & Q로 표시하면 N_1과 N_2에서 가장 먼 지점 그들은 완전한 연결과 P- 프라임에 의해 주어진 거리를 줄 것이고 Q- 프라임은 N_1과 N_2에서 가장 가까운 지점입니다 내가 R과 S로 표시되면 N_3과 N_4 및 R- 프라임에서 가장 먼 지점, S- 프라임은 N_3과 N_4에서 가장 가까운 지점입니다 처음 두 블롭 N_1과 N_2의 병합 여부에 대한 결정 N_3 및 N_4와 비교 이 두 수량 중 어느 것에 따라 달라집니다

알파와 P와 Q 사이의 거리를 곱한 값 +1 사이의 거리에 알파를 1 곱한 값 R 사이의 P- 프라임 및 Q- 프라임 또는 알파 시간 거리 그리고 S + 거리에 1을 뺀 알파 곱하기 R- 프라임과 S- 프라임 사이의 간격이 더 작고 커집니다 당신이 그것에 대해 중요한 지점으로 생각하면 [들리지 않음] 또는 알고리즘 스위치는 여기 평등이있는 순간에요 권리? 다른 말로하면, 중요한 요점은 실제로 이 같은 선형 평등의 뿌리에서 평등이라는 아이디어는 요점으로 주어집니다 그러나 물론 나는 그러한 선형 평등의 여덟 내가 가지고 있기 때문에 내려 놓을 수있는 n 포인트 중 8 [들리지 않음]의 수입니다 이것은 기본적으로 그것을 증명합니다

높은 수준에서 그것을 증명하기위한 핵심 아이디어입니다 알파를 고치면이 특정 간단한 연결 패밀리에 대해 인스턴스를 수정하면 클러스터링 인스턴스 및 알파 변경, 생산 된 8 번째 클러스터링 트리에만 n을 가져올 수 있습니다 10 분이 지났습니다 잘 됐네요 저건 완벽 해 좋은

이 구조적 결과가 나오면 의사 차원 경계를 즉시 증명할 수 있습니다 이것이 내가 당신에게 보여준 것입니다 인스턴스를 수정하면 어떻게 되나요? 알파가 당신에게 해당 cos 함수이지만 물론 당신이 걱정하지 않은 계산 된 의사 차원 의 행동에 대해서만 지정된 인스턴스의 알고리즘 패밀리 그러나 당신은 얼마나 많은 인스턴스에 관심이 있습니다 [들리지 않음] 산산조각 낼 수 있습니까? 우리는 실제로 얼마나 많은 인스턴스를 기하 급수적 인 행동을 취 하시겠습니까? [들리지 않음] 그들이 걱정하고 있습니다 이제는 어떻게되는지 생각해야합니다 m 개의 인스턴스와 클러스터링 인스턴스 내가 이전 경계에서 즉각적인 효과를 알고있는 것은 그러나 내가 m을 가지고 있다면 알파가 달라지면 인스턴스 클러스터링, 나는 여덟 패턴의 거듭 제곱에 m 곱하기 n을 얻을 수 있습니다

n 포인트 및 클러스터링 인스턴스의 경우 그리고 나는 단지 의사 차원 정의를 대략적으로 사용합니다 의사 차원이 무엇인지 계산하고 의사 치수가 최대 m이기 때문에 기하 급수적 인 패턴을 얻을 수 있습니다 가장 큰 m을 풀기 만하면됩니다 기하 급수적 인 패턴을 보호하고 달성합니다 즉, 여기서이 불평등을 해결해야합니다

각 2에서 m까지 가장 큰 m은 상한은 m 곱하기 n을 여덟 번째 n으로 제한한다 따라서 이것들은 즉시 의사 치수는 단지 로그입니다 엔 이 간단한 예를 들어 보자 그건 그렇고 나는 이것을 슬라이드에 가지고 있지 않습니다 실제로 무언가를 얻도록 요청할 수 있습니다

이 보간을 수행하기 위해 실제로는 가능하다는 것이 밝혀졌습니다 그래서 나는 실험의 주인을 가졌습니다 [들리지 않음]에서도 우리는 [들리지 않음]의 부분 집합을 실제로 튜닝하여 조금 얻을 수 있습니다 여기에있는 매개 변수 alpha 3 %와 같은 알파 가중치 연결 그리 많지는 않지만 여전히 3 %를 얻습니다 [들리지 않음] [들리지 않음] 예제를 많이 얻으면 얻을 수 있습니다

하지만 여기 또 다른 가족이 있습니다 클러스터링은 실제로 많은 것을 얻습니다 실제로 거기에 가기 전에 죄송합니다 방금 보여 드렸 기 때문에 끝내겠습니다 이 알파 계열의 의사 차원 연결 절차는 log n만이 log n의 큰 O입니다 실제로 당신은 또한 그것을 보여줄 수 있습니다 실제로 n의 큰 [들리지 않음] n

중 하나 저의 이전 학생들은 저역을 보여주었습니다 또한 구현할 수도 있습니다 당신은 또한 해결할 수 있습니다 다항식 시간의 해당 ERM 문제 만약 내가 당신에게 인스턴스를 주면 찾을 수있는 일반적인 인스턴스 다항식 시간에서 가족의 최고의 알파 비효율적 인 방법 바스티유 다항식 시간 [들리지 않음] 모든 입력 인스턴스가 주어지면 해당 인스턴스의 해당 알파 간격을 계산합니다 당신은 모든 대응을 가지고 모든 중요한 포인트의 연합 샘플보다 평균적으로 최고입니다

그것은 당신이 그것을보다 효율적으로 만들 수 있습니다 작동 학생 피드백 및 실험 중 하나 인 [들리지 않음] 앞에서 언급했듯이 예를 들어 [들리지 않음]에서이 작업을 수행하면 3 % 개선 단일 또는 완전한 연결을 통해 또한 우리가 더 잘할 수있는 [들리지 않음]도 있습니다 괜찮아 하지만 여기에도 실제로 그리고 이것은 내가 말하지 않는 방식이지만 이것은 나를 위해 이해하려고 시도하는 아주 모범이었습니다 이 공간은 어떻습니까 [들리지 않음] 데이터 분석 학습 이론 관점에서 디자인 그러나 우리는 또한 재미를 위해서 실험을했습니다

나는 그것을 옹호하지 않습니다 제목에 사용하여 다른 클래스를 데이터화하는 기술 그러나 실제로 다른 가족 아니면 조금 더 잘할 수도 있습니다 실험적이며 실제로는 실험적으로 관심있는 이론적으로 겨울 인 것은 알파 만 튜닝하지 않는 경우 연결 절차를 조정할뿐 아니라 하지만 거리 기능도 조정하고 있습니다 특히 특정 유형의 데이터의 경우 매우 다른 유형의 거리 정보가있을 수 있습니다 예를 들어 자막 이미지가 있다면 일부 거리 기능을 사용할 수 있습니다 이미지의 픽셀 정보를 기반으로 하지만 당신은 또한 자막에 따라 매우 다른 거리 기능, 그리고 당신은 그것들을 혼합하려고 할 수 있습니다 또는 마찬가지로 손으로 쓴 숫자의 경우 메타 학습에 사용되는 클래식 Omniglot 데이터 세트의 경우 픽셀 정보가 모두 있습니다

스트로크 데이터도 있습니다 문자 작성 방법에 대해 그래서 이것은 매우 무료 유형을 제공 할 수 있습니다 거리 정보 이제 우리는 무한 가족을 내려 놓을 수 있습니다 미터법 또는 거리 함수 무엇을 보간합니까? 이제는 이것들은 현재 두 개의 기본 거리 함수 d0과 d1을 말합니다 이제 튜닝도 시도 할 수 있습니다 이 베타 매개 변수는 거리 함수와 관련이 있습니다 예를 들어, 구체적으로 말하자면 내가 지금 얻을 수 있다면 알파-베타 가중 연결 절차의 가족, 또는 Alpha 매개 변수를 사용합니다 연결 기준을 보간하기 위해 하나의 완전한 연계 거리 매개 변수를 조정하기 위해 매개 변수 베타를 사용합니다

두 개의 고정 기본 거리 함수 사이의 보간 점 쌍 사이 이 Alpha-Beta 가중 연결이라고하겠습니다 다시 분석해 볼 수 있습니다 이 알고리즘 계열의 두 가지 차원은 무엇입니까 물론 최고의 알고리즘을 찾으려고 노력하십시오 데이터 유형에 따라 제품군에서 자세한 내용은 여기로 가지 않겠습니다 우리가 여전히 여기에 보여줄 수 있기 때문에 다시 밝혀졌습니다 이 절차 군의 의사 차원은 알파-베타 가중 연결 절차는 log n입니다

지금 구조 결과는 여전히 간단합니다 그러나 더 좋고 더 복잡합니다 그것을 의사 차원으로 증명하기 위해 이 알파 베타 가중 연결 로그 n, 당신이 보여 주어야 할 것은 다시 이중 기능의 구조에 관한 것 매개 변수가 Alpha-Beta 인 인스턴스를 수정합니다 분할 할 수 있음을 보여줄 수 있습니다 다수의 선형 및 2 차 방정식 인 경우 매개 변수 공간 같은 지역의 두 매개 변수에 대해 동일한 클러스터 트리가 생성됩니다

이걸 가지고 다시 할 수 있으면 이것의 위의 의사 차원의 인수 몇 분 더 있습니까? >> 둘 >> 둘 괜찮아 여기에서 세부 사항을 건너 뛰겠습니다 하지만 봐야 해 이 사실을 포함하는 문제의 구조에

그러나 실제로 다음 단계로 넘어 가기 전에 이 튜닝 알파와 베타에 대해 언급하고 싶습니다 실제로 실제 데이터에 영향을 미쳤습니다 예를 들어 실험이 Omniglot에있는 경우 요즘 메타 학습에 사용되는 고전적인 데이터 세트입니다 여기 보간하면 주어진 거리 함수 사이 에서 얻은 기능에 의해 MNIST의 관련 데이터 세트에 CNN 포함 MNIST에서는 CNN 임베딩에 의한 거리 기능, 컨볼 루션 뉴럴 네트워크 임베딩, 수작업으로 설계된 거리 기능 스트로크 정보를 사용하는 실제로 크게 개선 할 수 있습니다 정확도가 약 9 % 향상되었습니다 여기에 차이가 있습니다

거리 기능이 매우 무료임을 보여줍니다 연구를 위해 이러한 실험을 수행했을 수도 있습니다 단어를 사용할 수 있도록 여기 어딘가에 딥 러닝 CNN 임베딩을 사용하고 있기 때문입니다 나는 실제로 반 입방체이지만 시원합니다 실제로 실제로 개선되는 것을 보는 것이 좋습니다

나는 그것에 만족했다 이제 높은 수준의 이야기로 돌아가서 내가 언급했듯이 다른 많은 유형의 문제를 살펴보고 예를 들어, 파티션 문제 정수 2 차 프로그램으로 작성 될 수 있습니다 여기서는 매개 변수화 된 동일한 결과 절차를 살펴 보겠습니다 반정의 프로그래밍 이완을 줄이거 나 무작위 반올림, 그리고 이것은 세부 사항으로 가지 않고 매개 변수화 된 반올림입니다 여기서 관찰해야 할 요점은 의사 차원 경계를 증명하고 인스턴스를 수정하고 다를 경우 기본 [들리지 않는] 패밀리의 매개 변수 해당 기능은 조각 단위 구조입니다

특히, 여기에는 부분적으로 이차가 있습니다 우리는 단지 n 조각입니다 그것이 여기서 일어나는 일입니다 메커니즘 설계시 관련 구조화가 나타납니다 예를 들어 보시면 완성 된 가격 체계를 갖추기 위해 다중 구매자 다중 항목 시나리오가있는 경우 이제 우리는 각 게시 가격은 각 항목에 설정할 수 있습니다

여기서 다시 발생하는 것은 해당하는 인스턴스 또는 세트를 수정하면 입찰자 및 항목의 하위 집합에 대한 더 나은 가치 가격을 달리하면 해당 수익 함수 각 부분마다 선형으로 매개 변수 공간의 조각이 제공됩니다 선형 분리기의 교차로 이것이 핵심 결정자입니다 작동하는 의사 치수 본딩을 예측하는 데 사용합니다

이 [들리지 않음]에 동기 더 일반적인 정리를 알아 내려고 노력하십시오 문제의 구조를 필요한 것에서 분리하다 통계적 의사 차원 균형을 얻기 위해 여기 추상화가 있습니다 우리가 정말로 관심을 가지는 것은 함수 클래스의 의사 차원을 계산합니다 Alpha에 의해 매개 변수화되거나 알파는 문제의 인스턴스를 가지고 다운 2 클래스 세트를 클러스터링한다고 말합니다 그래서 이것은 의사 차원을 결합시키는 시간입니다

그런 함수 클래스 이것이 무엇을 증명하는지 아십니까? 우리는 이중 클래스 기능의 구조를 이용합니다 이제 듀얼 클래스 기능 문제의 인스턴스에 의해 매개 변수화됩니다 가능한 매개 변수 값을 입력으로 사용합니다 우리가이 모든 영역에서 보여준 것은 이러한 이중 기능은 부분적으로 구성됩니다

우리가 조각으로 구성된 것은 듀얼의 모든 기능은 다음과 같습니다 기본적으로 파티션 할 수 있습니다 함수를 사용하여 매개 변수 공간 잘 동작하는 함수 클래스 F 여기와 같은 각 종 안에있는 해당 비용 함수는 다른 함수 클래스에서 오는 함수 G 자본 G 우리가 보여줄 수있는 것은 기본적으로 당신은 두 차원을 버릴 수 있습니다 정말 신경 쓰는 원래의 기능, Alpha가 함수로 매개 변수화 한 함수 이 이중 기능의 장점에 대해 좋은 점은이 두 가지 기능이 부분적으로 구성되어 있다는 것입니다 여기서 부분은 함수 클래스 F의 함수로 정의됩니다 이 쪽은 함수 클래스의 함수 G G

의사 차원에 본드를 넣을 수 있습니다 내가 걱정하기 때문에 최종 기능의 의 친절 함의 기능이다 이 함수 클래스는 F입니다 G 경계 함수 F에서의 함수 비즈니스 내부의 기능이 훌륭합니다 나타나는 하나의 [들리지 않음] 여기 실제로 VC 치수가 아닙니다 VC 차원을 분류하는 함수 그 기능 클래스의 이중 그 이유가 있습니다 그들은 오픈 라인을 통과하기 시작할 수 없습니다

0 분 남았다 고 생각합니다 그냥 언급하고 싶습니다 하지만 지금까지 분배 학습에 대해 이야기했습니다 온라인 학습에 대한 질문을 할 수도 있습니다 알고리즘은 실제로 온라인 학습 문제라고 생각합니다

그들이 당신에게 주어지지 않은 인스턴스 똑바로하지만 하나씩옵니다 후회하지 않으려 고합니다 이미 언급했듯이 이제 불연속성이 있어야합니다 여기 많은 사람들이 온라인에 있다고 생각합니다 청중의 학습 전문가, 불연속을 공유하면 후회를 달성하는 것은 불가능합니다 그래서 우리는 종이를 제 학생들과 실제로 18 세 였고 후속 논문이었습니다 또는 충분한 조건을 식별 한 번 후회하지 않고 조각 별 Lipschitz 기능에 대한 온라인 학습 그리고 최소한 상태 유지를 보여주세요 이 알고리즘 중 다수 구성 또는 온라인 알고리즘 선택 문제 다시, 나는 이것에 대해 오프라인으로 이야기해야한다

조건은 바로 이러한 조각 별 Lipschitz 기능, 분산 만 대략, 우리는 단지 불연속을 요구합니다 해당 비용 함수는하지 않습니다 분산 된 곳에 너무 집중하십시오 그 주위에 공식적인 정의를 넣을 수 있습니다 다시 한 번 오프라인으로 이야기하게되어 기쁩니다 그러나 나는 요약해서 생각한다 저는 이것이 매우 흥미로운 연구 분야라고 생각합니다

학습 문제로서의 알고리즘 설계에 대해 배급 학습 문제, 통계 또는 온라인 학습 문제 강력한 공식 보증을 제공 할 수 있습니다 또한 학습 이론의 관점에서 내가 생각하는 설정을 발생시키는 구조 매우 흥미롭고 도움 우리는 학습 이론의 한계를 넘어서고 항상 매우 흥미 롭습니다 감사합니다 나는 우리가 N에서 5까지의 하한을 가지고 있다고 생각합니다 >> 우리는 그것을 논의했습니다 >> 그래서 우리는 토론합니다

우리가 알고있는 하한은 N에서 5까지입니다 인스턴스를 보여 주거나 N을 다섯째, 당신은 내재 된 불연속성을 가질 수 있습니다 예 우리는 모른다 N은 5에서 N은 8에서 8 사이에 틈이 있습니다 지금, 그 말의 실험 중 하나 내 죄는 현실 세계 야 N을 다섯 번째로 얻지 못할 것입니다

거리는 매우 복잡합니다 우리가 시도한 모든 것에 그것은 N에서 선형입니다 그래서 당신이 보완 설정에 대한 파라미터를 조정할 수도 있습니다 >> 나는 그것이 당신의 모델에 뭔가 있다고 생각합니다 내가 확신하기 때문에 내 접근 방식에서 N 제곱이 선입니다

>> 그것에 대해 이야기합시다 >> 알겠습니다 다음에는 MIT의 Constantinos가 있습니다 >> 그래서 기계 학습 바이어스와 사용법에 대해 이야기하겠습니다 바이어스를 줄이기 위해 잘린 통계 이 대화의 동기는 종종 데이터 과학 문제에서 데이터 세트로 작업하며 종종 데이터 세트마다 수집합니다 선택 편견이 있습니다 데이터를 수집 할 때 훈련하는 데 사용하는 훈련 세트 테스트 세트와 다른 모델

모델이 진행되는 조건 미래에, 특히 치우친 데이터 세트에 대한 교육 예측에 편견이 생길 것입니다 대화의 목표는 영역을 나타내는 검열 및 절단 통계 하려는 통계에서 절단 된 또는 검열 된 샘플의 추정 잘린 샘플은 샘플이 외부로 떨어지는 상황 관찰 창은 그렇지 않다 관찰되었고 그들의 수 또한 알려지지 않았다 검열은 당신을 의미합니다 최소한의 수 관측 창을 벗어나는 데이터 수 물론 이것은 여러 가지 이유로 발생할 수 있습니다 이러한 유형의 현상

아마도 당신의 측정 장치 측정 대역 밖에서 포화 상태가됩니다 그들이 포화되면 판독 값이 잘못되어 신뢰할 수 없습니다 이것이 검열의 경우입니다 몇 개의 측정 값이 있는지 알고 있습니다 신뢰할 수 있고 몇 개가 아닌지 알고 있습니다 실험 설계가 잘못되었거나 윤리적 또는 기타 법적 고려 사항이있는 상황 추론에 일부 데이터 포인트를 사용하지 마십시오

그래서 몇 가지를 드리겠습니다 보여주는 동기 부여 예제 데이터에 치우침이 있으면 무엇이 잘못 될 수 있습니다 첫 번째는 50 년대 이후 계량 경제학에서 잘 논의 된 질문, 관련이 있습니다 사람들의 소득에 대한 IQ 교육 및 교육 50 년대와 60 년대의 몇몇 작품들은 데이터를 수집하여이 모델과 당신이 생각하는 것이 옳은 일을했습니다 그래서 그들은 수입이있는 가족을 조사했습니다 빈곤 수준의 15 배입니다

공변량이 IQ에 해당하는 데이터를 수집했습니다 훈련, 교육 및 개인의 다른 많은 기능, 예를 들어, 노동 조합에 속하는 등 반응 변수는 그 개인과 그들은 모델을 맞추려고 노력했습니다 특히 그들은 선형 모델을 데이터에 맞추려고 노력했습니다 중요한 것으로 보이는 문제는 임계 값입니다 소득이있는 가족에게 데이터 수집 실제로 임계 값 아래의 한 지점입니다

편견을 도입하다 수입과 수입에 중요하다고 생각되는 기능 특히 나중의 결과는 예를 들어 교육 이외에도 직업 훈련과 IQ는 실제로 이전 작업이 발견 된 수입 대부분 교육은 수입에 중요합니다 괜찮아 따라서 고려하지 않은 이전 작업 임계 값이 잘못된 결론을 내렸다 수입에 중요한 것이 무엇인지 문제를 더 본질적으로 느끼기 위해 여기 다른 예가 있습니다 IQ 대 소득 대신에 높이의 중요성을 이해하려고 노력한다고 상상해보십시오 좋은 농구 선수이고 나는 게으르다 전체 인구를 조사하는 대신 내 데이터 수집 물론 어렵습니다 대신 NBA 데이터를 다운로드하기로 결정했습니다

그래서 가능합니다 NBA 데이터에 모델을 맞추려고하면 높이가 실제로는 농구 경기와 중립적이거나 심지어 부정적인 상관 관계가 있습니다 그러나 그 잘못된 결론 내가 게으르고 사실에서 온 NBA 데이터를 전체 인구 조사에 반대 내가 갖고 싶은 정신적 그림 내가 슬라이드를 진행하는 동안 이것입니다; 예를 들어, 바닐라 선형 회귀에서 우리는 세상이 선 주위의 섭동이라고 가정합니다 그러나 데이터를 가져 와서 임계 값을 설정하면 이것이 Y의 농구 성과이고 X의 높이라고 말하십시오 세계가 선형 일 수 있습니다 선의 섭동

하지만 내가 가고 상상 특히 NBA 데이터를 다운로드하여 나는 오직 임계 값을 초과하는 농구 성능이 우수합니다 이제 해당 데이터를 한 줄에 맞추려고하면 이 라인은 훨씬 더 그럴듯 해 보인다 이 데이터 세트에 대해이 행보다 >> XY 높이입니다 내가 X_i와 독립적입니까? 이것이 추가 노이즈인지 생각합니까? >> 말해봐 그러나 이것은 단지 예일뿐입니다 그러나 우리의 표준은 최소 제곱 회귀 분석은 반응 변수가있는 세계 Theta에 X를 곱한 값에 가우스 잡음과 같은 제로 평균 잡음이 있습니다

>> 그것이 일어나면 안됩니다 당신이 선택한 한 추가 소음 X는 패턴에 관계없이 패턴과 무관합니다 기다리십시오 그러나 Y를 통해 데이터를 선택해야합니다 >>이 상수를 통과하려면 평균 높이 이것으로 구성 그는 이것을 Y와 함께 사용하고 있습니다

그러나 그는 당신에게 X를 알려줍니다 그것을 선택하면 Y를 찾을 수 있습니다 >> 네 그래서 당신은 내가 경우 어떻게 될지 묻는거야 X 변수를 기준으로 자르시겠습니까? >> 네 >> 다음 슬라이드에서 예를 들어 보겠습니다 여기서 나는 Y 잘림에 대해 이야기하고 있습니다 X 잘림도 있습니다

그것은 또한 중요한 문제입니다 나는 잠시 후에 그것에 도달 할 것이다 그러나 Y 잘림에 관한 한 우리는 내가 길을 믿는다는 것을 여기서 본다 내가 믿는 라인 턴은 이 데이터 포인트가 없어야하기 때문입니다 이것은 짧은 사람입니다 소음 때문에 좋은 농구 선수

그래서 그는 그것을 NBA로 만들고 짧은 남자는 좋은 농구 선수라고 믿습니다 그러나 그것은 소음의 결과였습니다 그 사람이 내 데이터 세트에 들어가도록 만들었습니다 X 잘림으로 와서 잘 논의 된 현상이 관찰 됨 최근에 성별 분류기를 사용하면 훈련 된 성별 분류기 인터넷 데이터는 성별 예측에 정말 좋습니다 기본적으로 가벼운 피부 톤의 사람들, 그들은 매우 나쁠 수 있습니다 데이터 세트에별로 표현되지 않은 사람들에게 특히 Microsoft의 여러 성별 분류기, 페이스 북 등은 정말 나빴어요 또는 암흑과 여성의 성별 예측에서 꽤 나쁘다

왜 이런 일이 발생했는지에 대한 설명은 인터넷 데이터는 훨씬 남성이며 코카서스 사람, 더 가벼우 며 피부색이 강한 사람들과 이런 이유로 데이터 세트를 켤 때 다른 사람들에게 덜주의하십시오 당신이 가서 테스트 할 때 특정 하위 인구의 성별 분류기 당신은 실제로 그것을 미리 얻을 수 있습니다 그것은 당신이 일부 잘림이있는 예입니다 X 공변량 일부 하위 인구에 충분히주의를 기울이지 않도록합니다 내가하고 싶은 것은보고 싶어 잘린 통계의 아이디어를 사용하는 방법 이런 종류의 편견이 예측에 들어 가지 못하도록 싸워라 바이어스 데이터 세트를 학습 할 때 일부 모델의 맛을 내고 싶습니다 여러 공동 작업자와 함께 한 작업입니다 나는 세 가지 문제를 중심으로 할 것입니다

절단 및 Y 변수와 관련이 있으며 X 변수의 또 다른 잘림 그리고 세번째는 감독되지 않은 학습 환경 1 번 문제는 다음 시나리오를 고려하십시오 상황을 포착해야합니다 IQ 대 수입 및 키 대 농구 성능 공장이 내 교육 데이터를 생성하는 것은 다음 데이터 팩토리입니다 >> 성별 분류 예에 대해 질문 할 수 있습니까? >> 네 >> 그래서 가능합니다 주요 문제는 잘리지 않는다는 것입니다

테스트 데이터 세트 일 수도 있기 때문입니다 당신이하고있는 시점까지, 이것은 잘하고 있습니다 훈련과 아마도 훈련 그리고 둘 다 일부 수업에서 대표가 부족합니다 >> 클래스 조건 레이어가 아닙니다 >> 네 훈련 데이터가 세트는 테스트 데이터 세트를 나타냅니다

그럼 잘하고 있어요 예측자를 편향시키는 잘림이 없습니다 >> 아니요 손실 기능에 포함되지 않음을 의미합니다 공정성의 측면 작은 인구도 잘 대표되어야합니다 >> 네, 잘림 문제가 아닙니다

그래 자르기와 관련된 첫 번째 문제는 y 축은 훈련 세트를 가정합니다 다음 데이터 팩토리에서 생성됩니다 먼저, 기본 x의 모집단에서 x를 샘플링합니다 그러면 x마다 응답이 계산됩니다 응답은 파라 메트릭 기능과 노이즈입니다

노이즈는 모수 분포에서 나올 수도 있습니다 이 시점까지 이것은 고전 감독입니다 IID 데이터가있는 학습 상황 교육 분포는 테스트 배포 및 수명이 좋습니다 여기서 다른 점은 당신이 볼 때 y와 너 훈련 세트에 포함할지 여부를 결정합니다 그래서 당신은 y를 봅니다

예를 들어 이 남자가 좋은 농구 선수인지 아닌지 그가 좋은 농구 선수라면 당신은 그를 NBA 데이터에 넣었습니다 그렇지 않으면 해당 샘플을 휴지통에 버립니다 이 시나리오에서는이 잘림 Phi를 알고 있다고 가정합니다 그리고 확률적일 수 있습니다 내가 모르는 것은 D를 모른다는 것입니다

인간을 샘플링하는 기본 분포 나는 인간과 관련된 메커니즘을 모른다 좋은 농구 선수를 보유하고 나는 소음 모델을 모른다 그러나 나는 파이 때문에 알고 있습니다 어떤 의미에서는 제어합니다 그래서 다운로드를 선택했습니다 NBA 데이터 또는 IQ vs 적립 예 나는 가서 집중하기로 결정했다 그 특정 이웃과 내 설문 조사를 수행합니다 모델이 캡처되는지 확인하려면 잘린 선형 회귀 시나리오 이 경우 모델이 정렬됩니다

소음은 가우시안입니다 내 잘림은 결정적입니다 숨기는 임계 값입니다 y가 특정 임계 값 미만인 데이터 이 공장에서 생산 한 훈련 데이터에 대한 목표는 목표는 기본 태아를 회복하는 것입니다 메커니즘을 결정하는 기본 매개 변수 Gouleakis에 대한 결과는 Tzamos, Zampetakis 및 Rao와 함께 Ilyas가 여기에있었습니다 Rao, Ilyas 및 Zampetakis는 두 종류입니다

따라서 일반적인 프레임 워크입니다 이러한 종류의 시나리오에서 모델을 학습합니다 또한 이것은 일반적인 SGD 기반 프레임 워크입니다 GPU로 배송하여 Thetas를 복구 할 수 있습니다 이제 일반적인 프레임 워크는 잘린 선형 회귀 또는 잘린 프로 빗 또는 로지스틱 회귀 설정 그것은 당신에게 완벽한 보증을 제공합니다 기본 매개 변수의 복구에 대해

따라서 둘 중 하나에 사용할 수있는 프레임 워크입니다 엔드 투 엔드 보증을받을 수있는 올바르게 작동하는 설정, 또는 임의의 설정에서 사용할 수 있습니다 SGD 기반 프레임 워크이지만 실행할 수 있습니다 물론 여기 신경망이 있다면 당신은 엔드-투-엔드 보증을 잃을 것입니다 하지만 최소한 알고리즘을 실행할 수 있습니다 결과를 이전 작업과 비교하십시오 계량 경제학 통계에는 잘린 또는 검열 된 회귀에 대한 통계 선형 또는 프로 빗 및 로지스틱

이 작업의 기술 병목 현상은 두 가지입니다 이 기술적 인 문제는 높은 치수 설정에서 발생합니다 첫 번째는 알고리즘입니다 사용자가 비효율적이며 중요한 것은 수렴 률 이 방법은 차원에 나쁜 의존성을 가지고 있습니다 당신은 루트 n 요금보다 이것을 얻을 최대한의 가능성을 기대하고 그러나 비율의 의존성 차원이 잘 이해되지 않았습니다 우리가 얻는 것은 최적의 요금을 얻는 것입니다

즉, 잘리지 않은 회귀와 동일한 비율입니다 효율적인 알고리즘을 얻습니다 우리는 임의의 절단 세트를 허용합니다 임계 값일 필요는 없습니다 기본적으로 측정 가능한 세트가 될 수 있습니다

>> 임계 값 기능에 대한 의존성은 무엇입니까? 잘림 기능에? 뭔가가 필요합니다 >> 선택 기능은 Phi 기능은 측정 가능한 기능이 될 수 있습니다 이 요금을 받으려면 두 가지가 필요합니다 하나는 표준입니다 선형 회귀가 필요합니다 경험적 공분산 행렬 소비세의 최소값에는 하한값이 있습니다

이것이 선형 회귀에 필요한 표준입니다 잘린 회귀에 필요한 추가 가정은 임계 값은 기본적으로 데이터를 삭제하지 않습니다 평균 사이처럼 일정하지 않은 확률 임계 값에 의해 제거됩니다 1 % 정도만 있다면 훈련 세트로 만들 확률이 평균입니다 이 보증을받습니다 그래서 나는 개괄적 인 기법을 설명하고 싶었습니다

이들은 일종의 대표입니다 네 >> 그래서 당신은 가정 여기서 무엇을위한 행동이 잘 릴까요? 당신은 여기에 n을 받고 있기 때문에 >> N은 숫자입니다 >> 잘 렸습니다

>> N은 성공적인 데이터 포인트 수입니다 그 동네에서 몇 명이 조사를했는지 >> 그러나 그것은 유일하게 들리지 않는 것 같습니다 결과는 소스 또는 이 Epsilon에 대한 의존성 >> Epsilon은 무엇입니까? >> 미안 그들은 단지 분수의 확률입니다 평균 데이터 포인트 일 확률 >> 네 우리는 추정하다 상수이며 표기 순서대로되어 있습니다 네

모든 데이터 포인트에 1 % 확률 관찰 창으로 만들고 충분하면 약한 조건을 얻을 수 있습니다 그러나 각 사이에는 훈련 세트로 만들 확률이 높습니다 >> 그것은 당신이 y를보기 전과 같은 상태를 의미합니다 만드는 기회가 있습니까? >> 맞습니다 네

여기이 그림을 보면 내 임계 값이 여기 있다고 나는 모든 x가 그것을 만들 확률이 높기를 원합니다 예를 들어, 여기에서 1 % 확률로 만들 수 있습니다 모든 x에는 필요하지 않지만 평균 x에는 필요합니다 >> Phi는 실제로 그 부분을 잘라낼 수 없습니다 미친 기능이 아닙니다

사용중인 임계 값 기능입니다 >> 내가 말했듯이, 그것은 측정 가능한 기능 일 수는 있지만, >> 무조건 작동하는이 속성이 있어야합니다 >> 네 >> 그러나 유효한 절단 기능은 예를 들어 가운데 행의 모든 ​​점을 제거하십시오 >> 맞습니다 수입이 줄어드는 동네를보십시오

이제 저는 보통 인간이 필요합니다 그 동네에 살 확률이 적당합니다 권리 기술에 대해 알아 보겠습니다 이 작업 라인에서 무슨 일이 일어나고 있는지를 나타냅니다 훈련 세트 제작 방식에 대한이 모델이 있습니다 최대한의 가능성을 원합니다 훈련 세트의 밀도가 얼마인지 묻고 싶습니다

훈련 세트의 밀도는 xy입니다 밀도는 여기서 샘플링해야하는 것과 같습니다 이제 관심을 제한하겠습니다 매우 기본적인 선형 회귀 모델로 선이 있습니다 가우스 법선 01이 있습니다 훈련 세트의 밀도는이 밀도입니다 가우스 밀도 곱하기 y가 잘리지 않을 확률

이 밀도를 어렵게 만드는 것은 표준화해야한다는 것입니다 정규화 z가 있습니다 파티션 기능도 있습니다 그러나 내 훈련 세트의 밀도는 이 세 가지 구성 요소와 정규화 기능 내가하고 싶은 것은하고 싶다 이 모형에서 모집단 로그 우도

이 매우 간단한 설정에서 복구하려면 세타 만 복구하고 싶습니다 따라서 로그 우도, 모집단 로그 우도는 진정한 모델 세타 스타에 대한 기대 대수의 진정한 세타 별을 가진이 밀도, 이 사람들은 파티션 함수의 로그를 뺀 것입니다 이제 파티션 기능은 세타에 따라 다릅니다 여기 스타 세타에 따라 다릅니다 자, 명백한 문제는 먼저 여기에 가능성을 우리는 D를 모른다

우리는 분포 D를 모른다 하지만 그렇게해도 우리는 계산해야 할 것입니다 이 파티션 기능은 어렵고 어렵습니다 그러나 여기서 구원의 은총은 비록 당신이 가능성을 계산할 수없고 그래디언트를 계산할 수 없습니다 여전히 확률 적 그라디언트를 얻을 수 있습니다 여전히 임의의 변수를 얻을 수 있습니다 그의 기대는 이 기능은 필요없이 D를 알고 파티션 기능을 계산하지 않아도됩니다

특히, 그래디언트가 이 인구 로그 가능성 함수 ~의 차이가되다 두 가지 기대와 정확히 같은 평등입니다 그리고보기가 어렵지 않습니다 이 로그 우도의 기울기 두 가지 기대치의 차이입니다 한 가지 기대는 이 표현의 진정한 모델, 세타 스타 다른 기대는 그래디언트를 계산하려고하는 세타

특히 그라디언트의 권한을 얻으려면 그래도 그라디언트는 내가 모르는 사람을 제거합니다 이 남자의 그래디언트는 저에게이 용어를줍니다 주장은 어렵지 않습니다 세타에 대한이 사람의 기울기가 z는 세타에 의존하고 이 기대입니다 보기 어렵지 않고 매우 그라디언트의 표준 파티션 함수는 예상입니다

특히 모든 것은 두 가지 기대치의 차이입니다 한 가지 기대는 실제 모델의 샘플에 대한이 변수 그리고 다른 기대는 동일한 기능이지만 샘플에서 특정 세타에 대한 모델 그라디언트를 계산하는 곳 그래 확률 론적 경사 하강을하고 싶습니다 이 관찰을 사용합니다 >>이 기차는 이것은 진정한 [들리지 않음]에서 온다 [들리지 않는] 세타 열차는 xy 부모의 분포 이렇게 내림차순 실제로 d의 x를 사용해야합니다

>> 아니요, 실제 샘플이 있습니까? 그래서 나는 중 하나를 선택할 수 있습니다 내 훈련 샘플은 이미이 모델의 샘플입니다 그러나 p 세타 열차는 세타 스타의 기능입니다 옳은 나는 그것이 진실이라고 본다 괜찮아

죄송합니다 이것이 진실입니다 이것이 가짜와 나는 그 가짜를 시뮬레이션해야합니다 그래 이 다른 용어를 얻으려면 네

>> 그러나이 시뮬레이션은 성공적이어야합니다 잘리지 않는 잘림 때문에 그래서 나는 매우 조심해야 확률 적 그라디언트 하강을하고 있습니다 세타 스타와 아주 멀리 떨어져있는 세타에 가면 모든 것이 가능합니다 거부 샘플링을 수행하여이 모델을 시뮬레이션하겠습니다 다음을 선택하고 실행하겠습니다

내 모델을 통해 그런 다음 성공적으로 볼 수 있습니다 관찰 창으로 만듭니다 해당 프로세스가 계속해서 실패하면 해당 샘플을 시뮬레이션 할 수 없습니다 그래서 나는 더 나은 확인 내 확률 적 그라디언트가 우주에서 너무 멀리 방황하지 않고 거부 샘플링이 성공합니다 필요한 또 다른 것은 볼록성이 강해야한다는 것입니다 가능성을 작게하면 나는 또한 내가 주장 할 수 있습니다 매개 변수 거리에서 배웠습니다 우연의 가치 만이 아닙니다 이런 종류의 종합적인 결과를 얻는 데 필요한 구성 요소 하지만 거기에 신경망이 있다면 당신은 항상 할 수 있습니다 에 의해 확률 적 하강 하강 이 매우 간단한 아이디어를 활용하십시오

이 결과를 건너 뛰고 NBA 데이터 예제를 보여 드리겠습니다 2000 년 이후의 NBA 데이터입니다 이것은 농구 선수의 키입니다 2 미터 정도 가우시안이 정말 좋습니다 이들은이 플레이어가 득점 한 게임당 점수입니다

이 데이터에 대해 선형 회귀를 수행하면 나는 그것이 옳은 일이라고 주장하지 않습니다 그러나 만약 당신이 선형 회귀를한다면 게임당 포인트 수를 높이기 위해 이 감소하는 음의 경사 곡선을 얻습니다 여기 제가 할 멋진 테스트가 있습니다 따라서이 데이터를 더자를 것입니다 그래서 나는 선수를 볼 것입니다 게임당 최소 8 점을 얻습니다

이 데이터입니다 자 이제 절단에서 잘립니다 그래서 내가 순진하고 선을 맞추려고하면이 선을 얻습니다 내가 한 사실을 고려하지 않으면 게임당 8 점 이상 잘림 양의 경사 곡선을 얻습니다 최소 제곱 법을 사용하면 그러나 내가 고려하면 8 점에서 잘렸다는 사실은 부정적으로 줄을 바꾸겠다

이것은 생각의 이점입니다 사실에 대해 데이터에서 이미 일부 잘림이 발생했습니다 이것은 확실히 당신이 할 줄이 아닙니다 이것이 데이터 세트라고 생각하면 적합합니다 하지만이 데이터 세트가 다른 데이터 세트를 잘라서 생성 한 이 라인은 이제 의미가 있습니다 이것이 최대 가능성입니다 시간이 얼마 남지 않았습니다 하지만 다른 유형의 잘림 통계에 대해 설명하겠습니다

성별 예측 이야기에 더 잘 맞는 문제 1 분 남았 어? >> 네 >> 내 타이머에 따르면 이 설정에서 내가하고있는 일은 세계가 다음과 같이 생산된다고 가정하십시오 기본 분포 D가 있습니다 이미지와 라벨을 샘플링합니다 그러나 알려지지 않은 메커니즘이 이미지를보고 결정합니다

포함 여부 내 훈련 세트에서 그 이미지와 레이블 특히, 예를 들어 나에게 알려지지 않은이 파이가 경주를보고 피부톤 등 그 사람의 결정에 따라 인터넷에 해당 이미지를 게시할지 여부 훈련을 위해 나에게 줘 이와 같은 필터 데이터가 주어지면 그리고 그것은 우리가 가정하는 여분의 것입니다 내가 관심있는 테스트 인 큰 테스트 세트가 주어졌다 편견이있는 훈련 세트가 있습니다

또한 바이어스되지 않은 테스트 세트가 있습니다 그러나 테스트 세트에는 모든 종류의 사람들의 이미지가 있습니다 이들은 실제로 라벨링에 관심이있는 이미지입니다 편향되고 레이블이 지정된 데이터 세트를 제공한다고 생각합니다 그리고 편견이 있지만 레이블이없는 테스트 세트를 제공하고 있습니다

내가하고 싶은 것은 하는 성별 분류기 편견없는 분포에서 >> [들리지 않음]이 경우 왜 중요하지 않아야 하는가 [알아들을 수 없는]? >> 당신은 일종의 중요한 [들리지 않음]을해야합니다 문제는 이제 기준을 모른다는 것입니다 적의 결정에 따라 데이터 세트에 이미지를 포함할지 여부 이 경우 당신은 필터링을 모른다 >> 가정이 [들리지 않음]? >> 절차 가정은 당신이 주어진다는 것입니다 레이블이 지정되고 편향된 데이터 세트, 레이블이 지정되지 않은 및 바이어스되지 않은 테스트 세트 그래서 당신은 배워야합니다 이 필터링 절차를 기반으로하여 그 가능성을 바탕으로 우리가 제안하는 최대 가능성 설정은 그리고 그것은 몇 가지 대안입니다 다른 도메인 적응 접근법

여기에 한 가지 예가 있습니다 그와 함께 마무리하겠습니다 여기에서 우리는 다음 실험을했습니다 이미지도 찍었고 아주 좋은 성별 분류기 성별 분류 기가 실패한 이미지를 살펴 보았습니다 이것들은 하드 메일 이미지입니다

그래서 이것은 정말 좋은 성별 분류 기가 실패하는 곳입니다 성공적인 남성 이미지입니다 이것들은 실패한 딱딱한 여성 이미지입니다 이것들은 실패하지 않는 쉬운 여성 이미지입니다 그래서 우리는 아주 좋은 성별 분류기를 사용했습니다

우리는 그것이 실패한 곳을 살펴 보았습니다 그리고 실패하지 않는 곳 우리는 주로 데이터 세트를 만들었습니다 하드 이미지를 포함하고 쉬운 이미지가 거의 없습니다 우리는 이것을 성별 분류기로 설정 한 훈련으로 제공합니다

이제 순진한 경우 해당 바이어스 데이터 세트를 학습하면 남성과 여성의 역할이 천천히, 반대로 바뀌어 당신은 무작위 추측에서 시작 천천히 악화되고 편향되지 않은 데이터 세트가 더 나쁩니다 뒤집힌 세계를 배우기 때문입니다 절단이 가능하다는 점을 고려하면 [들리지 않음]에서 복구 할 수 있습니다 그래서 이것은 제가 말하고 싶은 또 다른 것입니다 밀도를 배우는 비지도 학습 문제

>> 이것을 가지고 죄송합니다 따라서 이것은 편향되지 않은 데이터 세트에서 정확성의 가능성입니다 >> 맞습니다 예 >> 당신은 여전히 ​​[들리지 않음]에 비해 매우 나쁜 일을하고 있습니다

[들리지 않음]에서 55 %가 정확합니다 >> 네 우리는 천천히 개선되고 있습니다 >> 어쩌면 당신은 그것을 얻을 수 있습니다 >> 아직 포화되지 않았습니다 예

결과가 있습니다 비지도 학습, 학습 밀도 다시, 우리가 얻는 것은 학습을위한 최적의 요금 함수로서의 가우시안 및 지수 패밀리 데이터의 차원 그러나 요약하자면, 학습자가 제가 제시 한 사례를 연구하면서 센서 사용 방법 더 이상 사용되지 않는 통계로 들어가는 편견 제거 트레이닝 세트가 대표적이지 않기 때문에 알고리즘의 조건 앞으로 만날 것입니다 강건한 것을 배울 수있는 방법 사실 데이터 세트를 얻는 방법에 대한 선택 편견? 우리는 다시 신경망에 작동하는 일반적인 프레임 워크를 가지고 있습니다 SCD를 기반으로합니다 그러나 엔드-투-엔드 보증을 받으려면 통계에서 몇 가지 오래된 문제에 대한 정보를 제공 할 수 있습니다

특히, 잘린 선형 회귀 프로 빗 물류 및 가우시안 학습은 가우시안을 잘랐습니다 그게 다야 고맙습니다 >> 알겠습니다 암시? 슬라이드로 돌아갈 수 있습니까 당신은 Y에 의해 잘린 농구를 어디에? >> [들리지 않음] 그림이 기억납니다 네

>> 우리가 전에 본 훨씬 간단한 알고리즘이 있기 때문입니다 >> 네 어느 것입니까? >> [들리지 않음] >> 잘린 선형 회귀는 오래된 문제입니다 해결되지 않은 통계에서 >> [들리지 않음]은 엡실론이 대칭이라는 것입니다

그리고 나는 반영하고 싶습니다 당신의 걱정되는 추정치보다 낮은 점수 >> 작동하지 않습니다 왜냐하면 그들 모두를 반영 할 수는 없습니다 당신은 어디에 선을 모른다 >> 아니요 모두 반영하지 마십시오

>> 당신이 줄을 알고 있다면 >> [들리지 않음] 반영 간단 해 >> 라인이 어디에 있는지 알고 있다면 작동합니다 그러나 당신은 선이 어디에 있는지 모른다 >> 아니오, [들리지 않음]

>> 우리는 좋은가요? >> 알겠습니다 다음 단계는 스탠포드의 Tengyu Ma가 있습니다 >> 내 말 들려? 이 작동합니까? 괜찮아 그래서 얘기 할게요 초기의 큰 학습률의 정규화 효과에 대해 Yuanzhi Li와의 공동 작업입니다 누가 스탠포드에 아직 기술적으로 있다고 생각하지만 그는 직업을 위해 CMU에갑니다 스탠포드의 학생 인 콜린 웨이 저는 Tengyu Ma입니다

정규화에 대해 이야기하겠습니다 그러나 원래 동기 이 프로젝트의 가장 빠른 알고리즘에 관한 것입니다 2 년 전에는 1 년 동안 Facebook에 가입하기로 결정했습니다 나는 내가 원하는 것을 생각하고 있었다 딥 러닝을 위해 경험적으로 더 빠른 알고리즘을 설계하십시오 아마 3 년 전에 우리는 [들리지 않음]과 다른 많은 협력자들과 이론적으로 다른 것을 원했다 볼록하지 않은 문제에 대한 빠른 알고리즘

나는 깊은 모델을 위해 이것들 중 일부를 시도해야한다고 생각하고있었습니다 그런 다음 조금 시도했지만 작동하지 않았습니다 그리고 나는 우리 모두가 흥미롭게도 더 빠른 훈련을 원한다면 그렇게 어렵지 않습니다 그래서 당신이해야 할 일은 사용하는 것입니다 학습률이 낮고 매우 쉽습니다 따라서 이것은 더 빠른 훈련을 제공합니다

그러나 테스트 정확도는 그렇지 않을 것입니다 큰 학습 속도만큼이나 좋습니다 여기 2 년 전에 제가 만든 음모가 있습니다 형식을 변경할 수 없어서 더 이상 Facebook 클러스터에 액세스 할 수 있습니다 이것을 전달하겠습니다

주황색은 훈련이고 초기 학습 속도가 001 인 알고리즘의 테스트 이 경우 001은 작은 것으로 간주됩니다 녹색은 초기 연간 비율이 01 인 알고리즘의 곡선 이것은 큰 학습률로 간주됩니다

훈련 측면에서 볼 수 있습니다 점선은 훈련 곡선이고 훈련 성과는 많이 작은 학습률 하나에 더 좋습니다 그러나 주황색 테스트 성능이 시작될 때 학습률이 낮을수록 좋습니다 수렴 후 하루가 끝나면 어떻게 든 녹색이 주황색을 이깁니다 더 오래 실행하면 당신은 주황색이 따라 올 수 있다는 것을 결코 보지 못합니다 어떻게 든 본질적으로 큰 학습률로 여기에 무슨 일이 일어나고 있습니다

큰 학습 속도는 우리가 하루가 끝나면 규칙적으로 우리는 더 나은 테스트 정확도를 가지고 있습니다 따라서 테스트 정확도를 얼마나 빠르게 수렴하는지에 대한 것이 아닙니다 이것은 실제로 최종 정확도에 관한 것입니다 학습률이 높을수록 훨씬 좋습니다 학습 속도가 작은 것보다 조금 낫습니다

여기에는 1 % 만 개선되었습니다 다른 쪽의 데이터와 설정에 따라 다릅니다 여기서 개선은 단지 1 %에 불과합니다 우리는 모든 데이터를 사용하고 있기 때문에 아키텍처 및 정규화와 같은 따라서 많은 개선을 기대할 수는 없습니다 그러나 예를 들어 논증이 없다면 격차가 매우 크다는 것을 알 수 있습니다

어떤 의미에서 우리가 볼 수 있기 때문에 이것은 정말 좋은 알고리즘이 정규화 될 수 있기 때문에 새로운 현상이 발생합니다 [들리지 않음]에 대해 이야기 한 것 같습니다 그것과 많은 다른 사람들에 대해 이야기했다 정규화 효과 알고리즘 정말 신나 네요 새로운 연구 방향이 많이 열립니다 그러나 반면에 걱정은 적어도 병목 현상은 우리는 정규화 효과를 이해하지 못한다 알고리즘의 최적화 알고리즘으로 디자인하는 방법을 모릅니다

더 빠르게 실행되는 더 나은 최적화 알고리즘을 찾을 수 있습니다 하지만 정규화를 이해하지 못하면 결과는 내가 그것을 실행하는 것입니다 실제 데이터 세트와 일반화는 좋지 않습니다 레온과 얘기 했어요 페이스 북의 어느 시점에서 이것에 대해 레온이 말 했어요 실제로 그들은 아마도 20 년 전에 이것을 시도했고 2 차 알고리즘이 더 빠르게 변경 될 수 있음을 발견했습니다 그러나 일반화는 크지 않습니다 아마 이것은 아마도 많은 논문들이보고 한 것처럼 나 자신에 의해 만들어졌습니다

나는 그 신문을 읽는 데 시간이 오래 걸렸다 그래서 내가 스스로를 발견했습니다 그러나 실제로 그들은이 효과를 훨씬 더 일찍보고합니다 그래서 우리의 주요 질문 이 대화에서 부분적으로 답변을 시도 할 수 있습니다 초기 학습 속도가 큰 이유가 일반화에 도움이되는 이유 이걸 이해하면 향후 최적화를 통해 설계 할 수 있습니다

생각해 보면 그렇게 간단하지 않습니다 중요한 것은 여기에 초기 학습 속도가 어떻게 든 있습니다 초기 학습 속도가 달라지기 때문에 이 분석은 다소 역사에 민감해야합니다 따라서 알고리즘 분석은 알고리즘의 시작 단계에서 일어나는 일에 대해 이것은 찾기가 쉽지 않다는 것을 의미합니다 이러한 현상을 볼 수있는 간단한 설정입니다

예를 들어 선형 모델로 작업하는 경우 선형 모델은 우리는 거의 확실하다고 생각합니다 선형 모델에는이 속성이 없습니다 우선, 정규화를 사용하면 이는 볼록한 문제입니다 따라서 어떤 알고리즘을 사용했는지는 중요하지 않습니다 따라서 정규화 효과가 없습니다 정규화가 없으면 사용중인 법률에 따라 물류 법을 사용한다면 그의 곡선 대 논문이 그것의 반복이 전통에 의존하지 않았다는 것을 보여주었습니다

최종 학습률에만 의존합니다 대략 제곱 법이 법칙이라면 나는 같은 일이 일어난다 고 생각합니다 여기 모든 것이 볼록하기 때문에 우리는 반복을 이해하고 매우 확신합니다 그런 현상이 없다고 초기 학습 속도에 대해 종종 최종 학습 속도가 중요합니다 때로는 초기화가 약간 중요합니다 초기화하는 경우 데이터에 대한 직교 부분 공간 거기서 아무것도 바꾸지 않을 것입니다

그래서 초기화가 약간 중요합니다 또한이 문제를 연구하기위한 또 다른 어려움은 당신은 단지 할 수 없습니다 같은 이유로 제한 행동에 대해 이야기하고 중요한 것은 끝이 아니기 때문에 그래서 당신은 어떤 학습 속도를 사용합니다 따라서 우리는 T를 무한대로 취할 수 없으며 확률 론적 과정의 제한적인 행동 연구 NTK도 여기서 실제로 도움이되지 않습니다 NTK가 꽤 많기 때문에 커널 공간에서 볼록 최적화 된 선형 모델 첫 번째 범주에 속합니다

우리가 여기서하는 일은 장난감 데이터 배포 이 장난감 데이터 배포를위한 두 개의 신경망의 경우 우리는 실제로이 현상을 보여줍니다 발생하는 이유는 SGD는 다양한 패턴을 배웁니다 학습 속도 일정이 다른 여러 가지 순서로 따라서 선형 요율표가 중요한 것은 다른 순서로 다른 패턴을 배우고 다른 것들이 다르기 때문에 우리는이 결과를 볼 수 있습니다 마지막에 다른 일반화 성능 우리가 말하는 패턴의 유형은 무엇입니까? 우선, 나는 단지 생각 할거야 이론적으로 이것을 분석 할 수있는 데이터 분포 하지만 처음에는 더 큰 그림을 드리겠습니다 우리가 이미 어떤 종류의 건축을하려고하는지 우리는 두 가지 패턴을 만들 것입니다 첫 번째 단계 패턴은 우리는 일반화하기는 쉽지만 맞추기 쉬운 패턴이라고 부릅니다 예를 들어이 설정에서 선형으로 분류 가능한 패턴으로 생각할 수 있습니다

따라서 선형 모델 만 필요하므로 적합합니다 이러한 데이터에 적합한 매우 간단한 아키텍처 하지만 같은 치수 번호가 필요합니다 일반화 할 데이터 포인트 이것이 우리가 일반화하기 쉽지만 맞추기 쉬운 것입니다 다른 유형의 패턴 비교는 일반화하기 쉽고 적합하지 않은 패턴입니다 우리는이 구체적인 예제를 여러분이있는 곳에서 사용할 것입니다 예를 들어 클러스터 데이터입니다

제가 말했듯이 데이터 포인트는 세 그룹으로 묶여 있습니다 이 세 그룹이 배웁니다 이것들은 긍정적 인 예이며 중간에 있습니다 부정적인 예가 있습니다 이 경우 분리 할 선형 구분 기호를 사용할 수 없습니다 세 군집이 동맹하기 때문에 선형 분류 기가 없습니다

그래서 우리는 당신이 필요하기 때문에 맞추기가 어렵다고 말합니다 그러한 데이터에 적합하도록 적어도 2 계층 네트워크 그러나 그것들은 매우 밀집되어 있기 때문에 실제로 일반화는 쉽습니다 2 계층 네트워크가 필요하더라도 당신이해야 할 유일한 것은 세 가지 요점을 거의 암기하기 위해 클러스터의 세 중심 기본적으로 세 가지 예를 보면 완벽하게 일반화 할 수 있습니다

따라서 복잡한 모델이지만 일반화 할 샘플은 거의 없습니다 이것들은 우리가 이야기 할 두 가지 유형의 패턴입니다 우리는 학습 순서를 보여줄 것입니다 그런 문제에 분포는 다른 유형의 패턴을 가지고 있습니다 그래서 여기에 방법이 있습니다 패턴이 혼합 된 장난감 분포를 구성합니까? 따라서 데이터 포인트에는 좌표의 두 가지 하위 집합이 있습니다 좌표의 첫 번째 부분 집합을 x1이라고합니다

차원이 d이고 좌표의 두 번째 하위 집합도 치수입니다 디 우리는 세 가지 유형의 예제를 구성 할 것입니다 이 데이터 세트는 이기종입니다 따라서 첫 번째 유형의 예제는 질량의 20 %입니다 이 예제의 20 %는 x1, 0 형식입니다

두 번째 특허는 존재하고 우리는 첫 번째 패턴 만 가지고 상기 제 1 패턴은 상기 제 1 패턴으로부터 생성되며, 선형 적으로 분류 가능한 패턴 타입 2 예제는 또한 질량의 20 %를가집니다 그들은 첫 번째 패턴이 없을 것입니다 첫 번째 좌표 세트에서 그리고 두 번째 좌표 세트는 후반 패턴 클러스터링되었지만 선형으로 분리 할 수없는 패턴 세 번째 유형의 예 나머지는 두 가지 패턴이 있습니다 그래서 우리가 걱정하는 이유 이 이기종 데이터 세트를 사용하면 학습 순서가 차이를 만드는 것을 볼 수 있습니다 두 알고리즘을 비교해 보겠습니다

첫 번째 알고리즘은 첫 번째 유형의 먼저 패턴을 만든 다음 두 번째 패턴을 배웁니다 기본적으로 먼저 패턴 1을 배우고 패턴 1을 어떻게 배우나요? 기본적으로 1 번 예제를 입력하고 3 예제는 x1을 모두 가지고 있습니다 패턴 1을 배우기 위해 모두 사용할 수 있습니다 질문? >> 패턴 1은 선형으로 만 분류 할 수 있어야합니다 또는 클러스터가 잘 구성되지 않은 고 분산을 원하십니까? >> 타입 I의 경우, 우리는 그것들이 높은 분산을 원합니다

정확한 구성에 대해 이야기하겠습니다 기본적으로이 두 가지를 절반 가우시안으로 최소한 일반화 할 샘플 수를 요구합니다 >> X와 원의 의미는 무엇입니까? >> X는 양수 샘플입니다 원은 음성 샘플입니다 >> X1에도 라벨이 포함되어 있습니까? [들리지 않음]과 함께 제공되는 [들리지 않음] 외부 레이블

>> 네 이와 관련된 레이블이 있습니다 다음 슬라이드에서는 더 정확할 것 같습니다 여기에 아주 빨리 설명하기 위해 제 X1은 패턴 1에서 생성되었습니다 나는이 배포판에서 X1과 레이블을 함께 결합한다는 것을 의미합니다 >> 라벨이 X1 안에 있거나 [들리지 않음]입니까? >> 레이블은 기술적으로 표기법으로 X1 외부에 있습니다

네 >> X1 내부? >> 외부 >> 외부 >> 네 기술적으로 패턴 1에서 생성 된 X1, Y를 작성해야합니다 >> 알겠습니다

>> 네 >> 세 번째 유형으로 말할 때 X1에서 X3까지 두 개의 레이블이 있습니까? >> 하나의 레이블이 있고 연결되어 있습니다 따라서 X1과 X2는 동일한 레이블에서 생성됩니다 >> 알겠습니다 >> 레이블에 나열한 다음 X1 및 X2를 생성 할 수 있습니다 다음 슬라이드에서 더 명확해질 것입니다

괜찮아 학습 순서로 돌아갑니다 따라서 이기종 데이터 집합이 있다면 패턴을 먼저 배우고 싶다면 그러면 무슨 일이 일어나는지 사용해야합니다 패턴 1을 가진 모든 예제는 패턴 1을 학습합니다 기본적으로 Type을 사용합니다 I 및 Type III 데이터가있는 곳 X1에 있고 가장 적합한 선형을 찾습니다 패턴 2를 배울 수 있습니다

패턴 2를 배울 때 우리는 단지 나머지를 사용합니다 패턴 2 만있는 예제의 20 % 따라서 알고리즘 2의 순서는 다릅니다 여러분이하는 일은 먼저 패턴 2를 배우는 것입니다 최고의 비선형 피팅을 찾는 곳 패턴 2를 가진 모든 예에 패턴 2가있는 예는 무엇입니까? 유형 II 및 유형 III 예제는 패턴 2를 갖습니다 그런 다음 나머지를 배웁니다 이제 남은 예제의 20 % 만 남았습니다

모든 유형 II 및 유형 III 예가 이미 완벽하게 맞습니다 따라서 예제의 20 % 만 있습니다 왼쪽 이들은 유형 I 데이터입니다 기본적으로 차이점은 학습 패턴 1과 관련하여 여기 첫 번째 알고리즘에서 우리는 80 %를 사용합니다 패턴이 1 인 데이터의 두 번째 경우에는 데이터의 20 % 60 %의 나머지 패턴 2를 배우는 데 사용되었으며 정확하게 맞습니다 더 이상 사용할 수 없습니다

이 비율이 작을수록 [들리지 않음]이 발생합니다 당신은 거기에 볼 수 있습니다 일반화 측면에서 차이가있다 여기서 일반화는 데이터의 80 %를 사용하고 있기 때문에 더 좋습니다 그리고 여기서 일반화는 더 나빠질 것입니다 데이터의 20 % 만 사용하고 있기 때문입니다 여기서는 학습 패턴 1에 대해서만 이야기하고 있습니다 학습 패턴 2는 항상 좋습니다 패턴 2는 배우기 쉽기 때문입니다

패턴 2를 배우려면 세 가지 예만 있으면됩니다 그래서 그것은 질문에서 벗어났습니다 따라서 두 예제 모두 패턴 2를 매우 잘 배울 수 있습니다 기본적으로 제가 보여 주려고하는 것은 이 큰 학습 속도 플러스 어닐링은 알고리즘 1을 수행 할 것입니다 정확히이 두 가지를 할 것입니다

전체적으로 작은 학습 속도는 알고리즘 2를 수행합니다 그래서 알고리즘 1과 알고리즘 2가 작은 학습 속도와 큰 학습 속도 일반화 성능에 차이가있을 수 있습니다 패턴 1의 일반화 성능이 다릅니다 그것들은 다른 수의 예에서 배운 것이기 때문입니다 지금까지 질문 있나요? 따라서 이것은 단지 높은 수준의 계획입니다

어떻게하는지 좀 더 말해 줄게 우리는 이것을 정확하게 구성하고 증명했습니다 또한, 우리가 온전한 지 여부를 확인합니다 여기에서 분석과 관련하여 역사에 의존하는 우리는 물류 손실을 사용하기 때문에 그렇게합니다 기본적으로 일어나는 일은 큰 학습 속도와 어닐링을 사용하면 먼저 패턴 1을 배우고 이제이 데이터를 모두 사용한 후 물류 손실을 사용하고 있기 때문에 샘플이 적합하면 자신감 때문에 너무 높고 그래디언트가 너무 작아서 다른 용도로는 절대 사용할 수 없습니다 적어도 오랫동안 당신은 사용할 수 없습니다 자신감이 돌아 오지 않는 한 그래서 당신이 몇 가지 예를 배운 후 물류 손실을 잘하면 더 이상 사용할 수 없습니다

그래서 여기에 패턴 1을 배우면 사용할 수 있습니다 패턴을 배우는 예제들 여기서도 마찬가지입니다 이것이 역사의 의존성에서 비롯된 것입니다 >> [들리지 않음] 의존성, [들리지 않음] 수정 가능 이 예제의 문제 당신은 일정한 학습 속도를 가질 수 있습니다 탈락 또는 그와 비슷한 것 >> 물론입니다

우리는 몇 가지 완화 전략을 가지고 있습니다 [들리지 않음]에 매우 가깝습니다 그래서 나는 대화가 끝날 때 완화 전략에 대해 이야기하고 이것은 인공적인 실제 데이터 셋을 보여주는 실험입니다 이런 현상도 볼 수 있습니다 인공 인공 데이터 세트 용 우리가 증명할 수있는 것은 장난감 케이스입니다

여기 좀 더 현실적인 경우입니다 여전히 또 다른 실제 데이터 세트입니다 하지만 좀 더 현실적입니다 데이터 셋을 생성하는 방법은 다음과 같습니다 아이디어는 우리는 실제 데이터 세트에서 이 쉬운 패턴과 어려운 패턴이 있습니다

이 두 가지 패턴을 좋아하지만 찾을 수 없었습니다 적어도 우리는 아직 그것들을 찾는 방법을 모른다 우리가 한 일은 기존 이미지의 모든 패턴에서 그것들은 타입 I 패턴이고 우리는 타입 II 패턴을 주입합니다 일반화하기 쉽지만 적합하지 않은 패턴 우리는 어떻게합니까? 그래서 기본적으로, 이 워터 마크를 CIFAR 이미지의 중간에 추가하면 이것은 타입 II 패턴입니다

기본적으로 모든 클래스에는 정확히 두 개의 패치가 있습니다 이 두 패치는 해당 클래스와 정확히 연관되어 있습니다 두 패턴을 보면 그들이 어떤 클래스인지 정확히 그리고 당신은 방금 주사 해당 클래스의 모든 이미지에 대한 두 패턴 중 하나입니다 기본적으로 두 가지 패턴이 있습니다 각 클래스 I에 대해 V와 VI 프라임 클래스 I 예제의 VI 소수

우리는 같은 타입 I을 사용합니다 유형 II 및 유형 III 구성 예제의 20 %에는 패치가 없습니다 예제의 20 %에는 패치 만 있습니다 따라서 실제 이미지조차 없습니다

중간에 패치 일뿐입니다 배경이없고 60 %의 예제가 혼합되어 있습니다 이제 데이터 세트가 있고 실험을 실행할 수 있습니다 큰 학습 속도와 작은 학습 속도로 우리가 어떤 종류의 패턴을 배우고 있는지보십시오 >> 20 %는 단지 [들리지 않음]입니다 >> [들리지 않음]에서 나는 단지 깨끗한 이미지를 생각합니다

네 이제 우리는이 큰 열거 형과 작은 열거 형을 실행합니다 이 [들리지 않음]의 예를보고 싶습니다 먼저 패치를 배우 든 실제 이미지를 먼저 배우 든 이 경우 패턴이 무엇인지 알기 때문에 이러한 패턴의 학습 순서는 무엇인지 조사 할 수 있습니다 나는 녹색을 무시하도록 요청할 것입니다 이것이 실제로 완화 전략입니다

파란색과 빨간색에 중점을 두겠습니다 따라서 파란색은 큰 열거 형 어닐링입니다 이것이 우리가 에포크를 어닐링하는 지점입니다 30과 초록색은 전체적으로 더 작은 열거 형입니다 나는 녹색을 무시하도록 요구할 것입니다 빨간색은 전체적으로 작은 열거 형입니다 깨끗한 정확성을 볼 때 깨끗한 예, 파란색의 정확도

큰 열거 형과 어닐링 전체적으로 좋은 정확성을 얻습니다 그러나 깨끗한 정확성 작은 열거 형이 아닙니다 큰 열거 형의 깨끗한 정확도만큼 좋습니다 이것은 우리의 설명에 따릅니다 이것은 당신이 사용하지 않기 때문입니다 깨끗한 패턴을 배우기에 충분한 샘플 열거가 작은 패턴 1 더 유익한 정보 일 수도 있습니다 패치 정확도를 보면 여기에서 우리가 의미하는 것은 분류기에 패치하고 정확성을 확인하십시오

이것이 여러분이 배우는 양을 측정하는 것입니다 패턴 2를 얼마나 사용하고 있습니까? 패치, 분류합니다 이제 이것은 매우 분명합니다 당신이 작은 열거 할 때 그래서 패치를 매우 빠르게 배워야합니다 패턴 2는 매우 배웁니다

다섯 시대에 아주 빨리 그러나 큰 열거 형을 사용하면 패턴 2와 [들리지 않음]을 배우지 않을 것입니다 기본적으로 큰 열거 형으로 당신은 단지 무시하지 않을 것입니다 당신이 중간에 패치 어쨌든 이것이 가짜 연습임을 감지하십시오 >> 정확한 정확성에 대한 정의는 정확히 무엇입니까? >> 임의의 깨끗한 예제에 모델을 적용하기 만하면됩니다 >> [들리지 않음]없이

>> 수정없이 >> 동일한 무조건 배포입니다 >> 네 동일한 무조건 분포 >> 알겠습니다 패치 정확도 워터 마크를 포함하고 있습니다 >> 패치 정확도는 방금 압출 된 것입니다

우리는 워터 마크와 배경이 없습니다 배경이 0으로 설정되었습니다 >> 워터 마크 만 있습니다 >> 네 >> 그것은 흰색이거나 다른 이미지와 비교됩니다 >> 예, 예 >> 알겠습니다 >> 네 그래도 여전히 올바르게 분류 할 수 있다면 기본적으로 패치를 배우고 있음을 제안합니다

실제로 이미지가 제공되지 않기 때문에 당신은 패치 만 제공됩니다 >> 당신은 그것을 모든 흰색 이미지 또는 다른 것과 비교하고 있습니다 >> 어떤 이미지가 제로 정확도를 제공합니까? >> 맞아 그러나 나는 그렇게 말하고 있습니다 패치에는 한 가지 유형의 이미지 만 표시됩니다 (들리지 않음) >> 한 가지 유형의 이미지 만 있습니다

>> 알겠습니다 >> 기본적으로 20 개의 이미지가 있습니다 모든 수업마다 10 개의 수업이 있으며 모든 수업에는 2 개의 이미지가 있습니다 이 20 개의 이미지 만 가지고 있으며 정확도가 무엇인지 살펴보십시오 큰 열거 형으로 무시해야합니다

패치는 기본적으로 작은 열거 형으로, 당신은하지 않을거야 또는 당신은 패치를 매우 빠르게 배울 것입니다 >> 왜 각 수업마다 두 개의 패치가 있습니까? 클래스 당 하나의 패치 만 있으면 [들리지 않음] >> 그렇다면 선형으로 분류 할 수 있다고 생각합니다 패치가 필요합니다 대칭 위치이므로 패치는 선형으로 분리 할 수 ​​없습니다 이것은 또한 우리의 건설에도 있습니다

나는 우리가 하나의 패치를 시도했지만 작동하지 않았다고 생각합니다 마지막으로 배운 것은 패치와 학습 패치에는 이미 깨끗한 이미지가 일반화되어 있습니다 올바른 곡선으로 패치를 매우 일찍 배우고 그러나 당신은 두 번째 패턴을 잘 배우지 못합니다 괜찮아 아마 10 분 정도 걸렸을 것 같아 10 분 미만 >> 6 분 미만

>> 6 분 괜찮아 그럼 아마도 나는 아주 빨리 갈 것이다 사실 여기서 너무 많이 말하지는 않습니다 기본적으로 이것은 정확한 구성입니다

그래서 여기에 올바른 표기법을 사용하고 있습니다 나는 x1, y를 생성 할 것입니다 분포 p와 분포 p 패턴 1은 선형으로 분리 가능 약간의 마진을 가진 가우시안의 절반입니다 정확한 [들리지 않음]은 중요하지 않을 것입니다 타입 2는 다음과 같은 두 번째 패턴에서 생성됩니다

그래서 우리는 그것들을 선형으로 분리 할 수 ​​없도록 구성합니다 방향면에서 클러스터가 있습니다 타입 3은 기본적으로 생성하는 방법을 찾는 것입니다 기본적으로 몇 개의 레이블을 사용하여 x1, y는 p이고 x2, y는 Q임을 알 수 있습니다 기본적으로 조건부 레이블 및 생성 조건부 분포에서 나온 XYS X2 데이터 조건부 레이블 그래서 이것들은 [들리지 않는] 개선 된 정리입니다

중요한 것은 이것은 거의 분류 할 수 없습니다 그래서 우리는이 두 클러스터를 선형으로 분류 할 수 없도록 레이블을 1로 지정하십시오 따라서 정리 정리를 생략 할 것입니다 진술은 내가 당신에게 말한 것입니다 난 그냥 조금 더 만들었습니다 공식적이지만 여전히 공식적이지 않은 깔개 밑의 모든 것을 쓸어 버리기 때문입니다

중요한 것은 우리가 어떤 아키텍처를 사용하려고합니다 정확히 표준 아키텍처가 아닙니다 이것이 우리가 그것을 증명할 수있는 유일한 경우이기 때문입니다 따라서 X1과 X2에서 독립적으로 작동하려면이 아키텍처가 필요합니다 어떤 식 으로든 알고리즘은 가우스 잡음으로 분석합니다 그래서 소음이납니다 잠시 후에 이야기하겠습니다

그런 다음 알고리즘을 증명할 수 있습니다 하나의 큰 열거 형과 매체 캔 작동 및 알고리즘 2가 작동하지 않습니다 많은 시간이 걸리지 않았습니다 여기서 자세히 설명하지 않겠습니다 기본적인 직관에 대해 조금 이야기하고 싶습니다 내가 생각하기 때문에 조금 아마도 여기서 가장 흥미로운 것입니다 우리가 작은 분석에서 우리가하는 일은 기본적으로 이것이 NTK라고 말하는 것입니다

NTK를 사용하면 수렴을 분석 할 수 있습니다 변환기가 얼마나 빠른지 알고 있습니다 우리는 NTK를 조금 더 연구해야합니다 우리가 배우는 패턴을 정확히 특성화합니다 흥미로운 것은 큰 열거 형에 관한 것입니다 왜 큰 열거로 배우지 않을 것입니까? 열거가 큰 패턴 2와 그 이유는 다음과 같습니다

큰 열거 형을 사용하면 소음이 매우 커서 그래디언트에서 같은 양의 노이즈가 있다고 가정합니다 큰 열거 형에 해당 반복적으로 많은 양의 노이즈가 효과적으로 발생합니다 그것은 파도가 많이 변한다는 것을 의미합니다 파도가 많이 바뀌고 소음이 크면 모델을 살펴보면 두 번째 유형의 패턴 또는이 클러스터 패턴 실제로, 당신의 모델은 할 수 없습니다 실제로 작동하는 강력한 도구입니다 실제로 모델은 동작 만 할 수 있습니다 노이즈가 클 때 선형 모델처럼

그 이유는 벡터 W가 있고 이 W는이 클러스터를 분리하지 않습니다 이 W가 이전 데이터 포인트와 같다고 가정 해 봅시다 W의 한쪽에 있습니다 즉, 활성화 패턴이라는 의미입니다 에 대해 모두 동일하게 될 것입니다 세 가지 유형의 예 또는 Z 및 세타 및 Z 및 Z + 세타 기본적으로 W 조옮김 X의 relu가 있지만 실제로 relu는 많은 작업을 수행하지 않습니다

relu는 항상 당신을 제공합니다 모든 패턴 2 예제에 대한 고정 부호 >> [들리지 않음] 다시 말하면 학습률의 선택을 잊어라 타임 스탬프의 처음 20 % 만주세요 패턴 2의 예 마지막 80 %에서 패턴 1의 예 그래서 당신은 무슨 말을하든 어떤 알고리즘이든 그렇게 할 것입니다

왜냐하면 >> 아뇨 >> 아니, 내 말은 이 경우 학습 속도는 실제로 중요하지 않습니다 >> 네 당신이 맞아요 이 경우 학습 속도는 중요하지 않습니다 하지만 우리는 알고리즘이 없다는 것을 증명할 수 없었습니다 모든 알고리즘이 나쁠 것입니다

우리는 단지 특정 알고리즘이 알고리즘이 있기 때문에 나쁘다 예제의 첫 번째 배치를 사용합니다 >> 모든 알고리즘을 말했을 때 나는 단지 학습률이 처음 20 % 만 줘도 도움이되지 않습니다 첫 번째 패턴 2와 패턴 1 >> 네 그러나 어려운 부분은 그렇습니다, 나는 동의하고 그것을 보여주기가 어렵지 않습니다 어려운 부분은 학습률 종류는 올바른 순서를 제공 할 수 있습니다 큰 알고리즘처럼 올바른 순서를 제공합니다

작은 알고리즘은 다른 순서를 제공합니다 이것이 기술적 인 어려움입니다 그래서 여기 기본적으로 큰 알고리즘을 사용하면 패턴 2를 배우지 않을 것입니다 알고리즘에서 패턴 2가 주어 지더라도 그 이유는 가중치가 너무 임의적이므로 비선형 함수로 동작하지 않도록합니다

기본적으로 뉴런은 항상 선형 함수와 같습니다 뉴런은 이와 같은 것을 만족시킵니다 이 두 점을보고 평균을 구합니다 실제로 중간 지점과 같습니다 따라서 항상 선형 함수가 있습니다

그래서 당신이 할 수없는 이유 이런 종류의 학습 패턴은 선형으로 분리 할 수 ​​없기 때문입니다 학습 속도에 근접한 경우에만 소음 수준을 줄이려고합니다 W를 볼 수 있도록 우리는 초평면을 만들 수 있습니다 이 예제 클러스터 사이에 있습니다 이 데이터 분포에 대해 비선형 모델을 가질 수 있습니다 이것이 바로 직관입니다 따라서 기술 직관을 건너 뛸 것입니다

당신이 관심이 있다면 아마도 기록 될 것 같아요 그래서 나는 추측하자 완화 전략에 대해 조금 더 이야기하십시오 따라서 우리의 이론에 따르면 학습 속도가 큰 경우 활성화 패턴에 많은 노이즈를 주입하고 일반화하기 쉬운 패턴을 배우지 못하게합니다 활성화 패턴에 노이즈가 많으면 선형 모델처럼 행동합니다 우리는 이것이 우리에게 도움이 될 수 있는지 보려고 노력했습니다

완화 전략 설계와 같은 자연 완화 전략은 사전 활성화시 노이즈를 추가하고 [들리지 않음] 부분과 같습니다 이제 녹색에 대해 이야기 할 수 있습니다 기본적으로 작은 학습 속도와 소음입니다 이제 우리는 학습률이 낮습니다 하지만 우리는 소음을 사용하여 [들리지 않는] 인공 패턴을 배우십시오

이제 노이즈가있는 녹색이 그렇지 않다는 것을 알 수 있습니다 작은 학습 속도로 인공 패턴을 배우십시오 나는 여기에 당신이 소음 수준을 알고 있다고 생각하면 배울 수 있습니다 좀 더 나은 정확도를 얻을 수 있도록 패턴 따라서 이것은 실제로 완화 전략입니다 또한 인공 패치없이 깨끗한 데이터로 시도했습니다 사실, 그것은 여전히 ​​개선에 도움이됩니다 학습률이 낮을 때의 정확도

기본적으로 여기에 실험이 있습니다 일부 WideResNet16이있는 CIFAR-10 그래서 나는 이것과 이것이 기준이라고 생각합니다 큰 학습 속도와 어닐링 이는 90 %이며 학습률은 84 %입니다 따라서 6 %의 차이가 있습니다 큰 학습 속도와 작은 학습 속도 사이 작은 학습 속도와 사전 활성화 노이즈를 사용하면 우리는 그 차이의 거의 대부분을 통해 그 차이를 회복 할 수 있습니다

그건 그렇고,이 숫자는 그렇게 높지 않습니다 여기에 데이터 제한이 없기 때문에 이 둘 사이의 간격이 6 %라는 것을 알 수 있습니다 데이터 제한이있을 수 있습니다 크고 작은 학습 속도의 격차 아마 2 % 또는 그와 비슷한 것입니다 그래서 빨리 마무리하는 것 같아요 그래서 주요 메시지 학습률이 높으면 일반화하기가 어렵습니다

맞추기 쉬운 패턴 및 작은 학습 속도 일반화하고 맞추기 어려운 패턴을 배웁니다 배우거나 배우는 모든 것 이러한 패턴은 로지스틱 손실과 관련이 있습니다 열린 질문은 실제 데이터에서 이러한 패턴을 어떻게 식별합니까? 우리는 아직 그것을하는 방법을 모른다 인공 패턴을 주입하려고합니다 그러나 실제 데이터에서 이러한 패턴을 식별하는 방법을 모릅니다

우리는 어떻게 결과를 더 많이 만들 수 있습니까? 우리가 고안 한 장난감 예제 대신 일반? 이 예제는 실제로 장난감입니다 어떤 식 으로든 우리는 그것을 증명하는 방법에 대한 아이디어를 가질 것입니다 마지막으로 마지막 슬라이드에서 적어도 일부를 공유해야합니다 알고리즘 정규화에 대한 개인적인 폭 넓은 전망 이 작품은 다소 더 넓은 범위의 알고리즘 정규화 적어도 어쩌면 나처럼 또는 우리는 더 강한 결과를 입증 할 수 없었습니다

하지만 이해하는 것 같아 알고리즘 정규화는 매우 이 장난감 예제에서도 우리가 도전하기 때문에 모든 것을 증명하기 위해 50 페이지 중 40 페이지를 사용해야합니다 또한이 장난감에 대해 명확하지 않습니다 알고리즘이 정규화하는 복잡한 측정 방법 정말 복잡합니다 어떤 의미에서는 나는 또한 적어도 우리를 끌어 들이고 싶습니다 다른 가능한 지름길을 생각하기 위해 이런 종류의 것들을 처리합니다 내가 비관적이라고 생각되는 것처럼 우리가 할 수 없었던 한 가지 측면에서 매우 큰 발전 가까운 장래에 알고리즘 정규화를 이해합니다 그러나 그것은 또 다른 경로 일 수 있습니다

약간의 속임수이지만 더 쉽습니다 우리가 할 수있는 명백한 조절기를 찾을 수 있다고 말할 수 있습니다 적어도 경험적으로 알고리즘 정규화를 가정하십시오 그래서 우리는 명시적인 조절기를 설계하고 실제 데이터 세트의 명시 적 조절기 당신이하지 않는 것을보고 희망 정규화하려면 알고리즘을 사용해야합니다 자, 이것들은 적어도 해결 이 조절기로 인해 최적화 문제가 더 빠른 알고리즘을 안전하게 설계 할 수 있습니다

나는 관심의 분리가 있습니다 난 신경 쓰면 돼 더 빠른 알고리즘이 있습니다 그러나 나는 여부에 대해 생각할 필요가 없습니다 내 정규화는 알고리즘에서 충분하거나 아닙니다 그런 다음 우리는 초기 예비 약속의 징후를 보았습니다 이 데이터 종속 정규화 중 일부를 사용합니다 그래서 이것들은 그렇지 않은 정규화입니다

매개 변수의 표준에만 의존합니다 네트워크의 다른 수량에 따라 다릅니다 예를 들어, 활성화 및 기타 사항 또한, 마지막으로하고 싶은 것은 일반적으로 나는 이질성이 의심 데이터 세트는 중요한 것입니다 그래서 우리는 여기서 볼 수 있습니다 흥미로운 현상이 발생합니다 이기종 데이터 세트가있을 때 또한, 나는 일반적으로 아마 데이터 집합에 이질성이있는 경우 실질적인 개선도 다소 쉽습니다

아마도 표준 데이터 세트 일 것 같습니다 모든 것이 멋지게 디자인되면 그래서 데이터 세트는 알고리즘 정규화에 맞게 이미 잘 조정되었습니다 그래서 여부를 확인하기가 매우 어렵습니다 명시 적 조절기는 정확도를 향상시킬 수 있습니다 예를 들어, 어떤 의미에서 불균형 할 때 우리는 명시적인 정규화가 실제로 실제 성능 측면에서 많은 도움이됩니다 이 논문은 매우 간단한 이론을 가지고 있습니다

이론처럼 수업에 대한 숙제 질문만큼 쉽습니다 그러나 경험적 성능은 많이 이전의 [들리지 않음] 부분보다 낫습니다 그게 내가하고 싶은 전부라고 생각합니다 고맙습니다

Introduction to Runway: Machine Learning for Creators (Part 2)

[철도 휘파람] 다른 비디오 자습서에 오신 것을 환영합니다 Runway 작업 및 기계 학습 모델 실행에 대한 정보 활주로 자체에서 이 비디오 자습서를보기 전에 전에 활주로를 사용한 적이 없다면 돌아가서 내 소개를보고 싶을 수도 있습니다

활주로에 다운로드하고 설치하는 방법 그러나 솔직히 말해서, 당신은 아마 그것을 알아낼 수 있습니다 runwaymlcom으로 이동하여 베타 다운로드를 클릭하십시오 활주로 소프트웨어를 다운로드하여 열어야합니다 그런 다음 모델 찾아보기로 이동합니다

모션 아래로 가서 PoseNet을 클릭하겠습니다 그리고 당신은 바로 여기에 자신을 찾을 수 있습니다 이것이 바로 내가있는 곳입니다 Runway를 설치했습니다 다운로드했습니다

그리고 PoseNet의 Runway 소프트웨어 페이지에 있습니다 기계 학습 모델 자, PoseNet은 무엇입니까? PoseNet은 기계 학습 모델입니다 한 명 이상의 사람에 대한 실시간 골격 추적을 수행합니다 그리고 무엇을 추측합니까? 나는 사람이고, 활주로가 여기에 달려 있습니다 PoseNet과 함께

그래서 나는 그것을 실행할 것입니다 먼저 작업 공간에 추가를 클릭하십시오 그래서 이미 가지고있는 작업 공간이 있습니다 코딩 기차 라이브라는 이전 비디오에서 만든 흐름 입력 소스를 선택하고 싶습니다 나는 그것이 나의 웹캠이되기를 원한다

그렇습니다, 활주로가 바로 나아갑니다 그런 다음 출력 소스를 선택하고 싶습니다 내가 원하기 때문에 처리하고 싶다 이 기계 학습 모델을 실행 한 결과를 얻기 위해 PoseNet 자체 처리 하지만 지금은 미리보기를 클릭하겠습니다 미리보기를 클릭합니다

아, 그리고 나는 달려야한다 하지만 그거 알아? 이것은 이전 비디오에서 보여준 것과 다릅니다 로컬로 실행 옵션이 있습니다 실제로이 모델은 로컬에서만 실행할 수 있습니다 클라우드에서 이것을 실행하는 것은 어리석은 일입니다

이 모든 시간을 보내야했기 때문에 네트워크를 통한 데이터 그리고 실행하기가 매우 쉽습니다 이것은 매우 작고 빠른 모델입니다 대부분의 최신 컴퓨터에서 실행할 수 있습니다 로컬로 실행을 클릭하겠습니다

따라서 GPU 크레딧이 필요하지 않습니다 물론 무료로 사용할 수 있습니다 그리고 우리는 그곳에가는 것을 볼 수 있습니다 지금 실행 중입니다 다양한 요점을 추측합니다

내 골격의 출력에 내 몸에 있습니다 볼 수있는 이하 그래서 일에 대한 좋은 점 중 하나 활주로와 그 모델은 많이 모델마다 다른 매개 변수와 값이 있습니다 조정하고 변경하여 실행할 수있는 것들 다른 방법으로 그리고 이것들은 일종의 하이퍼 파라미터로 알려져 있습니다 기계 학습 모델에 그래서 그들 중 일부는 실제로 모델 실행을 중단 한 다음 나는 그것을 가지고 시작할 수 있습니다

예를 들어이 아키텍처는 실제로 모델을 더 작게 만들 수 있습니다 정확도는 떨어질 수 있지만 더 빨리 실행됩니다 그러나 예를 들어, 나는 단지 가고 있습니다 대신 075로 변경하십시오 다시 실행하겠습니다

그러나 이러한 매개 변수 중 일부는 실제로 실시간으로 조정됩니다 예를 들어 너비와 높이를 변경할 수 있습니다 실제로 변화하는 이미지의 웹캠 자체의 이미지 해상도 원하는 경우 그레이 스케일을 더 만들 수 있습니다 실제로 여러 가지 작업을 수행하여 실제로 조정할 수 있습니다 들어가기 전에 이미지

그러나 이것은 중요한 부분이 아닙니다 이 비디오에서하고 싶은 일을 이 비디오에서하고 싶은 것은 여기서 Runway에서 모델을 실행하는 순간이 있습니다 나는 그것을 가지고 놀 수 있고, 조정하고, 정확하게 얻습니다 내가 원하는 방식으로 작동합니다 다음 단계로 넘어 가고 싶습니다 결과를 볼 수 있도록 여기에서 실행하도록 내 자신의 소프트웨어에서 그렇게하겠습니다

이것을 시도하는 데 사용할 소프트웨어 프로세싱이라고합니다 이 크기는 출력의 활주로에서 640×362, 처리 코드에서 수행 할 작업 캔버스 크기를 640 x 362로 설정합니다 무효 그리기 배경 0 이제 처리 스케치가 있습니다

내가 여기서 뛰고 있습니다 결과, 모델의 결과를 어떻게 볼 수 있습니까 내 프로세싱 스케치에서? 다양한 네트워크 프로토콜이 있습니다 활주로가 지원합니다 그리고 나는 그들에 대해 여기에서 찾을 수 있습니다 이 네트워크 탭을 클릭하여 그리고 처리 작업에 사용하고 싶은 것 OSC입니다 여러 가지 이유가 있습니다 한 프로토콜을 다른 프로토콜보다 선택하십시오

그것은 실제로 당신이하고있는 것에 달려 있습니다 하나의 이미지를 얻고 자하는 경우 HTTP 요청이 가장 적합합니다 그리고 다른 비디오에서 할게요 Runway에서 스타일로 다시 작업하는 방법을 보여 드리겠습니다 하지만 지금은 클릭합니다 OSC에서 처리와 잘 작동합니다 그리고 여기에 많은 정보가 있습니다

이 말은 서버 주소입니다 이것이 내가 활주로에서 필요한 가장 중요한 것입니다 내가 말하고자하는 것은 Processing이 유일한 IP라는 것입니다 로컬 IP 인 주소 이 컴퓨터의 주소와 포트 번호 OSC 메시지를 얻을 수 있습니다 여기를 클릭하겠습니다 그리고 ip와 같은 문자열을 만들 것입니다

나는 아마 갈거야 확신 별도의 변수에 포트 번호를 원합니다 그리고 이와 같은 포트 번호를 만들 것입니다 이제 여기 앉아서 모든 코드를 작성할 수 있습니다 이것을 위해, 나는 보통 코딩 기차 비디오에서 할 수 있습니다 그러나 이것은 상당히 다른 상황입니다 정말 예제를보고 싶어요 실행하고이를 수행하는 방법을 보여줍니다

그리고 Runway 작업에 대한 좋은 점 중 하나 미리 만들어진 예가 많이 있습니까? 다른 플랫폼과 소프트웨어를 사용하는 경우 그 중 하나가 처리 중입니다 그래서 당신이 실제로 어떻게하는지 보여 드리겠습니다 현실 세계에서이 작업을 수행하는 방법 지금하는 방법입니다 Runway ML GitHub에 가면 실제로 한 단계 뒤로 돌아 가야합니다 Runway ML 아래로 이동하십시오 Runway 소프트웨어에 대한 GitHub 페이지는 다음과 같습니다 그리고 많은 정보가 있습니다

높은 수준의 물건과 같은 것이 있습니다 머신 러닝 모델을 이식하는 방법 활주로 자체 자신의 모델을 훈련했거나 Runway에서 지원하지 않는 모델을 찾으십시오 당신이 그것을 추가 할 수있는 방법 그러나 그것은 우리가 여기서 실제로하고있는 것이 아닙니다

내가 찾고 싶은 것은 여기 Processing, Runway 그리고 가공 여기를 클릭하면이 저장소에 프로세싱과 함께 Runway를 사용하는 많은 예제 attnGAN에 StreetView가있는 것을 볼 수 있습니다 얼굴 랜드 마크, im2txt 및 voila, PoseNet 이것은 내가 일하고있는 것입니다

이 예를 살펴 보겠습니다 나는 이것이 오픈 소스 프로젝트라고 말해야한다 프로세싱은 오픈 소스 프로젝트입니다 내가 말했던 것에 관여 다른 많은 비디오에서 다른 모델을 찾으면 활주로에서 당신이 일을하고 기여하고 싶어 여기에 처리 예제가 있으므로 권장합니다 Runway의 창립자이자 제작자 중 한 명인 Chris는 그리고 나는 가공에 대해 이야기하고있다 활주로 도서관

그리고 최근에 두 개의 비디오 자습서를 만들었습니다 Processing Java 라이브러리를 만드는 방법에 대해 설명합니다 앞으로 처리 될 프로젝트를 보게됩니다 활주로 도서관 그러니 그 일에 참여하고 싶다면 의견을 적어 알려주세요 그리고 아마도이를 위해 GitHub 저장소를 만들 것입니다

좋아, PoseNet 아래로 가야겠다 그리고 posenetpde 아래에서 여기를 클릭하겠습니다 붙여 넣기 만하면됩니다 하지만 한 조각 씩 갈 것입니다

그리고 이미 활주로 호스트와 활주로 포트를 볼 수 있습니다 그래서 코드에서 실수를했습니다 그래서 저는-01을 놓쳤습니다 채팅에 대해 이미 이야기하고 있습니다

그리고 여기에 여분의 1이 있습니다 그리고 이것은 정수 여야합니다 그리고 이것은 실제로 호스트입니다 사실 같은 변수를 사용하겠습니다 이름은 runwayHost 및 runwayPort입니다 좋아, 지금 당장 얻은 것 같아

이제 예제가 작동하려면 처리 OSC가 있는지 확인해야합니다 라이브러리가 설치되었습니다 여기 와서 복사하면 이 수입 명세서를 붙여 넣습니다 꼭 필요한 OSC 객체를 붙여 넣을 수 있습니다 그리고 우리는 내가 OscP5 클래스가 존재하지 않는 오류가 있습니다

프로세싱 OSC를 설치하지 않았기 때문입니다 도서관 사용하기 때문에 이미 설치했을 수 있습니다 다른 프로젝트로 그러나 나는 여기에 갈 수 있었다 Sketch, Import Library, 라이브러리, OSC를 추가하여 검색하십시오

이것은 내가 찾고있는 라이브러리입니다 oscP5 설치를 클릭하겠습니다 이제 오류 메시지가 사라지는 것을 볼 수 있습니다 다음으로하고 싶은 것은 객체를 만드는 것입니다 OSC 메시지를 수신합니다 그리고 나는 이것을 새로운 OscP5 객체로 만들 수 있다고 생각합니다

이 특정 스케치에 대한 참조를 제공해야합니다 스케치에서 이벤트를 트리거해야하기 때문에 사용 가능한 데이터가있을 때 그런 다음 포트 번호를 지정하십시오 이것을 runwayPort라고합니다 활주로 예제를 보면 실제로 OscProperties라는이 개체를 사용하고 있습니다 좀 더 정교합니다

원격 주소, 수신 포트, 데이터 그램 크기와 다른 것들 아마도 이것을 내 예제에 붙여 넣을 것입니다 그러나 그것이 더 많은 종류의 것들과 함께 작동하는지 궁금합니다 방금 말한 단순화 된 기본 OscP5 객체 이것과 특정 포트 그러나 나는 이것을 필요로한다

방송 위치가 필요합니다 왜냐하면 런웨이에게 메시지를 보내야합니다 연결되어 있거나 연결이 끊어졌습니다 여기에는 두 가지가 있습니다 프로세싱 소프트웨어가 있습니다

그리고 Runway 소프트웨어가 있습니다 둘 다 내 컴퓨터에서 로컬로 실행 중입니다 이제 다른 시나리오에서 클라우드 GPU도 포함될 수 있습니다 활주로는 메시지를주고받습니다 그리고 이것은 내가 가고있는 것입니다 다음 예제에서해야 할 일 StyleGAN이라는 이름으로 Runway가 클라우드 GPU 와도 대화하도록하겠습니다

그러나 여기서 일어나지 않습니다 PoseNet은 실제로 내부에서 실행되고 있습니다 기본적으로 Runway 자체에 로컬로 래핑됩니다 PoseNet은 여기서 Runway에서 로컬로 실행됩니다 처리 중이 connect와 같은 메시지를 보내는 중입니다

나도 정보를 듣고 싶어 그것은 일회성 메시지입니다 그런 다음 Runway는 OSC를 통해 지속적으로 데이터를 보냅니다 PoseNet으로 감지하는 포즈 처리 웹캠 입력에서 모델 그래서 내가 원한다면 아마도 방법을 알아낼 수있을 것입니다 카메라 입력을 처리로 가져 오려면 이미지를 활주로로 보내고 활주로 결과를 다시 보냅니다 하지만 런웨이는 카메라에 직접 연결할 수 있습니다 아주 간단하기 때문에 그렇게 할 수도 있습니다

그래서 여기에도 같은 것을 넣어야합니다 웹캠처럼 여기에 약간의 메모를하면 웹캠이 런웨이와 대화 중입니다 나는 또한 처리와 이야기 할 수 있습니다 처리 결과도 표시하려면 이것이이 특정 예에서 진행되고있는 것입니다 이 브로드 캐스트 위치를 만들고 싶습니다 네트 주소 개체입니다 여기에 넣어야합니다

그리고 내가하고 싶은 첫 번째 일은 연결 메시지를 보내면됩니다 복사해서 여기에 붙여넣고 연결이라고하겠습니다 처리를 시작할 때 내가하고있는 일은 connect 함수를 호출합니까? OSC 메시지를 작성합니다 모든 단일 OSC 메시지는 두 부분으로 구성됩니다 이 두 부분은 주소이며 보통 경로처럼 일종의 문자열로 표시됩니다

이것이 서버 / 연결임을 알 수 있습니다 그게 주소 야 아니면 거의 메시지처럼 생각할 수도 있습니다 내가 생각하는 방식으로 그런 다음 데이터 이 경우에는 실제로 주소 자체가 메시지이므로 데이터가 없습니다 이것은 매우 단순화 된 것입니다 이 연결 메시지가있는 곳입니다

연결 중입니다 메시지 이름, 주소, 거기에 있어야 할 유일한 것입니다 데이터가 없습니다 그러나 Runway가 데이터를 다시 보내면 데이터 또는 요점과 같은 메시지 이름을 갖습니다 또는 포즈, 그런 것

그리고 그것은 많은 양의 데이터와 함께 패키지 될 것입니다 모든 xy의 모든 위치와 같습니다 자, 이것을 실행하고 무슨 일이 일어나는지 봅시다 예, 꽤 좋습니다 오류가 없습니다

연결되었으므로 메시지를 듣고 싶습니다 그리고 그 방법은 OSC 이벤트라는 이벤트를 사용하는 것입니다 마우스 누르는 것과 비슷합니다 또는 키 누르기 또는 직렬 이벤트 또는 캡처 이벤트 이것은 매우 특별한 이름을 가진 Processing의 함수입니다 OSC 이벤트라고합니다

그리고 oscP5 라이브러리는 그 함수를 호출하는 것을 알고 있습니다 데이터가 들어올 때 붙여 넣기 만하면됩니다 그리고 여기에 넣겠습니다 그리고 제가하려고하는 것 – 이것을 보도록합시다 그것을 통과 한 OSC 이벤트가 있습니다 OSC 메시지 이 메시지를 메시지로 변경하겠습니다 메시지에 해당 데이터가 있다면 주소와 같습니다

기억? 주소에는 데이터가 있으며, 이것이 우리가 찾고있는 주소입니다 그렇지 않은 경우 여기서 나가십시오 그래서 들어오는 다른 메시지를 무시하고 싶습니다 그런 다음 내가하고 싶은 일은 데이터 자체를 얻는 것입니다 따라서 메시지의 데이터는 실제로 문자열로 제공됩니다

그러나 문자열은 JSON으로 형식이 지정됩니다 JavaScript 객체 표기법입니다 JSON이 무엇인지 모른다면 JSON이 무엇인지 설명하는 다른 비디오로 JSON은 JavaScript에서 정말 잘 작동합니다 그것으로 작업하는 것은 조금 어색합니다 처리가 Java이므로 처리 중입니다

기본적으로 JavaScript를 사용하지 않습니다 그러나 우리는 그것을 작동시킬 것입니다 메시지의 첫 번째 자체는 JSON 데이터의 큰 문자열이며 JSON입니다 Processing의 parseJSONObject로 파싱 할 수있는 객체 기능 그런 다음 콘솔에서 볼 수 있습니다

실제로 데이터를 가져 오는지 봅시다 아무것도 얻지 못했습니다 왜 그런지 궁금합니다 그리고 실제로 이유를 알고 있습니다 우선, 여기에 실마리가 있습니다

데이터 그램 소켓을 만들 수 없습니다 포트 5100은 이미 사용 중이기 때문에 그리고 나는 여기에 이상한 일이 있다는 것을 잊었다 OSC를 사용하여 둘 사이에서 통신하는 경우 별도의 컴퓨터, 같은 포트 번호를 사용할 수 있습니다 각 개별 컴퓨터에서 하나의 포트 번호 하지만 여기서 활주로에 데이터를 보낼 수 있어야합니다 특정 포트에서 처리로 데이터를 수신 같은 포트가 될 수없는 다른 포트에서 그렇지 않으면 충돌이 발생합니다 제가 방송하는 포트는 57100입니다

이것이 Runway에 나와 있습니다 하지만 메시지를 받고 싶은 실제 포트 57200입니다 그리고 Runway는 자동으로 100을 추가하는 것을 알고 있습니다 무대 뒤에서 그러나 이것은 Runway의 기본 설정입니다

데이터 수신을 위해 다른 포트가 필요합니다 내가 보내는 포트로 코드에서 의미하는 바를 보여 드리겠습니다 이것이 바로 활주로 포트 5757입니다 그것이 내가 방송하고 싶은 포트입니다

그리고 그것은 내 방송 위치의 일부입니다 그것이 내가 방송하는 곳입니다 그러나 메시지를 받고 싶은 곳은 실제로 57200입니다 이제 이것을 실행하면 실제로 메시지가 수신됩니다 하지만 새로운 오류가 있습니다

ArrayIndexOutOfBoundsException입니다 따라서 이것은 런웨이 데이터가 이 포즈를 모두 보내는 것은 실제로 상당히 큽니다 그리고 필요한 것은 더 많은 공간입니다 더 큰 패킷 크기가 필요합니다 그렇기 때문에 Runway 예제에서 이 여분의 OSC 속성이있었습니다 더 큰 데이터 그램 크기를 설정할 수있는 개체입니다

청취 포트는 57200입니다 기본적으로 OscP5를 사용하기 전에 이럴 필요는 없지만 난 복사하여 붙여 넣습니다 이걸 다시 여기에 넣고 이것을 속성으로 변경하겠습니다 저는 이제 모든 조각을 가지고 있다고 생각합니다 내가보아야 할 것은, 우리가 간다, 많은 것들

이것 좀 봐 자, 저는 확신을 가지고 정확하게 처리했습니다 점수– 왼쪽 발목이 보이지 않습니다 왼쪽 발목을 카메라로 볼 수 없기 때문입니다 그래서 그 신뢰 점수가 너무 낮은 이유입니다 위로 스크롤하고 오른쪽 귀를 좋아합시다 매우 높은 신뢰 점수와 x 및 ay를 얻었습니다

내 오른쪽 귀를 위해 이제 저는이 데이터를 실제로 사용할 수있는 시점에 있습니다 런웨이 예제로 돌아가서 여기에 매우 정교한 루프가 있음을 알 수 있습니다 JSON을 파싱하고 모든 다른 핵심 포인트에서 감지하는 모든 것의 모든 다른 위치 지금 훨씬 더 간단한 일을하려고합니다 나는 오른쪽 눈과 왼쪽 눈을 얻을 것입니다

우리가 알아낼 수 있는지 봅시다 우리가 이것에 접근 할 수있는 한 가지 방법은 이 데이터 변수를 전역 변수로 만들 수 있습니다 이 JSON 객체를 사용하겠습니다 저는 이것을 전역 변수로 만들 것입니다 데이터라고하겠습니다

그런 다음 드로우 루프에서 나는 단지 데이터가 널이 아닌 한 Java에 있다는 것을 잊었습니다 그냥 할 수있어 데이터는 Runway로부터 무언가를받을 때까지 null이됩니다 런웨이에서 무언가를 받자 마자 내가해야 할 일은이 JSON을 구문 분석하는 것입니다 조금 더 쉽게하기 위해 내가 한 일 방금 JSON을 가져 와서 인쇄합니다 프로세싱 콘솔에 그것을 JSON 파일에 붙여 넣었습니다

Visual Studio Code에서 볼 수있는 그래서 참조 할 것이 있습니다 그래서 나는 포즈라고 불리는 것을 얻어야한다는 것을 알고 있습니다 가장 먼저 원하는 것은 poses 배열입니다 프로세싱에서 정말 이상한 것 중 하나는 JSON을 사용하면 데이터가 있는지 여부를 지정해야합니다 보는 것은 JSON 객체 또는 JSON 배열입니다

그리고이 포즈 데이터는 표시된대로 배열입니다 이 대괄호로 JSONArray의 포즈가 같다고 말하겠습니다 datagetJSONArray 문자열 포즈 그런 다음 키 포인트 배열을 얻고 싶습니다

아, 둘 이상의 포즈가있을 수 있기 때문에 하지만 포즈가 하나만 있다고 가정하겠습니다 그런 다음 포즈입니다 그럼 요점은 배열이 동일한 posesget 0 이것이 배열의 첫 번째 요소입니다

이제 핵심 포인트라는 새로운 배열을 얻습니다 JSON 배열 요점을 얻습니다 좋은 소식은 런웨이 예제입니다 거기에이 모든 것이 포함되어 있습니다 제가 잘못하면 키 포인트 get element 0이라고 말할 수 없기 때문에 여기에 오류가 있습니다

요소 0은 무엇입니까? JSON 객체입니다 우리는 거기에 갈 이제 핵심 사항이 있습니다 첫 번째 JSON 객체에서 키 포인트라는 JSON 배열입니다 인덱스 0

그렇다면 무엇을 찾고 싶습니까? 이제 핵심 포인트 배열에 있습니다 이것은 요소 0입니다 내가 왼쪽을 알고 있었다면- 아, 이건 쉬워요 코, 왼쪽 눈, 오른쪽 눈을 봅시다 0, 1 및 2, 완벽합니다

그래서 JSONObject nose equals를 얻고 싶습니다 keypointsgetJSONObject 0 그리고 우리는이 중 세 가지를 할 것입니다 왼쪽 눈-나는 이것을 조금하고있다 활주로 예제와 다릅니다

그런 다음 오른쪽 눈 다음에 활주로를 예로 들어 보겠습니다 확실히, 나는 여기서 루프를 사용할 수 있습니다 코, 왼쪽 눈, 오른쪽 눈 그런 다음 입장을 취해야합니다 nosePos는 nos

getJSONObject와 같습니다 코만하면 돼 난 그냥 코를 할거야 여기서 더 간단하게 유지하십시오 외삽하여 알아낼 수 있습니다 왼쪽 눈과 오른쪽 눈을하는 방법- nosegetJSON 객체 위치 그리고 x는 이 코 위치를 호출합니다

코 위치는 x를 얻습니다 이것이 옳다는 것을 확신하십시오 그리고 y는 nosePositionget y와 같습니다 알았어, 내가 뭘 잘못 봤니? getFloat

다시 한번, 저는 Java에 있습니다 유형을 지정해야합니다 내가 모든 것을 올바르게했다면 첫 번째 포즈의 모든 요점을 얻었습니다 코에 대한 모든 데이터가있는 객체를 얻었습니다 그런 다음 해당 물체에서 코 위치를 뺀 다음 x 그리고 그 물체에서 y

휴 이제 2020 년에 타원 x라고 말하겠습니다 그리고 그것을 빨간 코로 만들어 봅시다 25500을 채 웁니다

이것을 실행시켜 봅시다 그리고 우리는 간다 나는 지금 코를 제어하고 있습니다 활주로에서 OSC 메시지 처리로 놀랄 만한

자, 이것으로이 비디오 튜토리얼을 마치겠습니다 확실히, 당신이하고 싶은 일 전체 골격을 참조하십시오 PoseNet을 효과적으로 사용하려면 카메라가 당신으로부터 약 6 피트 정도 떨어져 있기를 원합니다 백업하고 전체 양식을 볼 수 있도록 허용하려고합니다 당신은 또한 이미지를 전달하고 포즈를 취할 수 있습니다

이미지에서 할 수있는 일이 많이 있습니다 그리고 확실히, 나는 추천 할 것입니다 Runway GitHub 리포지토리의 예제를 확인하십시오 이것은 모두 통과하는 멋진 루프가 있습니다 다른 위치의

실제로이 작은 매핑도 그들 사이의 모든 연결이 무엇입니까 실제 골격 자체에 약간의 운동으로 오른쪽 눈과 왼쪽 눈을 갖기 위해 내가 한 일을 확장 할 수 있습니다 그러나 그럼에도 불구하고 Runway 예제 자체를 얻을 수 있습니다 그러나 이것은 어떻게 Runway 자체에서 찾을 수있는 특정 모델 채팅에 참여한 사람이 방금 밀도에 대해 묻고있었습니다 예를 들어 OSC를 통해 활주로에서 통신 할 수있는 자세 처리합니다 하지만 다른 많은 경우에는 웹 소켓이나 HTTP 연결을 사용하고 싶습니다 특히 작업중인 경우 의사 소통 JavaScript로 브라우저에서

다음 비디오에서하려고하는 것은 보고 싶다면 StyleGAN을 실행하여 무지개를 생성하십시오 이미지를 P5에 전달 브라우저 자체에서 렌더링합니다 그리고 대화에서 뉴스 속보, Damien SRSP는 동일한 포트에서 보내기 및 받기를 나타냅니다 기본적으로 OSC 패킷은 수신 및 전송되지 않습니다 보내거나 받아야 할 경우 동일한 포트로 같은 포트에서 어쩌면 내가 실제로 무언가를 할 수 있었을 것입니다 포트 번호와 함께

나도 몰라 나는 사람들이 의견에 그것에 대해 쓸 것이라고 확신합니다 그러나이 코드는 작동합니다 Runway GitHub 리포지토리의 코드가 작동합니다 너무 재밌어요 그걸 써

그것으로 무언가를 만드십시오 나에게 공유하십시오 프로세싱에 대한이 튜토리얼을 즐기 셨기를 바랍니다 활주로 및 로컬에서 실행되는 PoseNet 모델 컴퓨터에서 안녕

[철도 휘파람] [음악 재생]

Data Science And Machine Learning Demo 2 I By Damodhar 9059868766 24th July 2019 I Tutorials

데이터 과학 및 기계 학습 데모 2 I Damodhar 9059868766 24th July 21019 I 자습서 DataScience 및 기계 학습 온라인 교육을 위해 VLR 교육에 전화하십시오 Damodhar 9059868766 DataScience 및 기계 학습 온라인 교육을 위해 VLR 교육에 전화하십시오

Damodhar 9059868766 DataScience 및 기계 학습 온라인 교육을 위해 VLR 교육에 전화하십시오 Damodhar 9059868766 DataScience 및 기계 학습 온라인 교육을 위해 VLR 교육에 전화하십시오 Damodhar 9059868766 DataScience 및 기계 학습 온라인 교육을 위해 VLR 교육에 전화하십시오 Damodhar 9059868766 DataScience 및 기계 학습 온라인 교육을 위해 VLR 교육에 전화하십시오 Damodhar 9059868766 DataScience 및 기계 학습 온라인 교육을 위해 VLR 교육에 전화하십시오

Damodhar 9059868766

Machine Learning with ML.NET and Azure Functions: Part 2 | Azure Tips and Tricks

>> MLNET을 사용하여 서버리스 머신 학습을하는 법을 배우십시오

Azure 팁과 트릭의이 에피소드에서 Azure 기능 여기 Azure Cloud Shell에 있습니다 여기에서 실행할 Azure 함수를 만듭니다 꽃 유형을 예측하기 위해 MLNET으로 알고리즘을 학습하는 기계

이것은 컴퓨터 학습 모델을 사용합니다 우리는 이전 에피소드에서 만들었습니다 시작하기 위해 "ML NET Demo"라는 리소스 그룹을 만듭니다 다음으로 저장소 계정을 만듭니다 model

zip을 저장하려면이 파일이 필요합니다 함수가 사용할 파일 스토리지 계정에 고유 한 이름을 사용해야합니다 거기는 이제 Azure 함수를 만들겠습니다

다시 말하지만 Azure 기능에 고유 한 이름을 사용하십시오 거기는 괜찮아 Azure 포털로 전환합시다 여기 Azure 포털에서, Azure 스토리지에 기계 학습 모델을 업로드 할 것입니다

다음은 Azure 함수가 사용하는 저장소 계정입니다 형체에 가자 거기는 여기, 나는 만들거야 새로운 컨테이너와 저는 이것을 "모델"이라고 부를 것입니다

괜찮아 가자 이제 모델을 업로드해야합니다 Modelzip이 업로드됩니다

그게 전부 야 괜찮아 Visual Studio에 있습니다 우리는 Azure 함수를 만들 것입니다 시작하기 전에 Azure 기능 도구가 설치되었습니다

이미 데모 솔루션이 있습니다 모델 프로젝트와 함께 열어 라 이제 새 프로젝트를 추가하고 "Azure Functions"를 선택하십시오 "서버가없는 AI"라고 부를 것입니다 여기에서 "HTTP 트리거"를 선택하겠습니다

또한 스토리지 계정을 선택하겠습니다 찾아보기, 그것은 ML NET 데모 그룹에 있어야합니다 거기는 괜찮아 "좋아요", 함수를 생성합니다

괜찮아 몇 가지 더 첫째, NuGet 패키지를 받아야합니다 MLNET

그것을 찾아 보자 저기, "설치" 괜찮아 그게 그거야 다음으로 아일랜드어 데이터를 복사해야합니다

모델 프로젝트에서 함수에 대한 아일랜드어 예측 절 우리는 일을 참조 할 수도 있지만 이것은 데모에서 더 쉽습니다 괜찮아 이제 함수 코드입니다 이것이 내가 상자에서 꺼내는 것입니다 나는 이것을 이것으로 대체한다

이 기능은 HTTP 요청이며 Blob 바인딩이 있습니다 그러면 modelzip 파일이 생성됩니다 다음으로 MLNET이 작동하는지 확인합니다

MLNET에 포함되어 있기 때문에이 검사를합니다 64 비트 코드와 함수는 기본적으로 64 비트를 실행하지 않습니다 그런 다음 요청에있는 데이터를 읽습니다 여기에는 우리가 예측해야 할 꽃에 대한 데이터가 포함됩니다

그런 다음 기계 학습 모델을로드하고 그것은 데이터가 나타내는 홍채 꽃을 예측하는 것입니다 Azure에서 해보 죠 여기에서 마우스 오른쪽 버튼을 클릭하고 Azure로 푸시하려면 "게시"를 클릭하십시오 기존 함수를 선택하십시오 이 하나와 "게시"

거기에 간다 그것이 끝나면 나는 건너 뛸거야 여기 Azure 포털에 있습니다 Azure 기능은 Azure에 방금 게시되었습니다 거기는

우리가 MLNET과 함께 사용할 수 있기 전에, 우리는 응용 프로그램 설정을 변경해야합니다 MLNET을 실행하려면 64 비트에서 실행해야합니다 그게 전부 야

예측 함수를 살펴 보겠습니다 이제 테스트 창에서 테스트 할 수 있습니다 우리는 HTTP 게시물을 보내 그것을 보낼 것입니다 이 데이터는 홍채 꽃잎의 꽃잎과 꽃잎을 나타냅니다 우리는 거기에 갈 그게 전부 야

데이터를 가져 와서 그것이 속한 것으로 예측했습니다 버지니아 아이리스 꽃 쿨, 맞지? 기계 학습 알고리즘을 만드는 방법을 보았습니다 MLNET을 사용하고 Serverless Azure 함수에서 사용하십시오

이것은 서버리스 AI입니다

미성년 명장면 2 김윤석 감독 데뷔작 김혜준,박세진

어서오세요 혼자 오셨어요? 1인분 메뉴는 여기 아래에 있어요 손님이 더 오세요? 있다가 올까요? 제일 잘하는 게 뭐예요? 네? 오리 주세요 주물럭 – 아 오리는 2인분이 제일 작은데, 혼자 드시기에는 – 주세요 술은? 아뇨 선불이예요 여자가 하는 가게라고 먹고 그냥 가는 손님들이 너무 많아요 외상하자는 사람도 있고, 아유 세상에 이상한 사람들 참 많아요 그죠? 고맙습니다 – 아줌마, 여기 주물럭 하나 – 네 – 아유 춥다 추워 – 아 오셨어요? 배고파 밥 좀 줘 오늘 점심이 일찍이네? 여기 백반 2개요 네 네 어디? 예 얘기해요 괜찮아요 어? 여기요 예

회사예요? 오늘 올 거예요? 왜, 안 돼? 아니 몸이 좀 이상한 거 같아서 저기요 저 괜찮으세요? 계산은 하셨는데 음식은 안 드시고 아이구~ 입맛이 있겠어요? 잘 생각하셨어요 어색하다 싶으면 안 하는게 맞아요 제가 여기서 3년 정도 장사 했는데 이제 딱 보면 대충 맞더라구요 세상에 좋은 남자 참 없어요 그죠? 들어가서 차 한잔 하고 가세요 그러고 운전하면 위험해요 아니, 왜요? 아 왜? 네 너 누구세요? 야, 교사로서 지금 회의가 온다 회의가 내가 니들한테 뭘 어떻게 했길래 어? 나를 갖다 남 뒷담화하는 그런 사람으로 지금 뭐야 넌 또? 니네 엄마 병원에 있대 뭐? 우리 엄마랑 싸웠대? 알고 있으라고 가봐야지 야, 나도 가야 되나? 오늘 니가 병원에 있을 거니? 네 다른 어른들은? 넌 학원은 어쩔거야? 갈 거야 너네 밥은 먹었어? 인상들 펴 누가 보면 세상 다 산 사람들인 줄 알겠다 '주리' 카드 있지? 어 밥 사 먹어 둘이 군것질 하지 말고 기왕이면 비싼 거 사 먹어 니 아빠 돈이니까 엄마 어디 가? 내가 갈 때가 어딨니? 싸우지들 마 너희들이 왜 싸워? 링거 다 맞았는데요 어 바로 해 학생 김미희씨 딸 맞지? 예 아 여기 아까 이모님이 결제 하시고 그냥 갔나 봐 이모요? 이모라던데? 일반 병실로 옮기면서 진료비는 먼저 결재 했거든 "지금 처리중이니 잠시만" "거래가 처리되지 않았습니다" 카드를 받으십시요 "예금 잔액 부족" "박서방" 야! 왜 거기서 나와? 거기서 지내는 거야? 아 아 한 며칠만 야 너 500원짜리 있냐? 커피 한 잔 뽑아주라 빨리 빨리 야 이제 날씨 안 춥다? 겨울 다 갔다 그지? 아빠 차는? 어? 차까지 팔았어? 야, 왜 전화했어? 이까지 찾아오고 엄마가 시켰어? 아니 왜? 너희 엄마 무슨 일 있어? 왜? 아 뭘 자꾸 돈 달라고 그러잖아, 이씨 아빠 돈 없어? 나 돈 없어 엄마도 돈 없어 오리집 있잖아 말이 되는 소리를 해 월세도 못 내고 있는데 아빠, 진짜 돈 없어? 야, 너도 엄마랑 점점 똑같아진다 어? 사실을 말해도 믿지 않는 것도 똑 같네 하하 돈 없으면 이제 그것도 못 하겠네 그냥 구경만 하는 거야 구경하다가 머 운 좋으면 한판하고 더 운 좋으면 한 판 더 하고 그러다가 대박나면 대박이지, 뭐 그냥 다시 직장 다니면 안 돼? 지금 엄마 사정도 안 좋아 좀만 기다려봐 조금만 야 그너저나 너, 이렇게 보니까 완전 어른이다 너 올 해 몇살이지? 너 20살 넘었지? 너 지금 신분증 가지고 있지? 카드 하나 만들고 가라 금방 되거든 나 17살이야 아직 카드도 못 만들고 현금서비스도 못 받아 아 그래? 아직 20살 안 됐구나 야 저기 저 지금 저 차 뭐라고 써 있지? 저게 안 보여? 아빠 눈 나빠져서 저거, 빨리 빨리 삼오찜질방 어, 왔다 아빠 가야되거든 너 갈거지? 전화할께 아빠 내 이름은 알아? 어? 내 이름은 뭔대? 아 아빠 이 택시 타야 되거든 갈께 우리 이제 보지말자 '윤아'야 미안해 마셔 엄마가 갖다 주라고 하셨어요 '윤아'라고 했지? 네 전에 전화로 알려준 게 너지? 네 '주리' 한테도 니가 알려줬니? 걔도 이미 알고 있었어요 '주리'는 어떻게 알았대? 몰라요 둘이 같이 있는걸 들켰겠죠, 뭐 너 엄마가 밉니? 그런 걸 왜 물어보세요? 엄마 병원에 데려다 주셔서 감사합니다 '윤아'야 흔들리면 안돼 지금이 너희들 인생에서 너무 중요한 시기야 아줌마 '주리' 걱정이나 하세요 고맙다 죄송해요 제가 엄마를 닮아서 말을 막 해요 아니야 너 땜에 그런 게 아니야 너 잘못한 거 하나도 없으니까 괜찮아 그냥 가 사실은요 5만원이 모자라요 제가 이번에 알바를 몇 번 빠져서 생각보다 돈이 얼마 안됐어요 다음주 쯤에 '주리' 한테 줄게요 제가 빚 지고는 못 살거든요 그러니까 잊지 말고 '주리' 한테 물어 보셔야 되요 5만원 받았냐고요 알겠어 꼭 물어볼게

What is machine learning in 2 minutes

오늘 나는 Machine Learning이 몇 분 안에 설명 할 것입니다 안녕하세요 여러분, 저는 Riccardo Osti입니다

매일 세계 최고의 브랜드를 돕습니다 소비자 경험에 투자함으로써 더 많은 수익을 올릴 수있다 내 채널을 구독하지 않으 셨다면 지금 당장하십시오 새 동영상을 게시 할 때마다 이메일을 받게됩니다 역사적으로 우리는 컴퓨터를 수행하기 위해 프로그래밍해야한다고 들었습니다

그러나 최근 몇 년 동안 과학자들은 패턴과 통계적 추세에 기반하여 컴퓨터가 행동 할 수있게 만든다 우리 인간이 프로그래밍 한 명령들 즉, 기계 학습 알고리즘은 과거 데이터 세트를 사용하여 예측 및 의사 결정을 내릴 필요가 없습니다 기계 학습은 가능하지 않은 응용 프로그램에 특히 유용합니다 모든 특정 작업을 수행하는 다른 알고리즘을 생성합니다

좋은 예가 컴퓨터 비전입니다 알고리즘을 사용하면 특정 물체 사진에 있거나 없는지 객체의 다양한 특성을 코딩하는 대신 기계 학습이 시작됩니다 그 안에있는 대상과 함께 방대한 양의 사진을 분석하고, 유사점을 확인하며 그 개체를 미래에 식별하는 데 도움이 될 것입니다 간단한 예를 들어 봅시다 : 맑은 날의 사진을 식별하고 싶습니다

그런 다음 알고리즘을 맑은 푸른 하늘과 사진이 담긴 데이터 세트에 제공합니다 비오는 날 알고리즘은이 두 개의 개별 데이터 세트 (예 : 색상, 밝기, 색조 등 이 학습 과정이 끝나면 기계가 사진을 표시할지 여부를 결정할 수 있습니다 화창한 날이든 아니든

일반적으로 기계 학습 결정의 품질은 제품의 크기와 품질과 관련이 있습니다 교육 데이터 세트 사실, 기계 학습 알고리즘은 통계에 크게 의존합니다 큰 역사적 데이터 세트에 대한 결정을 내립니다 기계 학습의 과제는 대개 훌륭한 교육 데이터 세트의 부족과 관련이 있습니다

알고리즘이 요구되는 매우 높은 수준의 정확도에 도달 할 수있는 능력 특정 애플리케이션의 경우 예를 들어, 2018 년에 Uber의자가 운전 차량이 보행자를 발견하지 못하고 사망했습니다 사고에서 복잡한 개념을 단순하게 설명하려고하는이 유형의 비디오가 마음에 듭니다 단어 몇 분만에

의견에 알려주세요! 곧 뵙겠습니다!

Machine Learning Explained (what business leaders need to know) | Ep. 2

(가벼운 음악) UpTech Report에 오신 것을 환영합니다 마지막 비디오에서는 간단한 질문 하나만 살펴 보았습니다

인공 지능 또는 AI 란 무엇입니까? 우리가 발견 한 한 항목은 볼 수있었습니다 모든 포괄 용어로서 실제로 많은 부분 집합 또는 패싯 자연 언어 처리, 컴퓨터 비전, 기계 학습 및 심화 학습 이 두 번째 주제 에피소드에서, 우리는 기계 학습이 무엇인지 자세히 살펴 본다 비즈니스에서 어떻게 적용 할 수 있습니까? 미래는 어떻게 생겼습니까? 이 질문에 답하기 위해, 우리는 AI 전문가 전체 패널을 인터뷰했습니다

비즈니스 리더 및 기업가 우리를 시작하려면, 우리는 기계 학습이 실제로 용어라는 것을 알았습니다 1959 년 과학자 아서 사무엘 (Arthur Samuel) 누가 IBM에서 근무했는지 그러나 그 이후로 많은 일이 일어났습니다 지금 전문가에게 가서 질문하십시오

기계 학습이란 무엇입니까? – 근본적인 정의에서 일종의 기계 학습 데이터로 무언가를 자동화하고 패턴을 학습합니다 그래서 본질적으로 데이터 세트로 시작합니다 그것은 본질적으로 학습입니다 해당 데이터의 소프트웨어 학습 패턴 그래서 당신이 미래에 새로운 데이터를 줄 때, 그것은 예측을 만들거나 그것이 어떻게 유사한지를 말해 줄 수 있습니다 과거에 본 내용으로 – 나는 기계 학습을 기술 할 것이다

컴퓨터에 뭔가를 보이기 때문에 너를 모방 할 수있게 해줘 새로운 상황으로 일반화하십시오 – 많은 양의 데이터를 읽을 수 있어야합니다 그 데이터의지도를 만든다 해당 데이터 간의 관계를 이해해야합니다

당신이 가진 것은 기계 학습이 전부입니다 – 그리고 나는 이것을 MIT에서 완전히 제거하고있다 그건 그렇고, 지금 당장 플러그를 뽑을거야 MIT에는 기계 학습을위한 공개 강좌가 있습니다 그러나 나는 그들이 이것을 지적하는 것을 좋아한다

그들은 전통적인 프로그래밍에서, 문제를 해결하는 전통적인 방법으로, 먼저 프로그램을 만든 다음 데이터를 가져옵니다 당신이 프로그램을 데이터와 함께 실행 시키면, 그러면 결과가 나옵니다 기계 학습은 데이터를 가지고 있습니다 프로그램 대신에 출력이 있습니다 그래서 나는이 일이 나오길 원한다는 것을 안다

그래서 저는 데이터와 결과물을 가지고 있습니다 그리고 기계 학습이 당신에게주는 것은 프로그램입니다 그것은이 정보를 바탕으로 말합니다, 데이터를이 출력으로 가져 오는 방법은 다음과 같습니다 이 프로그램입니다 그것은 실제로 기계 학습이 무엇인가입니다

모두 통계를 기반으로합니다 – 기계 학습은 인간처럼 행동합니다 인간에 관해서는 그들의 경험을 배웁니다 그들은 데이터를 배웁니다 인간은 확률 론적이다

그들은 모든 것을 올바르게 얻지 못한다 반드시 같은 결과를 반복하지는 않습니다 입력과 기계 학습이 같은 방식으로 주어진다 기술은 항상 진화하고 있습니다 그래서 우리는 전문가에게 물었습니다

기계 학습의 과제는 무엇입니까? – 지금까지 가장 큰 도전 기계 학습 적용 데이터를 준비하는 중입니다 데이터에 쓰레기가있는 경우 또는 그것이 매우 시끄 럽거나 문제가있는 경우, 특히 당신이 예상하지 못하는 것들 또는 너 자신을 볼 수 없다 그 알고리즘은 그 소음을 배울거야 아니면 오판을하기 시작할거야 그것은 잘못된 패턴을 배웠기 때문입니다

– 데이터를 올바르게 구성하는 것만으로 많은 비즈니스에서 큰 도전이됩니다 극복하고 이해하기 위해서입니다 그리고 모든 것을 함께 갖는 것 고객 데이터 플랫폼 인 전체 비즈니스가 있습니다 그들의 모든 일은 5 개 또는 6 개의 다른 데이터를 취하는 것입니다

상점에 저장하고 통합보기를 만들려고합니다 고객의 나는 이것이 조언 일 것이라고 생각한다 자영업자들에게 생각하기 시작하는 줄 데이터 캡처 방법, 데이터 시스템에서 해당 데이터를 어떻게 태그 지정하는지 궁극적으로 당신이 그것을 달성하기를 원하는 것입니다 – 충분한 데이터를 얻는 방법은 무엇입니까? 그리고 그것은 오늘날의 진정한 도전입니다 관련성이 충분한 데이터를 어떻게 찾을 수 있습니까? 시스템을 안정적으로 훈련시킬 수있는 그것이 무엇이든 나는 그것을 가르치려고 노력하고 있는가? 법률 회사의 조직적 지식 또는 차를 운전하는 방법

화성 탐사 방법 그런 종류의 것들 그리고 그것은 오늘날 우리가 어떻게 충분한 데이터를 얻는가하는 문제입니다 올바른 모양으로 가져 가라 그래서 기계는 그것에서 의미를 몰 수있다

– 알렉산더 – 데이터가 하나라는 것은 분명합니다 주요 쟁점들 중 그러나 정확성은 어떨까요? 소비자와 비즈니스 유스 케이스의 차이 – 기계 학습의 확률 론적, 당신이 셀 수없는 것을 의미합니다 매번 특정 답변에 당신이 얻는 정확도 레벨 기계 학습 알고리즘으로 80 % 또는 90 % 범위

– 사업에서 당신은 단지 80에 가야합니다 하지만 소비자의 경우 99에 가까워 져야합니다 그래서 사람들은 시리를 해칠거야 왜냐하면 그것은 저를 한번 이해하지 못했기 때문이죠 비즈니스와 마찬가지로, 조금 더 실용적입니다

시간의 100 %가 작동하지 않는 것처럼 될 수 있습니다 그러나 10 번 중 8 번은 아무것도 할 필요가 없었습니다 – 그럼 알았어 그것들은 앞에서 배우고있는 기계에서 일어나고 오는가? 우리는 전문가에게 물어 봅니다 – 나는 보통 생각하는 두 가지 범주가 있다고 생각한다

이것에 대해서 우리가 상호 작용하는 것의 종류가 있습니다 일상 생활에서 가끔은 많이 사람들이 기계 학습을하는 것을 깨닫지 못한다 백 엔드에서는 정말 흥미 롭습니다 그리고 나는 그것이 어렴풋이 드는 것 같아요

왜냐하면 우리는 그것에 대해 정말로 말하지 않기 때문입니다 그리고 정말로 새로운 종류의 및 앞으로 및 오는 신청 사람들이 지금 바로 작업하고 있습니다 나는 이미지 분류 같은 것을 생각한다 페이스 북에 존재하는 우리의 일상 생활 또는 존재하는 단어 인식 및 분류 Google 검색 또는 휴대 전화 기능 비행 특성을 배울 수 있어야한다 당신 목소리의 그것은 당신이 더 잘 말하는 것을 식별 할 수 있다는 것입니다

다른 사람에게 – 아주 인상적이야 특히 의료 분야에서, 진단에 도움이되는 방법 모든 단일 증상에 대해 완전한 인터넷에 액세스 할 수 있습니다 그 증상이 나타나고 증상에 맞 춥니 다

특정 환자의 -이 추상화 계층의 진정한 기회 디자인은 무엇입니까? 이러한 알고리즘을 구현하는 것은 어떻게 생겼습니까? 그리고 그것을 AI의 Squarespace로 만들 수 있습니까? 우리가 그렇게 쉽게 할 수 있을까요? 드래그 앤 드롭한다고 이제는 정말 멋진 프로토 타입이 있습니다 그것은 시간이 지남에 따라 배우고 똑똑해질 것입니다 -하지만 흥미로운 응용 프로그램이 많이 있다고 생각합니다 올라 오는 것은이 수업에 있습니다 감독되지 않은 학습 알고리즘, 이것은 알고리즘의 최첨단 클래스입니다

실제로 기계를 말하고있는 곳 그 자체로 배우기 당신은 실제로 배울 데이터의 예를 제공하지 않습니다 만나기 위해 이런 종류의 목표를 부여하고 있습니다 정확성의 관점에서 말하면 스스로 배우십시오 – 알렉산더 – 마지막으로, 우리는 비즈니스 리더가 실제로 자신의 비즈니스에서 기계 학습을 적용 할 수 있습니까? 혼자서해야합니까 아니면 누군가를 고용해야합니까? 신청하는 것은 매우 비싸고 어렵습니까? – 기본적인 회귀에서 벗어나는 것은 매우 어렵습니다

보다 공식적인 교육을받지 않고도 깊은 학습을 할 수 있습니다 더 많은 것들이 있기 때문에 더 많은 경험을 할 수 있습니다 그건 잘못 될 수 있습니다 그리고 만약 당신이 인식이나 능력이 없다면 일이 잘못되었는지 이해하는 또는 그들이 왜 잘못되었는지, 너는 이해할 수 없을거야 또는 당신이 얻은 결과를 해석하십시오

그래서 나는 스트레칭이 너무 많지 않다고 말할 것입니다 기본 기계 학습 기술로 이동 그러나 일단 당신은 깊은 학습 같이 무언가에 얻고 싶으면, 더 많은 이해가 필요합니다 – 너 자신에게 물어 봐야 할 질문이야 모든 비즈니스, 소프트웨어를보고있을 때 또는 핵심 역량에 추가 할 서비스, 그것은 우리가 그것을 구축 하는가? 우리는 누군가와 파트너가되거나 그것을 구매합니까? 그게 좀 이상하다고 생각해 회사가 찾고 있어야하는 곳 이러한 프레임 워크를 어떻게 사용합니까? 거기에 우리를 허용하는 서비스가 있습니까? 이러한 것들을 가능하게하기 위해서? 우린 항상 인터넷을 스캔하고있어

SIGGRAPH와 같은 회의에 참석하기 사람들이하고있는 것을보고 우리가 빌릴 수있는 것을 보았습니다 나는 획기적인 약간의 것을 만들려고하지 않는다 우리 회사의 새로운 연구 때문에, 솔직히 말해, 돈을 잘 사용하지 못한다 다른 많은 영리한 사람들이 제비 뽑기를 소비 할 때 사람들과 같은 많은 돈 구글과 IBM 및 다른 곳에서 일단 그들이 문제를 해결하면, 우리는 대단하다

이제 우리는 길을 찾을거야 그 아이디어들 중 일부를 통합한다 6 개월 동안 10 배의 투자 수익을 올릴 수 있습니다 – AI에 관해 당신에게해야 할 질문은 무엇입니까? 의견을 통해 알려주십시오 질문에 대한 답변을 찾을 수 있습니다

향후 비디오에서 다루겠습니다 구독을 잊지 말고 알림을 받으십시오 새 동영상이 게시 될 때 저는 Alexander이고 이것은 UpTech Report입니다 (낙관적 인 음악)

Machine Learning – Part 2 – Detecting the Human Face – Flame 2020

모두들, 화염 학습 채널 허가 Machine Learning Series의 파트 1에서

당신은 기계 학습에 대한 간단한 소개를 받았습니다 뿐만 아니라 Z 깊이 생성기를 보여 어떤 장면에서 깊이있는 정보를 추출 할 수 있습니까? 그리고 Z-depth 패스를 생성합니다 이것은 다양한 작업에 사용될 수 있습니다

이전 예제에서 Z-depth generator는 Effects Environment와 함께 사용되었습니다 이미지의 일부분을 분할하려면 그리고 룩 개발 작업을 수행하십시오

이 시리즈의 2 부에서는 우리는 배치에서 Machine Learning을 계속 살펴볼 것입니다 뿐만 아니라 다른 발전기 인간의 얼굴을 감지 할 수있는

그리고 법선지도를 추출하십시오 이것은 얼굴 특징을 분리하고 향상시키는 데 사용할 수 있습니다 3D 선택기를 사용하여 룩 개발을 수행하든 또는 Action 3D 컴포 지터의 3D 조명

따라오고 싶다면 아래 설명에있는 링크를 사용하여 zip 파일을 다운로드하십시오 또는 링크가 화면에 표시됩니다 다음으로 MediaHub에 미디어를로드하십시오 제공된 배치 설정을로드합니다 이제는 배치에 관해서

기계 학습은 몇 개의 노드에서 가능합니다 첫째, Machine Learning 모델은 Matchbox GLSL 쉐이더 기술을 기반으로합니다 예를 들면

Matchbox 노드를 Batch 노드 bin 밖으로 끌 수 있습니다 배치 다이어그램에서이 소스 노드에 연결하십시오 브라우저가 시작되면 목록의 가운데로 스크롤하십시오

여기에 두 개의 쉐이더가 있습니다 하나는 "MLDepthMap"이라고합니다 다른 하나는 "MLFaceMaps"입니다

우리는 곧 얼굴지도에 올거야 그러나 Depth Map 쉐이더를 선택하십시오 결과를 보려면 F4 키를 누릅니다

이것은 같은 종류의 글로벌 깊이 맵을 생성합니다 당신은 1 부에서 보았습니다 그러나 이제 Matchbox 노드의 형태가되었습니다

그리고 이것을 합성 플로우 그래프의 일부로 사용할 수 있습니다 "ML Depth Map 노드"에는 컨트롤이 없습니다 이제 Batch로 돌아가서 다른 Matchbox 노드를로드하십시오

또한 동일한 소스 클립과 연결하십시오 브라우저에서 이번엔 "MLFaceMaps"쉐이더 찾기 그리고 그것을 선택하십시오

이 노드의 결과보기를 보면 화염은 이미지를 분석합니다 그리고 기본적으로 맵 출력은 사람 얼굴의 법선 맵을 생성합니다

재 연결 효과에 사용할 수 있습니다 하지만 우리가하기 전에 풀다운 메뉴를 살펴 본다면 주목할만한 가치가 있습니다 이 기계 학습 생성기는 또한 인간의 얼굴의 자외선지도를 만들 수 있습니다

인간의 얼굴을 중심으로 한 깊이 맵 그리고 마지막으로 UV Depth 패스 그러므로 그것이 "MLFaceMaps"라고 불리는 이유입니다 이러한 모든 데이터 패스는 다양한 방법으로 사용됩니다 Flame의 3D 처리 도구를 사용합니다 예를 들어, 출력을 깊이에 두십시오 그리고 배치로 돌아갈 수 있습니다

이제 노드 bin에서 "Depth of Field node"를 찾습니다 이것을 밖으로 끌어 내십시오 그리고 소스 클립을 앞면과 연결하십시오

그리고 얼굴 Z 깊이는 두 번째 입력으로 전달됩니다 노드를 선택하고 결과보기로 F4를 누르십시오 그래프를 확대하면

당신은 어떻게 z 깊이 입력을 볼 수 있습니다 샷을 분석하고 분류했습니다 Z- 깊이 오프셋을 늘려 데이터를 카메라에 더 가깝게 이동하십시오 그리고 Z 깊이 범위를 줄이십시오

더 많은 세분화를 통해 데이터를 확장하려면 얼굴에 초점을 유지하려면 초점 평면과 초점 범위를 조정하십시오 쉬운 조정을 위해 이미지의 표시기를 볼 수 있습니다 당신이 흐려질 때

생성 된 "인간의 얼굴"깊이가 어떻게 통과하는지 볼 수 있습니다 얼굴에 초점을 맞추고 샷에 영향을 미치고 있습니다 "ML 깊이 맵"에서 글로벌 분석을 사용한 경우

결과는 매우 다를 것입니다 그러나 어느 쪽이든 기계 학습 모델은 이러한 결과를 얻는데 없어서는 안될 부분입니다 이제 마술처럼 보일지도 그러나 이해하는 것이 중요합니다

Flame이 이러한 깊이 맵과 법선 맵을 만드는 방법 그래서 나는 단지 작은 시간을 가져 가고 싶다 이 새로운 신기술에 대해 이야기하기

첫째,이 결과는 정의 된 명령 목록을 기반으로하지 않습니다 이미지에서 특정 색상을 제거하는 것 또는 보이는 픽셀을 추적합니다 대신, 기계 학습은 이미지에 대해 "생각"해야합니다 그런 다음 깊이 맵 또는 법선 맵을 생성하십시오 그렇다면 기계 학습은 어떻게 생각합니까? 글쎄, 2020 년 화염 개발 중

알고리즘 집합 우리는 이것을 "기계 학습 모델"이라고 부릅니다 "데이터 세트"라고 불리는 많은 이미지가 공급되었습니다 그것이 무엇을보고 있는지 이해하기 위해서 결과를 산출합니다

이제 모델을 제공하는 것은 불가능합니다 가능한 모든 시나리오가 발생할 수 있습니다 그러나 더 많은 데이터 집합이 집중됩니다

더 정확한 결과의 더 좋은 가능성 얼굴 법선 매핑을 볼 때 이것을 볼 수 있습니다 매번 성공적인 세대를 보장하는 것은 불가능합니다

하지만 결국, 당신은 기계 학습의 강점과 약점을 배우게됩니다 그리고 그것이 가장 잘 작동하는 내용 일부 지침에 관해서는 우리는 현재 피하는 것이 좋습니다

흐린 하늘, 무거운 성운, 극심한 피사계 심도 익스트림 모션 블러 미친 카메라 앵글 그리고 야간 촬영은 피사계 심도가 진정으로 결정될 수 없습니다

이제 예제로 돌아가 보겠습니다 Machine Learning을 사용하여 사람의 얼굴을 감지합니다 이번에는 Normals Maps in Action을 생성하게 될 것입니다

선택기 또는 3D 조명으로 즉시 사용할 수 있습니다 작업 노드를 드래그하여 그리고 다음 소스 클립을 배경으로 연결하십시오 그리고 미디어 입력

2-up view는 ALT + 2를 누르십시오 그리고 메인 뷰포트를 결과보기로 설정하십시오 다른 바로 가기는 8 키보드 바로 가기가있는 관리자입니다 법선 맵을 생성하려면 두 가지 방법이 있습니다 선택의 유무에 관계없이 예를 들어, 3D 조명을 사용하는 경우

그리고 당신은 선택적인 것이 필요하지 않습니다 Manager의 표면 위에 문맥 메뉴를 불러오는 중 그리고 법선 맵을 추가하십시오 MEDIA INPUT과 FACE ANALYSIS 중에서 수동으로 선택하는 것이 좋습니다

당신은 다음 비디오에서 그것을 보게 될 것입니다 그러나 선택과 함께 생성 된 노멀 맵을 사용하려는 경우 더 쉬운 방법은 Selective first를 추가하는 것입니다

같은 문맥 메뉴를 사용합니다 다음으로 3D AOV 메뉴로 전환하십시오 유형을 NORMALS로 변경하십시오 MAP 작성을 누르십시오 Manager에서 자료를 확장하는 경우

표면에 할당 된 법선 맵을 볼 수 있습니다 Normal Map 컨트롤로 이동하면 이미 "얼굴 분석"을 수행하도록 설정되어 있습니다 두 가지 방법 중 하나를 사용하여 같은 지점으로 이동할 수 있습니다

그러나 하나는 다른 것보다 자동화되어 있습니다 개체 뷰어에 대해 F8 키를 눌러 법선을 표시합니다 그래서 법선을 생성하고 있습니다

외부 입력을 사용하는 대신 이제 분석 메뉴로 전환 할 수 있습니다 그리고 법선을 디스크에 캐시하십시오 스크럽에 캐시하지 않으려는 경우 성능은 일반적으로 빠를 것입니다

모션 벡터 데이터 캐싱보다 이제 나는 이미 언급했다 3D 선택기 중 하나를 사용하여 법선 맵을 사용할 수 있습니다 또는 VFX 및 Look Development 용 3D 조명

각 워크 플로의 개별 예제를 살펴 보겠습니다 따라서 이미 적용한 Selective로 시작 선택 사항을 선택하고 결과보기로 F4 키를 누르십시오

이 시점에서 약간의 채점을하면 전체 이미지에 영향을줍니다 선택 컨트롤에서

선택적 키어나 마스크를 만들 수 있습니다 그러나 3D AOV 메뉴를 클릭하면 3D 데이터를 사용하여 이미지의 일부분을 분리 할 수 ​​있습니다 유형을 NORMALS로 설정하면 ACTIVE를 클릭하십시오 노멀 맵은 이제 3D 선택을 제한합니다 이를 확인하려면 Manager에서 여전히 선택이 선택되어 있는지 확인하십시오 선택적 개체 뷰어에 대해 F8 키를 누릅니다 이 표현은 선택 영역에 의해 제한되는 영역을 보여줍니다

흰색은 전체 효과에 적용되고 검정색은 효과가 없습니다 위젯 조정을 시작할 때 당신은 당신의 조명이 위에서 오는 것인지 선택할 수 있습니다

얼굴의 왼쪽, 오른쪽 따라서 조명이 어디서 발생하는지 정확히 판단 할 수 있습니다 영향을받는 영역을 제한하기 위해 임계 값을 줄일 수도 있습니다

이득을 조정할뿐만 아니라 제한된 지역을 부양하기 위해 결과 뷰어에 대해 F4 키를 누르면 3D 선택 도구가 얼굴과 상호 작용하는 모습을 볼 수 있습니다

마치 빛이 실제로 촬영에서 빛나는 것처럼 위젯을 조정할 수도 있습니다 결과보기에서 결과 업데이트를 확인하십시오 이제는 너무 가혹한 것 같습니다 따라서 Selective Render 옵션을 사용하면 수축, 팽창 뿐만 아니라 선택의 출력을 흐리게합니다

이것은 재 점착에보다 자연스러운 모습을 줄 수 있습니다 마지막으로 선택 영역의 여러 구성 요소를 결합 할 수 있습니다 그래서 당신이 Gmask를 사용하여 선택을 제한하고 싶다면 그것은 아주 솔직합니다 Manager의 선택 메뉴에서 컨텍스트 메뉴 불러 오기 무료 Gmask를 추가하십시오

이제 마스크를 얼굴 주위에 그립니다 문맥 메뉴를 사용하여 그라데이션 점을 추가하십시오 마스크를 안쪽으로 부드럽게합니다

결과는 지금 매우 유용하게 보입니다 그리고 Manager에서 Selective를 선택하면 F8을 사용하여 Selective Object 뷰어로 전환 마스크가 어떻게 3D 선택의 출력을 제한하는지 볼 수 있습니다

이제 분명히이 마스크는 얼굴을 추적해야합니다 그래서 관리자의 선택과 Gmask를 확장하십시오 Gmask가 선택된 상태에서 축 추적 메뉴로 전환 모드를 평면으로 변경하십시오 선택된 Gmask 객체 뷰어에 대해 F8 키를 누릅니다

'자동 업데이트 참조'설정 그리고 트랙을 분석하십시오 그걸로 Manager에서 Selective를 선택할 수 있습니다

선택적 개체 뷰어에 대해 F8 키를 누릅니다 시간대를 닦으십시오 마스크가 추적되고 3D 선택과 결합 된 것을 볼 수 있습니다 결과 뷰어로 F4를 누르면 모양새가 어떻게 고정되고 얼굴에만 제한되는지 확인할 수 있습니다 언제든지 3D 선택 메뉴로 되돌아 갈 수 있습니다 결과에 대한 즉석 업데이트를위한 설정을 변경하십시오

이 시점에서 배치 설정을 반복하여 저장하십시오 그리고 다음 비디오에서이 작업을 계속할 것입니다 그래서 그것은 인간의 얼굴 탐지의 한 예입니다

플랫 이미지에 선택적 3D를 사용 하여 이제 기계 학습은 데이터 만 계산할 수 있습니다 그것이 무엇을 가르쳤는지에 따라 그래서 다음 비디오에서 닫기 업 이외의 샷으로 얼굴을 추출하는 방법을 배우게됩니다 또한 액션 컴포지트에서 3D 조명을 사용하는 방법을 배우게됩니다 생성 된 법선 맵을 사용하여 얼굴을 다시 배치합니다

제 3 부로 이동하십시오 다른 기능, 워크 플로우를 확인하는 것을 잊지 마세요 Flame 2020의 향상된 기능

의견, 피드백 및 제안은 언제나 환영하며 감사하겠습니다 향후 비디오를 위해 Flame Learning Channel에 가입하십시오 보고 주셔서 감사합니다

[MV] Eddy Kim(에디킴), Subin(수빈) _ Dream (I am a movie director too(나도 영화감독이다_청춘무비) OST Part.1 )

if I wanna be a hero would you believe in my dream if I decide not to chase would you walk with me to dream maybe I don’t know the world but I know where I should belong it's time to say good bye to all the worries I had oh I can do anything if I can sing with all my heart oh I just want nothing at all as long as you are by my side oh I just want nothing if I can sing with all my heart oh I just want nothing at all as long as you are by my side and I will sing with all your heart maybe I don’t know the world but I know where I should belong it's time to say good bye to all the worries I had oh I can do anything if I can sing with all my heart oh I just want nothing at all as long as you are by my side oh I just want nothing if I can sing with all my heart oh I just want nothing at all as long as you are by my side and I will sing with all your heart and I will sing with all your heart

Specialization Agenda – How Google does Machine Learning from Google Cloud #2

우리는이 과정으로 전문화를 시작합니다 Google이 ML을 어떻게 운영하는지, 내가 기계 학습과 우리가 먼저 AI라고 말할 때 Google이 의미하는 바

내 동료 조쉬 (Josh)가 Machine Learning 전략에 관해 이야기합니다 기계 학습을 수행하는 방법에 대한 두 가지 링크에 대한 설명으로 끝납니다 파이썬 노트북과 서버를 덜 사용하는 데이터 처리 컴포넌트를 사용합니다 자, 당신이 엔지니어이거나 과학자라면, 당신은 아마 이것이 모두 너무 높은 수준이라고 생각하고 있습니다 그리고 당신은 뛰어 넘을 준비가되어 있습니다

다음 코스는 TensorFlow의 기술적 세부 사항을 탐구하기 시작합니다 하지만 그 결정을 내리기 전에 당신에게 뭔가를 말하게하십시오 우리가 고객들에게이 과정들을 가르쳤을 때, 그 중 하나는 종종 모델이 조쉬는 가장 자주 방문한 사람이었습니다 6 개월 후에 다시 일하러 나갔다 그들이 가장 많이 보았던 모델은 Machine Learning의 전략에있었습니다

기술 세부 사항을 탐구하기 전에 큰 그림을 얻으려고합니다 큰 그림은 당신에게 매우 중요합니다 나머지 조직으로부터 들어갈 수 있어야합니다 이를 수행하기 위해 TensorFlow를 사용하여 기계 학습을 수행합니다 그것은 두 가지 측면을 포함합니다

하나는 좋은 기계 학습 데이터 세트를 만들고 두 개는, TensorFlow로 첫 번째 기계 학습 모델을 구축하십시오 기계 학습 데이터 세트를 만드는 것은 너가 묵살하고 싶지 않는 그 실제적인 모형 기계 학습 모델을 만들고 잘 작동하면 당신의 실험에서 그러나 생산에서 비참하게 실패합니다 그 이유는 종종 Machine Learning 데이터 세트를 작성한 방법으로 돌아옵니다 그러니 시간을내어 레슨을 흡수하십시오

그러면 우리는 기계 학습의 정확성을 향상시키는 두 가지 코스가 있습니다 처음으로 기계 학습 모델을 만들면서, 당신은 그 모델을 개선하기 위해 당신이 할 수있는 많은 것들이 있다는 것을 배울 것입니다 이 섹션을 도구 상자에 일련의 아이디어로 채우는 것으로 생각하십시오 상황에 따라 다른 아이디어를 사용하게됩니다 그래서 당신은 그것들이 도움이 될 것이라는 것을 알게 될 것입니다

당신이 다른 기계 학습 문제를 해결할 때 당신의 경력 이전과 마찬가지로 이름을 짓는 것만으로는 충분하지 않습니다 이러한 개념을 확인하십시오 당신은 그 (것)들을 이해하는 시간을 줄 필요가있다 코드로 구현하는 법도 알고 있어야합니다

그런 다음 일련의 과정으로 이동합니다 그것들은 기계 학습 모델을 조작하는 것에 관한 것입니다 앞서 언급했듯이, 기계 학습 모델 조작, 그리고 그 말은 내 말은, 예측을 제공하는 분산 방식으로 대규모로 교육하고, 엔드 투 엔드 (end-to-end) 모델 학습 모델 작성 컴퓨터 학습의 운영 모델은 매우 어려울 수 있습니다 대부분의 엔터프라이즈 Machine Learning 프로젝트가 실패하는 단계입니다 얼마나 많은 회사와 통화했는지 말할 수는 없지만, 누가 혁신 팀이 멋진 ML 프로젝트를 고안했다고 말했는지, 그러나 그들은 ML 모델을 프로덕션으로 만드는 데 어려움을 겪고있었습니다

이 일련의 과정에서, 우리는 훈련하는 방법에 대해 이야기 할 것이고, ML 모델로 제작 준비, 배포 및 예측을 할 수 있습니다 마지막으로 기계 학습 이론을 다시 살펴 봅니다 그러나 큰 공기 따옴표에있는 이론 기계 학습 이론은 주로 발견 적 방법입니다 기계 학습은 강렬한 휴리스틱 학문입니다

당신은 도구와 트릭의 가방만큼이나 좋습니다 그래서 우리는 많은 도구와 트릭을 소개합니다 기계 학습 모델의 입력이 이미지 일 때 작동합니다 처리에 도움이되는 도구와 트릭이 시퀀스를 출력합니다 Machine Learning의 시퀀스는 시계열 데이터 또는 텍스트 데이터 일 수 있습니다

마지막으로 강력한 추천 시스템을 구축하는 몇 가지 방법을 살펴 보겠습니다 추천 시스템 또는 맞춤 알고리즘을 작성하는 방법 그래서 대부분의 ML 엔지니어가 자신의 커리어에서 어느 시점에 구축 한 것입니다 실제로, 그것은 많은 사람들이 만들 유일한 ML 시스템 일 것입니다 그러나 강력한 추천 엔진을 구축하려면 도구와 도구를 이해해야한다는 것이 밝혀졌습니다

이미지와 시퀀스에서 빌려 온 트릭 그래서 우리는이 순서로 그들을 바라 보는 것입니다 그래서 그것이 우리가 보는 이유입니다 전문화가 끝나면 추천 엔진에서 자, 전에이 자료 중 일부를 접했을 수도 있습니다 특히 처음 네 과목에서

예를 들어, 기계 학습 데이터 세트 및 TensorFlow 기본 사항, 슬라이드 중 일부는 TensorFlow를 사용한 기계 학습 (Machine Learning) 그것은 Coursera에서 이용 가능합니다 마찬가지로 Google의 기계 학습 충돌 코스가 발생한 경우, 이것은 내부 Google 과정이지만 그것은 또한 몇몇 대학 캠퍼스에서 가르쳐졌으며, 당신은 그 물질과 특징의 일부를 찾을 수 있습니다 ML의 표현과 예술 그리고 과학은 익숙하다 그럼에도 불구하고, 세부 사항은 상당히 다릅니다 그러니 완전히 건너 뛰지 마십시오

이 과정을 유용한 재교육으로 간주하고 그 섹션들에서 제시된 아이디어들을 아직도 기억하고 있는지 확인하십시오