AI Institute "Geometry of Deep Learning" 2019 [Workshop] Day 2 | Session 2

[음악] >> 다음은 CMU의 Nina입니다 데이터 중심 알고리즘 설계에 대해 이야기합니다 여기 있습니다, 니나 >> 멋지다

그래서 나는 사용에 대해 이야기 할 것입니다 데이터 중심 또는 자동 알고리즘 설계를위한 기계 학습 특히 최근에 이에 대한 확실한 보증에 대해 데이터 중심 알고리즘 설계의 매우 흥미로운 영역이라고 생각합니다 대화에서 나는 집중적 인 문제에 초점을 맞출 것이다 분리 된 구조에서도 마찬가지입니다 이산 구조에 대한 조합 알고리즘 제가 생각하는 방식은 기계 학습 및 학습 이론 사용 컴퓨팅 및 알고리즘 설계 이론에 영향을 미치기 위해 희망적으로, 해당 응용 분야

매우 높은 수준의 동기 부여로 시작하겠습니다 이 작업 라인을 위해 알고리즘을 설계하고 분석하는 고전적인 방법 조합 문제에 대한 부과 우리가 설계 한 알고리즘 주어진 문제는 해결하는 데 사용됩니다 문제의 더 나쁜 사례 알고리즘에 전혀 정보가 전혀 없습니다 이 기본 프레임 워크에서 우리가 추구하는 성능 보장 우리 알고리즘은 알고리즘이 해결에도 성공 최악의 경우 근본적인 알고리즘 문제 이 고전적인 틀 안에서 우리는 쉬운 몇 가지 문제가 있다는 것을 알고 있습니다 예를 들어 우리가 걱정한다면 러닝 타임은 우리의 주요 성과 측정입니다

우리는 우리가 가르치는 문제가 있다는 것을 알고 있습니다 우리가 가지고있는 기본 학부 알고리즘 과정 출력이 보장되는 최적 다항식 시간 알고리즘 최적의 솔루션 최악의 경우에도 다항식 시간 그래서 쉬운 몇 가지 문제가 있습니다 클래식 프레임 워크 내에서 그러나 클래식 프레임 워크 내 대부분의 문제는 우리는 그러한 강력한 성능을 보장하지 않습니다 따라서 어려운 문제의 예는 다음과 같습니다 클러스터링 문제, 파티셔닝 문제, 실제로 부분 집합 선택 문제 대부분의 조합 문제는 고전적인 틀 안에서 어렵다 한 가지 흥미로운 접근법 실제로 이러한 어려운 문제에 일반적으로 사용되는 특히 우리가 해결해야 할 경우 근본적인 알고리즘 문제의 한 인스턴스 만이 아니라 그러나 우리가 반복적으로 해결해야하는 경우 기본 알고리즘 문제의 인스턴스

한 가지 흥미로운 접근법이 이 어려운 문제를 해결하는 연습은 사용하는 것입니다 머신 러닝 및 인스턴스 배우기 위해 주어진 영역 우리의 인스턴스 유형에서만 잘 작동하는 알고리즘 물론 이것은 매우 자연스러운 아이디어입니다 실제로는 주어진 유형의 조합 문제에 대해 다른 설정에서 다른 방법이 더 좋습니다 종종 우리가 선택할 수있는 많은 방법이 있습니다 그래서 사용하려고 매우 자연 스럽습니다 머신 러닝 및 인스턴스 우리의 특정 영역에서 배우는 문제 우리의 인스턴스 유형에서만 잘 작동하는 알고리즘

실제로이 접근 방식은 AI 커뮤니티를 포함한 많은 응용 커뮤니티, 에릭 호 비츠가 실제로 이것에 대해 초기 작업을 한 것처럼 또한 전산 생물학 공동체에서 AI 기반 메커니즘 설계 커뮤니티 머신 러닝을 사용한다는 아이디어는 알고리즘을 배우는 데 널리 사용되었습니다 다양한 응용 커뮤니티에서 실제로 몇 가지 획기적인 이러한 영역은이 접근 방식에서 비롯되었습니다 하지만 놀랍게도 기본적으로 아주 최근까지 우리는이 접근법에 대해 공식적으로 거의 알지 못했습니다 오늘 대화에서 최근에 진행 한 작업을 조사하려고합니다 우리는 내 학생들과 공동 작업자와 함께 공식적인 보증을 제공하기 위해 이 데이터 중심 알고리즘 선택

>> 공식 또는 집단 또는 둘 다에 대한 공식 보증? >> 그래서 논의하겠습니다 당연하지, 우리는 분포 학습 형식화를 사용하거나 온라인 학습 공식화와 실제 의미 보증은 특정 공식화에 따라 달라집니다 몇 가지 사례 연구에 대해 언급하겠습니다 또한 힌트를 드리겠습니다 에 의해 발생하는 더 일반적인 원칙의 최악의 종류 이 문제들에 대해 생각하고 더 넓게 특정한 경우를 넘어서 적용 가능합니다 또한 많은 사람들이 여기 청중에는 AI와 기계 학습이 있습니다

나는 분명히 지적하고 싶습니다 이것은 매우 뜨거운 주제와 관련이 있습니다 요즘처럼 응용 기계 학습에서 하이퍼 파라미터 튜닝, 자동 ML, 메타 학습 물론이 주제는 그러한 주제 등과 관련이 있습니다 그러나 우리의 설정에 대해 생각하십시오 조합 설정에 있고 또한 우리는 많은 것에 반대되는 입증 가능한 보증 이러한 주제와 더 많은 내용은 보증없이 ML을 적용합니다

이것은 개괄적 인 개요입니다 이 구조로 제 이야기는 다음과 같습니다 : 우리가 어떻게 생각할 수 있는지 설명하겠습니다 데이터 중심 알고리즘 설계 또는 선택 분포 또는 통계 학습 문제로 몇 가지 사례 연구를 언급하고 이 맥락에서 발생하는 일반적인 샘플 복잡성 이론 얘기 할 시간이 없다고 생각합니다 온라인 학습 공식이지만 기쁘다 해당 공식의 세부 사항에 대해 오프라인으로 이야기하십시오 데이터 중심 알고리즘 설계부터 시작하겠습니다 분포 학습 문제로

그러나 구체적으로하기 전에 예를 들어 보겠습니다 데이터 중심의 접근 방식으로 해결할 수있는 문제 이것은 우리 모두에게 매우 친숙한 문제입니다 뉴스 기사와 같은 일련의 개체가 제공되는 클러스터링 웹 페이지 검색 결과 어떻게 든 그것들을 우리가 할 수있는 것처럼 자연적인 그룹으로 묶습니다 내가 지적하고 싶은 것은 문제의 완벽한 예 우리는 반복적으로 해결해야합니다 주어진 클러스터링 문제의 인스턴스 예를 들어 인터넷 검색을하고 있고 뉴스 기사를 클러스터링하기 위해 클러스터링을 사용한 다음, 물론 매일 뉴스 기사를 모아서 실제로 하루에 여러 번

이것은 완벽한 예입니다 반복적으로 해결해야 할 문제 데이터 중심의 접근 방식으로 넘어갈 수 있습니다 공식적으로 어떤 유형의 클러스터링 기술을 사용하고 있습니까? 목표 기반 클러스터링 기준을 사용할 수 있습니다 K- 평균 목적과 같은 특정 목적 함수를 선택 K- 중앙 목표 또는 중심 목표 주어진 입력 데이터 세트에서 최적화하십시오 그래서 이것은 당신이 사용할 수있는 하나의 공식입니다 물론 우리 모두는 예를 들어 모든 구체적인 목표는 K- 평균 최적화, K- 중앙 최적화, NP-hard도 마찬가지입니다

따라서 데이터 중심 접근 방식을 사용하는 것이 좋습니다 데이터 유형에 적합한 알고리즘을 배우고 보편적으로 효율적인 알고리즘이 없기 때문에 최악의 인스턴스에서 작동합니다 객관적인 클러스터링은 데이터 중심 접근 방식의 적절한 적용 하지만 생각해 보면 더 많은 머신 러닝 공식 숨겨진 진실이 있다고 가정 우리는 그것에 가까워 지려고 노력하고 있습니다 비지도 학습 또는지면 진실 버전의 일치 클러스터링 문제도 이 데이터 중심 접근 방식에 적합합니다 이 두 가지 제형 중 하나 데이터 중심 알고리즘 설계로 캐스팅 할 수 있습니다 이제이 예에서는 이제 우리는 어떻게 생각할 수 있는지 설명 할 수 있습니다 분포 학습 문제로서의 알고리즘 선택에 대해 물론 이것은 매우 친숙 할 것입니다 머신 러닝 사람들에게 청중에서 사람들을 배우는 기계

매우 자연 스럽습니다 우리가하는 일은 우리는 해결하고자하는 알고리즘 문제를 해결합니다 시설 위치 또는 클러스터링 또는 좋아하는 조합 문제 그런 다음 큰 가족을 고칩니다 우리의 문제에 대한 알고리즘 과이 될 수 있습니다 가족의 경우에 매개 변수화 됨 다양한 모듈이있을 수 있기 때문에 알고리즘 가족의 알고리즘은 조정해야 할 노브가있는 다양한 모듈

이 알고리즘 계열을 선택합니다 우리는 그것이 잘 작동한다는 것을 알고 있기 때문에 연습하거나 아마도 당신이 가지고 있기 때문에 믿을만한 분석 이유 데이터 유형에 좋을 수도 있습니다 그리고 우리가하는 일은 도메인에서 발생하는 문제의 전형적인 예는 기술적으로 우리는 전형적인 사례의 샘플을 의 일반적인 인스턴스에 대한 IID 샘플입니다 일부 기본 분포 우리의 사례와 이 전형적인 인스턴스 샘플을 사용하여 우리가 희망하거나 새로운 알고리즘 새로운 인스턴스에 대해 잘 알고 있음 동일한 기본 소스에서옵니다 그건 그렇고, 나는이 그림 목록을 사용하고 있습니다 그러나 희망적으로, 그것은 매우 분명합니다

예를 들어 내가 말하고 있다면 시설 위치 이러한 전형적인 사례는 무엇입니까? 첫 번째 샘플은 입력 그래프입니다 두 번째 샘플은 두 번째 입력 그래프입니다 또는 클러스터링을 수행하는 경우 클러스터링 알고리즘을 배우려고하면 클러스터 문서를 말하면 우리의 전형적인 사례는 무엇입니까? 첫 번째 인스턴스는 첫 번째 문서 집합이 될 수 있습니다 두 번째 인스턴스는 두 번째 문서 세트입니다 게다가 라벨이 없을 수도 있습니다

우리가하려고한다면 K- 평균과 같은 객관적인 클러스터링 클러스터링 또는 그들은 당신이 진실을 일치 시키려고한다면 예를 들어 문서를 IID로 클러스터링하고 문서를 클러스터링합니다 훈련 실례를 바탕으로 실제 수업 환경을 설정해야합니다 기본적으로 전형적인 사례, 우리가하고 싶은 일, 우리는 잘 작동하는 알고리즘을 생각해 내고 싶습니다 우리가 잘 수행한다는 것을 증명할 수 있다는 오는 새로운 무작위 인스턴스 동일한 기본 분포에서 훈련 세트로 전형적인 인스턴스의 물론 이제 우리는 통계 학습 이론 이 프레임 워크의 샘플 복잡성 질문 얼마나 큰지를 분석하는 의미 일반적인 인스턴스 집합은 보장하기위한 것입니다

그러나 우리가 잘하는 알고리즘을 넣으면 일반적인 인스턴스의 훈련 세트를 통해 이 알고리즘은 새로운 인스턴스에서도 잘 작동합니다 같은 출처에서 나온 것입니다 그러나 당신은 훈련 세트를 본 적이 없습니다 물론, 우리는 또한 통계 학습 이론에서 이러한 샘플 복잡성 결과를 분석하기 위해 예를 들어 균일 한 수렴과 복잡한 결과 당신이 이해할 수 있어야하는 것은 본질적인 차원 또는 본질적인 복잡성 의 가족에 의해 유도 된 기능 클래스의 알고리즘과 성능 측정 우리가해야 할 일은 절대 치수를 분석하거나 이 유도 된 기능 클래스의 복잡성 물론, 그것은 핵심 수량입니다 일반적인 균일 한 수렴 범위입니다 이 새로운 도메인에서 흥미로운 점은 학습 이론의 관점에서 흥미 롭습니다

이 설정에 나타나는 기능은 일단 알고리즘 학습을 시작하면 우리의 가설 공간은 알고리즘의 공간입니다 이제 우리는 매우 흥미로운 구조를 얻습니다 특히 알고리즘을 배우고 있기 때문에 조합 문제의 경우 본질적으로 해당 알고리즘에는 조합 모듈이 있습니다 매개 변수를 약간 변경하면 매우 다른 결과물을 얻을 수 있습니다 따라서 해당 비용 함수는 급격한 불연속성을 갖습니다

그래서 개념을 분석하려고 시도하는 것이 흥미 롭습니다 이 시나리오의 차원 그래서 그것이 외부에 있습니다 이러한 문제는 모든 고전적인 통계 학습 이론 이 양식의 몇 가지 예를 볼 수 있습니다 다음은 특정 유형의 기능입니다

우리가 살펴본 다양한 응용 프로그램에 나타납니다 시원한 실제로이 생각은 알고리즘 설계 또는 배급 학습 문제는 실제로 팀 러프 가든 (Tim Roughgarden)과 그의 전 학생이 작성한 논문에서 ITCS와 SICOMP에 논문이 실린 Rishi Gupta 거기서 그는보기 알고리즘 선택에서 모델을 제안했습니다 배급 학습 문제로 재분석 된 매개 변수화 된 가족 부분 집합 선택 문제에 대한 탐욕스러운 알고리즘 배낭 문제처럼 그 작업을 참조하십시오 실제로, 나는 종이가 매혹적인 것을 발견했다

아무도 그런 종이를 쓰지 않아서 놀랐어요 아주 자연 스럽기 때문에 그리고 그것은 또한 매우 강력하다고 생각합니다 저의 학생들과 공동 작업자들은 그래서 우리는 그것을 추적하고 분석했습니다 다양한 조합 문제에 대한 새로운 알고리즘 클래스 나는 단지 그들 중 일부를 빠르게 언급 할 것이고 그들 중 몇 가지에 대해 자세히 알아보십시오 예를 들어, 주제에 관한 첫 번째 논문에서 클러스터링 문제와 관련하여 매개 변수화 된 연결 절차를 살펴 보았습니다

클러스터링 다음에 일부는 고정 된 유형의 후 처리에 대해 말합니다 또한 [들리지 않음]의 클러스터링을 위해 우리는 무한 가족을 보았다 로이드의 방법 특히 Lloyd의 방법 중 일부를 매개 변수화했습니다 로이드의 방법을 초기화하는 법을 배웁니다 더 최근에는 일부 동료들과 CMU의 컴퓨터 생물학에서 매개 변수화 된 동적 프로그래밍 절차를 살펴 보았습니다 정렬 문제 해결 서열 정렬과 같은 전산 생물학

이것들은 우리가 살펴본 몇 가지 유형의 계산 문제입니다 우리는 또한 원본 논문을 보았습니다 매우 다른 유형의 알고리즘 예를 들어, 해결하려는 경우 다음과 같이 쓸 수있는 파티션 문제 Max-Cut과 같은 정수 이차 프로그램 우리는 가족을 보았다 알고리즘 또는 반정의 프로그래밍 감소 반올림 된 반올림으로 다시 모든 유형의 인스턴스가 얼마나 둥근 지 알아 봅니다

그런 다음 지금까지 설명한 모든 예에서 실제로 의도적으로 우리의 질문으로 돌아가서 우리가 보는 알고리즘 다항식 시간과 시간 설계 배우려고 노력하는 알고리즘입니다 Max-Cut의 가치가 좋은 것처럼 좋은 솔루션 품질 또는 문서를 클러스터링하거나 시퀀스를 잘 정렬 할 수 있습니다 하지만 우리는 또한 예를 들어, 우리는 혼합 정수 프로그램을 통해 해결하는 것을 보았습니다 유형의 분기 및 바운드 인공 지능과 OR을 사용하는 동안 기술 이 어셈블리의 알고리즘은 문제를 해결하기 위해 최적이지만 그들은 걸릴 수 있습니다 그의 오랜 시간을 최적화하려고 노력하고 있습니다 따라서 알고리즘의 솔루션 품질은 실행 시간입니다

우리는 또한 매우 관련된 기술도 보았다 의 맥락에서 나타나는 다중 구매자, 다중 항목 시나리오를위한 자동화 된 메커니즘 설계 다시, 우리는 여기서 어셈블리를 보았습니다 매개 변수화 된 VCG 경매와 같은 메커니즘 긍정적 인 가격 등 여기서는 수익을 최적화하고 있습니다 따라서 수익, 그의 절차 범위의 솔루션 품질

이 모든 것을 살펴본 결과, 몇 가지 일반적인 패턴이 등장 그에 대해 조금 말씀 드리겠습니다 하지만 그렇게하기 전에 구체적이고 생각할 구체적인 예를 명심하십시오 그리고 당신에게 가족의 간단한 예를 제공하기 위해 클러스터링 문제에 대한 매개 변수화 된 알고리즘 따라서 데이터 중심 접근 방식을 사용하려면 클러스터링 문제의 경우 가장 먼저하고 싶은 일은 당연히 내려 놓는 것입니다 알고리즘 계열 여기, 간단한 가족입니다 우리가 살펴본 알고리즘은 연습을 사용하는 동안 또한 좋은 기사 속성이 있기 때문에 데이터는 안정적인 유형의 인스턴스와 같이 매우 좋습니다 [들리지 않음]에서 알려짐 이러한 경우를 넘어서서 계산한다면, [들리지 않음]

따라서 수식의 균형은 다음과 같이 매우 간단합니다 두 단계가 있습니다 각 요소에는 두 단계가 있습니다 먼저 상향식 연결 절차를 사용하여 데이터를 생성하기 위해 계층 구조에 연결하는 욕심 많은 절차 클러스터 트리를 만든 다음 이 세 가지에 대한 고정 후 처리 예를 들어, 동적 프로그래밍을 위해 최고의 K- 평균 군집 추출 마지막 K- 머지로 클러스터 된 인덱스를 출력 할 수도 있습니다 또는 계층 구조를 사용자와 사용자가 볼 수 있습니다

물론, 그냥 생각 나게하기 위해 상향식 응집 결합 절차는 무엇을 의미합니까? 그래서 우리가하는 일은 그들 만의 작은 클러스터에서 시작하는 것입니다 두 개의 '가장 가까운'클러스터를 반복적으로 병합하겠습니다 물론, 다른 정의 가장 가까운 알고리즘은 다른 알고리즘으로 이어집니다 예를 들어 다음은 '가장 가까운'에 대한 다른 정의입니다 다른 알고리즘으로 이어지는 점의 하위 집합 사이

여기에 예가 있습니다 우리의 고전적인 알고리즘 기본 알고리즘 머신 러닝 과정에서 단일 연결, 정의 하시겠습니까 두 부분 집합 A와 B 사이의 거리 두 하위 집합의 점 사이의 최소 거리가됩니다 여기서는 기준점 사이의 거리가 고정되어 있다고 가정합니다 그래서 우리는이 엔티티를 정의하여 포인트 간의 갱신 거리 및 대응하는 부분 집합 그러나 또 다른 고전적인 알고리즘, 완벽한 연결, 두 부분 집합 사이의 거리를 사이의 최대 거리 해당 하위 집합의 포인트 이제 무한한 가족이 등장한다고 상상할 수도 있습니다 우리가 원할 수도 있기 때문에 연결 절차 이 기본 기준을 보간합니다

예를 들어 여기에 가족의 예가 있습니다 그러나 우리의 일을 살펴보기 위해 알파 가중치 연결이라고합니다 지금은 매개 변수 알파가 있지만 희망이 있습니다 데이터를 조정하고 거리를 정의합니다 두 하위 집합 A와 B 사이 1에서 알파를 뺀 거리 단일 결합과 알파 시간 완전한 연결에 의해 주어진 거리 이것이 알파 가중치 링크의 구체적인 예입니다

가족은 매개 변수화 된 가족의 구체적인 예입니다 조합 문제 클러스터링을위한 알고리즘 이제 우리는 무엇을 이해하기 시작할 수 있다고 생각합니다 이 알고리즘 군의 2 차원은 그건 그렇고, 2 차원은 무엇입니까? 가장 자연스러운 확장 일뿐입니다 실제 유효한 함수에 대한 VC 차원 나는 그것을 정확하게 정의하지 않을 것이다 그러나 이것이 당신이 알아야 할 전부입니다 이 특정 알고리즘 제품군의 경우 나는 당신에 대해 빨리 보여줄 것입니다 절대 치수는 log n뿐입니다

또는 n은 내가 해결해야 할 입력 인스턴스의 포인트 차원이 log n이므로 실제로 당신은 또한 보여줄 수 있지만 실제로 당신이 세트 S 또는 트레이닝 세트의 전형적인 예 클러스터링 문제의 전형적인 사례 우리는 최고의 알고리즘을 찾을 수 있습니다 다항식 시간에이 가족 다른 말로하면 기계 학습 이론 원자에서 그냥 ERM을 해결하십시오 다항식 시간을 효율적으로 이 간단한 군집 절차입니다 이 조합 문제 중 하나에서 여기서의 도전은 실제로 이 조합 유형의 출력으로 인해 언급했듯이 알파를 약간 변경 한 경우, 이것은 의사 결정의 초기에 변화로 이어질 수 있습니다 그런 다음 눈덩이를 만들어 생산할 수있는 연결 절차 나중에 훨씬 더 큰 변화

다시 말해, 약간 변경하면 알파 당신은 완전히 다른 출력을 얻을 수 있습니다 이건 정말 어려움이지만 우리가 보여줄 수있는 것은 이것이 너무 자주 일어나지 않는다는 것입니다 이제 이것은 치수 경계로 이동합니다 특히, 우리가 보여줄 수있는 것은 암시하는 주요 사실 의사 차원은 n의 로그 만입니다 또는 n은 상한이다 입력 인스턴스의 포인트 수 따라서 그 효과는 다음과 같습니다

기본적으로 해당 비용 함수는 부분적으로 일정합니다 그래서 그것은 무엇을 의미합니까? 주어진 알파 값에 대해 연동 알고리즘으로 알파를 실행하면 일련의 결정과 우리는 특정 연계 트리를 만듭니다 물론 알파를 바꾸면 나는 다른 나무를 얻을 것입니다 그러나 여기에서 알파를 0에서 1로 바꾸면 n 포인트의 클러스터링 인스턴스를 수정하면 그런 다음 매개 변수 Alpha를 0에서 1로 변경합니다 또는 최대 n 번째 여덟 번째 스위칭 지점 트리는 인스턴스 변경을 생성합니다

물론 이것은 다음을 의미하지 않습니다 상단의 비용 함수가 무엇이든 k에 대한 근거 진실의 예는 상수 등을 의미합니다 여기에서 해당 비용 함수는 조각 단위입니다 n에서 8까지의 상수 어느 것이 좋을까요? n은 2 차원에 암시 적입니다 엔

빨리 줄게 이 단계가 어떻게 입증되는지에 대한 높은 수준의 아이디어 이 특정 경우에는 전혀 어렵지 않습니다 핵심 아이디어는 다음과 같습니다 따라서 클러스터링 인스턴스를 수정하면 알파를 고치고 싶다고 해봅시다 연계 절차를위한 마일 단위 매개 변수는 어느 것입니까? 알고리즘의 어느 시점에서, 알고리즘은 Blob N_1을 병합해야하는지 결정해야합니다

N_2 또는 Blob과 N_3 및 N_4를 병합해야합니다 권리? 이제 결정은 여덟 가지 점에 달려 있습니다 내가 P & Q로 표시하면 N_1과 N_2에서 가장 먼 지점 그들은 완전한 연결과 P- 프라임에 의해 주어진 거리를 줄 것이고 Q- 프라임은 N_1과 N_2에서 가장 가까운 지점입니다 내가 R과 S로 표시되면 N_3과 N_4 및 R- 프라임에서 가장 먼 지점, S- 프라임은 N_3과 N_4에서 가장 가까운 지점입니다 처음 두 블롭 N_1과 N_2의 병합 여부에 대한 결정 N_3 및 N_4와 비교 이 두 수량 중 어느 것에 따라 달라집니다

알파와 P와 Q 사이의 거리를 곱한 값 +1 사이의 거리에 알파를 1 곱한 값 R 사이의 P- 프라임 및 Q- 프라임 또는 알파 시간 거리 그리고 S + 거리에 1을 뺀 알파 곱하기 R- 프라임과 S- 프라임 사이의 간격이 더 작고 커집니다 당신이 그것에 대해 중요한 지점으로 생각하면 [들리지 않음] 또는 알고리즘 스위치는 여기 평등이있는 순간에요 권리? 다른 말로하면, 중요한 요점은 실제로 이 같은 선형 평등의 뿌리에서 평등이라는 아이디어는 요점으로 주어집니다 그러나 물론 나는 그러한 선형 평등의 여덟 내가 가지고 있기 때문에 내려 놓을 수있는 n 포인트 중 8 [들리지 않음]의 수입니다 이것은 기본적으로 그것을 증명합니다

높은 수준에서 그것을 증명하기위한 핵심 아이디어입니다 알파를 고치면이 특정 간단한 연결 패밀리에 대해 인스턴스를 수정하면 클러스터링 인스턴스 및 알파 변경, 생산 된 8 번째 클러스터링 트리에만 n을 가져올 수 있습니다 10 분이 지났습니다 잘 됐네요 저건 완벽 해 좋은

이 구조적 결과가 나오면 의사 차원 경계를 즉시 증명할 수 있습니다 이것이 내가 당신에게 보여준 것입니다 인스턴스를 수정하면 어떻게 되나요? 알파가 당신에게 해당 cos 함수이지만 물론 당신이 걱정하지 않은 계산 된 의사 차원 의 행동에 대해서만 지정된 인스턴스의 알고리즘 패밀리 그러나 당신은 얼마나 많은 인스턴스에 관심이 있습니다 [들리지 않음] 산산조각 낼 수 있습니까? 우리는 실제로 얼마나 많은 인스턴스를 기하 급수적 인 행동을 취 하시겠습니까? [들리지 않음] 그들이 걱정하고 있습니다 이제는 어떻게되는지 생각해야합니다 m 개의 인스턴스와 클러스터링 인스턴스 내가 이전 경계에서 즉각적인 효과를 알고있는 것은 그러나 내가 m을 가지고 있다면 알파가 달라지면 인스턴스 클러스터링, 나는 여덟 패턴의 거듭 제곱에 m 곱하기 n을 얻을 수 있습니다

n 포인트 및 클러스터링 인스턴스의 경우 그리고 나는 단지 의사 차원 정의를 대략적으로 사용합니다 의사 차원이 무엇인지 계산하고 의사 치수가 최대 m이기 때문에 기하 급수적 인 패턴을 얻을 수 있습니다 가장 큰 m을 풀기 만하면됩니다 기하 급수적 인 패턴을 보호하고 달성합니다 즉, 여기서이 불평등을 해결해야합니다

각 2에서 m까지 가장 큰 m은 상한은 m 곱하기 n을 여덟 번째 n으로 제한한다 따라서 이것들은 즉시 의사 치수는 단지 로그입니다 엔 이 간단한 예를 들어 보자 그건 그렇고 나는 이것을 슬라이드에 가지고 있지 않습니다 실제로 무언가를 얻도록 요청할 수 있습니다

이 보간을 수행하기 위해 실제로는 가능하다는 것이 밝혀졌습니다 그래서 나는 실험의 주인을 가졌습니다 [들리지 않음]에서도 우리는 [들리지 않음]의 부분 집합을 실제로 튜닝하여 조금 얻을 수 있습니다 여기에있는 매개 변수 alpha 3 %와 같은 알파 가중치 연결 그리 많지는 않지만 여전히 3 %를 얻습니다 [들리지 않음] [들리지 않음] 예제를 많이 얻으면 얻을 수 있습니다

하지만 여기 또 다른 가족이 있습니다 클러스터링은 실제로 많은 것을 얻습니다 실제로 거기에 가기 전에 죄송합니다 방금 보여 드렸 기 때문에 끝내겠습니다 이 알파 계열의 의사 차원 연결 절차는 log n만이 log n의 큰 O입니다 실제로 당신은 또한 그것을 보여줄 수 있습니다 실제로 n의 큰 [들리지 않음] n

중 하나 저의 이전 학생들은 저역을 보여주었습니다 또한 구현할 수도 있습니다 당신은 또한 해결할 수 있습니다 다항식 시간의 해당 ERM 문제 만약 내가 당신에게 인스턴스를 주면 찾을 수있는 일반적인 인스턴스 다항식 시간에서 가족의 최고의 알파 비효율적 인 방법 바스티유 다항식 시간 [들리지 않음] 모든 입력 인스턴스가 주어지면 해당 인스턴스의 해당 알파 간격을 계산합니다 당신은 모든 대응을 가지고 모든 중요한 포인트의 연합 샘플보다 평균적으로 최고입니다

그것은 당신이 그것을보다 효율적으로 만들 수 있습니다 작동 학생 피드백 및 실험 중 하나 인 [들리지 않음] 앞에서 언급했듯이 예를 들어 [들리지 않음]에서이 작업을 수행하면 3 % 개선 단일 또는 완전한 연결을 통해 또한 우리가 더 잘할 수있는 [들리지 않음]도 있습니다 괜찮아 하지만 여기에도 실제로 그리고 이것은 내가 말하지 않는 방식이지만 이것은 나를 위해 이해하려고 시도하는 아주 모범이었습니다 이 공간은 어떻습니까 [들리지 않음] 데이터 분석 학습 이론 관점에서 디자인 그러나 우리는 또한 재미를 위해서 실험을했습니다

나는 그것을 옹호하지 않습니다 제목에 사용하여 다른 클래스를 데이터화하는 기술 그러나 실제로 다른 가족 아니면 조금 더 잘할 수도 있습니다 실험적이며 실제로는 실험적으로 관심있는 이론적으로 겨울 인 것은 알파 만 튜닝하지 않는 경우 연결 절차를 조정할뿐 아니라 하지만 거리 기능도 조정하고 있습니다 특히 특정 유형의 데이터의 경우 매우 다른 유형의 거리 정보가있을 수 있습니다 예를 들어 자막 이미지가 있다면 일부 거리 기능을 사용할 수 있습니다 이미지의 픽셀 정보를 기반으로 하지만 당신은 또한 자막에 따라 매우 다른 거리 기능, 그리고 당신은 그것들을 혼합하려고 할 수 있습니다 또는 마찬가지로 손으로 쓴 숫자의 경우 메타 학습에 사용되는 클래식 Omniglot 데이터 세트의 경우 픽셀 정보가 모두 있습니다

스트로크 데이터도 있습니다 문자 작성 방법에 대해 그래서 이것은 매우 무료 유형을 제공 할 수 있습니다 거리 정보 이제 우리는 무한 가족을 내려 놓을 수 있습니다 미터법 또는 거리 함수 무엇을 보간합니까? 이제는 이것들은 현재 두 개의 기본 거리 함수 d0과 d1을 말합니다 이제 튜닝도 시도 할 수 있습니다 이 베타 매개 변수는 거리 함수와 관련이 있습니다 예를 들어, 구체적으로 말하자면 내가 지금 얻을 수 있다면 알파-베타 가중 연결 절차의 가족, 또는 Alpha 매개 변수를 사용합니다 연결 기준을 보간하기 위해 하나의 완전한 연계 거리 매개 변수를 조정하기 위해 매개 변수 베타를 사용합니다

두 개의 고정 기본 거리 함수 사이의 보간 점 쌍 사이 이 Alpha-Beta 가중 연결이라고하겠습니다 다시 분석해 볼 수 있습니다 이 알고리즘 계열의 두 가지 차원은 무엇입니까 물론 최고의 알고리즘을 찾으려고 노력하십시오 데이터 유형에 따라 제품군에서 자세한 내용은 여기로 가지 않겠습니다 우리가 여전히 여기에 보여줄 수 있기 때문에 다시 밝혀졌습니다 이 절차 군의 의사 차원은 알파-베타 가중 연결 절차는 log n입니다

지금 구조 결과는 여전히 간단합니다 그러나 더 좋고 더 복잡합니다 그것을 의사 차원으로 증명하기 위해 이 알파 베타 가중 연결 로그 n, 당신이 보여 주어야 할 것은 다시 이중 기능의 구조에 관한 것 매개 변수가 Alpha-Beta 인 인스턴스를 수정합니다 분할 할 수 있음을 보여줄 수 있습니다 다수의 선형 및 2 차 방정식 인 경우 매개 변수 공간 같은 지역의 두 매개 변수에 대해 동일한 클러스터 트리가 생성됩니다

이걸 가지고 다시 할 수 있으면 이것의 위의 의사 차원의 인수 몇 분 더 있습니까? >> 둘 >> 둘 괜찮아 여기에서 세부 사항을 건너 뛰겠습니다 하지만 봐야 해 이 사실을 포함하는 문제의 구조에

그러나 실제로 다음 단계로 넘어 가기 전에 이 튜닝 알파와 베타에 대해 언급하고 싶습니다 실제로 실제 데이터에 영향을 미쳤습니다 예를 들어 실험이 Omniglot에있는 경우 요즘 메타 학습에 사용되는 고전적인 데이터 세트입니다 여기 보간하면 주어진 거리 함수 사이 에서 얻은 기능에 의해 MNIST의 관련 데이터 세트에 CNN 포함 MNIST에서는 CNN 임베딩에 의한 거리 기능, 컨볼 루션 뉴럴 네트워크 임베딩, 수작업으로 설계된 거리 기능 스트로크 정보를 사용하는 실제로 크게 개선 할 수 있습니다 정확도가 약 9 % 향상되었습니다 여기에 차이가 있습니다

거리 기능이 매우 무료임을 보여줍니다 연구를 위해 이러한 실험을 수행했을 수도 있습니다 단어를 사용할 수 있도록 여기 어딘가에 딥 러닝 CNN 임베딩을 사용하고 있기 때문입니다 나는 실제로 반 입방체이지만 시원합니다 실제로 실제로 개선되는 것을 보는 것이 좋습니다

나는 그것에 만족했다 이제 높은 수준의 이야기로 돌아가서 내가 언급했듯이 다른 많은 유형의 문제를 살펴보고 예를 들어, 파티션 문제 정수 2 차 프로그램으로 작성 될 수 있습니다 여기서는 매개 변수화 된 동일한 결과 절차를 살펴 보겠습니다 반정의 프로그래밍 이완을 줄이거 나 무작위 반올림, 그리고 이것은 세부 사항으로 가지 않고 매개 변수화 된 반올림입니다 여기서 관찰해야 할 요점은 의사 차원 경계를 증명하고 인스턴스를 수정하고 다를 경우 기본 [들리지 않는] 패밀리의 매개 변수 해당 기능은 조각 단위 구조입니다

특히, 여기에는 부분적으로 이차가 있습니다 우리는 단지 n 조각입니다 그것이 여기서 일어나는 일입니다 메커니즘 설계시 관련 구조화가 나타납니다 예를 들어 보시면 완성 된 가격 체계를 갖추기 위해 다중 구매자 다중 항목 시나리오가있는 경우 이제 우리는 각 게시 가격은 각 항목에 설정할 수 있습니다

여기서 다시 발생하는 것은 해당하는 인스턴스 또는 세트를 수정하면 입찰자 및 항목의 하위 집합에 대한 더 나은 가치 가격을 달리하면 해당 수익 함수 각 부분마다 선형으로 매개 변수 공간의 조각이 제공됩니다 선형 분리기의 교차로 이것이 핵심 결정자입니다 작동하는 의사 치수 본딩을 예측하는 데 사용합니다

이 [들리지 않음]에 동기 더 일반적인 정리를 알아 내려고 노력하십시오 문제의 구조를 필요한 것에서 분리하다 통계적 의사 차원 균형을 얻기 위해 여기 추상화가 있습니다 우리가 정말로 관심을 가지는 것은 함수 클래스의 의사 차원을 계산합니다 Alpha에 의해 매개 변수화되거나 알파는 문제의 인스턴스를 가지고 다운 2 클래스 세트를 클러스터링한다고 말합니다 그래서 이것은 의사 차원을 결합시키는 시간입니다

그런 함수 클래스 이것이 무엇을 증명하는지 아십니까? 우리는 이중 클래스 기능의 구조를 이용합니다 이제 듀얼 클래스 기능 문제의 인스턴스에 의해 매개 변수화됩니다 가능한 매개 변수 값을 입력으로 사용합니다 우리가이 모든 영역에서 보여준 것은 이러한 이중 기능은 부분적으로 구성됩니다

우리가 조각으로 구성된 것은 듀얼의 모든 기능은 다음과 같습니다 기본적으로 파티션 할 수 있습니다 함수를 사용하여 매개 변수 공간 잘 동작하는 함수 클래스 F 여기와 같은 각 종 안에있는 해당 비용 함수는 다른 함수 클래스에서 오는 함수 G 자본 G 우리가 보여줄 수있는 것은 기본적으로 당신은 두 차원을 버릴 수 있습니다 정말 신경 쓰는 원래의 기능, Alpha가 함수로 매개 변수화 한 함수 이 이중 기능의 장점에 대해 좋은 점은이 두 가지 기능이 부분적으로 구성되어 있다는 것입니다 여기서 부분은 함수 클래스 F의 함수로 정의됩니다 이 쪽은 함수 클래스의 함수 G G

의사 차원에 본드를 넣을 수 있습니다 내가 걱정하기 때문에 최종 기능의 의 친절 함의 기능이다 이 함수 클래스는 F입니다 G 경계 함수 F에서의 함수 비즈니스 내부의 기능이 훌륭합니다 나타나는 하나의 [들리지 않음] 여기 실제로 VC 치수가 아닙니다 VC 차원을 분류하는 함수 그 기능 클래스의 이중 그 이유가 있습니다 그들은 오픈 라인을 통과하기 시작할 수 없습니다

0 분 남았다 고 생각합니다 그냥 언급하고 싶습니다 하지만 지금까지 분배 학습에 대해 이야기했습니다 온라인 학습에 대한 질문을 할 수도 있습니다 알고리즘은 실제로 온라인 학습 문제라고 생각합니다

그들이 당신에게 주어지지 않은 인스턴스 똑바로하지만 하나씩옵니다 후회하지 않으려 고합니다 이미 언급했듯이 이제 불연속성이 있어야합니다 여기 많은 사람들이 온라인에 있다고 생각합니다 청중의 학습 전문가, 불연속을 공유하면 후회를 달성하는 것은 불가능합니다 그래서 우리는 종이를 제 학생들과 실제로 18 세 였고 후속 논문이었습니다 또는 충분한 조건을 식별 한 번 후회하지 않고 조각 별 Lipschitz 기능에 대한 온라인 학습 그리고 최소한 상태 유지를 보여주세요 이 알고리즘 중 다수 구성 또는 온라인 알고리즘 선택 문제 다시, 나는 이것에 대해 오프라인으로 이야기해야한다

조건은 바로 이러한 조각 별 Lipschitz 기능, 분산 만 대략, 우리는 단지 불연속을 요구합니다 해당 비용 함수는하지 않습니다 분산 된 곳에 너무 집중하십시오 그 주위에 공식적인 정의를 넣을 수 있습니다 다시 한 번 오프라인으로 이야기하게되어 기쁩니다 그러나 나는 요약해서 생각한다 저는 이것이 매우 흥미로운 연구 분야라고 생각합니다

학습 문제로서의 알고리즘 설계에 대해 배급 학습 문제, 통계 또는 온라인 학습 문제 강력한 공식 보증을 제공 할 수 있습니다 또한 학습 이론의 관점에서 내가 생각하는 설정을 발생시키는 구조 매우 흥미롭고 도움 우리는 학습 이론의 한계를 넘어서고 항상 매우 흥미 롭습니다 감사합니다 나는 우리가 N에서 5까지의 하한을 가지고 있다고 생각합니다 >> 우리는 그것을 논의했습니다 >> 그래서 우리는 토론합니다

우리가 알고있는 하한은 N에서 5까지입니다 인스턴스를 보여 주거나 N을 다섯째, 당신은 내재 된 불연속성을 가질 수 있습니다 예 우리는 모른다 N은 5에서 N은 8에서 8 사이에 틈이 있습니다 지금, 그 말의 실험 중 하나 내 죄는 현실 세계 야 N을 다섯 번째로 얻지 못할 것입니다

거리는 매우 복잡합니다 우리가 시도한 모든 것에 그것은 N에서 선형입니다 그래서 당신이 보완 설정에 대한 파라미터를 조정할 수도 있습니다 >> 나는 그것이 당신의 모델에 뭔가 있다고 생각합니다 내가 확신하기 때문에 내 접근 방식에서 N 제곱이 선입니다

>> 그것에 대해 이야기합시다 >> 알겠습니다 다음에는 MIT의 Constantinos가 있습니다 >> 그래서 기계 학습 바이어스와 사용법에 대해 이야기하겠습니다 바이어스를 줄이기 위해 잘린 통계 이 대화의 동기는 종종 데이터 과학 문제에서 데이터 세트로 작업하며 종종 데이터 세트마다 수집합니다 선택 편견이 있습니다 데이터를 수집 할 때 훈련하는 데 사용하는 훈련 세트 테스트 세트와 다른 모델

모델이 진행되는 조건 미래에, 특히 치우친 데이터 세트에 대한 교육 예측에 편견이 생길 것입니다 대화의 목표는 영역을 나타내는 검열 및 절단 통계 하려는 통계에서 절단 된 또는 검열 된 샘플의 추정 잘린 샘플은 샘플이 외부로 떨어지는 상황 관찰 창은 그렇지 않다 관찰되었고 그들의 수 또한 알려지지 않았다 검열은 당신을 의미합니다 최소한의 수 관측 창을 벗어나는 데이터 수 물론 이것은 여러 가지 이유로 발생할 수 있습니다 이러한 유형의 현상

아마도 당신의 측정 장치 측정 대역 밖에서 포화 상태가됩니다 그들이 포화되면 판독 값이 잘못되어 신뢰할 수 없습니다 이것이 검열의 경우입니다 몇 개의 측정 값이 있는지 알고 있습니다 신뢰할 수 있고 몇 개가 아닌지 알고 있습니다 실험 설계가 잘못되었거나 윤리적 또는 기타 법적 고려 사항이있는 상황 추론에 일부 데이터 포인트를 사용하지 마십시오

그래서 몇 가지를 드리겠습니다 보여주는 동기 부여 예제 데이터에 치우침이 있으면 무엇이 잘못 될 수 있습니다 첫 번째는 50 년대 이후 계량 경제학에서 잘 논의 된 질문, 관련이 있습니다 사람들의 소득에 대한 IQ 교육 및 교육 50 년대와 60 년대의 몇몇 작품들은 데이터를 수집하여이 모델과 당신이 생각하는 것이 옳은 일을했습니다 그래서 그들은 수입이있는 가족을 조사했습니다 빈곤 수준의 15 배입니다

공변량이 IQ에 해당하는 데이터를 수집했습니다 훈련, 교육 및 개인의 다른 많은 기능, 예를 들어, 노동 조합에 속하는 등 반응 변수는 그 개인과 그들은 모델을 맞추려고 노력했습니다 특히 그들은 선형 모델을 데이터에 맞추려고 노력했습니다 중요한 것으로 보이는 문제는 임계 값입니다 소득이있는 가족에게 데이터 수집 실제로 임계 값 아래의 한 지점입니다

편견을 도입하다 수입과 수입에 중요하다고 생각되는 기능 특히 나중의 결과는 예를 들어 교육 이외에도 직업 훈련과 IQ는 실제로 이전 작업이 발견 된 수입 대부분 교육은 수입에 중요합니다 괜찮아 따라서 고려하지 않은 이전 작업 임계 값이 잘못된 결론을 내렸다 수입에 중요한 것이 무엇인지 문제를 더 본질적으로 느끼기 위해 여기 다른 예가 있습니다 IQ 대 소득 대신에 높이의 중요성을 이해하려고 노력한다고 상상해보십시오 좋은 농구 선수이고 나는 게으르다 전체 인구를 조사하는 대신 내 데이터 수집 물론 어렵습니다 대신 NBA 데이터를 다운로드하기로 결정했습니다

그래서 가능합니다 NBA 데이터에 모델을 맞추려고하면 높이가 실제로는 농구 경기와 중립적이거나 심지어 부정적인 상관 관계가 있습니다 그러나 그 잘못된 결론 내가 게으르고 사실에서 온 NBA 데이터를 전체 인구 조사에 반대 내가 갖고 싶은 정신적 그림 내가 슬라이드를 진행하는 동안 이것입니다; 예를 들어, 바닐라 선형 회귀에서 우리는 세상이 선 주위의 섭동이라고 가정합니다 그러나 데이터를 가져 와서 임계 값을 설정하면 이것이 Y의 농구 성과이고 X의 높이라고 말하십시오 세계가 선형 일 수 있습니다 선의 섭동

하지만 내가 가고 상상 특히 NBA 데이터를 다운로드하여 나는 오직 임계 값을 초과하는 농구 성능이 우수합니다 이제 해당 데이터를 한 줄에 맞추려고하면 이 라인은 훨씬 더 그럴듯 해 보인다 이 데이터 세트에 대해이 행보다 >> XY 높이입니다 내가 X_i와 독립적입니까? 이것이 추가 노이즈인지 생각합니까? >> 말해봐 그러나 이것은 단지 예일뿐입니다 그러나 우리의 표준은 최소 제곱 회귀 분석은 반응 변수가있는 세계 Theta에 X를 곱한 값에 가우스 잡음과 같은 제로 평균 잡음이 있습니다

>> 그것이 일어나면 안됩니다 당신이 선택한 한 추가 소음 X는 패턴에 관계없이 패턴과 무관합니다 기다리십시오 그러나 Y를 통해 데이터를 선택해야합니다 >>이 상수를 통과하려면 평균 높이 이것으로 구성 그는 이것을 Y와 함께 사용하고 있습니다

그러나 그는 당신에게 X를 알려줍니다 그것을 선택하면 Y를 찾을 수 있습니다 >> 네 그래서 당신은 내가 경우 어떻게 될지 묻는거야 X 변수를 기준으로 자르시겠습니까? >> 네 >> 다음 슬라이드에서 예를 들어 보겠습니다 여기서 나는 Y 잘림에 대해 이야기하고 있습니다 X 잘림도 있습니다

그것은 또한 중요한 문제입니다 나는 잠시 후에 그것에 도달 할 것이다 그러나 Y 잘림에 관한 한 우리는 내가 길을 믿는다는 것을 여기서 본다 내가 믿는 라인 턴은 이 데이터 포인트가 없어야하기 때문입니다 이것은 짧은 사람입니다 소음 때문에 좋은 농구 선수

그래서 그는 그것을 NBA로 만들고 짧은 남자는 좋은 농구 선수라고 믿습니다 그러나 그것은 소음의 결과였습니다 그 사람이 내 데이터 세트에 들어가도록 만들었습니다 X 잘림으로 와서 잘 논의 된 현상이 관찰 됨 최근에 성별 분류기를 사용하면 훈련 된 성별 분류기 인터넷 데이터는 성별 예측에 정말 좋습니다 기본적으로 가벼운 피부 톤의 사람들, 그들은 매우 나쁠 수 있습니다 데이터 세트에별로 표현되지 않은 사람들에게 특히 Microsoft의 여러 성별 분류기, 페이스 북 등은 정말 나빴어요 또는 암흑과 여성의 성별 예측에서 꽤 나쁘다

왜 이런 일이 발생했는지에 대한 설명은 인터넷 데이터는 훨씬 남성이며 코카서스 사람, 더 가벼우 며 피부색이 강한 사람들과 이런 이유로 데이터 세트를 켤 때 다른 사람들에게 덜주의하십시오 당신이 가서 테스트 할 때 특정 하위 인구의 성별 분류기 당신은 실제로 그것을 미리 얻을 수 있습니다 그것은 당신이 일부 잘림이있는 예입니다 X 공변량 일부 하위 인구에 충분히주의를 기울이지 않도록합니다 내가하고 싶은 것은보고 싶어 잘린 통계의 아이디어를 사용하는 방법 이런 종류의 편견이 예측에 들어 가지 못하도록 싸워라 바이어스 데이터 세트를 학습 할 때 일부 모델의 맛을 내고 싶습니다 여러 공동 작업자와 함께 한 작업입니다 나는 세 가지 문제를 중심으로 할 것입니다

절단 및 Y 변수와 관련이 있으며 X 변수의 또 다른 잘림 그리고 세번째는 감독되지 않은 학습 환경 1 번 문제는 다음 시나리오를 고려하십시오 상황을 포착해야합니다 IQ 대 수입 및 키 대 농구 성능 공장이 내 교육 데이터를 생성하는 것은 다음 데이터 팩토리입니다 >> 성별 분류 예에 대해 질문 할 수 있습니까? >> 네 >> 그래서 가능합니다 주요 문제는 잘리지 않는다는 것입니다

테스트 데이터 세트 일 수도 있기 때문입니다 당신이하고있는 시점까지, 이것은 잘하고 있습니다 훈련과 아마도 훈련 그리고 둘 다 일부 수업에서 대표가 부족합니다 >> 클래스 조건 레이어가 아닙니다 >> 네 훈련 데이터가 세트는 테스트 데이터 세트를 나타냅니다

그럼 잘하고 있어요 예측자를 편향시키는 잘림이 없습니다 >> 아니요 손실 기능에 포함되지 않음을 의미합니다 공정성의 측면 작은 인구도 잘 대표되어야합니다 >> 네, 잘림 문제가 아닙니다

그래 자르기와 관련된 첫 번째 문제는 y 축은 훈련 세트를 가정합니다 다음 데이터 팩토리에서 생성됩니다 먼저, 기본 x의 모집단에서 x를 샘플링합니다 그러면 x마다 응답이 계산됩니다 응답은 파라 메트릭 기능과 노이즈입니다

노이즈는 모수 분포에서 나올 수도 있습니다 이 시점까지 이것은 고전 감독입니다 IID 데이터가있는 학습 상황 교육 분포는 테스트 배포 및 수명이 좋습니다 여기서 다른 점은 당신이 볼 때 y와 너 훈련 세트에 포함할지 여부를 결정합니다 그래서 당신은 y를 봅니다

예를 들어 이 남자가 좋은 농구 선수인지 아닌지 그가 좋은 농구 선수라면 당신은 그를 NBA 데이터에 넣었습니다 그렇지 않으면 해당 샘플을 휴지통에 버립니다 이 시나리오에서는이 잘림 Phi를 알고 있다고 가정합니다 그리고 확률적일 수 있습니다 내가 모르는 것은 D를 모른다는 것입니다

인간을 샘플링하는 기본 분포 나는 인간과 관련된 메커니즘을 모른다 좋은 농구 선수를 보유하고 나는 소음 모델을 모른다 그러나 나는 파이 때문에 알고 있습니다 어떤 의미에서는 제어합니다 그래서 다운로드를 선택했습니다 NBA 데이터 또는 IQ vs 적립 예 나는 가서 집중하기로 결정했다 그 특정 이웃과 내 설문 조사를 수행합니다 모델이 캡처되는지 확인하려면 잘린 선형 회귀 시나리오 이 경우 모델이 정렬됩니다

소음은 가우시안입니다 내 잘림은 결정적입니다 숨기는 임계 값입니다 y가 특정 임계 값 미만인 데이터 이 공장에서 생산 한 훈련 데이터에 대한 목표는 목표는 기본 태아를 회복하는 것입니다 메커니즘을 결정하는 기본 매개 변수 Gouleakis에 대한 결과는 Tzamos, Zampetakis 및 Rao와 함께 Ilyas가 여기에있었습니다 Rao, Ilyas 및 Zampetakis는 두 종류입니다

따라서 일반적인 프레임 워크입니다 이러한 종류의 시나리오에서 모델을 학습합니다 또한 이것은 일반적인 SGD 기반 프레임 워크입니다 GPU로 배송하여 Thetas를 복구 할 수 있습니다 이제 일반적인 프레임 워크는 잘린 선형 회귀 또는 잘린 프로 빗 또는 로지스틱 회귀 설정 그것은 당신에게 완벽한 보증을 제공합니다 기본 매개 변수의 복구에 대해

따라서 둘 중 하나에 사용할 수있는 프레임 워크입니다 엔드 투 엔드 보증을받을 수있는 올바르게 작동하는 설정, 또는 임의의 설정에서 사용할 수 있습니다 SGD 기반 프레임 워크이지만 실행할 수 있습니다 물론 여기 신경망이 있다면 당신은 엔드-투-엔드 보증을 잃을 것입니다 하지만 최소한 알고리즘을 실행할 수 있습니다 결과를 이전 작업과 비교하십시오 계량 경제학 통계에는 잘린 또는 검열 된 회귀에 대한 통계 선형 또는 프로 빗 및 로지스틱

이 작업의 기술 병목 현상은 두 가지입니다 이 기술적 인 문제는 높은 치수 설정에서 발생합니다 첫 번째는 알고리즘입니다 사용자가 비효율적이며 중요한 것은 수렴 률 이 방법은 차원에 나쁜 의존성을 가지고 있습니다 당신은 루트 n 요금보다 이것을 얻을 최대한의 가능성을 기대하고 그러나 비율의 의존성 차원이 잘 이해되지 않았습니다 우리가 얻는 것은 최적의 요금을 얻는 것입니다

즉, 잘리지 않은 회귀와 동일한 비율입니다 효율적인 알고리즘을 얻습니다 우리는 임의의 절단 세트를 허용합니다 임계 값일 필요는 없습니다 기본적으로 측정 가능한 세트가 될 수 있습니다

>> 임계 값 기능에 대한 의존성은 무엇입니까? 잘림 기능에? 뭔가가 필요합니다 >> 선택 기능은 Phi 기능은 측정 가능한 기능이 될 수 있습니다 이 요금을 받으려면 두 가지가 필요합니다 하나는 표준입니다 선형 회귀가 필요합니다 경험적 공분산 행렬 소비세의 최소값에는 하한값이 있습니다

이것이 선형 회귀에 필요한 표준입니다 잘린 회귀에 필요한 추가 가정은 임계 값은 기본적으로 데이터를 삭제하지 않습니다 평균 사이처럼 일정하지 않은 확률 임계 값에 의해 제거됩니다 1 % 정도만 있다면 훈련 세트로 만들 확률이 평균입니다 이 보증을받습니다 그래서 나는 개괄적 인 기법을 설명하고 싶었습니다

이들은 일종의 대표입니다 네 >> 그래서 당신은 가정 여기서 무엇을위한 행동이 잘 릴까요? 당신은 여기에 n을 받고 있기 때문에 >> N은 숫자입니다 >> 잘 렸습니다

>> N은 성공적인 데이터 포인트 수입니다 그 동네에서 몇 명이 조사를했는지 >> 그러나 그것은 유일하게 들리지 않는 것 같습니다 결과는 소스 또는 이 Epsilon에 대한 의존성 >> Epsilon은 무엇입니까? >> 미안 그들은 단지 분수의 확률입니다 평균 데이터 포인트 일 확률 >> 네 우리는 추정하다 상수이며 표기 순서대로되어 있습니다 네

모든 데이터 포인트에 1 % 확률 관찰 창으로 만들고 충분하면 약한 조건을 얻을 수 있습니다 그러나 각 사이에는 훈련 세트로 만들 확률이 높습니다 >> 그것은 당신이 y를보기 전과 같은 상태를 의미합니다 만드는 기회가 있습니까? >> 맞습니다 네

여기이 그림을 보면 내 임계 값이 여기 있다고 나는 모든 x가 그것을 만들 확률이 높기를 원합니다 예를 들어, 여기에서 1 % 확률로 만들 수 있습니다 모든 x에는 필요하지 않지만 평균 x에는 필요합니다 >> Phi는 실제로 그 부분을 잘라낼 수 없습니다 미친 기능이 아닙니다

사용중인 임계 값 기능입니다 >> 내가 말했듯이, 그것은 측정 가능한 기능 일 수는 있지만, >> 무조건 작동하는이 속성이 있어야합니다 >> 네 >> 그러나 유효한 절단 기능은 예를 들어 가운데 행의 모든 ​​점을 제거하십시오 >> 맞습니다 수입이 줄어드는 동네를보십시오

이제 저는 보통 인간이 필요합니다 그 동네에 살 확률이 적당합니다 권리 기술에 대해 알아 보겠습니다 이 작업 라인에서 무슨 일이 일어나고 있는지를 나타냅니다 훈련 세트 제작 방식에 대한이 모델이 있습니다 최대한의 가능성을 원합니다 훈련 세트의 밀도가 얼마인지 묻고 싶습니다

훈련 세트의 밀도는 xy입니다 밀도는 여기서 샘플링해야하는 것과 같습니다 이제 관심을 제한하겠습니다 매우 기본적인 선형 회귀 모델로 선이 있습니다 가우스 법선 01이 있습니다 훈련 세트의 밀도는이 밀도입니다 가우스 밀도 곱하기 y가 잘리지 않을 확률

이 밀도를 어렵게 만드는 것은 표준화해야한다는 것입니다 정규화 z가 있습니다 파티션 기능도 있습니다 그러나 내 훈련 세트의 밀도는 이 세 가지 구성 요소와 정규화 기능 내가하고 싶은 것은하고 싶다 이 모형에서 모집단 로그 우도

이 매우 간단한 설정에서 복구하려면 세타 만 복구하고 싶습니다 따라서 로그 우도, 모집단 로그 우도는 진정한 모델 세타 스타에 대한 기대 대수의 진정한 세타 별을 가진이 밀도, 이 사람들은 파티션 함수의 로그를 뺀 것입니다 이제 파티션 기능은 세타에 따라 다릅니다 여기 스타 세타에 따라 다릅니다 자, 명백한 문제는 먼저 여기에 가능성을 우리는 D를 모른다

우리는 분포 D를 모른다 하지만 그렇게해도 우리는 계산해야 할 것입니다 이 파티션 기능은 어렵고 어렵습니다 그러나 여기서 구원의 은총은 비록 당신이 가능성을 계산할 수없고 그래디언트를 계산할 수 없습니다 여전히 확률 적 그라디언트를 얻을 수 있습니다 여전히 임의의 변수를 얻을 수 있습니다 그의 기대는 이 기능은 필요없이 D를 알고 파티션 기능을 계산하지 않아도됩니다

특히, 그래디언트가 이 인구 로그 가능성 함수 ~의 차이가되다 두 가지 기대와 정확히 같은 평등입니다 그리고보기가 어렵지 않습니다 이 로그 우도의 기울기 두 가지 기대치의 차이입니다 한 가지 기대는 이 표현의 진정한 모델, 세타 스타 다른 기대는 그래디언트를 계산하려고하는 세타

특히 그라디언트의 권한을 얻으려면 그래도 그라디언트는 내가 모르는 사람을 제거합니다 이 남자의 그래디언트는 저에게이 용어를줍니다 주장은 어렵지 않습니다 세타에 대한이 사람의 기울기가 z는 세타에 의존하고 이 기대입니다 보기 어렵지 않고 매우 그라디언트의 표준 파티션 함수는 예상입니다

특히 모든 것은 두 가지 기대치의 차이입니다 한 가지 기대는 실제 모델의 샘플에 대한이 변수 그리고 다른 기대는 동일한 기능이지만 샘플에서 특정 세타에 대한 모델 그라디언트를 계산하는 곳 그래 확률 론적 경사 하강을하고 싶습니다 이 관찰을 사용합니다 >>이 기차는 이것은 진정한 [들리지 않음]에서 온다 [들리지 않는] 세타 열차는 xy 부모의 분포 이렇게 내림차순 실제로 d의 x를 사용해야합니다

>> 아니요, 실제 샘플이 있습니까? 그래서 나는 중 하나를 선택할 수 있습니다 내 훈련 샘플은 이미이 모델의 샘플입니다 그러나 p 세타 열차는 세타 스타의 기능입니다 옳은 나는 그것이 진실이라고 본다 괜찮아

죄송합니다 이것이 진실입니다 이것이 가짜와 나는 그 가짜를 시뮬레이션해야합니다 그래 이 다른 용어를 얻으려면 네

>> 그러나이 시뮬레이션은 성공적이어야합니다 잘리지 않는 잘림 때문에 그래서 나는 매우 조심해야 확률 적 그라디언트 하강을하고 있습니다 세타 스타와 아주 멀리 떨어져있는 세타에 가면 모든 것이 가능합니다 거부 샘플링을 수행하여이 모델을 시뮬레이션하겠습니다 다음을 선택하고 실행하겠습니다

내 모델을 통해 그런 다음 성공적으로 볼 수 있습니다 관찰 창으로 만듭니다 해당 프로세스가 계속해서 실패하면 해당 샘플을 시뮬레이션 할 수 없습니다 그래서 나는 더 나은 확인 내 확률 적 그라디언트가 우주에서 너무 멀리 방황하지 않고 거부 샘플링이 성공합니다 필요한 또 다른 것은 볼록성이 강해야한다는 것입니다 가능성을 작게하면 나는 또한 내가 주장 할 수 있습니다 매개 변수 거리에서 배웠습니다 우연의 가치 만이 아닙니다 이런 종류의 종합적인 결과를 얻는 데 필요한 구성 요소 하지만 거기에 신경망이 있다면 당신은 항상 할 수 있습니다 에 의해 확률 적 하강 하강 이 매우 간단한 아이디어를 활용하십시오

이 결과를 건너 뛰고 NBA 데이터 예제를 보여 드리겠습니다 2000 년 이후의 NBA 데이터입니다 이것은 농구 선수의 키입니다 2 미터 정도 가우시안이 정말 좋습니다 이들은이 플레이어가 득점 한 게임당 점수입니다

이 데이터에 대해 선형 회귀를 수행하면 나는 그것이 옳은 일이라고 주장하지 않습니다 그러나 만약 당신이 선형 회귀를한다면 게임당 포인트 수를 높이기 위해 이 감소하는 음의 경사 곡선을 얻습니다 여기 제가 할 멋진 테스트가 있습니다 따라서이 데이터를 더자를 것입니다 그래서 나는 선수를 볼 것입니다 게임당 최소 8 점을 얻습니다

이 데이터입니다 자 이제 절단에서 잘립니다 그래서 내가 순진하고 선을 맞추려고하면이 선을 얻습니다 내가 한 사실을 고려하지 않으면 게임당 8 점 이상 잘림 양의 경사 곡선을 얻습니다 최소 제곱 법을 사용하면 그러나 내가 고려하면 8 점에서 잘렸다는 사실은 부정적으로 줄을 바꾸겠다

이것은 생각의 이점입니다 사실에 대해 데이터에서 이미 일부 잘림이 발생했습니다 이것은 확실히 당신이 할 줄이 아닙니다 이것이 데이터 세트라고 생각하면 적합합니다 하지만이 데이터 세트가 다른 데이터 세트를 잘라서 생성 한 이 라인은 이제 의미가 있습니다 이것이 최대 가능성입니다 시간이 얼마 남지 않았습니다 하지만 다른 유형의 잘림 통계에 대해 설명하겠습니다

성별 예측 이야기에 더 잘 맞는 문제 1 분 남았 어? >> 네 >> 내 타이머에 따르면 이 설정에서 내가하고있는 일은 세계가 다음과 같이 생산된다고 가정하십시오 기본 분포 D가 있습니다 이미지와 라벨을 샘플링합니다 그러나 알려지지 않은 메커니즘이 이미지를보고 결정합니다

포함 여부 내 훈련 세트에서 그 이미지와 레이블 특히, 예를 들어 나에게 알려지지 않은이 파이가 경주를보고 피부톤 등 그 사람의 결정에 따라 인터넷에 해당 이미지를 게시할지 여부 훈련을 위해 나에게 줘 이와 같은 필터 데이터가 주어지면 그리고 그것은 우리가 가정하는 여분의 것입니다 내가 관심있는 테스트 인 큰 테스트 세트가 주어졌다 편견이있는 훈련 세트가 있습니다

또한 바이어스되지 않은 테스트 세트가 있습니다 그러나 테스트 세트에는 모든 종류의 사람들의 이미지가 있습니다 이들은 실제로 라벨링에 관심이있는 이미지입니다 편향되고 레이블이 지정된 데이터 세트를 제공한다고 생각합니다 그리고 편견이 있지만 레이블이없는 테스트 세트를 제공하고 있습니다

내가하고 싶은 것은 하는 성별 분류기 편견없는 분포에서 >> [들리지 않음]이 경우 왜 중요하지 않아야 하는가 [알아들을 수 없는]? >> 당신은 일종의 중요한 [들리지 않음]을해야합니다 문제는 이제 기준을 모른다는 것입니다 적의 결정에 따라 데이터 세트에 이미지를 포함할지 여부 이 경우 당신은 필터링을 모른다 >> 가정이 [들리지 않음]? >> 절차 가정은 당신이 주어진다는 것입니다 레이블이 지정되고 편향된 데이터 세트, 레이블이 지정되지 않은 및 바이어스되지 않은 테스트 세트 그래서 당신은 배워야합니다 이 필터링 절차를 기반으로하여 그 가능성을 바탕으로 우리가 제안하는 최대 가능성 설정은 그리고 그것은 몇 가지 대안입니다 다른 도메인 적응 접근법

여기에 한 가지 예가 있습니다 그와 함께 마무리하겠습니다 여기에서 우리는 다음 실험을했습니다 이미지도 찍었고 아주 좋은 성별 분류기 성별 분류 기가 실패한 이미지를 살펴 보았습니다 이것들은 하드 메일 이미지입니다

그래서 이것은 정말 좋은 성별 분류 기가 실패하는 곳입니다 성공적인 남성 이미지입니다 이것들은 실패한 딱딱한 여성 이미지입니다 이것들은 실패하지 않는 쉬운 여성 이미지입니다 그래서 우리는 아주 좋은 성별 분류기를 사용했습니다

우리는 그것이 실패한 곳을 살펴 보았습니다 그리고 실패하지 않는 곳 우리는 주로 데이터 세트를 만들었습니다 하드 이미지를 포함하고 쉬운 이미지가 거의 없습니다 우리는 이것을 성별 분류기로 설정 한 훈련으로 제공합니다

이제 순진한 경우 해당 바이어스 데이터 세트를 학습하면 남성과 여성의 역할이 천천히, 반대로 바뀌어 당신은 무작위 추측에서 시작 천천히 악화되고 편향되지 않은 데이터 세트가 더 나쁩니다 뒤집힌 세계를 배우기 때문입니다 절단이 가능하다는 점을 고려하면 [들리지 않음]에서 복구 할 수 있습니다 그래서 이것은 제가 말하고 싶은 또 다른 것입니다 밀도를 배우는 비지도 학습 문제

>> 이것을 가지고 죄송합니다 따라서 이것은 편향되지 않은 데이터 세트에서 정확성의 가능성입니다 >> 맞습니다 예 >> 당신은 여전히 ​​[들리지 않음]에 비해 매우 나쁜 일을하고 있습니다

[들리지 않음]에서 55 %가 정확합니다 >> 네 우리는 천천히 개선되고 있습니다 >> 어쩌면 당신은 그것을 얻을 수 있습니다 >> 아직 포화되지 않았습니다 예

결과가 있습니다 비지도 학습, 학습 밀도 다시, 우리가 얻는 것은 학습을위한 최적의 요금 함수로서의 가우시안 및 지수 패밀리 데이터의 차원 그러나 요약하자면, 학습자가 제가 제시 한 사례를 연구하면서 센서 사용 방법 더 이상 사용되지 않는 통계로 들어가는 편견 제거 트레이닝 세트가 대표적이지 않기 때문에 알고리즘의 조건 앞으로 만날 것입니다 강건한 것을 배울 수있는 방법 사실 데이터 세트를 얻는 방법에 대한 선택 편견? 우리는 다시 신경망에 작동하는 일반적인 프레임 워크를 가지고 있습니다 SCD를 기반으로합니다 그러나 엔드-투-엔드 보증을 받으려면 통계에서 몇 가지 오래된 문제에 대한 정보를 제공 할 수 있습니다

특히, 잘린 선형 회귀 프로 빗 물류 및 가우시안 학습은 가우시안을 잘랐습니다 그게 다야 고맙습니다 >> 알겠습니다 암시? 슬라이드로 돌아갈 수 있습니까 당신은 Y에 의해 잘린 농구를 어디에? >> [들리지 않음] 그림이 기억납니다 네

>> 우리가 전에 본 훨씬 간단한 알고리즘이 있기 때문입니다 >> 네 어느 것입니까? >> [들리지 않음] >> 잘린 선형 회귀는 오래된 문제입니다 해결되지 않은 통계에서 >> [들리지 않음]은 엡실론이 대칭이라는 것입니다

그리고 나는 반영하고 싶습니다 당신의 걱정되는 추정치보다 낮은 점수 >> 작동하지 않습니다 왜냐하면 그들 모두를 반영 할 수는 없습니다 당신은 어디에 선을 모른다 >> 아니요 모두 반영하지 마십시오

>> 당신이 줄을 알고 있다면 >> [들리지 않음] 반영 간단 해 >> 라인이 어디에 있는지 알고 있다면 작동합니다 그러나 당신은 선이 어디에 있는지 모른다 >> 아니오, [들리지 않음]

>> 우리는 좋은가요? >> 알겠습니다 다음 단계는 스탠포드의 Tengyu Ma가 있습니다 >> 내 말 들려? 이 작동합니까? 괜찮아 그래서 얘기 할게요 초기의 큰 학습률의 정규화 효과에 대해 Yuanzhi Li와의 공동 작업입니다 누가 스탠포드에 아직 기술적으로 있다고 생각하지만 그는 직업을 위해 CMU에갑니다 스탠포드의 학생 인 콜린 웨이 저는 Tengyu Ma입니다

정규화에 대해 이야기하겠습니다 그러나 원래 동기 이 프로젝트의 가장 빠른 알고리즘에 관한 것입니다 2 년 전에는 1 년 동안 Facebook에 가입하기로 결정했습니다 나는 내가 원하는 것을 생각하고 있었다 딥 러닝을 위해 경험적으로 더 빠른 알고리즘을 설계하십시오 아마 3 년 전에 우리는 [들리지 않음]과 다른 많은 협력자들과 이론적으로 다른 것을 원했다 볼록하지 않은 문제에 대한 빠른 알고리즘

나는 깊은 모델을 위해 이것들 중 일부를 시도해야한다고 생각하고있었습니다 그런 다음 조금 시도했지만 작동하지 않았습니다 그리고 나는 우리 모두가 흥미롭게도 더 빠른 훈련을 원한다면 그렇게 어렵지 않습니다 그래서 당신이해야 할 일은 사용하는 것입니다 학습률이 낮고 매우 쉽습니다 따라서 이것은 더 빠른 훈련을 제공합니다

그러나 테스트 정확도는 그렇지 않을 것입니다 큰 학습 속도만큼이나 좋습니다 여기 2 년 전에 제가 만든 음모가 있습니다 형식을 변경할 수 없어서 더 이상 Facebook 클러스터에 액세스 할 수 있습니다 이것을 전달하겠습니다

주황색은 훈련이고 초기 학습 속도가 001 인 알고리즘의 테스트 이 경우 001은 작은 것으로 간주됩니다 녹색은 초기 연간 비율이 01 인 알고리즘의 곡선 이것은 큰 학습률로 간주됩니다

훈련 측면에서 볼 수 있습니다 점선은 훈련 곡선이고 훈련 성과는 많이 작은 학습률 하나에 더 좋습니다 그러나 주황색 테스트 성능이 시작될 때 학습률이 낮을수록 좋습니다 수렴 후 하루가 끝나면 어떻게 든 녹색이 주황색을 이깁니다 더 오래 실행하면 당신은 주황색이 따라 올 수 있다는 것을 결코 보지 못합니다 어떻게 든 본질적으로 큰 학습률로 여기에 무슨 일이 일어나고 있습니다

큰 학습 속도는 우리가 하루가 끝나면 규칙적으로 우리는 더 나은 테스트 정확도를 가지고 있습니다 따라서 테스트 정확도를 얼마나 빠르게 수렴하는지에 대한 것이 아닙니다 이것은 실제로 최종 정확도에 관한 것입니다 학습률이 높을수록 훨씬 좋습니다 학습 속도가 작은 것보다 조금 낫습니다

여기에는 1 % 만 개선되었습니다 다른 쪽의 데이터와 설정에 따라 다릅니다 여기서 개선은 단지 1 %에 불과합니다 우리는 모든 데이터를 사용하고 있기 때문에 아키텍처 및 정규화와 같은 따라서 많은 개선을 기대할 수는 없습니다 그러나 예를 들어 논증이 없다면 격차가 매우 크다는 것을 알 수 있습니다

어떤 의미에서 우리가 볼 수 있기 때문에 이것은 정말 좋은 알고리즘이 정규화 될 수 있기 때문에 새로운 현상이 발생합니다 [들리지 않음]에 대해 이야기 한 것 같습니다 그것과 많은 다른 사람들에 대해 이야기했다 정규화 효과 알고리즘 정말 신나 네요 새로운 연구 방향이 많이 열립니다 그러나 반면에 걱정은 적어도 병목 현상은 우리는 정규화 효과를 이해하지 못한다 알고리즘의 최적화 알고리즘으로 디자인하는 방법을 모릅니다

더 빠르게 실행되는 더 나은 최적화 알고리즘을 찾을 수 있습니다 하지만 정규화를 이해하지 못하면 결과는 내가 그것을 실행하는 것입니다 실제 데이터 세트와 일반화는 좋지 않습니다 레온과 얘기 했어요 페이스 북의 어느 시점에서 이것에 대해 레온이 말 했어요 실제로 그들은 아마도 20 년 전에 이것을 시도했고 2 차 알고리즘이 더 빠르게 변경 될 수 있음을 발견했습니다 그러나 일반화는 크지 않습니다 아마 이것은 아마도 많은 논문들이보고 한 것처럼 나 자신에 의해 만들어졌습니다

나는 그 신문을 읽는 데 시간이 오래 걸렸다 그래서 내가 스스로를 발견했습니다 그러나 실제로 그들은이 효과를 훨씬 더 일찍보고합니다 그래서 우리의 주요 질문 이 대화에서 부분적으로 답변을 시도 할 수 있습니다 초기 학습 속도가 큰 이유가 일반화에 도움이되는 이유 이걸 이해하면 향후 최적화를 통해 설계 할 수 있습니다

생각해 보면 그렇게 간단하지 않습니다 중요한 것은 여기에 초기 학습 속도가 어떻게 든 있습니다 초기 학습 속도가 달라지기 때문에 이 분석은 다소 역사에 민감해야합니다 따라서 알고리즘 분석은 알고리즘의 시작 단계에서 일어나는 일에 대해 이것은 찾기가 쉽지 않다는 것을 의미합니다 이러한 현상을 볼 수있는 간단한 설정입니다

예를 들어 선형 모델로 작업하는 경우 선형 모델은 우리는 거의 확실하다고 생각합니다 선형 모델에는이 속성이 없습니다 우선, 정규화를 사용하면 이는 볼록한 문제입니다 따라서 어떤 알고리즘을 사용했는지는 중요하지 않습니다 따라서 정규화 효과가 없습니다 정규화가 없으면 사용중인 법률에 따라 물류 법을 사용한다면 그의 곡선 대 논문이 그것의 반복이 전통에 의존하지 않았다는 것을 보여주었습니다

최종 학습률에만 의존합니다 대략 제곱 법이 법칙이라면 나는 같은 일이 일어난다 고 생각합니다 여기 모든 것이 볼록하기 때문에 우리는 반복을 이해하고 매우 확신합니다 그런 현상이 없다고 초기 학습 속도에 대해 종종 최종 학습 속도가 중요합니다 때로는 초기화가 약간 중요합니다 초기화하는 경우 데이터에 대한 직교 부분 공간 거기서 아무것도 바꾸지 않을 것입니다

그래서 초기화가 약간 중요합니다 또한이 문제를 연구하기위한 또 다른 어려움은 당신은 단지 할 수 없습니다 같은 이유로 제한 행동에 대해 이야기하고 중요한 것은 끝이 아니기 때문에 그래서 당신은 어떤 학습 속도를 사용합니다 따라서 우리는 T를 무한대로 취할 수 없으며 확률 론적 과정의 제한적인 행동 연구 NTK도 여기서 실제로 도움이되지 않습니다 NTK가 꽤 많기 때문에 커널 공간에서 볼록 최적화 된 선형 모델 첫 번째 범주에 속합니다

우리가 여기서하는 일은 장난감 데이터 배포 이 장난감 데이터 배포를위한 두 개의 신경망의 경우 우리는 실제로이 현상을 보여줍니다 발생하는 이유는 SGD는 다양한 패턴을 배웁니다 학습 속도 일정이 다른 여러 가지 순서로 따라서 선형 요율표가 중요한 것은 다른 순서로 다른 패턴을 배우고 다른 것들이 다르기 때문에 우리는이 결과를 볼 수 있습니다 마지막에 다른 일반화 성능 우리가 말하는 패턴의 유형은 무엇입니까? 우선, 나는 단지 생각 할거야 이론적으로 이것을 분석 할 수있는 데이터 분포 하지만 처음에는 더 큰 그림을 드리겠습니다 우리가 이미 어떤 종류의 건축을하려고하는지 우리는 두 가지 패턴을 만들 것입니다 첫 번째 단계 패턴은 우리는 일반화하기는 쉽지만 맞추기 쉬운 패턴이라고 부릅니다 예를 들어이 설정에서 선형으로 분류 가능한 패턴으로 생각할 수 있습니다

따라서 선형 모델 만 필요하므로 적합합니다 이러한 데이터에 적합한 매우 간단한 아키텍처 하지만 같은 치수 번호가 필요합니다 일반화 할 데이터 포인트 이것이 우리가 일반화하기 쉽지만 맞추기 쉬운 것입니다 다른 유형의 패턴 비교는 일반화하기 쉽고 적합하지 않은 패턴입니다 우리는이 구체적인 예제를 여러분이있는 곳에서 사용할 것입니다 예를 들어 클러스터 데이터입니다

제가 말했듯이 데이터 포인트는 세 그룹으로 묶여 있습니다 이 세 그룹이 배웁니다 이것들은 긍정적 인 예이며 중간에 있습니다 부정적인 예가 있습니다 이 경우 분리 할 선형 구분 기호를 사용할 수 없습니다 세 군집이 동맹하기 때문에 선형 분류 기가 없습니다

그래서 우리는 당신이 필요하기 때문에 맞추기가 어렵다고 말합니다 그러한 데이터에 적합하도록 적어도 2 계층 네트워크 그러나 그것들은 매우 밀집되어 있기 때문에 실제로 일반화는 쉽습니다 2 계층 네트워크가 필요하더라도 당신이해야 할 유일한 것은 세 가지 요점을 거의 암기하기 위해 클러스터의 세 중심 기본적으로 세 가지 예를 보면 완벽하게 일반화 할 수 있습니다

따라서 복잡한 모델이지만 일반화 할 샘플은 거의 없습니다 이것들은 우리가 이야기 할 두 가지 유형의 패턴입니다 우리는 학습 순서를 보여줄 것입니다 그런 문제에 분포는 다른 유형의 패턴을 가지고 있습니다 그래서 여기에 방법이 있습니다 패턴이 혼합 된 장난감 분포를 구성합니까? 따라서 데이터 포인트에는 좌표의 두 가지 하위 집합이 있습니다 좌표의 첫 번째 부분 집합을 x1이라고합니다

차원이 d이고 좌표의 두 번째 하위 집합도 치수입니다 디 우리는 세 가지 유형의 예제를 구성 할 것입니다 이 데이터 세트는 이기종입니다 따라서 첫 번째 유형의 예제는 질량의 20 %입니다 이 예제의 20 %는 x1, 0 형식입니다

두 번째 특허는 존재하고 우리는 첫 번째 패턴 만 가지고 상기 제 1 패턴은 상기 제 1 패턴으로부터 생성되며, 선형 적으로 분류 가능한 패턴 타입 2 예제는 또한 질량의 20 %를가집니다 그들은 첫 번째 패턴이 없을 것입니다 첫 번째 좌표 세트에서 그리고 두 번째 좌표 세트는 후반 패턴 클러스터링되었지만 선형으로 분리 할 수없는 패턴 세 번째 유형의 예 나머지는 두 가지 패턴이 있습니다 그래서 우리가 걱정하는 이유 이 이기종 데이터 세트를 사용하면 학습 순서가 차이를 만드는 것을 볼 수 있습니다 두 알고리즘을 비교해 보겠습니다

첫 번째 알고리즘은 첫 번째 유형의 먼저 패턴을 만든 다음 두 번째 패턴을 배웁니다 기본적으로 먼저 패턴 1을 배우고 패턴 1을 어떻게 배우나요? 기본적으로 1 번 예제를 입력하고 3 예제는 x1을 모두 가지고 있습니다 패턴 1을 배우기 위해 모두 사용할 수 있습니다 질문? >> 패턴 1은 선형으로 만 분류 할 수 있어야합니다 또는 클러스터가 잘 구성되지 않은 고 분산을 원하십니까? >> 타입 I의 경우, 우리는 그것들이 높은 분산을 원합니다

정확한 구성에 대해 이야기하겠습니다 기본적으로이 두 가지를 절반 가우시안으로 최소한 일반화 할 샘플 수를 요구합니다 >> X와 원의 의미는 무엇입니까? >> X는 양수 샘플입니다 원은 음성 샘플입니다 >> X1에도 라벨이 포함되어 있습니까? [들리지 않음]과 함께 제공되는 [들리지 않음] 외부 레이블

>> 네 이와 관련된 레이블이 있습니다 다음 슬라이드에서는 더 정확할 것 같습니다 여기에 아주 빨리 설명하기 위해 제 X1은 패턴 1에서 생성되었습니다 나는이 배포판에서 X1과 레이블을 함께 결합한다는 것을 의미합니다 >> 라벨이 X1 안에 있거나 [들리지 않음]입니까? >> 레이블은 기술적으로 표기법으로 X1 외부에 있습니다

네 >> X1 내부? >> 외부 >> 외부 >> 네 기술적으로 패턴 1에서 생성 된 X1, Y를 작성해야합니다 >> 알겠습니다

>> 네 >> 세 번째 유형으로 말할 때 X1에서 X3까지 두 개의 레이블이 있습니까? >> 하나의 레이블이 있고 연결되어 있습니다 따라서 X1과 X2는 동일한 레이블에서 생성됩니다 >> 알겠습니다 >> 레이블에 나열한 다음 X1 및 X2를 생성 할 수 있습니다 다음 슬라이드에서 더 명확해질 것입니다

괜찮아 학습 순서로 돌아갑니다 따라서 이기종 데이터 집합이 있다면 패턴을 먼저 배우고 싶다면 그러면 무슨 일이 일어나는지 사용해야합니다 패턴 1을 가진 모든 예제는 패턴 1을 학습합니다 기본적으로 Type을 사용합니다 I 및 Type III 데이터가있는 곳 X1에 있고 가장 적합한 선형을 찾습니다 패턴 2를 배울 수 있습니다

패턴 2를 배울 때 우리는 단지 나머지를 사용합니다 패턴 2 만있는 예제의 20 % 따라서 알고리즘 2의 순서는 다릅니다 여러분이하는 일은 먼저 패턴 2를 배우는 것입니다 최고의 비선형 피팅을 찾는 곳 패턴 2를 가진 모든 예에 패턴 2가있는 예는 무엇입니까? 유형 II 및 유형 III 예제는 패턴 2를 갖습니다 그런 다음 나머지를 배웁니다 이제 남은 예제의 20 % 만 남았습니다

모든 유형 II 및 유형 III 예가 이미 완벽하게 맞습니다 따라서 예제의 20 % 만 있습니다 왼쪽 이들은 유형 I 데이터입니다 기본적으로 차이점은 학습 패턴 1과 관련하여 여기 첫 번째 알고리즘에서 우리는 80 %를 사용합니다 패턴이 1 인 데이터의 두 번째 경우에는 데이터의 20 % 60 %의 나머지 패턴 2를 배우는 데 사용되었으며 정확하게 맞습니다 더 이상 사용할 수 없습니다

이 비율이 작을수록 [들리지 않음]이 발생합니다 당신은 거기에 볼 수 있습니다 일반화 측면에서 차이가있다 여기서 일반화는 데이터의 80 %를 사용하고 있기 때문에 더 좋습니다 그리고 여기서 일반화는 더 나빠질 것입니다 데이터의 20 % 만 사용하고 있기 때문입니다 여기서는 학습 패턴 1에 대해서만 이야기하고 있습니다 학습 패턴 2는 항상 좋습니다 패턴 2는 배우기 쉽기 때문입니다

패턴 2를 배우려면 세 가지 예만 있으면됩니다 그래서 그것은 질문에서 벗어났습니다 따라서 두 예제 모두 패턴 2를 매우 잘 배울 수 있습니다 기본적으로 제가 보여 주려고하는 것은 이 큰 학습 속도 플러스 어닐링은 알고리즘 1을 수행 할 것입니다 정확히이 두 가지를 할 것입니다

전체적으로 작은 학습 속도는 알고리즘 2를 수행합니다 그래서 알고리즘 1과 알고리즘 2가 작은 학습 속도와 큰 학습 속도 일반화 성능에 차이가있을 수 있습니다 패턴 1의 일반화 성능이 다릅니다 그것들은 다른 수의 예에서 배운 것이기 때문입니다 지금까지 질문 있나요? 따라서 이것은 단지 높은 수준의 계획입니다

어떻게하는지 좀 더 말해 줄게 우리는 이것을 정확하게 구성하고 증명했습니다 또한, 우리가 온전한 지 여부를 확인합니다 여기에서 분석과 관련하여 역사에 의존하는 우리는 물류 손실을 사용하기 때문에 그렇게합니다 기본적으로 일어나는 일은 큰 학습 속도와 어닐링을 사용하면 먼저 패턴 1을 배우고 이제이 데이터를 모두 사용한 후 물류 손실을 사용하고 있기 때문에 샘플이 적합하면 자신감 때문에 너무 높고 그래디언트가 너무 작아서 다른 용도로는 절대 사용할 수 없습니다 적어도 오랫동안 당신은 사용할 수 없습니다 자신감이 돌아 오지 않는 한 그래서 당신이 몇 가지 예를 배운 후 물류 손실을 잘하면 더 이상 사용할 수 없습니다

그래서 여기에 패턴 1을 배우면 사용할 수 있습니다 패턴을 배우는 예제들 여기서도 마찬가지입니다 이것이 역사의 의존성에서 비롯된 것입니다 >> [들리지 않음] 의존성, [들리지 않음] 수정 가능 이 예제의 문제 당신은 일정한 학습 속도를 가질 수 있습니다 탈락 또는 그와 비슷한 것 >> 물론입니다

우리는 몇 가지 완화 전략을 가지고 있습니다 [들리지 않음]에 매우 가깝습니다 그래서 나는 대화가 끝날 때 완화 전략에 대해 이야기하고 이것은 인공적인 실제 데이터 셋을 보여주는 실험입니다 이런 현상도 볼 수 있습니다 인공 인공 데이터 세트 용 우리가 증명할 수있는 것은 장난감 케이스입니다

여기 좀 더 현실적인 경우입니다 여전히 또 다른 실제 데이터 세트입니다 하지만 좀 더 현실적입니다 데이터 셋을 생성하는 방법은 다음과 같습니다 아이디어는 우리는 실제 데이터 세트에서 이 쉬운 패턴과 어려운 패턴이 있습니다

이 두 가지 패턴을 좋아하지만 찾을 수 없었습니다 적어도 우리는 아직 그것들을 찾는 방법을 모른다 우리가 한 일은 기존 이미지의 모든 패턴에서 그것들은 타입 I 패턴이고 우리는 타입 II 패턴을 주입합니다 일반화하기 쉽지만 적합하지 않은 패턴 우리는 어떻게합니까? 그래서 기본적으로, 이 워터 마크를 CIFAR 이미지의 중간에 추가하면 이것은 타입 II 패턴입니다

기본적으로 모든 클래스에는 정확히 두 개의 패치가 있습니다 이 두 패치는 해당 클래스와 정확히 연관되어 있습니다 두 패턴을 보면 그들이 어떤 클래스인지 정확히 그리고 당신은 방금 주사 해당 클래스의 모든 이미지에 대한 두 패턴 중 하나입니다 기본적으로 두 가지 패턴이 있습니다 각 클래스 I에 대해 V와 VI 프라임 클래스 I 예제의 VI 소수

우리는 같은 타입 I을 사용합니다 유형 II 및 유형 III 구성 예제의 20 %에는 패치가 없습니다 예제의 20 %에는 패치 만 있습니다 따라서 실제 이미지조차 없습니다

중간에 패치 일뿐입니다 배경이없고 60 %의 예제가 혼합되어 있습니다 이제 데이터 세트가 있고 실험을 실행할 수 있습니다 큰 학습 속도와 작은 학습 속도로 우리가 어떤 종류의 패턴을 배우고 있는지보십시오 >> 20 %는 단지 [들리지 않음]입니다 >> [들리지 않음]에서 나는 단지 깨끗한 이미지를 생각합니다

네 이제 우리는이 큰 열거 형과 작은 열거 형을 실행합니다 이 [들리지 않음]의 예를보고 싶습니다 먼저 패치를 배우 든 실제 이미지를 먼저 배우 든 이 경우 패턴이 무엇인지 알기 때문에 이러한 패턴의 학습 순서는 무엇인지 조사 할 수 있습니다 나는 녹색을 무시하도록 요청할 것입니다 이것이 실제로 완화 전략입니다

파란색과 빨간색에 중점을 두겠습니다 따라서 파란색은 큰 열거 형 어닐링입니다 이것이 우리가 에포크를 어닐링하는 지점입니다 30과 초록색은 전체적으로 더 작은 열거 형입니다 나는 녹색을 무시하도록 요구할 것입니다 빨간색은 전체적으로 작은 열거 형입니다 깨끗한 정확성을 볼 때 깨끗한 예, 파란색의 정확도

큰 열거 형과 어닐링 전체적으로 좋은 정확성을 얻습니다 그러나 깨끗한 정확성 작은 열거 형이 아닙니다 큰 열거 형의 깨끗한 정확도만큼 좋습니다 이것은 우리의 설명에 따릅니다 이것은 당신이 사용하지 않기 때문입니다 깨끗한 패턴을 배우기에 충분한 샘플 열거가 작은 패턴 1 더 유익한 정보 일 수도 있습니다 패치 정확도를 보면 여기에서 우리가 의미하는 것은 분류기에 패치하고 정확성을 확인하십시오

이것이 여러분이 배우는 양을 측정하는 것입니다 패턴 2를 얼마나 사용하고 있습니까? 패치, 분류합니다 이제 이것은 매우 분명합니다 당신이 작은 열거 할 때 그래서 패치를 매우 빠르게 배워야합니다 패턴 2는 매우 배웁니다

다섯 시대에 아주 빨리 그러나 큰 열거 형을 사용하면 패턴 2와 [들리지 않음]을 배우지 않을 것입니다 기본적으로 큰 열거 형으로 당신은 단지 무시하지 않을 것입니다 당신이 중간에 패치 어쨌든 이것이 가짜 연습임을 감지하십시오 >> 정확한 정확성에 대한 정의는 정확히 무엇입니까? >> 임의의 깨끗한 예제에 모델을 적용하기 만하면됩니다 >> [들리지 않음]없이

>> 수정없이 >> 동일한 무조건 배포입니다 >> 네 동일한 무조건 분포 >> 알겠습니다 패치 정확도 워터 마크를 포함하고 있습니다 >> 패치 정확도는 방금 압출 된 것입니다

우리는 워터 마크와 배경이 없습니다 배경이 0으로 설정되었습니다 >> 워터 마크 만 있습니다 >> 네 >> 그것은 흰색이거나 다른 이미지와 비교됩니다 >> 예, 예 >> 알겠습니다 >> 네 그래도 여전히 올바르게 분류 할 수 있다면 기본적으로 패치를 배우고 있음을 제안합니다

실제로 이미지가 제공되지 않기 때문에 당신은 패치 만 제공됩니다 >> 당신은 그것을 모든 흰색 이미지 또는 다른 것과 비교하고 있습니다 >> 어떤 이미지가 제로 정확도를 제공합니까? >> 맞아 그러나 나는 그렇게 말하고 있습니다 패치에는 한 가지 유형의 이미지 만 표시됩니다 (들리지 않음) >> 한 가지 유형의 이미지 만 있습니다

>> 알겠습니다 >> 기본적으로 20 개의 이미지가 있습니다 모든 수업마다 10 개의 수업이 있으며 모든 수업에는 2 개의 이미지가 있습니다 이 20 개의 이미지 만 가지고 있으며 정확도가 무엇인지 살펴보십시오 큰 열거 형으로 무시해야합니다

패치는 기본적으로 작은 열거 형으로, 당신은하지 않을거야 또는 당신은 패치를 매우 빠르게 배울 것입니다 >> 왜 각 수업마다 두 개의 패치가 있습니까? 클래스 당 하나의 패치 만 있으면 [들리지 않음] >> 그렇다면 선형으로 분류 할 수 있다고 생각합니다 패치가 필요합니다 대칭 위치이므로 패치는 선형으로 분리 할 수 ​​없습니다 이것은 또한 우리의 건설에도 있습니다

나는 우리가 하나의 패치를 시도했지만 작동하지 않았다고 생각합니다 마지막으로 배운 것은 패치와 학습 패치에는 이미 깨끗한 이미지가 일반화되어 있습니다 올바른 곡선으로 패치를 매우 일찍 배우고 그러나 당신은 두 번째 패턴을 잘 배우지 못합니다 괜찮아 아마 10 분 정도 걸렸을 것 같아 10 분 미만 >> 6 분 미만

>> 6 분 괜찮아 그럼 아마도 나는 아주 빨리 갈 것이다 사실 여기서 너무 많이 말하지는 않습니다 기본적으로 이것은 정확한 구성입니다

그래서 여기에 올바른 표기법을 사용하고 있습니다 나는 x1, y를 생성 할 것입니다 분포 p와 분포 p 패턴 1은 선형으로 분리 가능 약간의 마진을 가진 가우시안의 절반입니다 정확한 [들리지 않음]은 중요하지 않을 것입니다 타입 2는 다음과 같은 두 번째 패턴에서 생성됩니다

그래서 우리는 그것들을 선형으로 분리 할 수 ​​없도록 구성합니다 방향면에서 클러스터가 있습니다 타입 3은 기본적으로 생성하는 방법을 찾는 것입니다 기본적으로 몇 개의 레이블을 사용하여 x1, y는 p이고 x2, y는 Q임을 알 수 있습니다 기본적으로 조건부 레이블 및 생성 조건부 분포에서 나온 XYS X2 데이터 조건부 레이블 그래서 이것들은 [들리지 않는] 개선 된 정리입니다

중요한 것은 이것은 거의 분류 할 수 없습니다 그래서 우리는이 두 클러스터를 선형으로 분류 할 수 없도록 레이블을 1로 지정하십시오 따라서 정리 정리를 생략 할 것입니다 진술은 내가 당신에게 말한 것입니다 난 그냥 조금 더 만들었습니다 공식적이지만 여전히 공식적이지 않은 깔개 밑의 모든 것을 쓸어 버리기 때문입니다

중요한 것은 우리가 어떤 아키텍처를 사용하려고합니다 정확히 표준 아키텍처가 아닙니다 이것이 우리가 그것을 증명할 수있는 유일한 경우이기 때문입니다 따라서 X1과 X2에서 독립적으로 작동하려면이 아키텍처가 필요합니다 어떤 식 으로든 알고리즘은 가우스 잡음으로 분석합니다 그래서 소음이납니다 잠시 후에 이야기하겠습니다

그런 다음 알고리즘을 증명할 수 있습니다 하나의 큰 열거 형과 매체 캔 작동 및 알고리즘 2가 작동하지 않습니다 많은 시간이 걸리지 않았습니다 여기서 자세히 설명하지 않겠습니다 기본적인 직관에 대해 조금 이야기하고 싶습니다 내가 생각하기 때문에 조금 아마도 여기서 가장 흥미로운 것입니다 우리가 작은 분석에서 우리가하는 일은 기본적으로 이것이 NTK라고 말하는 것입니다

NTK를 사용하면 수렴을 분석 할 수 있습니다 변환기가 얼마나 빠른지 알고 있습니다 우리는 NTK를 조금 더 연구해야합니다 우리가 배우는 패턴을 정확히 특성화합니다 흥미로운 것은 큰 열거 형에 관한 것입니다 왜 큰 열거로 배우지 않을 것입니까? 열거가 큰 패턴 2와 그 이유는 다음과 같습니다

큰 열거 형을 사용하면 소음이 매우 커서 그래디언트에서 같은 양의 노이즈가 있다고 가정합니다 큰 열거 형에 해당 반복적으로 많은 양의 노이즈가 효과적으로 발생합니다 그것은 파도가 많이 변한다는 것을 의미합니다 파도가 많이 바뀌고 소음이 크면 모델을 살펴보면 두 번째 유형의 패턴 또는이 클러스터 패턴 실제로, 당신의 모델은 할 수 없습니다 실제로 작동하는 강력한 도구입니다 실제로 모델은 동작 만 할 수 있습니다 노이즈가 클 때 선형 모델처럼

그 이유는 벡터 W가 있고 이 W는이 클러스터를 분리하지 않습니다 이 W가 이전 데이터 포인트와 같다고 가정 해 봅시다 W의 한쪽에 있습니다 즉, 활성화 패턴이라는 의미입니다 에 대해 모두 동일하게 될 것입니다 세 가지 유형의 예 또는 Z 및 세타 및 Z 및 Z + 세타 기본적으로 W 조옮김 X의 relu가 있지만 실제로 relu는 많은 작업을 수행하지 않습니다

relu는 항상 당신을 제공합니다 모든 패턴 2 예제에 대한 고정 부호 >> [들리지 않음] 다시 말하면 학습률의 선택을 잊어라 타임 스탬프의 처음 20 % 만주세요 패턴 2의 예 마지막 80 %에서 패턴 1의 예 그래서 당신은 무슨 말을하든 어떤 알고리즘이든 그렇게 할 것입니다

왜냐하면 >> 아뇨 >> 아니, 내 말은 이 경우 학습 속도는 실제로 중요하지 않습니다 >> 네 당신이 맞아요 이 경우 학습 속도는 중요하지 않습니다 하지만 우리는 알고리즘이 없다는 것을 증명할 수 없었습니다 모든 알고리즘이 나쁠 것입니다

우리는 단지 특정 알고리즘이 알고리즘이 있기 때문에 나쁘다 예제의 첫 번째 배치를 사용합니다 >> 모든 알고리즘을 말했을 때 나는 단지 학습률이 처음 20 % 만 줘도 도움이되지 않습니다 첫 번째 패턴 2와 패턴 1 >> 네 그러나 어려운 부분은 그렇습니다, 나는 동의하고 그것을 보여주기가 어렵지 않습니다 어려운 부분은 학습률 종류는 올바른 순서를 제공 할 수 있습니다 큰 알고리즘처럼 올바른 순서를 제공합니다

작은 알고리즘은 다른 순서를 제공합니다 이것이 기술적 인 어려움입니다 그래서 여기 기본적으로 큰 알고리즘을 사용하면 패턴 2를 배우지 않을 것입니다 알고리즘에서 패턴 2가 주어 지더라도 그 이유는 가중치가 너무 임의적이므로 비선형 함수로 동작하지 않도록합니다

기본적으로 뉴런은 항상 선형 함수와 같습니다 뉴런은 이와 같은 것을 만족시킵니다 이 두 점을보고 평균을 구합니다 실제로 중간 지점과 같습니다 따라서 항상 선형 함수가 있습니다

그래서 당신이 할 수없는 이유 이런 종류의 학습 패턴은 선형으로 분리 할 수 ​​없기 때문입니다 학습 속도에 근접한 경우에만 소음 수준을 줄이려고합니다 W를 볼 수 있도록 우리는 초평면을 만들 수 있습니다 이 예제 클러스터 사이에 있습니다 이 데이터 분포에 대해 비선형 모델을 가질 수 있습니다 이것이 바로 직관입니다 따라서 기술 직관을 건너 뛸 것입니다

당신이 관심이 있다면 아마도 기록 될 것 같아요 그래서 나는 추측하자 완화 전략에 대해 조금 더 이야기하십시오 따라서 우리의 이론에 따르면 학습 속도가 큰 경우 활성화 패턴에 많은 노이즈를 주입하고 일반화하기 쉬운 패턴을 배우지 못하게합니다 활성화 패턴에 노이즈가 많으면 선형 모델처럼 행동합니다 우리는 이것이 우리에게 도움이 될 수 있는지 보려고 노력했습니다

완화 전략 설계와 같은 자연 완화 전략은 사전 활성화시 노이즈를 추가하고 [들리지 않음] 부분과 같습니다 이제 녹색에 대해 이야기 할 수 있습니다 기본적으로 작은 학습 속도와 소음입니다 이제 우리는 학습률이 낮습니다 하지만 우리는 소음을 사용하여 [들리지 않는] 인공 패턴을 배우십시오

이제 노이즈가있는 녹색이 그렇지 않다는 것을 알 수 있습니다 작은 학습 속도로 인공 패턴을 배우십시오 나는 여기에 당신이 소음 수준을 알고 있다고 생각하면 배울 수 있습니다 좀 더 나은 정확도를 얻을 수 있도록 패턴 따라서 이것은 실제로 완화 전략입니다 또한 인공 패치없이 깨끗한 데이터로 시도했습니다 사실, 그것은 여전히 ​​개선에 도움이됩니다 학습률이 낮을 때의 정확도

기본적으로 여기에 실험이 있습니다 일부 WideResNet16이있는 CIFAR-10 그래서 나는 이것과 이것이 기준이라고 생각합니다 큰 학습 속도와 어닐링 이는 90 %이며 학습률은 84 %입니다 따라서 6 %의 차이가 있습니다 큰 학습 속도와 작은 학습 속도 사이 작은 학습 속도와 사전 활성화 노이즈를 사용하면 우리는 그 차이의 거의 대부분을 통해 그 차이를 회복 할 수 있습니다

그건 그렇고,이 숫자는 그렇게 높지 않습니다 여기에 데이터 제한이 없기 때문에 이 둘 사이의 간격이 6 %라는 것을 알 수 있습니다 데이터 제한이있을 수 있습니다 크고 작은 학습 속도의 격차 아마 2 % 또는 그와 비슷한 것입니다 그래서 빨리 마무리하는 것 같아요 그래서 주요 메시지 학습률이 높으면 일반화하기가 어렵습니다

맞추기 쉬운 패턴 및 작은 학습 속도 일반화하고 맞추기 어려운 패턴을 배웁니다 배우거나 배우는 모든 것 이러한 패턴은 로지스틱 손실과 관련이 있습니다 열린 질문은 실제 데이터에서 이러한 패턴을 어떻게 식별합니까? 우리는 아직 그것을하는 방법을 모른다 인공 패턴을 주입하려고합니다 그러나 실제 데이터에서 이러한 패턴을 식별하는 방법을 모릅니다

우리는 어떻게 결과를 더 많이 만들 수 있습니까? 우리가 고안 한 장난감 예제 대신 일반? 이 예제는 실제로 장난감입니다 어떤 식 으로든 우리는 그것을 증명하는 방법에 대한 아이디어를 가질 것입니다 마지막으로 마지막 슬라이드에서 적어도 일부를 공유해야합니다 알고리즘 정규화에 대한 개인적인 폭 넓은 전망 이 작품은 다소 더 넓은 범위의 알고리즘 정규화 적어도 어쩌면 나처럼 또는 우리는 더 강한 결과를 입증 할 수 없었습니다

하지만 이해하는 것 같아 알고리즘 정규화는 매우 이 장난감 예제에서도 우리가 도전하기 때문에 모든 것을 증명하기 위해 50 페이지 중 40 페이지를 사용해야합니다 또한이 장난감에 대해 명확하지 않습니다 알고리즘이 정규화하는 복잡한 측정 방법 정말 복잡합니다 어떤 의미에서는 나는 또한 적어도 우리를 끌어 들이고 싶습니다 다른 가능한 지름길을 생각하기 위해 이런 종류의 것들을 처리합니다 내가 비관적이라고 생각되는 것처럼 우리가 할 수 없었던 한 가지 측면에서 매우 큰 발전 가까운 장래에 알고리즘 정규화를 이해합니다 그러나 그것은 또 다른 경로 일 수 있습니다

약간의 속임수이지만 더 쉽습니다 우리가 할 수있는 명백한 조절기를 찾을 수 있다고 말할 수 있습니다 적어도 경험적으로 알고리즘 정규화를 가정하십시오 그래서 우리는 명시적인 조절기를 설계하고 실제 데이터 세트의 명시 적 조절기 당신이하지 않는 것을보고 희망 정규화하려면 알고리즘을 사용해야합니다 자, 이것들은 적어도 해결 이 조절기로 인해 최적화 문제가 더 빠른 알고리즘을 안전하게 설계 할 수 있습니다

나는 관심의 분리가 있습니다 난 신경 쓰면 돼 더 빠른 알고리즘이 있습니다 그러나 나는 여부에 대해 생각할 필요가 없습니다 내 정규화는 알고리즘에서 충분하거나 아닙니다 그런 다음 우리는 초기 예비 약속의 징후를 보았습니다 이 데이터 종속 정규화 중 일부를 사용합니다 그래서 이것들은 그렇지 않은 정규화입니다

매개 변수의 표준에만 의존합니다 네트워크의 다른 수량에 따라 다릅니다 예를 들어, 활성화 및 기타 사항 또한, 마지막으로하고 싶은 것은 일반적으로 나는 이질성이 의심 데이터 세트는 중요한 것입니다 그래서 우리는 여기서 볼 수 있습니다 흥미로운 현상이 발생합니다 이기종 데이터 세트가있을 때 또한, 나는 일반적으로 아마 데이터 집합에 이질성이있는 경우 실질적인 개선도 다소 쉽습니다

아마도 표준 데이터 세트 일 것 같습니다 모든 것이 멋지게 디자인되면 그래서 데이터 세트는 알고리즘 정규화에 맞게 이미 잘 조정되었습니다 그래서 여부를 확인하기가 매우 어렵습니다 명시 적 조절기는 정확도를 향상시킬 수 있습니다 예를 들어, 어떤 의미에서 불균형 할 때 우리는 명시적인 정규화가 실제로 실제 성능 측면에서 많은 도움이됩니다 이 논문은 매우 간단한 이론을 가지고 있습니다

이론처럼 수업에 대한 숙제 질문만큼 쉽습니다 그러나 경험적 성능은 많이 이전의 [들리지 않음] 부분보다 낫습니다 그게 내가하고 싶은 전부라고 생각합니다 고맙습니다

AI Institute "Geometry of Deep Learning" 2019 [Workshop] Day 1 | Session 3

>> 기조 연설을 위해 MSR에 Leon을 환영하게되어 기쁩니다 그는 소개가 필요 없습니다

몇 가지 주요 사항을 설명하겠습니다 나는 매우 행복했다 실제로 올해 튜링 상 수상자 신경망에 대한 레온의 기본 연구에 대해 90 년대 초에도 확률 적 그라디언트에 대한 대규모 학습에 대한 그의 연구 그는 항상 출발에 대한 깊은 통찰력을 가지고있었습니다 추론을 배우고 보간에서 외삽으로 그는 오늘 나에게 제목을 말해 구매 그의 기조 연설은 볼록성이 될 것입니다 그는 단지 볼록성에 대해 말해 줄 것입니다 더 이상 고민하지 않고 레온에게 가져 가라

>> 저를 초대 해주셔서 감사합니다 오늘 아침에 많은 것을 보았 기 때문에 사과하고 싶습니다 매우 세련된 대화와 방금 마무리했습니다 그래서 나는 그것이 있기를 바랍니다 내부의 무언가가 어리 석고 잘만되면 당신은 저에게 말할 것입니다 제목이 AI의 지오메트리 였기 때문에이 대화의 동기는 몇 년 전 지오메트리와 관련이 있다고 생각했습니다 2016 년과 17 년에 작성된 것 같습니다 >> 마이크 >> 마이크가 켜져 있지 않습니다

>> 마이크가 켜져 있지 않습니까? >> 작동합니다 >> 작동합니다 알았어요 우리는 출판 된 논문을 썼습니다 조금 애매하지만 남자 형제 때문에 모호하지 않아야 아이젠만 형제입니다 커널은 40 주년을 맞았습니다 지나가고 이해하려고하는 것에 대한 많은 기초 총의 토폴로지와 무슨 일이 일어나고 있는지, 우리는 매우 이상한 이론을 가지고있었습니다 단순하고 어쨌든 우리는 그 이름을 알아볼 수있을만큼 똑똑했습니다

"알라 카르 트 볼록"하지만 너무 많이 생각하지 않아서 단순하고 또한이 정리로 얻은 결과 때문에 나는 그것을 잘 찾지 못한다 지는 경계에 만족하지 않습니다 하지만 최근 몇 년 동안 신경 접선이있는 논문 및 관련 논문 신경망에서의 최적화 이 아이디어로 돌아갈 때마다 아주 간단하게 생각하기 때문입니다 적어도 그것은 내 직감을 말한다 여러분과 공유하고 싶습니다 이것이 유용한 도구인지 확인하십시오

무언가를 극도로 말하는 주장 새로운 것이지만 그것을 보는 흥미로운 방법입니다 요약하자면 문맥 최적화에 대해 이야기하겠습니다 물고 토론하다 근사 속성에 대해 말하는 것, 글로벌 최소화 및 매개 변수화 바이어스 세 번째 부분에서 그때 당신이 나에게 1 시간 슬롯을 준다는 것을 깨달았습니다 나는 무엇에 대해 이야기하려고합니다 처음부터 종이도 기하학이 또 다른 예를 제공합니다 매우 다르며 그 결과를 계속 사용할 수 있습니다 처음에는 아주 느리게 시작해야하는데 우리가 거의 증명할 수있을 정도로 간단합니다 한 가지를 제외한 모든 것이 중요합니다

배경; 저는 세련된 미터법 공간에서 일하고 있습니다 좋은 미터법 공간을 생각해보십시오 곡선은 단지 0,1이라고합시다 내 공간으로 연속하고 두 점을 연결하고 콤팩트하기를 원하기 때문에 감마 서브 트리 T라고 부릅니다 따라서 미터법 공간의 커브에는 많은 것이 있습니다

전 분야가 있습니다 메트릭 지오메트리를 사용하여 대부분 단축 할 것입니다 내가 정말로해야 할 유일한 것은 내가 필요하다는 것입니다 제한 속도 곡선은 실제로 Lipschitz를 거의 의미합니다 그것에 대한 많은 배경이 있습니다 상수 속도에 대해 말할 수 있기 때문에 커브와 일정한 측지선으로 이동합니다 이 모든 사업은 기본적으로 내가 만들면 곡선의 파라미터 T에서 약간의 움직임 미안하지만 난 그냥 할거야 두 점 사이의 거리가 너무 멀지 않다 크고 빨간 볼록도를 정의하겠습니다 곡선 군 C를 가정하고주었습니다

나는 그것이 무엇인지 압니다 그들에 대해 아무 말도 하지마 내 공간의 부분 집합은이 곡선 군과 볼록한 관계입니다 모든 쌍 x, y에 대해 하나씩 x를 연결하는 곡선이 있습니다 y로 완전히 연결되어 있습니다 기본적으로 나는 내 세트에 머무를 수 있고 다음 중 하나를 사용하여 x에서 y로 갈 수 있습니다 내 곡선과 나는 말한다 실제 함수는 모든 곡선에 대해 C에 대해 볼록합니다

곡선에 대한 F의 제한은 모든 DAB에 대해 볼록합니다 기본적으로 당신은 정상적인 볼록 함을 가지고 있습니다 첫 번째는 내 가족이 곡선은 유클리드 공간의 선분이며 이것은 정상적인 볼록 함입니다 두 번째는 비대칭입니다 나는이 볼록한 구조를 보았습니다 하나의 커브와 실제 함수는 모든 커브에서 볼록합니다

두 점을 연결하는 곡선이 여러 개인 경우 두 번째 정의가 더 까다 롭습니다 내가 유일하게하기 때문에 조금 약화시킬 수 있습니다 끝점 사이를 볼록하게 볼 수 있습니다 기본적으로 어떤 T에 대해서도 감마 T의 F는 감마 0의 F와 감마 1의 F의 혼합물 아래 그림과 같이 조금있을 수 있습니다 신경 쓰지 않을 것이고 결과는 매우 간단합니다

F가 커브 패밀리에 볼록한 효과 인 경우입니다 비용 함수 인 경우 곡선의 끝점에 대한 끝점 대류 효과 기본적으로 모든 레벨 세트는 C에 제한 속도 곡선 만 포함 된 경우 모든 지역 최소값은 세계적입니다 기본적으로 볼록성의 필수 속성은 원하는 모든 곡선이있는 설정에서 유지됩니다 말이 되나요? 이것의 증거는 매우 간단합니다 레벨 세트에 속하는 X와 Y를 입력하면 기본적으로 X의 F는 M보다 작습니다 Y의 F는 M보다 작습니다

F는 커브 패밀리에 대해 볼록한 관계이므로 안에 연결되어있는 커브가 있습니다 F F는 끝 점이 볼록하므로 나는 감마 T의 F가 1-Fx의 T + T보다 작다고 생각합니다 Y의 F와 T의 F와 Y의 F가 모두 M보다 크므로 감마 T가 내 레벨 세트에 속한다는 것을 의미합니다 따라서 레벨 세트는 연결되기 전에 경로로 연결됩니다 이제 지역 최소값에 대한 두 번째 부분입니다

나는 포인트가 있다면 로컬 최소값이라고 말했다 그런 공 공의 모든 포인트는 공의 중심보다 크거나 같습니다 모순에 의한 추론, Y가 있다고 가정 Y의 F가 X의 F보다 작도록 X를 Y에 연결하는 곡선을 만듭니다 속도가 제한되어 있어야합니다 속도가 제한되어 있기 때문에 이 속성은 Lipschitz 속성입니다 제한 속도이므로 2K 이상 엡실론을 사용하면 2K 이상의 감마 엡실론의 F가 더 큼 X의 F 인 감마 제로의 F보다 하지만 종말점 볼록성을 가지고 엄격한 불평등과 반대 불평등, 따라서 불가능합니다 그러므로 내 지역 최소의 모순은 위에있을 수 없습니다 F의 다른 지점에서의 가치 지금까지 매우 간단합니다

간단한 머신 러닝 예제를 보자 연속 기능인 X 일부 입력 공간에서 일부 출력 공간으로 부분 집합 X는 기능 군입니다 그것은 일부 세타에 의해 매개 변수화되었습니다 파라 메트릭을 쓰지 않았습니다

커널이나 물건을 갖고 싶어 손실 L을 보자 첫 번째 주장에서 볼록하고 이것은 내 모델의 출력입니다 훈련 예제, 그리고 f, 그래서 손실과 함께, 나는 2F를 가질 것입니다, 미안합니다 내 경험적 교차 함수는 f입니다 그래서 f 기본적으로 모든 기능에서 경험적 손실을 계산합니다

혼합물 만 나타내는 곡선을 만들겠습니다 함수 공간에서 직선 세그먼트 일뿐입니다 즉, 내가 지금 말할 것은 평면 볼록 인수로 얻을 수있는 것 나중에 살펴 보겠습니다 따라서 비용 함수 f는 내 곡선과 사소하게 볼록합니다

기본적으로 출력 공간에 커브를 그립니다 예를 들어 내 네트워크의 손실이 볼록하기 때문에 이것은 볼록하고 문제 없습니다 따라서 함수 군이 곡선에 대해 볼록한면이라면 정리가 적용되며 선형 모형에 적용됩니다 대포 모델의 경우에도 마찬가지입니다 그리고 공식 네트워크도 거의 마찬가지입니다

왜 거의? 내가 매우 풍부하게 패러미터를한다면 과도하게 매개 변수화 된 것이 여기에 적합하지 않다고 말해서는 안됩니다 풍부하게 매개 변수화 된 신경망 근사 특성이 좋습니다 글쎄, 당신은 내 선형 혼합물을 근사 할 수 있습니다 직선에 가까이 갈 수 있습니다 그러나 이것은 A를 증명하기에 충분하지 않습니다

B가 일반적으로 거의 A가 거의 B를 의미한다는 것을 의미하지는 않습니다 그것은 너무 좋을 것이고 이것은 커브가 유용 할 수있는 곳입니다 내 네트워크가 대략적으로 잘 될 수 있다는 것은 무엇을 의미합니까? 글쎄, 나는 단순화 할 것입니다 나는 F가 있다고 말할 것입니다 감마 세타 t

그래서 기능 혼합물에 가까운 내 가족 기본 2 차 거리 인 감마 t 기본적으로 F에서 G로가는 선을 정의합니다 기능 공간에서 내 두 기능 나는 시가를 정의하고 다른 시가 이후로 나는 그것을하는 가족의 기능을 가지고 있습니다 이 시가가 존재한다는 것을 증명하면 이것은 성가신 일입니다

할 수 없습니다 클릭 만하면됩니다 그렇게하는 페이지는 흥미롭지 않습니다 흥미로운 것은이 r 계수가 여기가 작아지면 네트워크가 커지고 근사치가 좋아집니다 그래서 나는 그것에 머물 것입니다 이제 커브 세트가 이러한 시가 모양 영역에 포함 된 모든 곡선

두 점이 있으면 시가를 그리고 이 안에있는 모든 커브는 내 커브 중 하나입니다 저는 행복합니다 이제 구성에 의해, f는 일련의 곡선에 대해 볼록하다 두 기능마다 시가 안에 곡선이 있어요 f에 속한다고 가정합니다 문제는 이 제품군과 관련하여 비용 함수 끝 점이 볼록합니까? 글쎄, 무슨 일이 일어나면 당신이 할 수있는 고정 도메인에 도메인을 바인딩 어쨌든 레벨 세트가 끝났다고 주장 매우 높은 엔드는 다른 주장과 같은 다른 주장도 있습니다

당신은 손실과 함께 일부 Lipschitz 가정을 만들 수 있음을 알 수 있습니다 기본적으로, 당신은 같은 것을 그것은 기능에 일어나고 있습니다 세타 t의 f가 f의 f보다 작다 혼합물과 약간의 quartic, 람다 t1 빼기 t 람다 Lipschitz의 제품입니다 상수와 내가 가진 L 이것을 적용하면 나는 이것을 얻습니다

부호가 잘못 되었기 때문에 강한 볼록성이 아닙니다 사실, 손실이 Mu라면 이 작업을 수행하는 대신 볼록하게 볼록하게 Mu를 추가 할 수 있습니다 t1에서 t를 빼고 Lambda가 Mu보다 작 으면 완료됩니다 그러나 그렇지 않습니다 볼록하지 않은 기능을 처리해야합니다

거의 볼록한 모양이며,들을 수 없습니다 여기의 두 번째 부분이 있습니다 내가 거의 볼록 최적화라고 부르는 정리 익숙한 곡선을 존중하기 위해 F가 볼록합니다 각 곡선에 대해 비용 함수 이와 같은 것을 만족 시키십시오 더 이상 빨간색으로 작동하지 않습니다

볼록한 검증 [들리지 않음] 지금 말할 수 있으면 증명하기가 매우 간단한 것입니다 m이 최소값보다 크면 f plus Lambda 함수의 에 등장하는 람다 그런 다음 레벨 세트가 연결됩니다 기본적으로 제한 속도, 구속 조건도있는 경우 그것은 어떤 지역 최소 세계 최소값보다 최대 감마입니다

왜 그렇게 되었습니까? 다시 매우 간단합니다 따라서 두 가지 점을 고려하십시오 레벨 설정에서 x와 y 그리고 값이 M보다 작은 것은 레벨 세트에서 az를 선택합니다 z의 f는 m에서 감마를 뺀 값보다 작습니다 아래에있는 az를 선택합니다 이제 두 개의 커브를 만들어 보겠습니다

x를 z에 연결하는 것, 또 하나의 z에서 y 사실, 그들은 같은 구조입니다 이 두 커브가 있다면 그런 다음 경로가 있고 경로가 연결되어 있습니다 이 그래프에서보다 쉽게 ​​볼 수 있다고 생각합니다 감마 제로가 x이고 감마 1이 z이면 m은 저의 레벨입니다

나는 그 선 아래에 있지 않을 것입니다 여기 빨간 곡선 아래에 있습니다 z가 x보다 충분히 낮 으면 빨간색 곡선이 모두 M 아래에 있는지 확인할 수 있습니다 따라서 x와 z 사이의 곡선은 전적으로 레벨 세트에 있습니다 마찬가지로 z에서 y까지의 곡선은 전적으로 레벨 세트에 있습니다

따라서 내가 가지고 있다는 결론에 내 레벨 세트에서 x와 y를 연결하는 경로를 찾았습니다 따라서 매우 짧습니다 예 >> 그래서이 시가를 가져 가서 이것의 모든 곡선으로 정의되는 함수 클래스 >> 내 커브 클래스는 시가의 모든 커브입니다

>> 그러나 각 열은 FT에 직접 대응합니다 그런 다음 [비가 청]에 다시 매핑하려면 어떻게해야합니까? >> 각 곡선이 해당합니다 아니요, 여러 개체가 있습니다 나는 가고있는 커브 패밀리를 가졌습니다 볼록한 개념을 원하는 방식으로 사용자 지정할 수 있습니다 사이에 선분이 아닌 내 곡선 군 두 기능은 두 기능 사이에있을 것입니다

시가에서 계속 유지되는 곡선 내 기능 군이 모델 인 것은 볼록합니다 이 곡선 중 하나가 가족 내부에 남아 있다고 말할 필요가 있습니다 내 가정 때문에 모델은 근사 특성이 우수합니다 시가 내용이 근사치 일 정도로 충분합니다 거기에 커브를 만들 수 있습니다

연속성에 대해 약간주의해야합니다 두 번째 부분은 비용 함수가 볼록한 것입니다 하나는 모든 곡선에 대한 제한이 볼록한 것입니다 따라서 특히 우리 가족의 곡선에 대한 볼록한 존중 이 볼록 함을 실제로 완화시킬 수 있습니다

엔드 포인트 볼록을 사용할 수 있습니다 나는 거의 볼록했다 말할 수있다 볼록 함은 계수 Lambda t1 빼기 t 그런 식으로 결함이 있으면 당신이 증명할 수있는 것은 레벨 세트가 연결되었습니다 Lambda를 최적으로 사용할 때까지 Lambda를 원하십니까? 예, Lambda를 원합니다 따라서 하강 알고리즘이 있다면 당신은 레벨 세트를 축소거야 하강 할 때마다 거기에 갈 것입니다 기억이 잘 나면 나는 더 큰 말했다 네트워크는 더 나은 근사치와 내 시가는 작습니다

네트워크가 커지면 이 Lambda는 더 작을 수 있고 더 작아서 전 세계 최소값으로갑니다 예 >> 다음 [들리지 않음] 증거에서 감마가 연결되어 있어야합니다 >> 예, 감마는 Lambda 여야합니다 마지막 순간에 방금 변경했기 때문에 대화에 감마가 너무 많았 기 때문입니다 여기이 감마는 람다 여야합니다

하지만이 감마 -t는 여전히 감마입니다 당신은 참조하십시오 그래서 저는 용어 문제가있었습니다 이 슬라이드는 좋지 않습니다 그러나 실제 아이디어는 여기에 있습니다

기본적으로 m 지점과 Lambda 지점은 m 이하 내가 볼록 결함과 같더라도 나는 그들을 연결 m 아래에 남아있을 수 있습니다 그런 점 하나면 충분합니다 우리가 지금 어디에 있는지 생각한다면 비교적 간단한 방법으로 신경망이 있다면 합리적인 가정을 가진 강력한 근사 특성, 괜찮은, 배달 된 세트는 원하는만큼 느리게 연결되고 CR을 원하는만큼 작게 얻을 수 있기 때문입니다 하강 알고리즘은 꽤 잘 작동합니다 지역 최소 또는 하단에 우리는 단지 시원합니다

그런 말을하는 최근 결과가 있다는 것을 의미합니다 그러나 훨씬 더 복잡합니다 그렇다면 이것으로부터 무엇을 이해할 수 있습니까? 제가 이것에 대해 이야기한다면 이 결과는 독립적입니다 친숙한 기능의 매개 변수화 이것은 중요하지 않습니다 정말로 중요한 것은 익숙한 기능이 충분히 가까이있을 수 있습니다

적절한 곡선으로 연결하거나 또는 적절한 곡선이 잘 될 수 있습니다 가족의 요소에 의해 추정됩니다 어느 쪽이 좋습니까 세타 공간에서 레벨 세트는 볼록하지 않을 수 있습니다 그들은 매우 기괴 할 수 있습니다 그러나 그들은 연결되어 있습니다

그들이 중심에 갈 때 일할 것입니다 그러나 학습 알고리즘은 Theta 공간에서 작동하기 때문에 암묵적인 편견이 무엇이든 학습 알고리즘에 있고 기본적으로 사물을 어떻게 매개 변수화하는지에 따라 그리고 세계 최소의 것들 초과 매개 변수화 된 모델로 반환됩니다 또는 일찍 할 때 어떤 솔루션이 반환되는지 그게 정말 달려있다 학습 알고리즘의 역학에 매개 변수 자체에 따라 다릅니다 어쨌든, 당신은 거의 전 세계적으로 갈 수 있다는 사실과 암묵적인 편견은 연결이 끊어졌습니다 혼합 곡선을 사용할 때 내가 지금까지 한 일입니다 어떤 곡선입니다 직선 또는 직선에 매우 가깝습니다

기본적으로 익숙한 기능이 충분한 근사 특성을 너무 밀접하게 그 기능 중 두 가지의 혼합을 나타내는 합리적인 학습 알고리즘 내 말은, 거리 물건, 결국 세계적으로 가장 가까운 곳을 찾을 것입니다 네트워크가 충분하다면 최근 결과가 많이 있습니다 실제로 베드로는 목록을주었습니다 그것들은 신경 용어와 일치합니다 신경 접선 [들리지 않음] 이 모든 최근 결과는 훌륭합니다

그들은 일반적으로 더 복잡합니다 이 일련의 논문에서 내가 아주 흥미로운 것을 발견 한 것은 프랜시스와 오 얄론 그가 주장하는 게으른 학습 신경 접선 접근이 있습니다 그가 게으른 학습이라고 부르는 것 해결책을 거치는 정권 그러나이 솔루션은 종종 그 솔루션을 일반화하지 않습니다 디커플링이 있기 때문에 이것을 볼 수 있습니다 매개 변수화와 볼록 속성의 볼록 속성 내가 가고 있다고 말할 수 있습니다 기본적으로 결과는 학습 알고리즘이 극복 할 가능성이 있음을 의미 매개 변수화 및 따르기 복잡한 수준을 설정하고 솔루션에 도달하십시오

그러나 이것이 좋은 아이디어는 아닙니다 특히, 당신이 많은 경우 소셜 공간이 큰 솔루션 과도하게 매개 변수화 된 네트워크에서 일반적입니다 그것은 또한 이상한 것과 연결된 매우 강한 모양, 학습 알고리즘은 특정 매개 변수화에 도달 할 수 있음 고려할 최소값보다 더 나은 최소값 당신은 단지 고려할 수 있었다 어떤 제약도없이 반대 의견을 제시합니다 이제 이것은 문제에 따라 결정될 것입니다 매개 변수화가 실제로 문제와 관련이 없는지 여부 따라서 우리가 가질 수 있습니다 대신 좋은 해결책을 제시 할 암묵적 편견 기본적으로 솔루션의 여전히 달성 가능합니다

특정 문제 여야합니다 또는 다른 곡선을 사용할 수 있습니다 다른 커브를 사용하는 것은 어떻습니까? 예 >> 우리가 다시 갈 수있는 곳이 있습니까? 자연스러운 그라디언트를 암시하는 것으로 생각하십니까? >> 자연스러운 그라디언트는 약간 다릅니다 당신이 고려하는 자연적인 그라디언트 매개 변수화 된 공간, [들리지 않는] 공간

그래서 당신은 밖을 보지 않습니다 여기서는 전체 공간에 지오메트리를 정의하지 않습니다 함수를 정의한 다음 모델의 하위 세트를 정의합니다 볼록 속성이있는 모델의 하위 세트를 원합니다 내 비용 함수는 일부 곡선에 대한 볼록 특성

어쨌든 바깥을 보면 파라 메트릭 모델을 사용하면 나에게 중요한 것은 매개 변수화가 아니라는 것입니다 그러나 실제로 친숙한 기능의 기하학 올바른 목표를 볼 때 네 >> [들리지 않음] 따라서 자연스러운 그라디언트를 연결할 수 있습니다 내 형상을 관련 시키면 자연 그라데이션을 정의하는 나머지 매니 폴드 커브 세트의 커브 지오메트리에 나는 그것이 연결이 될 것이라고 생각합니다

그것은 당신이 어떻게 움직일 수 있는지 알려줍니다 >> 네 그러나이 경우 첫 번째 재산이 있습니다 익숙한 기능의 볼록 함은 기본적으로 달성됩니다 당신은 단지 내부를보고 있기 때문에 두 번째는 문제를줍니다 여기 트릭은 둘 사이의 균형을 잡을 수 있다는 것입니다 내가 가족 때문에 문제가 생겼을 때 함수는 볼록한 것이 아니 었습니다

그들은 선을 근사 할 수있었습니다 "좋아, 더 많은 커브를하겠습니다 " 다른 부분을 가진 플레이어는 그래서 어려움을 한 손에서 정리 모형의 다른 손 기능의 볼록 함과 가족의 볼록 함 그래서 나는 언제 그것을 썼는지 몰랐습니다 하지만 그것은 매우 간단하지만 강력한 도구입니다

그러나 이것은 내가 지금 생각하는 것입니다 아마도 틀 렸습니다 나는 내가 틀렸다면 많은 사람들이 말해 줄 수 있다고 생각했습니다 그래서 그것은 저에게 기회를줍니다 실제로 논문에 무엇이 있는지 토론하십시오 이 논문에서 이것은 논문의 마지막 부분에있었습니다

내가 아주 좋아하지 않는 결과를 제공하기 위해 그 단점에 대해 이야기하겠습니다 하지만 흥미로운 부분이 있습니다 암시 적 모델에 관한 것입니다 GAN, VA 같은 것 또한 좋은 예입니다

내가가는 예가 매우 다른 종류의 곡선과 혼합을 사용하십시오 사실, 나는 그것이 작동하지 않는 혼합물을 보여줄 것입니다 암시 적 모델에 관심이있는 이유는 저는 단어의 중요한 속성을 찾고 싶습니다 있는 것보다는 특정 분포에 따라 다릅니다 변하지 않는 중요한 속성을 찾고 싶습니다 분포 변화에 특정 종류 또 다른 이야기입니다

하지만 기본적으로 엔지니어링 된 모델 대신 배포 보안을 통해 최근 모델과 매우 가깝거나 내부에 있으며 모든 거리를 사용할 수 있습니다 중요한 속성을 나타내는 매우 간단한 모델을 사용하고 싶습니다 그러나 데이터 배포가 현실적인지는 신경 쓰지 않습니다 그래서 사이의 거리 실제 분포와 모형의 분포 내가 최소화하려고하는 것은 정말 중요합니다 이 최대 가능성을 원한다면 좋은 도구가 아닙니다

간단한 모델이 무엇입니까? 몇 가지 관찰되거나 잠재 된 변수와 관련된 것 분포가 퇴화되고 저 차원 매니 폴드로지지됩니다 그것은 밀도가 없다는 것을 의미합니다 따라서 밀도 추정이 없습니다 그래서 그 해결 방법 사용하여 간단한 모델을 보강하는 것입니다 노이즈 모델과 노이즈 모델을 조정할 때까지 원하는 결과를 얻고이를 감독되지 않은 학습이라고합니다

그것은 실제로는 아니지만 나는하고 싶습니다 노이즈 모델을 추가 할 필요가 없는지 알고 하지만 재미있는 거리를 찾으십시오 올바른 속성이 있습니다 아직 찾지 못했습니다 그러나 몇 가지가 있습니다 암시 적 모델링은 관찰 된 데이터를 가지고 있다는 것입니다 분포 Q로 흐르는 나는 내가 알고있는 배포판을 가지고있다 매개 변수화 된 기능을 통해 앞으로 모수 분포를 만들기 위해

샘플을 얻을 수 있습니다 기본적으로 두 개의 샘플러가 있습니다 데이터 인 하나는 무제한 인 또 다른 하나입니다 Theta를 최적화하기 위해이 분포를 비교하고 싶습니다 좋은 점은 저 차원지지를 가질 수 있습니다

기본적으로 이것은 매우 좋습니다 매니 폴드 지지율이 낮은 분포를 나타냅니다 수학으로 쓸 수 있습니다 흥미로운 것은이 # 표기법입니다 운송 문헌에서 일반적입니다 G-Theta # Mu를 보시면 중 하나에 대한 푸시를 의미 함수 G-Theta를 통한 분포 Mu 많이 사용하겠습니다

그것은 퇴화 분포에 좋습니다 이제 분포를 비교하십시오 너무 똑똑해지기 전에 문헌에 무엇이 있는지보세요 분포를 비교하는 것에 관한 큰 문헌이 있습니다 기본적으로 강력한 토폴로지를 생성하는 것이 있습니다 총 변형과 같이 밀도가 필요한 쿨백-라이 블러

그것은 필요하기 때문에 거리가 아닙니다 밀도, 비대칭, 가능하면 무한 에 사용되었던 Jensen Shannon GAN의 첫 번째 버전 실제로 작동하지 않기 때문에 아무도 사용하지 마십시오 비대칭에는 밀도가 필요하지 않습니다 제곱근은 실제로 적절한 거리입니다 그러면 더 최근의 것들이 있습니다 Wasserstein-1이 있습니다

Wasserstein 거리는 모두가 알고 있거나 설명해야한다고 가정합니까? 시간이있어 설명 할 수있을 것 같습니다 그래서 저는 두 개의 분포 P와 Q를 가지고 있습니다 이것이 제가 WL, Peyre 소개에서 취한 그래프입니다 두 개의 분포 P와 Q, 그리고 나는 한계 P와 Q의 합동 분포를 구하고 공동 분포는 어디에서 보조금을 운송해야합니다 하나의 분포에서 두 번째 분포를 만들 확률 그래서 파이는 최소 이상입니다 모든 공동 배포 일부 비용 함수의 한계 P와 Q가 있습니다

운송비가 비싼 지 아닌지를 알려줍니다 이원성 정리로 최고야 모든 Lipschitz의 하나의 기능 X의 F 분포에 대한 기대 Y의 F의 두 번째 분포에 대한 마이너스 기대 항상 정의되어 있습니다 기본 공간의 측정법과 관련이 있습니다 밀도가 있거나 Lipschitz의 기능 중 하나 그것은 Wasserstein GAN에게 영감을주었습니다

거의 Kantorovich이지만 약간의 성공을 거두었습니다 때 나를 놀라게 한 또 하나 내가 처음 봤는데, 나는 무지하기 때문에 Diane Bouchacourt의 논문에서 그것이 Szekely의 에너지 거리입니다 네가있는 기괴한 일이야 기대하다 두 분포 지점 사이의 거리 두 번 곱하기 분포 차이 내부를 제거합니다 당신은 보여줄 수 있고 나는 그것을하지 않을 것입니다 이것은 동일하다 기본적으로 여기서 사용하는 거리와 또는 MMD 방법에서 사용하는 커널

최대 평균 불일치 MMD는 기본적으로 동일한 역할을합니다 다시, 당신은 Wasserstein과 에너지 거리를 모두 가지고 있습니다 MMD, 주 토폴로지를 정의하십시오 어쩌면 그들은 정말 의존 아래의 미터법 공간 분포 >> DiscoGAN의 경우 근사치 신경망과 함께이 최고 아니면 대포보다 더 똑똑한 일을합니까? >> 그들은 캐논보다 똑똑하지 않습니다

이제는 미터법을 MMD-GAN이라고하는 새로운 방법으로 작성했습니다 왜 대포로 똑똑한 일을하지만 또한 적대적인 용어로도 사용됩니다 사실, 그는이 정의를 벗어납니다 따라서 동일한 지오메트리를 갖지 않았습니다 이제 분배 공간에서 혼합물을 살펴 보겠습니다

P0, P1의 경우 최대 분포 Pt는 두 분포의 혼합물입니다 나는 배포판이 있다고 가정합니다 생성기에 의해 암시 적으로 정의됩니다 혼합물이 볼록하다고 생각합니다 아마도 볼록한 혼합물이라고하면 혼합물 세트에 대한 주요 볼록한 존중 그밖에

그것이 의미하는 바입니다 기본적으로 모든 혼합물에 대해 세타 T는 G-Theta T를 통해 Mu를 밀면 내 분포가 나옵니다 문제는 P0과 P1이 0이 아닌 여백을 가진 G-Theta 지원 T2 세타 T보다 불연속 또는 Theta에서 G-Theta 로의 불 연속적입니다 두 경우 모두 배우기가 매우 어려울 것입니다 불연속 기능을 배우는 것은 재미가 없기 때문에 최적화

증거는 간단합니다 두 개의 분포 P0을 취합시다 G-Theta 공급 장치가있는 P1 여기에 약간의 여백 Mu 모든 Epsilon 양성에 대해 그러나 Z의 G-θ 0은 작다 따라서 G- 쎄타 제로의 출력은 항상 P0의 공급 장치에 속합니다

G-Theta 제로를 통해 Mu를 앞으로 밀면 P0이 구현되기 때문입니다 모든 Epsilon, Z의 G-Theta Epsilon, Epsilon 확률로 P1의 공급원에 속합니다 작은 규모이지만 관리가 있다면 Z의 일부는 P0의 공급 P1의 P0 공급 즉 Z가 있으므로 Z의 G-θ 0과의 거리 Z의 G- 세타 엡실론이 우리의 4 명이 Epsilon 인 방법에 관계없이 U 따라서 이것은 본질적으로 확률 공간을 커브하는 혼합물, 이 두 분포 사이에 곡선을 만들고 싶습니다 당신은 어딘가에 끊을 연속성이 있습니다

연속 할 수 없습니다 그래서 이것은 혼합 곡선이 일치하지 않습니다 암시 적 모델의 기하학 전혀 다른 곡선이 필요합니다 변위 곡선으로 이동하는 동안

검색 시간으로 돌아가서 P0에서 P1까지의 운송 계획 한계가 P0 및 P1 인 공동 분포입니다 우리는 최적이라고합니다 DXY에 대한 DP의 기대 공동 분포에 대한 기대는 최소입니다 지수 P는 어설 션 P 거리 중 하나입니다 같은 그림이 여기에 있습니다 이제 유클리드의 경우 기본 공간이 아닌 경우 측지선을 따라야하는 것이 더 복잡합니다

간단한 사례를 살펴 보겠습니다 변위 곡선은 Pt를 정의 할 것입니다 최적의 운송 계획을 통해 혼합물을 추진하는 것 즉, 최적의 운송 계획을 세웁니다 배포부터 시작하여 이민자 권한을 갖겠습니다

P 음식 운송 계획을 따르면 저는 Q로갑니다하지만 교통 수단에서는 난 그냥 떨어 뜨릴거야 분수 T와 내가 어떤 분포를 얻었는지 보라 이제 P_0이 G_Theta_0이라고 가정 해 봅시다 [들리지 않음] G_Theta_0 및 P_1을 통해 mu를 앞으로 밀기 u G_Theta_1의 푸시 포워드 글쎄, 내가 둘 다 앞으로 밀면 공동 배포가 있습니다

그것이 교통 계획입니다 두 가지의 조합을 추진하면 이 운송 계획에 대한 변위 곡선이 있습니다 기본적으로 가족이 G_Theta 함수는 근사치가 충분히 강합니다 이것은 최적의 계획에 가깝습니다 그래서 실제로 필요했습니다 G_Theta_0을 원하는 것으로 가져갈 수 있기 때문입니다

>> 알겠습니다 >>이 최적의 변위는 u로 G_Theta_t에 가깝습니다 기본적으로 다시 한 번 경고를하면 복잡 할 수 있습니다 나는 여기에 지나치게 주장하고 싶지 않습니다 난 그냥 말할 때 G_Theta 제품군은 충분히 풍부하고 근사치입니다 변위 곡선이 패밀리 내부에있는 것이 당연합니다 기본적으로 변위 볼록성은 자연 명목 볼록 암시 적 모델에 의해 정의 된 배포 제품군

그러한 가족은 일반적으로 논쟁 때문에 혼합 볼록한 그들이 있다면 그것들을 쓸모 없게 만드는 불연속성이 없습니다 가족과 비교할 수 있습니다 파라 메트릭 밀도 함수로 정의됩니다 파라 메트릭 밀도 기능이 있으면 파라 메트릭 밀도 함수가 근사 특성이 높고 근사 할 수있는 기회 중첩 또는 혼합물이며 여기에서 무시됩니다 혼합 곡선의 경우 밀도를 추정 할 때 매우 자연 스럽습니다

그러나 암시 적 모델이 있으면 자연 곡선은 실제로 변위입니다 문제는 변위가 볼록한 비용 함수는 무엇입니까? 그것은 또 다른 쓰레기이기 때문입니다 우리는 암시 적 모델링을 알고 있습니다 몇 가지 사실을 알려 드리겠습니다 첫 번째는 Wasserstein과 MMD가 얼마나 다른지입니다

글쎄, 나는 강력한 토폴로지를 제쳐두고 또한 불연속 문제가 있기 때문입니다 Wasserstein 논문의 주제였습니다 나는 Wasserstein과 에너지 거리를 취합니다 이중 형식을 설명하면 매우 닫힙니다 다른 유일한 것은 sup [들리지 않음]입니다

Lipschitz_1 기능에서 하나의 Lipschitz 경계인 기능 Wasserstein과 MMD에 대한 [들리지 않음]에 내가 무지하기 때문에 [들리지 않음] 예, 정말 가깝습니다 나는 그것이 꽤 큰 차이라는 것을 발견했다 Lipschitz_1이 분명히 더 큽니다 RKHS로 많은 것을 근사 할 수 있기 때문이 아닙니다

RKHS Bohr은 Lipschitz_1 Bohr와 가깝습니다 어쨌든 측지학에 대해 토론 할 수 있습니다 분배 공간이 갖추어 진 경우 에너지 거리 또는 MMD 거리 가장 짧은 경로를 보여줄 수 있습니다 두 분포 사이의 혼합 곡선입니다 가장 짧은 길을 보지 않았다는 것만 빼고 거리를 최소화하면 최단 경로는 꽤 볼록성 측면에서 중요합니다 분포 공간이 Wasserstein_P와 같을 때 가장 짧은 경로는 변위 곡선입니다

Wasserstein_1에는 둘 다 있고 모든 종류가 있습니다 약간 변위되는 하이브리드 커브의 약간의 혼합물 공간의 다른 부분 또는 다른 반전 Wasserstein_1에는 많은 측지학이 있습니다 통계적 속성, 내가 사이에 예상 거리를 보면 종점에 대한 분포 Q 및이 경험적 근사치 에너지 거리는 그것은 n 이상에 있습니다

Wasserstein에게 그것은 n에 대한 차원이고 d에 대한 차원입니다 재앙입니다 이것은 Sanjeev가들을 수없는 좋은 예입니다 그의 영역에서 이것이 완전히 도달했습니다 완전히 희망이없는 것 같습니다

그러나 당신이 그것을 실행할 때 무슨 일이 일어나고 있습니까? 실제로 ED MMD는 치수가 작을 때 잘 작동합니다 이것이 [청취 불가] 논문에있는 내용입니다 [들리지 않는] 용지가 다릅니다 높은 차원에서 매우 빨리 붙습니다 Wasserstein 훈련은 꽤 잘 작동하는 것 같습니다 나는 그것이 매우 쉽고 매끄 럽거나 전부라고 말하지 않을 것입니다

그것은 정상적인 신경망뿐만 아니라 작동하지만 작동의 기울기입니다 예를 들어서 그것은 전형적인 침실입니다 이러한 모든 초기 이미지 혁신 문제에 사용됩니다 이것들이 예입니다 MMD 교육을 받으면 특정 신경망, 당신은 그 세대를 얻습니다 Wasserstein 거리로 훈련하면 이 네트워크를 얻을 수 있습니다

그게 왜 힌지가 가장 끔찍한 통계적 속성 작품을 훨씬 더 잘 생각할 수 있습니다 나는이 사진이 보면, 그것은 일종의 미인 대회입니다 그렇게 많이 말하지 않습니다 그러나 여전히 볼 수있는 일관된 효과입니다 그것의 많은 세트, 거기에 뭔가가 있습니다

어떻게 일이 잘못 될 수 있습니까? 괜찮아 이것은 예입니다 균일하고 매우 간단하며 완전히 구성되었습니다 그러나 그것은 그것을 보여주기 위해 만들어졌습니다 상황이있을 수 있습니다 지역 최소값과 Wasserstein_1과 같은 에너지 거리는 그렇지 않습니다 구성 예입니다

그렇게하도록 설계되었습니다 그러나 최소한, 그것은 당신이 얻을 수있는 개념 증명입니다 에너지 거리가있는 지역 최소 당신은 Wasserstein과 함께하지 않습니다 이제 저는 가족의 볼록함에 대해 이야기했습니다 거리 함수의 볼록함에 대해 [들리지 않음] 제가 최소화하려고하는 것은 DQ, P_Theta입니다

비용 함수 P를 DQ로 P, 그것은 볼록한가요? 변위 볼록합니까? 혼합 볼록은 일직선이므로 작동하기 쉽습니다 변위 볼록은 먼저해야하기 때문에 더 복잡합니다 이것은 일반적으로 미터법 공간에서는 사실이 아니라고 확신합니다 L1 거리를 갖춘 L2를 가져 가십시오 이것이 맨해튼입니다 거리를 제외하고는 거리의 이산화없이

측지선은 가장 간단한 방법으로 세로로 가로로 가로로 이동합니다 여기이 십자가는 L1입니다 L2에 L1 거리를 장착하면 볼록합니다 죄송합니다 세트와 관련하여 볼록합니다

측지선이며 L2의 L1 메트릭에 사용됩니다 그러나 두 볼록 세트의 교차점은 볼록하지 않아도 연결되지도 않습니다 또한 거리를 0으로 설정하면 여기이 두 곡선이 측지선이라는 것을 알 수 있습니다 파란색은 볼록하지만 거리를 0에 가깝고 빨간색은 그렇지 않습니다 따라서 기본적으로 제공되지 않습니다

알았어요 Wasserstein 거리 변위 볼록하지 않습니다 여기에 반례가 있습니다 원에서 균일 한 Q B는 중앙에서 회전하는 스틱에서 균일합니다

스틱의 길이는 LL입니다 PL과 Theta 사이에 Q의 플롯 Wasserstein을 표시하면 세타에 의존하지 않기 때문에 회전 비대칭은 L에만 의존하고 감소합니다 기본적으로 스틱이 클 때 Wasserstein 거리가 더 작습니다 실제로는 매우 직관적입니다 이제 스틱을 약간 돌리고 P1과 P0 사이의 변위 보간

여기에 PT가 있습니다 하지만이 PT는 곡선을 따르지 않습니다 그것은 직선을 따르고 있습니다 여기이 도트 도트 선은 직선입니다 즉, 회색 세그먼트는 P0 및 P1보다 약간 짧습니다

조금 짧기 때문에 Wasserstein 거리가 더 큽니다 여전히 희망이 있습니다 기본적으로 당신이 얻는 것, 희망은 당신이 쓸 수 있다는 것입니다 내가 싫어하는 정리 한계가 너무 심하기 때문에 그러나 그것은 심지어 볼록성을 위반하더라도 T의 용어로 묶을 수 있습니다 1 빼기 T 곱하기 이제 G_Theta를 늘려도 무언가가 줄어들지 않습니다

이것이 내가 싫어하는 이유입니다 고정 수량입니다 기능에 따라 다릅니다 증거가 아주 초보적인 접착제 그것은 약간 성가 시지만 실제로는 그리 어렵지 않습니다 그런 다음 거의 볼록한 최적화 정리를 적용 할 수 있습니다 보증이 있다고 결론 내립니다 Wasserstein을 사용하여 암시 적 모델 최적화 그 값이 전 세계 최소값에 가까운 지역 최소값 만 근방은 그다지 좋지 않습니다 내가 신경망에 가지고있는 것 나는 그것을 줄일 수 없기 때문에 근사 함수를 증가시킵니다

내가 대략적으로 근사하더라도 내 기능은 Wasserstein 거리와 관련하여 볼록했습니다 내 기능 군은 Wasserstein 거리를 정확히 고려하여 나는 여전히이 여분의 용어를 가질 것이다 어쨌든, 나는 이것과 거꾸로 있었다 보기 때문에 재미 있다고 생각합니다 중요한 것이있는 예 [들리지 않음]의 기하학 인 기계 학습 배급은 장비 될 수있다 혼합물과 매우 다른 곡선으로

때로는 암시 적 모델 때문에해야합니다 여전히 어떤 종류의 것을 얻을 수 있습니다 이러한 방식으로 볼록성 결과 및 최적화 결과 우리가 논문을 쓸 때 정말이 결과에 흥분했습니다 정리는 나에게 너무 단순하다 하지만 제 관찰은 이런 종류의 실제로 결과는 그렇게 간단하지 않습니다

그들은 문학에서 일반화하기가 훨씬 더 어렵습니다 시간이지나면서 내 마음이 바뀌었던 아마 실제로 생각 이 사소한 정리는 그렇게 나쁘지 않습니다 많은 어려운 결과를 아주 단순하게 만들기 때문입니다 그래서 내 결론은 혼합 곡선에 대한 볼록 함은 로 회귀 모형 최적화 강한 근사 특성 하강 알고리즘은 거의 전 세계 최소값을 산출합니다 이 속성은 정확한 매개 변수화와 무관합니다 암묵적인 편견에 대해서는 아무 것도 말하지 않습니다

매개 변수화와이를 가장 잘 활용하는 방법에 의해 유도됩니다 암시 적 생성 모델에서 변위 곡선에 대한 볼록 함이 더 보인다 혼합 곡선과 관련하여 볼록성보다 자연 스럽습니다 그것은 우리의 잠재력입니다 이미지에 대해 생각하십시오 이미지에서 이미지의 혼합은 쓰레기입니다

몰라 자연 지오메트리의 이미지에는 변위 지오메트리가 있습니다 따라서 사용 가능성이있을 수 있습니다 이상한 곡선과 증명 어떤 종류의 네트워크에 흥미로운 것들, 특히 이미지에서 잘 작동하는 모든 네트워크 그러나 나는 그것을하지 않았으며 어떻게 해야할지 모르겠다 그것 그게 다야

>> 질문 할 시간 >> 네 >> 부분적으로 이해하지 못했습니다 2 일반화에 대해 이야기하기 시작했을 때 나는 파트 1이 훈련에 관한 모든 것을 의미합니다 >> 아니요, 일반화에 대해서는 전혀 이야기하지 않았습니다 >> [들리지 않음]

>> 일반화에 대해서는 아무것도 없습니다 >> 당신은 어떤 점에서 그것이 >> 미안, 2 부 무슨 말인지 알 겠어 >> 맞아 >> 하강 알고리즘이 진행될 수 있도록하는 속성 거의 전 세계적으로 복잡한 속성으로 줄어 듭니다 매개 변수화에 의존하지 않습니다

그러나 매개 변수화는 하강 알고리즘은 다음과 같습니다 우리는 생체 공간에서 일하기 때문입니다 따라서 암묵적인 편견을 만듭니다 그들은 당신이 찾을 솔루션을 결정할 것입니다 일찍 멈 추면 그들은 당신이 멈출 곳을 결정할 것입니다 예를 들어, 솔루션 공간이 있으므로 레벨이 설정됩니다

제로 레벨이므로 연결합니다 그것은 데이터 공간에서 매우 기이합니다 결과에 따르면 해당 수준까지 나는 그들 중 하나에 갈 수 있도록 연결되어 있습니다 그것은 내가 좋은 것에 갈 것이라고 말하지 않습니다 반면에 익숙한 기능이 매개 변수화되는 방식 익숙한 기능이더라도 제로 행렬을 상당히 많이 바꾸고 있습니다

아주 잘 해결책에 도달 그것은 일반화 측면에서 우수합니다 >> 당신은 할 수 있습니다 >> 할 수 있습니다 만약 내가한다면, 이것은 매우 문제에 의존하는 것입니다 그것은 본질적으로 달려 있기 때문에 매개 변수 설정 방법에 대해 >> 커널 방식과 같은 시점에서 이것은 커널이 당신이 [들리지 않음]을 시도하는 것뿐만 아니라 일반화 할 것입니다 >> 아니, 당신은 그 증거를 설정했습니다

>> 알겠습니다 >> 종이를 Francis와 그의 학생의 게으른 학습지 그의 이름을 기억해야합니다 죄송 해요 >> [들리지 않음] >> 알겠습니다 그것이 얼음이나 사자 또는 이와 같은 것인지 확실하지 않습니다 >>이 학생은 [들리지 않음] 학생입니다

>> 알겠습니다 어쨌든 오늘이 논문을 가져 가면 그들은 경험적으로 당신이 따르는 해결책을 보여줍니다 탄젠트 채널은 작업 수에 비해 성능이 떨어지고 논쟁이 있습니다 그러나 그것은 끝입니다 시작 신문은 이런 종류의 게으른 학습은 많은 모델에 나타날 수 있습니다 특정 방식으로 스케일링을 변경할 때 그래서 그것은 희귀 속성이 아니라고 말합니다 일반화 보장 측면에서 많은 것을 제공하지 않습니다 이 솔루션은 매우 좋습니다

그것은 우리가 실제로 알고있는 것들과 상당히 일치합니다 커널 방식이 작동하면 솔루션을 제공합니다 그러나 실제로는 이미지에 대한 CNN뿐만 아니라 일반 좋은 이유 때문에 CNN은 이미지에 매우 적합합니다 >> 그러나 나는 단지 이해하려고 노력하고 있습니다 당신이 무슨 말을하는지 이해합니다 그러나 파트 1은 지금 당신이 말하는 것을 설명하지 않습니다

>> 1 부에서는 세계적으로 가장 가까운 곳으로가는 것은 기하학적 일뿐입니다 그것은 매개 변수화에 의존하지 않습니다 >> 아무 상관이 없습니다 >> 매개 변수화가 직교 관심사에 대한 영향 암묵적인 편견이 중요합니다 이것이 내가 말하는 것입니다

>> 알겠습니다 괜찮아 그 일 >> 내가 말하는 전부입니다 >> 녹음 중입니다 [들리지 않음] >> 내가 설립하려고 에 대한 복잡성 변위 코드 또는 추가 코드 하강 알고리즘으로 무언가를 할 수 있습니까? 문제는이 등급의 곡선에서 볼록합니다

>> 하나, 저는 전혀 몰라요 당신이 그것을하더라도 그것은하지 않습니다 올바른 솔루션으로 안내 할 것입니다 어쨌든 당신이 생각하는 사실은 동시에 매우 강력한 모델 용어 근사화 속성 및 동시에 매개 변수화 측면에서 매우 복잡하거나 유용한 것입니다 그것들을 모두 분리하는 것이 좋습니다 당신은 잘 말할 수 있습니다 이 강력한 모델로 해결책을 찾겠습니다 이제 매개 변수화 작업을 할 수 있습니다 내 문제에 적합하게 만들었습니다

이를 통해 학습 알고리즘의 역학을 바꾸고 있습니다 더 흥미로운 것들을 향해서 >> 매우 동의합니다 적어도 내가 이해하는 한 철학 그러나 레벨 세트가 연결되면 하강 알고리즘은 세계 최소는 직관적으로 매력적입니다 그러나 당신이 가지고 있다면 그것은 분명하지 않습니다 실행할 수있는 하강 알고리즘 연속 시간과 [들리지 않음] >> [들리지 않음]

C 만 내용이 속도 곡선을 제한하는 경우 f의 모든 지역 최소값은 세계적입니다 계속해서 전 세계 최소값을 찾으면 최대 [들리지 않음] 전역을 살펴보십시오 두 번째 부분은 바깥 쪽 가장 나는 그렇게하지 않았지만 같은 종류의 증거입니다 >> 맞아 그러나 세트가 될 수는 없었습니다

아마도 이것은 제한 속도 곡선에 의해 배제 될 것입니다 예를 들어, 물론 당신은 사용하는 지수입니다 당신은 할 수 없습니다 [들리지 않음] 알고리즘 다항식 [들리지 않음] >> 나는 다항식에 대해 말하지 않았습니다 합리적인 방법으로 강하하는 알고리즘이 있다면 당신이 말할 수있는 의미는 최소 지역을 찾을 것입니다, 그러면 새로운 세계를 찾을 것입니다 이것이 내가 의미하는 전부입니다

레벨 세트는 약한 가죽 끈 논쟁입니다 그러나 이것은 내가 추측하는 기하학이라고 생각합니다 예 >> 표면이 평평하다면 기본적으로 하위 수준 집합을 연결할 수있었습니다 그러나 당신은 여전히 ​​글로벌 최적으로 수렴하지 않습니다

>> 이것이 속도를 제한 한 이유입니다 경계 속도에서 일어나는 것은 실제로 그 속도입니다 기본적으로 현지 최소 금액을 취하면 기본적으로 X 지점을 중심으로 나는 내가있는 공간이있다 올라가거나 나는 평평한데 아래에 선을 그려야하는 점 이 평평한 지역의 중심 아래가이 평지에 있기 때문에 어느 시점에서 아래로 가야합니다 종점 볼록성과 모순됩니다 원한다면 아마 자랄 수 있습니다

x와 a1x가 있습니다 내 기능은 평평합니다 나는 아래에 있다고 가정합니다 따라서 x와 y와이 곡선은 속도를 경계로합니다 기본적으로 아래 어딘가에 키를 찾을 수 있습니다 기본적으로 함수의 값은 Gamma_t는이 선형 하강 라인보다 높아야합니다

기본적으로 그들은 선택됩니다 한계 속도는 매우 중요합니다 다른 경우에는 실제로 우리는 나중에 그것이 훨씬 더 단순하다는 것을 알고 있습니다 글쎄, 그것은 실제로 같은 것입니다 Lambda는 아래에 z 지점이 있습니다

당신은 레벨 M을 가지고 있습니다 당신은 x를 가지고 있습니다 여기 평평한 구역이 있고 z로 가고 싶습니다 z가 충분히 낮 으면 당신은 완전히 아래에 호를 가질 것입니다 그러나이를 위해서는 한계 속도가 필요합니다

t를 조금 움직일 때 당신은 큰 변위를하지 않습니다 기능 공간 또는 제한 속도 어 Where 어? 음, 그것은 평평한 지역입니다 한계 속도는 여기 생각합니다 지금 찾으려고하면 나는 그것을 잘못 찾을 것입니다 괜찮아

예 >> 네, 첫 번째 결과는 보편적 근사입니다 찾은 곡선이 연속적임을 어떻게 보장합니까? 모든 점에 대해 근사 기가 있기 때문에 그러나 아마도 별개의 일이 어려울 수도 있습니다 >> 내가 말했을 때 내가 보여줄 방법을 정확히 알고 있기 때문에 당신은 많은 포인트를 찾을 수 있습니다 연속성이없는 기능 아주 쉽습니다

당신은 밖에 갇혔습니다 내가 아직 몰라 죄송 해요 내가 있다고 말할 때 나는 단지 나를 깨달았다 우리가 아직 [들리지 않는] 연속성 문제 함수를 근사하기 위해 바인딩해야 할 수도 있습니다 및 또한 유도체

괜찮아 >> 더 이상 질문이 없으면 Leon에게 감사를 표합니다 >> 고맙습니다

Despre Machine Learning și experiența de la NDR "Artificial Intelligence Conference" Iași, 2019

플로린 후마와 함께 우리는 ASSIST의 동료들을 소개했습니다 머신 러닝의 작동 방식 또한, 나는 선물했다 몇 가지 아이디어와 토론 NDR "인공 지능 회의"에서 회의 주제 중 하나 우리가 어떻게 사용할 수 있는지 보여줍니다 기계 학습 경찰에 정보를 제공하기 위해 범죄율에 특정 지역의 사고

두 번째 주제는 실시간 인식 심슨 캐릭터 오늘의 Play & Learn 프레젠테이션의 두 번째 부분에서 우리는 응용 프로그램에 대해 이야기 프론트 엔드 페이지를 자동으로 테스트하는 그리고 가능성에 대해서도 봇 생성 음식을 주문하는 사용자의 이전 경험

JUPYTER NOTEBOOK PYTHON MACHINE LEARNING CURSO MULTILINEAR REGRESSION 2019

좋은 아침, 함께 일합시다, 목성 공책, 함께 일합시다 다중 선형 회귀, 첫 번째는 여기에 데이터 로딩을로드한다는 것입니다 훈련 테스트 분할 훈련, 우리는 모델을로드 여기에 데이터를로드합니다

여기에 데이터로 구성된 키가 보입니다 목적 함수 란 무엇입니까? 함수 이름은 기능입니다 설명하고 샘플 파일은이 데이터와 같습니다 여기에서 우리가 제공하는 모양을 봅니다 여기 치수는 506과 13입니다 여기에 506 개의 행과 13 개의 열이 있습니다

이것이 CRIM이 ZN이라는 의미입니다 우리는 무엇을 공부할 것입니까? RM 이것은 각 집의 평균 방입니다 AGE는 소유자가 점유 한 유닛의 비율입니다 1940 년 이전에는 DIS의 거리였습니다 보스턴에 5 곳의 고용 센터가 있으며, 우리는 매우 잘 협력 할 것입니다 그 세 우리는 자이언트 팬더를로드 한 numpy에서로드하고 여기에서 볼 수있는 데이터 프레임으로 변환합니다 데이터 프레임을 살펴 보겠습니다 여기를 두 번 클릭하여 확장합니다

하지만 여기에 열이 있고 여기에 줄이 있습니다 더블 클릭 그것을 압축, 나는이 열을 참조 그런 다음 CRIM의 함수 이름에 대해 이미 이야기했습니다 ZN은 이 RM, AGE 및 DIS에 관심이 있습니다 이것부터 이름까지 파티의 데이터 프레임이 이미 여기 있다면 열을 사용하면 이제 기능의 대상입니다 목표는 가격 하우스가 될 것입니다 그리고이 각각의 가치 집의 가격이 이러한 특징을 고려한다는 의미 모든 좋은 이제 기능에 대한 비용을 지불 할 수 있도록 이름을 변경하겠습니다 마지막 열의 대상 열 마지막 열에는 이미 가격이 있습니다

여기 우리는 가격 이름을 바꾸었고 여기에 기능입니다 그런 다음이 기능을 사용하여 예측하십시오 집의 가치 예를 들어 첫 번째 열한 줄을보고 싶다면 여기에 head 명령을 입력하고 숫자 11을 입력합니다 여기에서 첫 번째 열 한 개를 알려줍니다 시작된 것을 기억하십시오 제로 이제 훈련과 테스트의 두 부분으로 나눈 다음 훈련하고 여기서 테스트는 여기에 데이터와 목표는 데이터가 이러한 기능을 가지고 실제 목표는 가격과 관련이 있습니다

아주 좋아요, 모양을보고 분리를 부분으로 만듭니다 훈련 및 시험의 다른 부분은 375 훈련과 127이 있습니다 테스트를 위해 총 데이터가 제공되었습니다 훈련은 약 75 %, 나머지 25 %는 이 경우 선형 함수의 선형 회귀를 정의합니다 지금 우리는 좋은 일을하고 있습니다 모델의 경우 이제 매우 잘 계산됩니다 성공의 73 %는 능선에서 작업하는 것과 같습니다

73 % 이 데이터에 대한 선형 함수이기 때문에 근사값은 아닙니다 대단하다 여기에 첫 번째 열의 좋은 예가 있고 0을 넣습니다 첫 번째 열을 보여줬습니다 이것은 첫 번째 줄이 아니며 첫 번째 열은 나입니다 첫 번째 열을 보여주는 것은 매우 좋습니다 이제이 경우에는 처음 두 열이 있고 처음 두 열이 있습니다 우리가 보자 처음 두 열을 보여주고 모든 행을 알려줍니다

이제 여기에 첫 번째 5 줄과 5 줄인 5 열이 있습니다 처음 다섯 줄과 다섯 번째, 여섯 번째 및 일곱 번째 열은 그가 항상 하나에 간다는 것을 주목합니다 여기를보기 전에 RM, AGE, DIS 열에 관심이 있습니다 우리는 각각의 라인을 설명했습니다 처음 5 줄부터 0-4까지 매우 훌륭합니다

이제 5, 6, 7 열과 모든 ROWS를 선택했습니다 여기에 우리가 모델을하는 대상을 배치합니다 그리고 데이터 세트, 좋은 훈련 및 훈련 여기서 우리는 선형 회귀를 수행합니다 여기서는 세 개의 열 RM, AGE, DIS 만 사용합니다 이전 기사에서는 모든 열의 모든 열에 대해 작업했습니다 가격 이외에 목표는, 여기 계수와 교차 통지 계수는 85 값입니다 -0

097,-043과 교차점은 무엇입니까 축 -23 우리는 정확하게 여기를보고 예측에주의를 기울입니다 이것은이 암호의 54 %이며, 내가 어디에 있는지 아는 명령입니다 리눅스에서 여기에 매우 중요한 다중 회귀 방정식이 있습니다 그런 다음 찾은 값을 살펴보십시오 a, b1, b2 및 b3 여기에 방정식이 있습니다

여기에 a의 값이 있습니다 b1 값, b2 값, b3 값, 그리고 예측 라인 0에서, 이것을 말하자, 그들이 라인의 의미에주의를 기울이십시오 0은 3 개의 값을가집니다 그런 다음 세 개의 값을 사용하여 값을 나타냅니다 제로 라인은 rm = 6,575 665입니다 나이 = 65

2 및 dis 409, 우리가 대체 할 세 가지 값 다변량 선형 방정식,이 세 가지 값을 대체하여 나의 예측 인 Express는이 3 가지를 대체합니다 값-처음 2308, 859 값 x1은 6575 감소 0 포인트, 우리는 모든 소수점을 넣습니다 두 번째 연령 값은 652이며 그런 다음 DIS의 값, 즉 x3에 대한 모든 값은 -0

43입니다 409는 값 25를 제공합니다 이제 값은 실제로 테스트 값입니다 30

1 이것이이 방법이이 다중 선형 방정식에 적합하지 않은 이유입니다 대단히 감사합니다

Data Science And Machine Learning Demo 2 I By Damodhar 9059868766 24th July 2019 I Tutorials

데이터 과학 및 기계 학습 데모 2 I Damodhar 9059868766 24th July 21019 I 자습서 DataScience 및 기계 학습 온라인 교육을 위해 VLR 교육에 전화하십시오 Damodhar 9059868766 DataScience 및 기계 학습 온라인 교육을 위해 VLR 교육에 전화하십시오

Damodhar 9059868766 DataScience 및 기계 학습 온라인 교육을 위해 VLR 교육에 전화하십시오 Damodhar 9059868766 DataScience 및 기계 학습 온라인 교육을 위해 VLR 교육에 전화하십시오 Damodhar 9059868766 DataScience 및 기계 학습 온라인 교육을 위해 VLR 교육에 전화하십시오 Damodhar 9059868766 DataScience 및 기계 학습 온라인 교육을 위해 VLR 교육에 전화하십시오 Damodhar 9059868766 DataScience 및 기계 학습 온라인 교육을 위해 VLR 교육에 전화하십시오

Damodhar 9059868766

Data Science And Machine Learning Class 02 I July 26th 2019 By Damodhar 9059868766 I Tutorials

데이터 과학 및 기계 학습 클래스 02 I July 26th 2019 저자 Damodhar 9059868766 I 자습서 데이터 과학 및 기계 학습을위한 온라인 교육 VLR 교육에 대한 문의 9059868766 데이터 과학 및 기계 학습을위한 온라인 교육 VLR 교육에 대한 문의 9059868766 데이터 과학 및 기계 학습을위한 온라인 교육 VLR 교육에 대한 문의 9059868766 데이터 과학 및 기계 학습을위한 온라인 교육 VLR 교육에 대한 문의 9059868766 데이터 과학 및 기계 학습을위한 온라인 교육 VLR 교육에 대한 문의 9059868766 데이터 과학 및 기계 학습을위한 온라인 교육 VLR 교육에 대한 문의 9059868766 데이터 과학 및 기계 학습을위한 온라인 교육 VLR 교육에 대한 문의 9059868766 데이터 과학 및 기계 학습을위한 온라인 교육 VLR 교육에 대한 문의 9059868766 데이터 과학 및 기계 학습을위한 온라인 교육 VLR 교육에 대한 문의 9059868766 데이터 과학 및 기계 학습을위한 온라인 교육 VLR 교육에 대한 문의 9059868766 데이터 과학 및 기계 학습을위한 온라인 교육 VLR 교육에 대한 문의 9059868766 데이터 과학 및 기계 학습을위한 온라인 교육 VLR 교육에 대한 문의 9059868766 데이터 과학 및 기계 학습을위한 온라인 교육 VLR 교육에 대한 문의 9059868766

[CVPR 2019] AD-PSGD Algorithm for Deep Learning, Prof. Ji Liu, Director @ Kuaishou Seattle AI Lab

중국에서 35 세 미만의 MIT 혁신 자 중 하나 인 비동기 분산 형 병렬 확률 적 경사 구배 알고리즘 (AD-PSGD) 이 알고리즘의 기여는 무엇입니까? 네

비동기 및 분권화는 매우 중요하고 강력한 도구입니다 깊은 학습의 훈련 과정 이 두 가지 새로운 기술은 실제로 동기화 오버 헤드를 줄입니다 그것을하는 전통적인 방법을 끊습니다 그리고이 두 기술은 현재 TensorFlow 및 PyTorch와 같은 널리 사용되는 서버에서 널리 사용되었습니다

그리고 우리는 이런 종류의 것들이 전통적인 최적화 사람과 구현 사람들 사실,이 두 집단의 사람들 사이에는 큰 격차가 있습니다 최적화 사람들 알고리즘을 이해할 수 있지만, 하드웨어에 대한 지식은 매우 제한적입니다 구현이므로 알고리즘을 설계 할 때 구현에서 거의 고려하지 않습니다 원근법

그러나 사람들을 구현하는 사람들은 코드를 하드웨어로 프로그래밍합니다 운수 나쁘게, 알고리즘 측면에 대한 지식은 매우 제한적입니다 그래서 이것은 차이입니다 그리고 내 일 이 격차를 메우고 공동 최적화를 시도하고, 알고리즘과 하드웨어를 사용하여 성능을 최적화하고 교육 프로세스를 최적화합니다 이것이 주요 기여입니다

이 작품의 목적

EduTECH 2019 Teacher Demonstration: AI & Machine Learning in the classroom

– 난 사이먼 하퍼 야 나는 기술과 학습의 선두 주자이다

Killara 고등학교에서 그리고 오늘 저는 정말로 이야기 할 것입니다 나를 위해 계속되고있는 여행 그리고 잠시 동안 나의 수업, 인공 지능을보고 실제로 기계 학습을 사용하는 방법 우리 교실의 예측 분석 우선, 나는 시작하고 싶다 교사 중 몇 분입니까? 그리고 그 중 얼마나 많은 사람들이 중등 교사입니까? 괜찮아

그리고 기본? 그리고 네, 알았어요 그래서, 당신이 사용할 수있는 이러한 개념들 1 차 및 2 차 모두에 대해, 그러나 그것은 2 차 수준이므로 약간 더 높을 수도 있습니다 그래서, 정말로 나를 위해, 우리는 항상 그 이유부터 시작해야합니다 아이들이 왜 그렇게 중요한지 인공 지능에 대해 알고 싶습니까? 그들이 이해해야하는 이유는 무엇입니까? 우리가 실제로 어떻게 코딩하고 깊은 이해를하는지 지금 일어나고있는 일과 앞으로 갈 곳의 상황을 그래서, 나는 왜 큰 것부터 시작 할까 그리고 지난 2 년 동안 그것에 대해서 이야기되었습니다, 자동화, 세계화 및 협업 살펴보기 그리고 이것이 어떻게 변화하고 있는지 일, 가정 생활 및 사회 전반에 걸쳐 그래서, 그것은 우리에게 많은 기회를줍니다

학생들이 실제로 경쟁 할 수 있도록 또는 반드시 자신의 도시에 있지 않은 직업을 얻으십시오 그리고이 모든 분야를 열었습니다 우리가 교실에서 이것을하지 않으면, 우리는 성공을 위해 학생들을 세우지 않을 수도 있습니다 변화하는 경제에서 그리고 지금 일어나고있는 일에 대해 저를 비판하는 것은, 우리는 10 년 동안 이야기하지 않고있다 우리는 2 년, 3 년 단위로 이야기하고 있습니다

그래서 학습도 바뀌고 있습니다 그리고 나는 한쪽 편에있는 학생들에 대해 이야기하고 싶다 나는 반대쪽에있는 선생님들에 대해서 이야기하고 싶다 평생 학습은 교사로서 우리는 많이 이야기하는 경향이 있습니다 하지만 우리는 학생들에게 그것에 대해 이야기하는 경향이 있습니다

반드시 자신에 대해 생각하지 않는 평생 학습자로서 이제 선생님은 평생 학습자가되어야합니다 그러나 당신이보기 시작할 때 정말 위협적입니다 인공 지능이하고있는 것, 그리고 어떻게 우리가이 개념들 중 몇 가지를 먼저 전달하는지, 아이들이 실제로이 공간에서 일하도록하십시오 이해하고있다

그리고 그것이 제가 오늘부터 올 때입니다 전체 STEM 아젠다가 있습니다 그것은 전 세계, 특히 우리나라에서 일어나고 있습니다 그리고 STEM과 코딩, 그리고 나는 Killara의 부모님이 내게 와서 말하기를, 봐, 내 아들의 코딩은 그렇게 훌륭하지 않아 그리고 나는 위대하다고 말했다

그리고 왜 그들은 그렇게하고 있습니까? 그리고 그들은 그것에 대한 대답이 없습니다 그래서 이것에 관한 것은 계산적 사고입니다 그것은 문제 해결 능력에 관한 것입니다 그것은 그룹으로 협력 할 수있는 것에 관한 것입니다 그러나 아이들은 그 이해를 가지고 있습니다

인공 지능에 관한 것은 우리가 실제로 거인을 만들고 있다는 것입니다 이제 누가 그게 누군지 말해 줄 수 있니? 누구 시죠? 튜링이야 그래서, 튜링은 기본적으로, 당신이 그것을 볼 때, 그는 컴퓨터 과학을 시작으로 인정받는 사람입니다 인공 지능을보고 실제로 그것에 대해 이야기하기 시작했습니다 그리고 이것이 우리가 시작하는 곳입니다

열쇠는 미래에 아이들은 그렇지 않다는 것입니다 모든 코드 행을 코딩해야합니다 그리고 그것이 바로 교실 교사들을위한 것입니다 이 중 일부를 가르치기 시작했습니다 자, 나는 TAS 선생님이다

5 단계에서 컴퓨팅을 가르치기 때문에 9와 10이됩니다 나는 인공 지능에 특별한 관심을 가지고있다 그래서 나는 아주 간단히 말하고 싶다 이것은 교육부입니다 나는 사실 국가에 13 명 중 한 명이되도록 요청 받았다

인공 지능과 기술에 대해 이야기하다 실제로 이것이 우리 교과 과정에 실제로 어떻게 영향을 미치는지, 우리의 시스템과 우리가 그것을 어떻게 바꿀 수 있을지 생각해보십시오 그 중 심포지엄을 통해 호주, 모든 수준의 모든 시스템 그래서 가서 다시 이야기 할 대표자들 우리가 그것을 어떻게 바꿀 수 있는지에 관해서 다른 것은, 미에현 전문가가되고, 나는 운 좋게도 갈 수 있었다

작년 싱가포르에서 열린 교육 교류 회의 (Educational Exchange Conference) 이제 우리는 호주의 Microsoft 엔지니어가 있습니다 거기서 나가서 기계 학습에 관해서 이야기했습니다 그리고 동시에 그는 말했습니다 "우리는 최첨단에있다

"우리는 실제로 몇 명의 선생님들에게 "내가 설정 한 교훈을 단계별로 따라 가라" 그리고 나는 잘 생각했다 그것이 제가 학생들과 함께 할 곳입니다 그리고 정보 기술 소프트웨어 수업에서 그랬습니다 이제 내가 얘기하고 싶어

어떻게 그 아이들이 도약을하도록 할 수 있습니까? 우리가 어떻게 그들을 이해하게 할까? 이 모든 기술이 얼마나 중요한지? 그래서 이야기가 시작됩니다 그리고 내 길은 네가하는 방식이 아닐 수도있어 그리고 때때로 조금 지저분했다 일이 정말 잘되고 일이 정말 어려워졌습니다 그러나 우리 모두가 이러한 기술을 가르치 려한다면, 우리는 아이들을 위해 더 나은 일을하고 있습니다

나는 단지 클릭해야한다 그래서, 나는 유토피아 적 이상을 바라 봄으로써 시작합니다 애들 한테 말하면, 음, 유토피아는 무엇입니까, 어떻게 보입니까? 그리고 거기서 보게된다면, The Jetsons 아이디어, Star Trek 아이디어 그 기술은 실제로 인류를 돕고 있습니다 실제로 기회를 열어 줬습니다 우리가 은하계를 탐험하기 위해 모든 인종을 포함하는 것입니다

그리고 우리는 그 순간에 따뜻하고 흐릿 해 졌는가? 아니, 아직? 다른쪽에 디스토피아가 있기 때문에 그리고 대중 문화를 사용하여, 인공 지능은 다양한 방법으로 묘사되었습니다 그리고 배고픔 게임을 볼 때 과 기계의 부상 인공 지능을 말하는대로 아이들이 뭐라고하니? 그들은, Skynet, 점령 기계 우리는 어디서 대화 할 것인가? 그리고 나는 우리가 앉아 있다고 생각하는 곳을 안다 그러나 이상 주의적 이상은 아닙니다

그러나 그것은 디스토피아가 아닙니다 그러나 그들이하는 선택은 우리를 보내거나 유토피아 나 디스토피아에 이르기까지 많은 변화가이 변화를 주도하고 있습니다 우리는 이것에 대해 아이들과 정말로 이야기 할 수 없습니다 다른 모든 것들을 설명하십시오

인공 지능은 단지 한 가지 일뿐입니다 하지만 당신이 볼 때, 인공 지능 우리가하는 많은 일에 걸쳐 굽습니다 그래서 당신은 사물의 인터넷을 가지고 있어요 5G에 대한 광고가 표시됩니다 그리고 5G 네트워크를 둘러싸고있는 논쟁이 있습니다

그리고 그것은 미국인이 될 것인가? 누가 우리 5G를 설치하려고합니까? 아니면 중국인입니까? 5G가하는 일 때문에 사물의 인터넷을 연결하고 있습니까? 바로 그 순간에 작동합니다 따라서 도로 시스템을 카메라의 센서와 자동차의 센서에 연결하면, 당신의 전화에 얼굴 인식, 이 모든 것들이 훨씬 더 원활하게됩니다 이러한 모든 장치 및 센서에서 우리는 큰 데이터를 얻습니다 소셜 미디어, 특히 내가 얘기 할 인간 측 우리는 아이들이 이해하도록해야합니다

그 기술과 소셜 미디어는 큰 이점을 가지고 있습니다 그러나 너무 좋지 않은 것도 있습니다 로보틱스 및 자율 주행 차량 우리는 윤리적 원칙에 대해 이야기하고 싶습니다 아이들에게 가르치기

그래서 자율 차량이 아직 여기에없는 이유입니다 기술이 비록 생각하는 것이 정말 중요합니다 특히 어린이와 교사, 음, 우리의 강점은 무엇입니까? 교사로서 몇 년 전에 그들은 말하기 때문에, 우리는 거기에 로봇을 가지고있을거야 우리가 선생님으로 대체 될거야

그러나 당신이이 모든 것을 보았을 때, 이것들은 우리가 잘하는 것들입니다 그리고 저는 30 살 어린이들로 구성된 제 10 학년 IST 수업을 상상할 수 있습니다 붙어 다니려고하는 로봇과 함께 뒤에 껌을 씹고 뒤집어서 그 인간 존재와 그 공감이 없다면 이것이 우리의 힘이되는 곳이라는 사실에 대해서 이야기합니다 다른면, 어떤 기계가 실제로 잘하는가

그래서 당신이 그것을 볼 때, 그들은 효율적입니다 몇 가지 예를 들어 줄거야 네가 그걸 보면서 우리는 외과의 사, 회계사, 변호사를 만나기 시작했습니다 그들은 대체되기 시작했습니다 인공 지능은 이것을보다 효율적으로 수행합니다

그러나 우리 아이들을 위해, 직업 환경이 변하고 있습니다 그러나 그것이 꼭 그들이해야한다는 것을 의미하지는 않습니다 어쩌면 불우한 사람들 그 길에서 우리는 이것을 가르칩니다 제가 말씀 드렸듯이 일반적으로 코드의 민주화가 있습니다 그래서 우리는 AI가 다양한 형태로 존재합니다

그리고 그걸 조금 부숴 야 할 얘기가있어 우리가 이것을 아이들에게 어떻게 가르쳐 줄 수 있는지 그러나 이제 모든 것이 민주화되었습니다 당신은 그 장치를 가질 수 있습니다, 당신은 오픈 소스를 가지고 있습니다 다른 것을 만들어라

그리고 이것들은 기회입니다 우리는 포용하기 위해 애들이 필요합니다 그리고 그들은 정말로 시작해야합니다 그러한 기회를 이해합니다 우리는 유토피아로 이사하거나 뭔가 할거야

아마도 우리를 디스토피아 경로로 보내겠습니까? 자, 제가 교실에서 사용했던 것, Microsoft Azure입니다 그리고 조금 설명하기 만하면됩니다 다른 앱이 있습니다 그래서 우리는 의사 결정 애플 리케이션을 가지고, 우리는 자연 언어 처리 연설 애플 리케이션을 가지고, 우리는 비전 애플 리케이션을 가지고 지난 2 년간 해외로 간 사람은 누구입니까? 그리고 당신은 여권을 가지고 거기에 들어가서 서 있었습니까? 그 일은 간다 (로봇 서보 노이즈를 모방) 글쎄, 그건 실제로보고있어 뿐만 아니라 당신의 몸짓 언어, 너의 얼굴을보고있다 인공 지능을 사용하고 있습니다

실제로 첫째로 모두를 당신을 확인하기 위하여, 당신이 느끼는 것을 확인하십시오 나는 마약을 들고, 어쩌면 나는 약간 긴장합니다 그리고 이러한 기술을 사용하여 사람들을 선택합니다 또는 접근성이 있으며 전체 범위가 있습니다 다른 것들에 대해서는 나중에 이야기 할 것입니다

이제 엔지니어 인 Liam 나는 마이크로 소프트에 대해서 이야기하고 있었다 그는 보았다 여기 교훈이있다 OneNote에서 설정하십시오 이제, 당신이 타이타닉에 있다고 상상해보십시오

그리고 우리 모두는이 이야기를 알고 있습니다 내가 더 낮은 갑판에 있다면 어떻게 될까? 살아남을 확률이 더 높습니까? 아니면 생존 가능성이 낮습니까? 따라서이 실험에서는 실제로 데이터 세트를 사용합니다 타이타닉에서 온 것입니다 이제, 이것은 기계 학습을하는 곳입니다 분석이 시작됩니다

자, 당신이 깨닫지 못하는 것은 우리가 가장 좋아하는 프로그램이 많이 있는데, Excel입니다 AI가 거기에서 구워 졌어 그리고 실제로 이러한 것들을 추가 할 수 있습니다 그리고 이것이 교사로서 우리가 실제로 어떻게 가르치는가입니다 우리는 실제로 아이들이 그걸 가지고 놀 수있게했습니다

그래서 Azure Machine Learning입니다 그리고 그것은 링크입니다 내가 당신에게 보여줄 다음 슬라이드로 넘어갑니다 글쎄, 사실 다음은 아니야 Microsoft Azure Machine Learning을 사용했습니다

교사로서 우리는 전체 범위를 봅니다 통계가 나오고, 우리는 역사적으로 우리는 우리 아이들이하고있는 것을 시간이 지남에 따라 운동합니다 그러나 기계 학습이하는 것은 실제로 그것을 취하면 예측이 시작됩니다 아이들이있을 수있는 곳, 그들이 가진 틈 우리가 실제로 행동 할 수 있도록 그들의 교육을 훨씬 더 신속하게 개인화 할 수 있습니다

그리고 이것은 교육 측면의 힘입니다 따라서이 스프레드 시트에는 범위가 있습니다 승객, 생존자, 성, 나이, 나이 티켓 번호를 입력하면 내가 살아남을지라도 좋은 예측 인자가 될 것인가? 아마도 그렇지 않습니다 내가 거기에 일부를 선택했다면, 어떤 선실

갑판의 아래 부분에 있었습니까? 그래, 그게 아마 나를 도울거야 선실 이름과 내가 어떤 수업을했는지, 첫 번째 또는 두 번째는 좋은 예언자가 될 것입니다 그래서 우리는이 첫 번째 측면에서 무엇을하고 있습니다 데이터 정리가 필요합니다 우리는 데이터를 알고 데이터를 선택하게됩니다

그것은 우리에게 최고의 예측을 줄 것입니다 그래서, 이것이 재미있는 곳입니다 자, 결국 나는 내 세부 사항을 가지고있다 이 세 번째 것을 보게 될 것입니다 그것은 당신을 설정하는 블로그 게시물입니다

그리고 그 단계의 각 단계를 거치면서, 집에서 할 수있게 그걸 교실로 가져 가라 그래서, 그것이 여기에서하는 것,이 타이탄 생존 예측 자, 우리는 데이터 세트를 실제로 알고리즘을 추가합니다 드래그 앤 드롭이므로 코드가 이미 있습니다 그리고 그것이하는 일, 우리는 데이터를 분리합니다 그래서, 20-80

따라서 실제로 데이터를 테스트하기 위해 20 %를 사용합니다 이 모델이 작동하는지 확인하십시오 다른 80 %는 그것을 뒤집어 쓰는 데 사용됩니다 그런 다음 특정 유형의 알고리즘을 적용합니다 그리고이 블로그 게시물에 모두 포함되어 있습니다

머리가 아마 돌고있을거야 나는 정말로 약간 협박 당했다 이걸 어떻게하면 돼? 당신은 다른 알고리즘을 넣는 다음 단계로갑니다 실제로 선택한 영역의 데이터를 정렬합니다 그런 다음 모델을 훈련하게됩니다

이제 실제로 모델을 훈련 할 때, 우리는 우리 모델을 설정하여 그런 다음 타이타닉의 예측 분석을 수행 할 수 있습니다 다른 데이터 세트를 거기에 넣으십시오 그리고 그것은 나에게 신뢰할만한 결과를 줄 것이다 그리고 이것은 기계 학습의 일부입니다 인공 지능이 그렇습니다

이제, 나는 아이들에게 그렇게시켰다 그것은 약간 바위 같았습니다 그들은 정말로 고투했고 그들은 같았다 나는 그것을 얻지 못한다 어디에서, 작동하지 않는가

그러나 실제로 나는 약 4 ~ 5 명의 학생들이있었습니다 10 학년은 끝났고 나머지는 다른 사람들에게 가르쳤습니다 그리고 우리가 실제로 거기에 가지고있는 약 3 개의 수업 위에 그런 다음 확장 활동으로, 학생들에게 세 가지 데이터 세트를 제공했습니다 하나는 뉴 사우스 웨일즈의 수풀 화재에 관한 것이 었습니다

지난 10 년 동안 하나는 대기 질이었습니다 그런 다음 실제로 새로운 모델을 시작하도록했습니다 실제로 그들이 배웠던 단계를 사용합니다 실제로 예측 분석 모델을 얻는 것입니다 완벽 했나요? 아니

항상 작동 했나요? 아니 일부 학생들이 그것을 얻었습니까? 예 안 그랬어? 아니 그러나 우리는 실제로 그들의 사고 과정을 얻고 있습니다 그곳으로 가서 이해하도록하십시오

이제 작년이었습니다 자, 정말로 멋진 것은 올해였습니다 Microsoft와 Education Changemakers는 다음과 같이 말했습니다 "보세요, 우리는 도전하고 있습니다 "AI for Good Challenge"라고 불렀다

이제 Microsoft는 과거에 좋은 도전에 대한 AI를 보유했습니다 그들의 엔지니어 또는 단 하나 학생을 위해 하지만 이번이 처음입니다 그들은 호주의 고등학생들에게 말했다 "우리는 당신이 내일의 창작자가되기를 바랍니다

" 자, 여기가 우리가 가진 곳이야 아이디어를 생각해내는 사람들 세상을 변화시키다 일반적으로 백엔드를 코딩하는 사람들과 동일하지 않습니다 그래서, 그것은 아이들이 이해하도록하는 것을보고 있습니다 그게 어떻게 효과가 있을지 자,이 비디오가 당신에게 도움이 될지 모르겠습니다

나는 물어야한다 얘들 아, 그거야? 효과가 있을까요? 괜찮아 착각이야, 이니셜? 자, 여기에 우리가 간다 그래서 나는 이것을 당신에게 먼저 할 것입니다 아니, 장난 치지 않을거야

알았어, 무슨 말하는지 말해 볼게, 알았지? 정말로 사실에 대해서 이야기하고 있습니다 이것은 Microsoft AI를위한 광고입니다 자, 모든 빅 테크 기업들이 가지고있다 모두 민주화되었습니다 하지만 기본적으로 그 아이디어는 그저 도구 일 뿐이며, 그렇다면 실제로 어떻게 접근성을 가진 사람들을 도울 수 있습니까? AI를 사용하여 실제로 어떻게 개선 할 수 있을까요? 우리의 삶의 질, 우리의 환경, 우리의 바다? 우리는 어떻게 인공 지능을 사용할 수 있습니까? 실제로 인도 주의적 행동을 돕기 위해? 작년 교육 교류 회의에서 92 개국을 하나로 모으고, 교사 모두가 함께했다

그리고 이야기하는 것이 매우 재미 있습니다 당신이 상상할 수있는 것처럼 서부 아프리카의 교육자들에게 그곳에 선생님이 있습니다 나는 어느 나라를 기억하지 못한다 그러나 근본적으로 무슨 일이 있었는지 그들은 세계 경제에 무언가를 팔 수있었습니다

인터넷 때문에 그래서, AI가 실제로 실제로 만드는 것을 상상할 수 있습니다 그 지역의 큰 차이 그래서 우리가 한 일은 무엇보다도 먼저 AI를 사용합니다 그런 다음 그들은 지금 우리의 삶 속에 그것이 어떻게 존재 하는지를 봅니다 미래에 어떻게 될 수 있을까요? 윤리적 원칙을 살펴 봅니다 그리고 나는 충분한 시간이 없다

각각의 윤리 원칙을 통과해야합니다 그러나 사물을 바라 보는 것이 포함 된 것인가, 공정한 것인가, 그것은 안전하고 신뢰할 수 있으며, 다른 아이디어를 사용합니다 자율적 인 자동차 그래서 저는 자율적 인 자동차 디자이너입니다 이 신사가 여기 있으면, 내가 프로그램 할거야

차 앞에서 나간다 내가 100을 할 때 A, 길가에서 멀어 지나요? 절벽으로 가서 날 죽여? 아니면 B,이 신사 숙녀분을 여기로 옮겨서 안전한가요? 그리고 이것들은 일종의 것들입니다 정부 차원에서 그런 일이 벌어지고 있습니다 이게 어떻게 작동하는지 얘기하고있어

그러나 아이들은 그것을 이해하는 것을 가지고 있습니다 그래서, 그들은 일을했습니다 현재 진행중입니다

경쟁은 3 주 동안 끝나지 않습니다 그런데 아이들이하고있는 일 디자인 사고에 도전하고 있습니다 사실 제일 먼저, 어떤 분야에 관심이 있는지 잘 알고 있습니다 인도주의를위한 AI, 환경을위한 AI 또는 실제로 접근 가능성을위한 것입니까? 우리가 어떻게 할 수 있었는지에 대한 예를 들려 주어라 다른 사람들에게 더 많은 삶을 제공하는 삶 OneNote를 사용하면됩니다

이제는 이것에 관한 정말 큰 일은 기술입니다 그래서 우리는 기술에 관해 가르치고있는 것이 아니라, 우리는 단지 그들에게 내용을 가르치는 것이 아니라, 우리는 실제로 기업 기술을보고 있습니다 그러나 그들은 또한 필요로 할 것입니다, 그 의사 소통 기술, 협업 그리고 나는 많은 사람들이 그것에 대해 계속해서 강타한다는 것을 알고 있습니다 그러나 교사로서 우리는 떠난다

그리고 그것은 정말로 고무하고있다 그러나 예제는 어디에 있습니까? 어떻게하면 실제 연습에 포함시킬 수 있습니까? 그리고 나는 가버 리고 그것은보고 및 평가 절기입니다, 4 주 후에 저는 기대에 지쳤습니다 내가 어떻게 그것을 포함합니까, 나는 무엇을 말했는지 잊어 버렸습니다 그래서, 그러한 것들을 제자리에 두는 것이 대단히 중요합니다 지금하고있어

그러나 자신의 라인을 선택하십시오 스키 타는 사람? 누구나 눈이 좋아? 산 꼭대기에서 생각해보십시오 신선한 파우더, 줄 없음 너는 너의 선을 산 아래로 선택할거야 그리고 나는 일년 내내 스키 리조트에서 일했습니다 또는 계절 동안, 그것은 훌륭했다

그래서 아이들도 그렇게 할 수 있어야합니다 자신의 라인을 선택하십시오 물론, 교사로서 당신은 쉽게 길을 따라 도울 수 있습니다 그리고 우리가 기계 학습으로 한 것처럼, 일부는 훌륭한 일을했고, 일부는 진짜 문제를 가지고있었습니다 그리고 일부는 이해하고 일부는 그렇게 많이하지 않을 수도 있습니다

그리고 마지막으로 내 세부 사항이 있습니다 지금, 나는 항상 누군가 나에게 묻는다 왜 내가 케이프와 같은 호주 깃발을 끼고 있는지 누구든지 그 질문을 할거야? 고마워, 닉 (웃음) 그것이 교육 교류 회의였습니다

작년 싱가포르에서 Microsoft로부터 그리고 그들은 모두가 그들의 국가 옷차림을하고 있다고 말했다 그래서 나는 잘 생각했다, 나는 깃발을 얻었다 우리는 그것을 우리 등 뒤쪽에 붙일 것이다 나는 등 뒤에서 깃발을 가진 유일한 사람이었습니다

하지만 함께 오면 좋았어 전 세계의 교육자와

Stanford CS234: Reinforcement Learning | Winter 2019 | Lecture 16 – Monte Carlo Tree Search

권리 우리는 시작할 것입니다

이 용어에 대한 마지막 강의입니다 음, 우리가 처음에 얻는 물류 몇 가지 음, 프로젝트를 쓰는 친숙한 알림은 오후 11시 59 분에 20 일에 끝날 예정입니다 늦은 날짜가 없으면 포스터 프레젠테이션은 금요일 오전 8시 30 분에 있습니다 [NOISE] 포스터를 다음과 같이 제출해야합니다

글쎄요, 같은 시간에 Gradescope에 온라인으로 제출해야합니다 미리 제출해 드리겠습니다 음, 그리고 늦은 날짜도 없습니다 포스터 세션에 대한 세부 정보가 담긴 이메일을 받았어 야합니다 질문 있니? 우리에게 다가 가십시오

아무도 궁금한 점이 있습니까? 근무 시간의 마지막 주입니다 다음 주에는 근무 시간이 없습니다 대부분의 사람들을위한 결승전입니다 음,하지만 피아자를 통해 우리에게 다가 갈 수 있습니다 또는 추가 질문이있는 경우, 우리는 그 시간을 찾아서 행복합니다

괜찮아 괜찮아 오늘 우리가해야 할 일은, 어쨌든 지난 번에 퀴즈가 나왔습니다 어, 우린 보낼거야 우리 목표는 오늘 그들을 내보내려면 월요일에 가져간 모든 사람들을위한 성적을 내야합니다

우리는 거의 등급을 매겼다 음, [NOISE]와 늦게까지 그렇게 생각하고있는 사람들은 거의 없습니다 우리는 SCPD를 등급 화해야합니다 하지만 다른 사람들은 모두 퀴즈 점수를 받아야합니다 누가 그것을 월요일에 가져 갔는지, 오늘 되돌아 가야한다

그리고 오늘 우리가 할 일은 우리가 조금 이야기 할 것입니다 몬테카를로 트리 검색뿐만 아니라 일부 코스의 끝 부분에 대해 토론합니다 그렇다면 몬테카를로 검색은 왜 필요한가요? AlphaGo에 대해 들어 보셨습니까? 괜찮아 예 그래서 나는 알파 고 (AlphaGo) 당신은 마지막 AI의 주요 업적 중 하나라고 주장 할 수 있습니다

10 년에서 20 년 동안, 음, 그리고 실제로 예기 된 것보다 훨씬 빨리 달성 된 놀라운 성취 보드 게임에서 인간을 때려 눕히고, 이것은 매우 어려운 게임으로 간주됩니다 몬테카를로 나무 수색은 중요한 부분이었습니다 당신도 알다시피,이 성공과 더불어 많은 다른 것들을 얻을 수 있습니다 그러나 그것은 우리가 지금까지 수업에서 이야기하지 않은 측면 중 하나입니다 몬테카를로 나무 수색에 대해 이야기하는 것, 그래서 당신은 뒤에있는 아이디어들에 익숙합니다

그것과 그러므로 AlphaGo 뒤에 아이디어의 일부, 음, 알아두면 유용 할거야 어, 그리고 또한 몬테 카를로 수색에 관해 생각하기 시작할 때, 그것은 우리가 모델 기반 강화 학습에 대해 생각하는 방법입니다 이것은 우리가 부분적으로 많이 이야기하지 않은 매우 강력한 도구입니다 왜냐하면 우리는 모델을 가진 깊은 학습 사례에서 많은 성공을 보지 못했기 때문입니다 그리고 오늘이나 오프라인 중 하나에 대해 더 자세히 이야기하게되어 기쁩니다 그러나 앞으로는 그것이 정말로 생산적인 연구 방법이 될 것으로 생각합니다

AlphaGo에서 왜 이것이 알파에서 특히 유용 할 수 있는지에 대해 이야기 할 수 있습니다 괜찮아 그래서 우리가 먼저 할 일은 우리가 모델 기반 강화 학습의 종류에 대해 조금 더 이야기를 나누십시오 시뮬레이션을 기반으로 한 검색, 그것은 몬테카를로 나무 수색이 나오는 곳입니다 사실, 모두가 다른 수업을 듣고 나는 호기심이 많기 때문에, 여기 몬테카를로 나무 수색은 다른 학급에서 누가 했습니까? 괜찮아

단지 두 명 어떤 수업 이었습니까? [알아들을 수 없는] 238 네 네

같은? 같은 것 [NOISE]와 같이 약간 언급되었습니다 그것은 간단히 언급되었습니다 아, 네 아주 짧은

네 그리고 그래? 217 어느 쪽이야? 일반적인 게임 플레이 오 예 일반적인 게임 플레이는 와서 가져 오는 것이 좋습니다

괜찮아 시원한 굉장해 아, 그리고 저는 사람들이 관심을 갖고 있다고 생각합니다 마지막에는 다른 수업들도 언급 할 것입니다

강화 학습에 대해 더 많이 배울 수 있습니다 괜찮아 그래서 모델 기반 강화 학습 음, [NOISE], 우리가이 용어에 대해 말한 것의 대부분은 아니지만, 우리가이 용어에 대해 말한 것의 대부분 [배경] 특히 우리가 학습에 관해 말할 때, 우리가 세상이 어떻게 작동하는지 모르겠다는 뜻이지 우리가 정책을 배우거나 또는 값 함수 또는 둘 다 데이터에서 직접 가져올 수 있습니다

음, 우리가 오늘 더 많이 이야기 할거야 특정 모델을 배우는 것에 대해 이야기합니다 그래서 잠시 동안 자신을 생각 나게하는 것입니다 우리는 전환 및 / 또는 보상 모델을 배우는 것에 대해 이야기 할 것입니다 우리는 이것에 대해 조금 이야기했을 것입니다

모르겠습니다 몇 주 전, 그것은 또한 탐사에 나왔다 그러나 일단 모델을 가지고 나면, 그것으로 계획을 사용할 수 있습니다 그리고 우리의 기억을 새롭게하기 위해서, 계획은 우리가 알고있는 모델을 세계 그리고 우리는 가치 반복 또는 정책을 사용합니다 일반적으로 반복 또는 동적 프로그래밍 주어진 모델에 대한 정책을 계산하려고합니다

물론 그와는 달리, 우리는 Model-Free RL에 대해 많이 이야기했습니다 모델이없고 우리는 경험을 통해 가치 기능을 직접 배울뿐입니다 그리고 이제, 우리는 경험으로부터 모델을 배우고 그 모델을 사용하여 계획을 세웁니다 이제, 우리가 수행하는 계획 외에 고전적 결정에서 알려진 접근법, 어, 다이 다이나믹 프로그래밍과 같은 것도 가능합니다 우리가 지금까지 수업에서 말했던 다른 기술 중 하나

그래서, 우리가 이것을 갖게되면, 이것은 시뮬레이터의 역할을 할 수 있습니다 그리고 일단 그렇게하면, 그 시뮬레이터를 사용하여 모델이없는 RL을 할 수 있습니다 또는 정책 검색 또는 무엇이든 할 수 있습니다 그렇지 않으면 당신은 세계의 모델을 가지고 있기 때문에하고자합니다 그것은 기본적으로 시뮬레이터의 역할을합니다

동적 프로그래밍과 같은 작업을 수행하는 데 사용할 수 있습니다 괜찮아 당신은 모든 것을 정리할 수 있습니다 그래서 일단 세계의 시뮬레이터를 가지고 있다면 그것은 훌륭합니다 물론 시뮬레이터가 좋지 않은 경우에는 단점이 될 수 있습니다

그 결과 견적의 측면에서 무엇을합니까? 괜찮아 그래서 다시 생각해보십시오 우리에게는 세상이 있습니다 행동과 보상 및 국가를 창출합니다 음, 이제 우리는 모델을 모델링하려고 명시 적으로 생각하고 있습니다

따라서 많은 경우 보상 기능을 항상 알고있는 것은 아닙니다 그러나 많은 실제 응용에서, 당신은 보상 기능을 알게 될 것입니다 따라서 강화 학습과 같은 디자인이라면 고객 서비스, 아마도 보상 기능을 염두에 두어야합니다 교전이나 구매 또는 그런 것들을 좋아하십시오 그러나 당신은 고객의 아주 좋은 모델을 가지고 있지 않을 수도 있습니다

따라서 실제 사례가 많아서 암묵적으로나 명시 적으로 역학 모델을 배웁니다 그러나 보상 기능 자체가 알려질 수도 있습니다 괜찮아 그렇다면이 점을 루프의 관점에서 어떻게 생각합니까? 우리는, 음, [NOISE] 어떤 경험 그래서 이것은 일이 될 수 있습니다

알다시피, 국가, 행동, 보상, 다음 상태 튜플 (tuples)을 모델로 공급한다 이것은 보상이나 전이 모델을 출력 할 것입니다 우리는 그것으로 계획을 세웁니다 동적 프로그래밍 또는 Q 학습이 될 수 있습니다 또는 우리가 여기에서 본 다른 많은 기법, 정책 검색

그리고 나서 그것은 우리에게 행동을 취할 수있는 방법을 제공해야합니다 그래서 그것은 우리가 여기서 사용할 수있는 행동을 제공해야합니다 우리는 완전한 가치 기능을 반드시 계산할 필요가 없습니다 우리가 알아야 할 것은 다음 조치를 취하는 것입니다 몬테카를로 트리 검색을 할 때 그것을 악용 할 것입니다

우리가 반드시 전체 가치 함수를 계산할 필요는 없다는 우리는 완전한 정책을 가져야 만합니다 우리가 알아야 할 것은이 특정한 행동을 위해 무엇을해야하는지입니다 이것에 대한 장점 중 일부는 음, 우리는 많은 감독 학습 방법을 가지고 있습니다 우리가 모델을 배울 때 사용할 수있는 깊은 학습입니다 그들 중 일부는 더 좋거나 나쁘다

어 그래서 우리의 전이 역학, 우리는 일반적으로 확률 론적으로 생각할 것입니다 그래서 우리는 분포를 예측할 수있는 감독 된 학습 방법이 필요합니다 보상 모델의 경우 종종 스칼라로 취급 할 수 있습니다 그래서 우리는 매우 고전적인 회귀 기반 접근법을 사용할 수 있습니다

그리고 다른 좋은 점은 모델 기반 강화 학습은 우리가 탐험에 대해 이야기 한 것과 같습니다 음, 우리는 종종 명백한 모델을 가질 수 있습니다 우리의 모델이 얼마나 좋은지에 대한 우리의 불확실성 그리고 우리가 세계 모델에 대한 불확실성을 갖게되면, 우리는 그러한 결정을 통해 우리가 내린 결정에 대한 불확실성으로 전파 할 수 있습니다 그래서 꽤 직접적인 산적 한 사건에서, 왜냐하면 적기에게는 적기에 대해, 우리는 팔에 대한 보상에 대한 불확실성이있었습니다

그리고 그것은 바로 우리의 불확실성을 직접적으로 나타 냈습니다 이 값은 단일 타임 스텝 이었기 때문에 값입니다 MDP의 경우, 우리는 불확실성을 나타낼 수 있습니다 보상과 역학 모델과 보너스 이런 종류의 형태, 계획 중에 그 정보를 전파하십시오 그리고 그것은 우리로 하여금 우리가 얼마나 잘 할 수 있는지에 관해 생각하게했습니다

다른 주와 행동의 가치와 그것이 무엇인지 알 수 있습니다 그것은 어떤 종류의 낙관적 인 것이 될 수 있습니다 이제 단점은, 알다시피, 먼저 모델을 배워서 가치 함수를 만들어 보겠습니다 거기에 근사 오차의 두 가지 원인이있을 수 있습니다 우리는 대략적인 모델을 얻고 나서 우리는 할 것입니다

일반적으로 대형 주 공간에 대한 대략적인 계획, 그래서 우리는 그 경우에 compounding errors를 얻을 수 있습니다 이제 우리는 이전에 복합 오류를 보았던 다른 곳에서 이 과정은 우리가 모방 학습에 관해 이야기했을 때였습니다 그리고 궤적이 있다면 우리는 얘기했습니다 행동 복제를하고 상태에서 행동으로의 매핑을 배우고, 그리고 만약 당신이 그 정책을 가지고 현실 세계에서 그것을 따라 간다면, 당신은 당신이 가지지 못한 상태 공간의 일부에서 끝날 수도 있습니다 많은 양의 데이터와 이러한 종류의 에스컬레이션 오류가있을 수 있습니다

다시 합성 될 수 있습니다 많은 양의 데이터가없는 상태 공간의 일부에 들어가면, 그리고 나서 당신은 외삽 법칙을 적용하고 있습니다 그러면 일이 나 빠질 수 있습니다 이와 유사하게이 경우, 모델을 작성하고 당신을 끝내는 정책을 계산한다면 네가 가지고 있지 않은 세계의 일부 대용량 데이터 및 모델 추정치가 낮은 곳, 그러면 정책에서 결과 값 기능이 나쁠 수 있습니다 나는 내가 생각하는 또 하나의 큰 이점에 대해서 언급 할 것이다

모델 기반 강화 학습은 전송을 위해 매우 강력 할 수도 있다는 것입니다 그래서 첼시가 여기에 있었고 메타 학습에 관해 이야기했을 때, 모델 기반 RL의 장점 중 하나는 다음과 같습니다 세계의 역 동성 모델을 배우면, 누군가가 보상 기능을 변경하면, 암묵적으로 당신은 제로 샷 전송을 할 수 있습니다 역학의 학습 모델을 얻은 다음 보상 기능을 사용할 수 있기 때문에, 당신은 새로운 계획을 계산할 수 있습니다 마치 내가 로봇이고이 방에서 항해하는 법을 배웠던 것처럼, 그리고 지금처럼 나는 알고있다, 너도 알다시피, 무엇을 돌리는 것이고 앞으로 나아갈 것이 무엇인지, 등

그리고 내가 그 출구에 도착하려고 항상 노력하기 전에 그러나 이제 나는 다이내믹 한 것을 안다 나는이 다이내믹 모델을이 룸에서 일반적으로 알고있다 그리고 누군가 말합니다 "아니

아니 나는 그 출구로 나가고 싶지 않아 왜냐하면 그 사람이, 알다시피, 폐쇄됐거나 뭔가 그래서 다른 출구로 가라 " 그리고 그들은 보상 기능을 말해줍니다

그들은 그 대신 출구 대신에 +1이 있다고 말합니다 그렇다면 내 동역학 모델로 다시 계획 할 수 있습니다 그래서 나는 더 이상의 경험이 필요하지 않습니다 샷을 전송하지 않을 수 있습니다 그래서 그것은 정말로 유용 할 수 있습니다

그래서 이것이 왜 당신이 일반적으로 세상의 모델을 만들 수 있습니다 그리고 사람들이 아타리 게임을 할 때 흥미로운 증거가 있습니다 아마도 그들은 체계적으로 모델을 구축하고있는 것입니다 북극곰 옆에서 빙산을 움직일 때 어떻게됩니까? 그리고 그 모델을 다른 경험으로 일반화 할 수 있기 때문입니다 괜찮아

그럼 어떻게 쓸 건데? 이 경우 우리 모델을 적어 두십시오 다시 정상 상태로 돌아갈거야 행동, 전환, 역학 및 보상, 우리 모델이 대략 우리를 대표한다고 가정 할 것입니다 우리의 전이 모델과 보상 모델 그래서 우리는 여기서 마르코프 가정을 가정합니다

그래서 우리는 다음 상태를 나타낼 수 있습니다 단지 그 이전의 상태와 행동을 통한 분배에서, 우리는 보상에 대해서도 마찬가지입니다 그리고 우리는 일반적으로 일들이 조건부로 독립적이라고 가정합니다 우리가 전에 한 짓처럼 그래서 우리는 특정 다이내믹 모델을 가지고 있습니다

상태와 행동 및 이전 상태와 행동을 조건으로하는 보상 모델 학습을 원한다면, 그런 다음 우리는 우리가 감독 한 학습 문제를 가지고 있습니다 전에 조금 얘기 했어 너는 국가와 행동을 가지고있다 다음 주에 보상을 예측하고 싶습니다

그래서 우리는이 회귀 문제와이 밀도 추정 문제를 가지고 있습니다 그러면 모든 종류의 방식으로 그것을 할 수 있습니다 너도 알다시피, 평균 제곱 오류를 사용하면 다양한 형태의 손실을 사용할 수 있습니다 음, 사실, 우리가 최근에 진전을 이룬 방법 중 하나 우리의 오프 정책 강화 학습은 최고 수준의 최대 우도 손실보다 다른 형태의 손실 어,하지만 여기 일반적으로, 우리는 최대 우도 손실에 대해 이야기 할 것입니다

그래서 우리는 이것을 할 수 있습니다 물론, 표의 경우에 이것은 단지 [잡음] 계산입니다 따라서 상태와 동작의 개별 세트가있는 경우, 당신은이 상태와 행동에서 내가 몇 번이나 시작했는지를 세어 볼 수 있습니다 상태 1로 가면, 그들이이 상태와 행동에서 몇 번이나 시작하고 2 번 상태로 나아가는지 비교합니다 그래서 당신은 그것들을 세고 정상화합니다

그리고 일반적으로, 당신이 이것을 표현할 수있는 수많은 다른 방법이 있습니다 어, 그리고 제가 생각하기에 특히 재미있는 것들 중 하나는 베이지안입니다 Bayesian 딥 신경망이 아닙니다 그들은 지금까지는 조정하기가 꽤 어려웠습니다 아, 또 다른 정책, 알다시피, 베이지안 심 신경 네트워크

[NOISE] 음, 그 이유 중 하나는 정말로 될 수 있다고 생각합니다 강력한 것은 불확실성을 명시 적으로 나타낼 수 있으며, 그러나 지금까지 그들은 훈련하기가 꽤 어려웠습니다 그러나 나는 생각한다 실제로 많은 것들이 있습니다 우리가 사용할 수있는 아주 간단한 모델이 있습니다

이 모델들에 대한 정말 근사적인 함수 근사자입니다 괜찮아 우리가 테이블 조회의 경우라면, 우리는 단지 카운트의 평균입니다 그래서 우리는이 국가 행동을 말하면서 세고 있습니다 다음 상태 튜플은 우리가 취한 횟수로 나눠서, 그 주에서의 그 행동, 우리는 마찬가지로 모든 보상을 평균합니다

그래서 이것은 보상의 현장이되어야합니다, 우리가 그 주에 머물렀던 시대 동안, 우리가 그 시간 단계에서 얻은 보상은 무엇 이었습니까? 그럼 여기서 어떻게 생겼는지에 대한 예를 생각해 봅시다 오래 전에,이 AB 예제를 소개했습니다 우리는, 음, 상태 A로가는 상태 B 조에있는 행동으로 가고, 그 다음에, 터미널 상태가되어 보상을 얻습니다 75 % 확률로 1, 또는 도착한 터미널 상태로 이동합니다

25 %의 확률로 0의 보상 우리가이 세상에서 무언가를 경험했다고 상상해보십시오 여기에는 아무런 행동도 없으며 하나의 행동이 있습니다 그것은 결정 과정이 아닌 마르코프 보상 과정입니다 그러나 우리는 우리의 관찰을 얻을 수 있습니다

그러면 A에서 시작합니다 그리고 나서 우리는 0의 보상을 얻습니다 그리고 B에 가서 0을 얻었습니다 그리고 나서 우리는 시간의 전체 세트를 가졌습니다 우리는 6 번이나, B에서 시작했고, 그리고 우리는 1의 보상을 얻었습니다

그리고 나서 우리는 상태 B에서 시작하여 보상 0을 얻었습니다 이제부터 우리는 테이블 룩업 모델을 만들 수 있습니다 그리고 우리의 기억을 새롭게하기 위해서, 음, 그래서 우리는 당신이 일시적인 차이를 보인다면 이 문제를 표 형식의 표현으로 배우고, 각 상태에 대해 하나의 행을 의미하며, 그래서 그것은 단지 두 가지 상태입니다; A와 B 이 경험 세트에서 무한 재생을한다면 이 데이터를 가져 와서 Markov 결정 프로세스 모델을 추정했습니다 그런 다음 최적의 정책을 평가하기 위해 계획을 세웠습니다

또는이 경우 데이터를 수집하는 데 사용하는 정책을 선택하십시오 그래서 그것은 TD가, 음, 당신과 똑같은 솔루션을 제공합니다 종종 확실성 동등성 모델이라고 불리는 것을 계산하고, 당신이 당신의 데이터를 가져 가기 때문에, 당신은 그 데이터의 경험적 평균을 취합니다 그래서 당신은 이렇게 말할 수 있습니다 "이것이 세계의 모든 데이터라면, 그와 관련 될 수있는 모델은 무엇이겠습니까? 최대 우도 추정치와 함께

"그리고 나서 우리는 계획을 세운다 그래서 TD는 그러한 가정을합니다 메모리를 빠르게 확인해 보겠습니다 Monte-Carlo 방법이이 데이터에서 동일한 솔루션으로 수렴됩니까? 그러니 잠깐, 너 옆에있는 누군가에게로 돌아 가라 그들이하고 있는지, 왜, 왜, 왜 안하는지 결정하십시오

질문 있습니까? 어, 제물로, 네 [웃음] 괜찮아 나는 Monte-Carlo 방법이 다음과 같은 해결책으로 수렴 할 것이라고 생각한다 최소 MSE는 MLE 효과가있는 것에 반대합니까? 옳은

Monte-Carlo 방법은 Markovian을 가정하지 않습니다 음, 그래서 그들은 도메인이 마르코 비안이 아닌 경우에 적합합니다 따라서이 경우 정책 평가를 위해 모든 경우에 수렴 할 것입니다 평균 최소 제곱 오류에 수렴 할 것입니다 그래, 질문 있니? ML 모델을 사용했다면 아마 MSE로 변환 할 것입니다

다른 손실을 사용한다면 어떨까요? [OVERLAPPING] 좋은 질문 이것은 – 이것은 – 이것은 MLE가 아닌 최소 MSE로 수렴합니다 [들리지 않음] 다른 손실 [들리지 않음]을 사용하는 경우 몬테카를로 방법이 the- 손실에 따라 또는 정규화하는 경우에 따라 달라집니다 훌륭한 질문입니다

정규화하면 최소 제곱 오차와 다른 해법 당신이 정규화하는 방법이나 당신이 사용하는 손실에 따라 그러나 일반적으로, 그것은 다음과 같은 경우로 수렴하지 않을 것입니다 당신은 최대 우도 추정 모델을 가지고 있습니다 그런 다음 정책 평가를 통해 계획을 세웠습니다 그리고 중요한 차이점은 몬테카를로가 마르코 비안 가정을하지 않는다는 것입니다

그래서 그것은 마르코프를 가정하지 않습니다 그리고이 경우 특히, 음, 몬테카를로 추정치에 따라 A의 가치가 어떻게 될지 추측 할 수 있기 때문입니다 하나의 샘플 만 있습니다 0이다 네, 음, 네

몬테카를로가 있습니다 우리는 이렇게 말할 것입니다 – 나는이 특별한 상태에서 시작된 완전한 수익만을보고 있습니다 부트 스트랩이 없습니다 그래서, 우리가 A를 보았을 때만 A가 돌아 왔을 때였습니다 어,하지만 알다시피, 시스템이 정말로 마르코프라면, 우리가이 모든 다른 증거를 가지고 있기 때문에 그것은 아주 좋은 해결책이 아닙니다

B는 실제로 일반적으로 더 높은 값을가집니다 우리는 그것을 활용할 수 없습니다 음, TD는 그렇지 않습니다 따라서 TD는 "글쎄, 나는 A의 V가 이번에 0 인 것을 압니다 " 그러나 일반적으로 A의 V는 즉각적인 보상 플러스와 같다고 생각합니다

이 경우 할인이 없으므로 B의 가치가 있습니다 그리고 저는이 다른 모든 증거들을 가지고 있습니다 B의 가치는이 경우에, 실제로 075, 음, 우리는 그것의 6 가지 예가 1이기 때문에, 두 가지 예가 0입니다 그래서 우리는, 어, B의 V가 0

75이고, 몬테 카를로와 음, TD가 그것에 동의 할 것입니다 왜냐하면 당신이 B를 시작할 때마다 당신을 보았 기 때문에, 75 % 또는 어떻게 알지? 75 %의 시간 동안 1, 나머지는 0입니다 그래서 그 값은 075입니다 따라서 TD 추정치는 A의 V가 TD 추정치 인 0

75와 같다고 말할 수 있습니다 이것이 여기에 오는 이유 중 하나는, a- 그리고 이것은 a이다 – 이것은 일종의 한정된 백업으로 인한 것이 아니라, 또는 미안하지만, 나는 조심할 것이다 데이터의 한정된 사용량 그래서 이것은 말하기를, 당신이 일종의 TD를 통해 이것을 여러 번 실행한다면, 여러 번, 그리고 몬테카를로 견적은 또한 모든 데이터에 접근하고있다 단지 이것이 모든 데이터라는 것입니다

그래서 대안이 될 것입니다 이 데이터를 가지고 모델을 만든다면 이제 우리는 모델이 있습니다 B에서 A로 시작했을 때의 확률은 1이고, 당신은 항상 A에서 B로 이동합니다 사실, 당신은 한번만 이것을 보았습니다 그러나 당신이 그것을 한 번 본 순간, 너 B에 갔어

시뮬레이션 된 데이터를 얻기 위해이 방법을 사용할 수 있습니다 그래서 저를 그냥 보내 드리겠습니다 이 경우 아이디어는 일단 시뮬레이터가 있으면, 당신은 샘플을 시뮬레이트하기 위해 그것을 사용할 수 있습니다, 그 시뮬레이션 데이터를 사용하여 계획을 세울 수 있습니다 자, 처음에, 그것은 당신이 왜 그렇게 할 것 같은데 들릴지도 모릅니다 이전 데이터를 숨기고 직접적으로 가질 수 있기 때문에, 모델을 기반으로하지 않는 접근 방식을 통해 왜 모델을 처음 만들겠습니까? 그런 다음 데이터를 생성합니다

하지만 지금부터 예제를 보겠습니다 그 AB가 왜 유익한 지에 대한 예가 나와 있습니다 우리가 할 수있는 일은 우리가 얻을 수있는 것입니다 모델의 최대 우도 추정치 또는 사용하고자하는 다른 추정치, 그런 다음 샘플을 샘플링 할 수 있습니다 따라서 우리가 방금 모은 그 예에서, 우리의 추정 ​​된 전이 모델, 우리가 A에있을 때마다 우리는 B로 간다

그래서 내가 A에있을 때, 나는 견본을 뽑을 수 있고 나는 B에 갈 것이다 그리고 그것은 나를 가짜 데이터 포인트로 만듭니다 괜찮아? 그리고 저는 이것을 한 번에 여러 번 할 수있었습니다 우리는 많은 가짜 데이터를 얻습니다 이제이 가짜 데이터는 현실 세계와 비슷하거나 보이지 않을 수도 있습니다

내 모델이 얼마나 좋은지에 달려 있습니다 그러나 확실히 훈련 할 수있는 데이터입니다 그리고 우리는 잠시 후에, 두 번째 이유는 그것이 유익한 이유입니다 괜찮아? 그래서 우리가 여기로 돌아 가면, 이것은 왼쪽의 실제 경험입니다 그래서 왼쪽에는이 모든 실제 경험이있었습니다

그리고 나서 우리는 그 모델을 모델로 만들었습니다 그런 다음 샘플을 샘플링 할 수 있습니다 그래서 우리는 매우 외모가있는 경험을 할 수있었습니다 우리가 실제로 본 데이터와 비슷합니다 그러나 우리는 이와 같은 경험을 할 수도 있습니다

이제 왜 우리는 그것을 가질 수 있습니까? 우리는 이제 시뮬레이터를 가지고 있기 때문에, 시뮬레이션에서 – 우리 모델에서, 우리는 A에서 시작한 사례와 B에있는 사례를 보았습니다 그리고 우리 모델에는 우리가 B에서 시작한 다른 시간이었고 우리에게는 1이 있습니다 그래서 본질적으로 우리는 그 경험을 함께 할 수 있습니다 현실 세계에서는 결코 볼 수 없었던 것을 시뮬레이션 할 수 있습니다 그리고 우리는 Markov라는 사실을 여기에 활용하고 있습니다

따라서 도메인이 실제로 Markov가 아니라면, 우리는 매우 보이는 데이터를 얻을 수 있습니다 현실 세계에서 얻을 수있는 것과는 아주 다른 것입니다 하지만 마르코프라면, 음, 여전히 대략적인 모델 일 수 있습니다 왜냐하면 우리는 우리 모델을 훈련하는 데이터의 양이 제한적이었습니다 그러나 이제 우리는 주 (state)와 행동 (action)의 결합을 볼 수 있습니다

어쩌면 우리 데이터에서 보지 못했을 수도 있습니다 그러나 샘플링 할 때 [NOISE] 모델을 업데이트 할 수 있습니까? 어, 그래, 괜찮아 샘플로 모델을 업데이트 할 수 있습니까? 당신은 할 수 있겠지만, 지금은 우리 모델에서 샘플링 중입니다 그래서 이것은 실제 경험이 아닙니다 그래서 이것은 편향 확증으로 이어질 수 있습니다

그것은 귀하의 모델이 귀하에게 데이터를 제공하는 것과 같기 때문에, 이것을 실제 데이터로 취급한다면, 그걸 당신의 모델에 넣으세요 현실 세계에서 온 것이 아닙니다 그래서 지나치게 자신감을 갖게 될 수도 있습니다 음, 가짜 데이터를 생성하고 진짜 것처럼 취급하기 때문에 우리가 샘플의 경험에 얼마나 자신 있을지 판단 할 수 있습니까? 나는 우리가 모델에 넣어야하는 훈련 데이터의 양에 비례 해 생각합니다

정확하게 그렇게 될 것입니다 어떻게 될 것입니까? 우리는 어떻게 자신감을 가지며, 그리고 일반적으로 이것은 당신의 모델이 꽤 나쁠 것이라는 쟁점입니다 때로는 제한된 양의 데이터가있는 경우가 있습니다 그래서 우리가 탐험을 위해 말했던 몇 가지 기법들, 우리가 할 수있는, 모델이 얼마나 좋은지에 대한 신뢰 구간을 유도하고, 그들은 여기에도 적용됩니다

그래서, 음, 약간의 데이터 만 가지고 있다면 Hoeffding과 같은 것을 사용할 수 있습니다 예를 들어이 보상 모델에 대해 얼마나 확신합니까 음, 오늘의 대부분은, 우리는 그렇게 많이 얘기하지 않을거야 그러나 당신은 그 정보를 이용하여 계량을 시도 할 수 있습니다 얼마나 불확실한 지, 어떻게 그 종류의 오류가 전파 될 것인가

네 음, 그래서 저는 다음 단계에 대해 개념적으로 생각하고 싶습니다 우리가 그렇다는 것입니다 우리는이 모델을 만들고 있습니다 우리는 일종의 정책이나 어떤 종류의 것을 배우기위한 방법을 사용할 것입니다

현실 세계에서 행동하는 방법 우리가 모델을 가지고 있다면, 우리가 연기하고있을 때 모델을 사용할 수 있습니까? 기본적으로 모델을 통해 우리 국가를 운영하고, 어쩌면 배급을 좋아하고 최대한의 조치를 취할 수도 있습니다 우리의 보상을 극대화하는 행동? 그래서 일단 모델을 가지고 나면 계획을 세우는 데는 여러 가지 방법으로 사용할 수 있습니다 그래서 하나는 할 수 있습니다, 작은 사건이라면 여기 테이블과 같습니다 따라서 값 반복을 사용하여이를 정확하게 해결할 수 있습니다

데이터를 시뮬레이션 할 이유가 없습니다 음,하지만 니가 좋아하는 것에 대해서 생각하기 시작할 때 아타리 또는 다른 고차원 문제, 계획 문제만으로도 매우 비쌉니다 그래서 당신은 아직도하고 싶을지도 모릅니다 시뮬레이트 된 데이터를 계획 할 때 모델이 필요없는 방법

그리고 네가 그럴 수있는 이유 중 하나는, 음, 우리가, 우리는 Q 학습에서 여러 가지 방법에 대해 더 많은 샘플을 말했습니다 재생 버퍼가있는 것처럼 효율적이어서 에피소드 재생을 할 수 있습니다 그러나 또 다른 대안은 시뮬레이트 된 모델에서 많은 데이터를 생성하는 것입니다 그런 다음에 여러 번 반복 재생할 수 있습니다 그리고 그것은 다른 종류의, 음, 데이터에서 더 많은 것을 사용하십시오

그래, 뒤에서 질문해라 음, 만약 당신이 마르코프 가정을하고 싶지 않다면, 너도 그렇게 할 수 있겠지만, 어, [들리지 않는] 과거의 상태? 네 네가 마르코프 가정을하고 싶지 않다면? 네, 과거에 컨디션을 유지할 수 있습니까? 음, 그건 당신이 역사의 완전한 기능을하는 모델을 만들 것이라는 것을 의미합니다 문제는 너무 많은 데이터가 없다는 것입니다 그래서 당신은 당신이 본질적으로 당신의 상태로서 전체 역사에 대해 조건을 정하고 싶다면, 마르코프 가정에 대해서는 항상 괜찮습니다

전환 모델을 추정하기위한 데이터가 실제로는 거의 없을 것입니다 특히 지평선이 계속됨에 따라 따라서 종종 더 나은 모델을 갖고 싶어하는 것처럼 상충되는 경우가 있습니까? 글쎄, 그것은 귀하의 도메인에 따라 다릅니다 아마도 그것은 정말로 마르코프 일 것입니다 정말로 마르코프가 아니라면, 아주 작은 데이터로 더 나은 모델을 원하십니까? 그래서, 음, 일반적으로 이런 종류의 함수 근사 오차 대 표본 추정 오차

많은 데이터가 없기 때문에 오류가 발생할 수 있습니다 또는 함수 근사값이 잘못되어 오류가 발생할 수 있습니다 그리고 종종 그 둘 사이에서 거래를하고 싶어 할 것입니다 그래서이 예제는 여러분도 알다시피, 샘플링 된 경험을 얻으실 수 있습니다 당신이 현실에서 본 어떤 것과도 다른 것처럼 보입니다

음,이 경우 새로운 데이터에서 Monte Carlo를 실행하면, 너는 아주 좋아 보이는 것을 얻을 수있다 당신이 원 자료에 TD를 한 경우에 유사한 그래서 기본적으로 우리의 실제 경험을 취하는 대신에 정책 평가를 위해 Monte Carlo를 사용합니다 대안으로, 우리는 이것이 마르코프 시스템이라고 생각합니다 데이터를 읽은 다음 몬테카를로 학습을하거나, TD 학습을 할 수 있습니다

아마도 같은 대답을 얻게 될 것입니다 몬테카를로가 수렴 한 것과는 대조적으로 이것은 알 수 있습니다 그 전에 V (A) = 0 및 V (B) = 075이었다 다시 말하자면, 좋아,하지만 정말로 이걸하고 싶니? 나는 정말로 시스템이 마르코프라고 생각하지 않는다면, 나는 가짜 데이터에 몬테 카를로를 운영하지 않았을 것이다

그러나 나는 이것이, 음, 이 샘플링이 끝나면 무엇을 할 수 있습니까? 모든 종류의 선택을 할 수있는 쇼 그래서 거기에 당신이 갖고 싶어 일종의 두 단계 마르코프 프로세스 또는 다른 작업을 원한다면, 모델에서 다른 가정을하십시오 그리고 나서 그걸로 많은 계획을 세우고 싶습니다 따라서 데이터를 먼저 가져 와서 모델을 계산하고, 그런 다음 계획을 세우려고 어떻게 사용할지 결정할 수 있습니다

그리고 우리는 그것을 곧 할 특별한 방법을 보게 될 것입니다 너희들이 나 한테 묻는대로, 음, 우리가 나쁜 모델을 가지고 있다면 일반적으로 차선책을 계산할 것입니다 우리는 믿을 수 없을 정도로 운이 좋을지도 모른다 궁극적으로 당신의 결정 때문에, 우리는 단지, V (s, a1)는 V (s, a2)보다 큽니다 궁극적으로 우리는 쌍 비교 비교 결정을 할 것입니다

그래서 당신은 정말로 나쁜 모델을 가지고 있고 여전히 좋은 정책으로 끝날 것입니다 음, 일반적으로, 모델이 나쁘고 계획을 세우는 경우 일반적으로 정책이 차선책이 될 수도 있습니다 음, 모델이 잘못되면 한 가지 접근 방식을 사용합니다 음, 모델이없는 보강을하는 것입니다 원래 데이터를 학습합니다

따라서 모델 기반 계획을 수행하지 마십시오 항상 문제를 해결하는 것은 확실하지 않습니다 따라서 모델이 왜 잘못되었는지에 따라 다릅니다 네가 선택했기 때문에 모델이 잘못 되었다면 잘못된 파라 메 트릭 클래스이거나 시스템이 마르코프가 아니기 때문에, 너는 너의 문제를 해결하지 않을 Q 학습을하고있어 왜냐하면 Q 학습은 세계가 마르코프라고 가정하기 때문입니다

모델이 없으므로 그것은 왜, 왜 그런가에 달려 있습니다 왜 그런가? 이것이 도움이되는지 여부 음, 다른 하나는 모델의 불확실성에 대해 명시 적으로 추론하는 것입니다 그리고 이것은 탐험, 착취로 돌아갑니다 이제 다시 이것은 특정한 형태의 잘못만을 다루고 있습니다

음, 샘플링 추정 오류가있을 수 있다는 사실을 처리합니다 그러나 여전히 모델 클래스가 올바른지에 대한 기본적인 가정을하고 있습니다 예를 들어, 세상을 모델링하는 경우, 음, 다항 분포, 그리고 당신은 가지고 있지 않다 매우 많은 양의 데이터가 있으면 이전 측정 항목 추정치가 사라집니다 그러나 세계가 실제로 다국적이지 않다면, 음, 그럼 모든 내기가 꺼져있어

따라서 우리가 가정하고있는 가정을 아는 것은 항상 좋은 일입니다 우리의 알고리즘, 그리고 우리가 고려하고있는 불확실성의 어떤 종류의 형태 이제 내가 말할 것입니다 내가 흥미있는 매우 흥미있는 것을 발견하는 미묘한 조금 음, 네가 정말 좋은 모델을 가지고 있다면, 그것은 일반적으로 말했거나 당신이 완벽한 모델을 가지고 있다면, 그리고 좋은 결정을 내리기에 충분한 매개 변수의 완벽한 추정

당신이 당신의 모델을 훈련시키고 있다면 제한된 양의 데이터 또는 제한된 종류의 표현력, 음, 더 높은 예측 정확도를 가진 모델은 실제로 결정을 내릴 때 더 악화 될 수 있습니다 그리고 제가 생각하기에 직감은 이것입니다, 우리는, 우리는 몇 년 전에 이것을 발견했습니다 음, 다른 사람들도 그것을 발견했습니다, 우리는 지능형 개인 교습 시스템에 대해 생각하고있었습니다 음, 도전들, 당신이 정말로 복잡한 상태 공간을 가지고 있다고 상상해 봅시다 누군가, 차를 만들 때 주방이 어떻게 보이는지 모델링하려고합니다

모든 종류의 기능이 있습니다 증기가있는 것처럼, 어쩌면 그것은 일몰의 바깥이거나 물의 온도가있을 때입니다 그리고 차를 만들기 위해서는 물이 100도 이상 필요합니다 사실 그것이 당신이 지불해야하는 유일한 기능입니다 성공적으로 차를 만들기위한주의

하지만 네가 그렇게하려고한다면, 음, 세계의 모델을 만들고, 당신은 일몰을 모델로 삼 으려하고 있습니다 당신은 증기 등을 모델링하려고합니다 그리고 당신이 가지고있는 많은 종류의 기능들이 당신의 종류로 캡처 될 수 있습니다 너 아마 약간 임시 네트워크 그래서 만약 당신이 최선의 최대 우도 추정 모델에 맞추려고한다면, 의사 결정에 필요한 기능을 포착하는 것이 아닐 수도 있습니다

측면에서 볼 때 더 나은 모델 예측 정확도가 항상 의사 결정 측면에서 더 나을 수는 없습니다 그래서 몇 년 전에 우리가 만난이 이슈였습니다 우리가 만들고자 할 때 우리가 만들어야 할 모델이 왜 필요한지를 설명하는 것 같습니다 의사 결정이 반드시 예측 정확성을 위해 필요한 동일한 모델 일 필요는 없습니다 따라서 가능한 것이 무엇인지를 아는 것이 중요합니다

귀하의 기능은 유틸리티 및 가치 측면에서 관심이 있습니다 괜찮아 이제 시뮬레이션 기반 검색에 대해 조금 이야기하겠습니다 여기 수업 중 하나에서 전방 수색을 본 사람이 있습니까? 좋아요, 많은 사람들이 있지만 모두는 아닙니다 음, 앞으로 검색 알고리즘

우리가 지금 이야기 할 것은 서로 다른 방법입니다 시뮬레이션 된 데이터에서 Q 학습을 수행합니다 좋아요, 모델이 있습니다 결정을 내리는 데 사용할 수있는 또 다른 방법은 무엇입니까? 한 가지 방법은 앞으로 검색을 수행하는 것입니다 그렇다면 앞으로 검색은 어떻게 작동합니까? 앞으로 검색의 아이디어는 우리가 취할 수있는 모든 행동을 생각할 것입니다

여기 A1과 A2의 두 가지 동작 만 있다고 가정 해 봅시다 그리고 우리는 우리가 얻을 수있는 모든 가능한 다음 상태에 대해 생각할 것입니다 그러니 아주 작은 세상이라고 가정 해 봅시다 그래서 우리는 단지 S1과 S2를 가지고 있습니다 그래서 현재의 상태에서, 나는 행동을 취할 수도 있고 행동을 취할 수도있다

상태 1 또는 상태 2로 전환 할 수있는 행동을 취하십시오 그리고 나서 내가 무엇이든지간에 – 나는 국가를 얻는다 나는 다시 결정을 내릴 수 있습니다 A1 또는 A2 그게 내 행동 공간이기 때문에

그리고 나서 그 행동을 취한 후에, 나는 다시 전이 가끔 어쩌면 내가 그것을 끝내기도한다 그래서 이것은 종단 상태입니다 어쩌면 내 로봇이 떨어져서 쓰러지거나, 아니면 다른 나라로 간다 [잡음] 그리고 나는 이런 종류의 미래를 생각할 수 있습니다 나는 내가 원하는만큼 그들을 내보낼 수 있습니다

예를 들어 다음 h 단계를 생각하고 싶다고합시다 그리고 나서 나는 멈춘다 일단 그렇게하면, 나는 그 정보와 the- 보상의 나의 종류 – 잘 내가 단지 더 1 개의 물건을 말해 게 해주세요, 음, 이런 종류의 시뮬레이션 된 기능을 수행 할 때, 나는이 다양한 특징들에 대한 보상에 대해 생각할 수 있습니다 지금 당장 모델이 있다고 가정하기 때문에 그래서 이것은 모델이 주어진 것입니다

그래서 저는이 상태를 t로 취했을 때 생각할 수 있습니다 액션 a2를 취했는데 보상을받을 수 있을까요? 그리고 여기 아래로, 저는 제가 s2, a2에서 얻을 수있는 보상이 있는지 생각할 수 있습니다 그래서 나는 다양한 특징을 생성하고 보상을 요약하는 것을 생각할 수 있습니다 음, 다른 길을 따라 일련의 보상을 해줄거야 그리고 그 값을 알아 내기 위해 이런 종류의 행동이나 제가 취해야 할 최선의 행동, 내가 할 수있는 일은 최대의 행동을 취할 수 있고 나는 국가에 기대를 걸 수있다

그리고 저는 제가 모델을 가지고 있다고 가정하기 때문에 그 기대를하는 법을 항상 알고 있습니다 그래서 저는 항상 저의 확률이 무엇인지 생각할 수 있습니다 부모님의 행동과 출신 국가를 고려할 때 그 특별한 상태에 이르렀습니다 그래서,이 경우, 나는이 잠재 된 모든 미래를 일정한 깊이까지 펼쳐 놓는다 이동 또는 이와 비슷한 경우, 당신이 게임에서이기거나 게임을 패할 때까지있을 것입니다

그리고 나서 다시 돌아가고 싶습니다 그래서이 [배경]을 일종의 것으로 생각할 수 있습니다 매우 효율적인 동적 프로그래밍 [NOISE]이 아닙니다 왜냐하면 왜 그렇게 효율적이지 않은가? 여기에 동일한 여러 주들이있을 수 있기 때문입니다 그리고 나는 그것들에 앨리어싱을하지 않거나 똑같은 것으로 취급하지 않을 것입니다

저는 개별적으로 생각할 것입니다 그 날짜들 각각에 대해 나는 그 상태에서 얻게 될 미래의 보상 다른 일련의 행동과 결과 상태 그리고 만약 내가 행동하는 법을 알아 내고 싶다면, 나는 나의 잎에서 떠나고 나는 모든 것 위에 최대량을 가지고 간다, 이 경우에 나는 작은 기호처럼 만회했다고 가정 해 봅시다 이것은 a1, a2입니다 그리고 그 시점에서 제가 끝내라고 말하겠습니다

그래서 저는 r (s, a1)과 r (s, a2)와 같습니다 그래서 나는 언제나 그런 구조를 가지고 있습니다 내가하는 일은 최대 한도를 얻는 것과 여기서의 보상은 그 중 큰 것이 더 큰 것과 같습니다 더 큰 a2라고 상상해 봅시다 그래서 제가 계산하기를 원한다면 기본적으로이 모든 것들을 굴립니다

보상의 표본을 얻는 것과 같은 계산, 그리고 다음 상태는 모든 길을 나가는 것입니다 그리고 루트에서 값을 얻으려면, 일련의 액션 노드처럼 2 ~ 2 개를 볼 때마다, 나는 그들 모두에 대해 최대를 취한다 벨맨의 백업과 같았습니다 우리가 미래의 최상의 보상을받을 수있는 행동을 그리고 나서 제가 주에 도착할 때마다 여기에서 다른 것을 할 것입니다 이제 두 개의 상태 s1과 s2가 있다고 가정 해 봅시다

그 중 하나는이 값 s1을 가지며이 값은 s2 값을가집니다 그리고 나는이 행동을 알아 내고 싶습니다 내 새로운 가치가 무엇인지는 이것이 주어진 s1의 확률과 같을 것입니다 내가 s0에서 온다고 가정 해 봅시다 s0, a1 배 V (s1) + s2의 확률, s0, a1 배 V (s2)

이것은 정확하게, 어, 음, 우리가 벨맨 백업을 할 때, 우리가 다음 2 주를 모두 얻을 수있는 모든 국가에 대해 현재 활동 및 현재 상태는 각각의 값에 시간을 곱합니다 말이 돼? 그래서 우리는이 나무를 만들었고, 그 값을 계산하기 위해서, 우리는 두 가지 작업 중 하나를 수행합니다 그게, 어, 그게, 어쩌면, 행동 마디 일 수도 있고, 우리가 기대할 수도 있습니다 그래서 이들은 최대 나무를 기대하고 있습니다 여러분 중 일부는 AI에서 전에 이것을 보았을 것입니다

때때로 사람들은 종종 미니 맥스 나무에 대해 이야기합니다 다른 요원이 도착하는 게임 이론을한다면 당신의 가치를 최소화하려고 노력하면 그것을 극대화 할 수 있습니다 이것은 우리가 기대 이상으로하는 것을 제외하고는 매우 유사합니다 다음 주와 최대의 행동, 알았지? 그리고 이것은 동적 프로그램과 같지만 비효율적입니다 그러나 우리는 왜 우리가 그것을 원할 것인가를 보게 될 것입니다

그럼 누구든지 이것에 대해 질문을합니까? 괜찮아 괜찮아 이것이 모든 것입니다 우리가하는 일은 우리가 모델을 가지고 있어야한다는 것입니다 왜냐하면 우리가 지금 모델이 없다면 우리는 할 수 없기 때문입니다

이 예상 최대치를 정확하게 계산하십시오 우리는 우리가 알고있는 것을 사용하고 있습니다 우리는 여기서 두 가지 상태만을 확장하고 있습니다 음, 우리는 – 우리 – 우리가 그 두 국가의 각각에 얼마나 많은 무게를 가길 원하는지, 우리는 그들 각각에 도달 할 확률을 알아야합니다 여기가 우리가 여기서 모델을 사용하는 곳입니다

우리는 모델을 사용하여 보상을 얻습니다 따라서 시뮬레이션 기반 검색은 유사합니다 음, [NOISE]를 제외하고는 모델을 사용하여 시뮬레이트합니다 우리는 이런 종류의 모든 것을 계산하지 않을 것입니다 기하 급수적으로 늘어나는 미래

대신, 우리는 여기서 시작하겠다고 말하고 싶습니다 모델이있어서 여기에 정책이 필요합니다 하지만 제가 정책을 갖고 있다고 가정 해 봅시다 그리고 나서 나는 그것을 사용한다 그래서 나는 현재의 상태에 대한 나의 정책을보고 나에게해야 할 일을 알려줍니다

그래서 저는 그 행동을 따랐습니다 그리고 나서 제 모델로 들어가서 샘플링을합니다 그래서 저는 제 모델을 찾아보고 말합니다 "다음 국가가 될 것입니다 이 특정 국가와 그 조치를 취한 나는 단지 하나의 다음 상태를 시뮬레이션? " 이는 이전 모델에서 시뮬레이션 한 데이터를 얻는 것과 같습니다

그래서 저를 여기로 데려 간다고 가정 해 봅시다 그것은 s1 상태였습니다 그리고 나서 다시 찾는다 나는 내 정책을 고집한다 나는 "s1을위한 정책은 무엇인가?"라고 말한다

그것이 a2라고 말하면, 나는 또한 여기까지 따라합니다 따라서 궤도를 시뮬레이션하십시오 내 정책에 따라, 그것을 밖으로 시뮬레이션하고 그것이 끝날 때까지갑니다 그리고 그것은 저 정책이 얼마나 좋은지에 대한 하나의 답을줍니다 그래서 이런 종류의 경우에 우리는 모델로 완전한 궤도를 시뮬레이션 할 수 있습니다

어, 일단 우리가 그런 것들을 갖게되면 시뮬레이션 된 궤적에 대한 모델이없는 RL, 몬테 카를로가 될 수도 있고 TD 학습과 같은 것이 될 수도 있습니다 그래서 우리가 이것을 일종의 일이라고 생각한다면, 그 시뮬레이션을하기 위해서 우리는 어떤 종류의 정책이 필요합니다 그래서 우리는 일종의 행동을 선택해야합니다 우리가 국가에 있고 행동을 취하는 것에 대해 생각할 때 시뮬레이션 된 세계, 어떤 행동을 취해야하는지 어떻게 알 수 있습니까? 우리는 현재의 시뮬레이션 정책을 따른다 따라서 정책 개선의 한 걸음을 효과적으로하기를 원한다고 가정 해 봅시다

그래서 당신은 정책을 가지고 있습니다, 당신은 당신의 모델을 가지고 있습니다, 그리고 나서 한 주에서 시작해서 궤도를 시뮬레이션하는 가능한 동작을 몬테카를로 롤아웃과 같습니다 그래서 나는 내 주를 시작했다 그래서 이것은 제가 정말로 s_t 상태에 있다고 가정 해 봅시다 나는 무엇을해야 할지를 알아야 할 것입니다 그래서 저는 그 상태 s_t에서 시작합니다

그리고 현실 세계에서 행동하기 전에 내 머리 속에서, 내가 취할 수있는 모든 행동을 생각해 그리고 나서 나는 행동 정책에 따라 그들 각각으로부터 롤아웃을한다 그 다음에는 그 중 최대 값을 선택합니다 그래서 나는 정말로 s_t 상태에 있고, 그 다음에 나의 두뇌에서, 나는 a_1을하는 것에 대해 생각한다 그리고 나서 나는 내 정책에 따라 그것으로부터 많은 롤 아웃을한다

그리고 나서 나는 a_2를하고 그것에서 많은 롤 아웃을합니다 a_3,이 모든 것이 내 머리 속에있다 그리고 그것은 근본적으로 지금은 Q s_t, pi 아래의 a_1의 추정치를 제공합니다 그래서 제가 마치이 행동을 취하고 파이를 따라 간 것처럼, 내 예상 Q 기능은 무엇입니까? 그 다음 나는 각각의 행동에 대해 그렇게한다 그리고 나서 나는 최대치를 취할 수있다

그래서 이것은 정책 개선의 한 걸음을내는 것과 같습니다 이것은 내 시뮬레이션 정책이 무엇이든간에 의존 할 것이기 때문에 의미가 있습니까? 그래서 우리는 기존의 시뮬레이션 정책을 가지고 있습니다 나는 우리가 어떻게 그것을 얻었는지에 대해서 말하지 않았고, 우리는 그것을 경험을 시뮬레이트하기 위해 사용합니다 괜찮아 그래서 문제는 우리가 할 수 있는지 없는지입니다

실제로 정책 개선의 한 걸음보다 나아진다 이러한 시뮬레이션 정책을 어떻게 얻을 수 있을까요? 좋아, 우리가 시뮬레이션 정책을 갖고 있다면 좋았어 우리는이 한 걸음을 내딛을 수있었습니다 그러나 우리는 어떻게하면 더 일반적인 환경에서 이것을 할 수 있을까요? 그 생각은 음, 만약 당신이이 모델을 가지고 있다면, 이 Expectimax Tree를 수행하여 실제로 최적의 값을 계산할 수 있습니다 그래서 내가이 주 St에 있었던 것처럼, 생각 만하는 대신 시뮬레이션에서 기억하십시오

우리는 단지 하나의 궤도를 따라갈 것입니다 하지만 Expectimax 나무에서 우리는 생각할 수 있습니다 음, 만약 내가 a1이나 a2를했다면, 그 다음에 내가 S1이나 S2에 갔든, 그런 다음 어떤 행동을 취해야합니까? 그리고 기본적으로 계산하려고 생각할 수 있습니다 현재 상태에 대한 근사 모델 하에서 최적의 Q 함수 그 문제는이 나무가 정말로 커진다는 것입니다

그래서 일반적으로 음, 나무의 크기는 적어도 H를 수평으로하면, 왜냐하면 각 단계에서 동적 프로그래밍에 효율적이지 않기 때문입니다 각 단계에서 가능한 모든 다음 주를 생각하게 될 것입니다 그리고 가능한 모든 다음 행동 그래서이 나무는 지평선과 함께 기하 급수적으로 커지고 있습니다 그리고 당신이 AlphaGo와 같은 것을 생각한다면, 음, 그거 놀고 있잖아, 너도 알다시피, 누군가가이기거나 잃기 전에 여러 단계의 시간 동안, 이 H는 50에서 200 사이의 어딘가에있을 수 있습니다

그래서 만약 여러분이 아주 작은 상태 공간보다 큰 것을 가지고 있다면, 그러면 이럴 수 없을거야, 가능하지 않을거야, 알았지? 그래서 Monte Carlo Tree Search를 사용한 아이디어는, 좋아, 더 잘하고 싶다 어떤 경우 든 우리는 일종의 시뮬레이션 정책이 필요합니다 우리는 이것을 전혀하지 않을 것이며, 우리는 그렇게 할 수 없습니다 Expectimax 전체로서 계산적으로 다루기가 어렵습니다 그렇다면 우리는 그 사이에 어떤 일을합니까? 따라서 Monte-Carlo Tree Search를 사용한 아이디어는 다음과 같습니다

두 종류의 세계에서 최고의 것을 얻으려고 시도하는 것, 우리가 정말로 원하는 것은 Expectimax Tree입니다 모든 가능한 미래에 대해 생각하고 그것들을 최대한 활용하십시오 음, 대신에, 우리는 좀 더 계산적으로 다루기 쉬운 방법으로 이것을 할 필요가 있습니다 왜 그렇게 될 수 있을까요? 음, 이것에 대해 생각해 봅시다 우리가 초기 출발 상태에 있다면, 이것이 우리의 일반적인 트리라고 가정 해 보겠습니다

이 모든 노드로갑니다 이러한 잠재적 인 행동 방식 중 일부는 실제로 정말 좋지 않을 수 있습니다 그래서이 중 일부는 명확하고 초기에, 매우 적은 양의 데이터와 같습니다 그 또는 아주 작은 금액 롤 아웃 사실, 이들은 당신이 결코 놀고 싶지 않을 방법입니다, 왜냐하면 당신은 즉시 잃을 것이기 때문입니다 그리고 나서, 당신은 많은 것을 소비하기 위해 계속해서 일종의 성가심을 할 필요가 없습니다

계산적 노력으로 뭔가 다른 것이 훨씬 잘 보이게 될 때 그 나무를 풀어냅니다 여기는 직감입니다 우리가 할 일은 우리를 찾아서 부분 검색 트리를 만드는 것입니다 그래서 우리는 현재의 상태에서 시작할 것입니다 다음 주에 조치를 취할 수 있습니다

시뮬레이션 기반 검색과 같습니다 그래서 우리는 먼저 A1을 샘플링하고, S1을 다시 샘플링하고, A2를 샘플링합니다 그래서 우리는 시작합니다 첫 번째 라운드는 시뮬레이션 기반 검색과 똑같은 것처럼 보입니다 그러나 아이디어는 여러 번 이것을 할 수 있고 천천히 나무를 채울 수 있다는 것입니다

아마 다음에 A2 샘플을 보게 될 것입니다 S2를 샘플링 한 다음, 그리고 나서 A1 샘플로,이 Expectimax Tree에서 천천히 채워 넣는 것을 생각할 수 있습니다 그리고 한도 내에서, 음, Expectimax 트리 전체를 채 웁니다 실제적으로 당신은 거의 그것을하지 않을 것입니다 계산적으로 다루기가 어렵 기 때문입니다

그래서 우리가 할 일은 이렇게하는 것입니다 우리가 이것을 할 것입니다 일종의 시뮬레이션 에피소드의 종류, 각 시뮬레이션 에피소드는 당신이 루트에서 시작한다는 것을 생각할 수 있습니다 이것은 루트 노드와 현재 상태입니다 그리고 터미널 상태 나 수평선 H에 도달 할 때까지 롤아웃합니다

시작 상태로 돌아 가면 다시 또 다른 궤적을 만듭니다 그리고이 모든 일을 마치면, Expectimax에서 할 수있는 것과 동일한 일을 할 수 있습니다 당신은 항상 최대의 행동과 국가에 대한 기대를 취할 것입니다 너는 나무의 일부만 채울 것이고, 그래서 나무의 일부가 사라질 수 있습니다 그래서 이것을하기 위해서, 두 가지 주요 측면이 있습니다

하나는 이미 데이터가있는 트리 부분에서 무엇을합니까? 당신이 이미 한 주에서 두 가지 행동을 모두 시도한 것처럼, 어떤 행동을 다시해야합니까, 그런 다음 노드와 같은 곳에 도달하면 무엇을해야합니까? 그곳에는 아무 것도 없거나 지금까지 시도 된 것은 하나뿐입니다 그래서 이것을 종종 트리 정책 및 롤아웃 정책이라고합니다 롤아웃 정책은 노드에 도달 할 때를위한 것이며, 너도 알다시피, 너는 단지 한 가지만 해봤지만, 더 이상 데이터가 없거나 이전에 본 적이 없었습니다 예를 들어, 전에 도달하지 못한 상태를 샘플링 한 것일 수도 있습니다 이제는 새로운 노드가되었습니다

그 다음부터 롤아웃 정책을 수행합니다 우리는 이것을 잠시 후에 보여줄 것입니다 그리고 나서 우리는 Q 함수를 계산할 생각을 할 때, 우리는 그 노드에서받은 모든 보상에 대해서 평균을 올릴 것입니다 이것은 약간 이상하게 보일 것입니다 우리가 맥스에 대해 더 이상 말하지 않기 때문에, 우리가하는 일에 대해 말하는 것이 아닙니다

명시 적으로 국가에 대한 기대를 분명히 좋아한다 우리는 이것을 평범하게 할 것입니다 이게 괜찮은 이유는 음, 우리는 일종의 표본 행동을 시간이 지남에 따라, 우리는 훨씬 더 잘 보이는 행동을 표본화 할 것입니다 그래서 우리는, 어, 결국 데이터의 분포는 진실한 Q에 수렴 할 것입니다 예

확인하기 전에, 시뮬레이션을하기 전에, 음, 다른 종류의 평균 및 이동 부품이 있습니다 왜냐하면 우리가 롤 아웃을 한 무리하고 나서 이것을 결합하고, 그래서 그 부분은 여전히 ​​동일합니다, 네? 그렇습니다 훌륭한 질문입니다 많은 경우에 매우 비슷합니다 우리는 여전히 일종의 일을하고있을거야

우리가 평균을 낼 곳 이죠 문제는 우리가 사용하는 정책이 무엇인지, 롤아웃은 일반적으로 각 롤아웃에 대해 변경 될 것입니다 모든 롤아웃에서 동일하지 않고, 그리고 우리가 평균을내는 방식도 다릅니다 제가 생각하기에 실제로 중요한 부분은, 사용하는 대신에, 음, 내가 말했을 때처럼, 음, 간단한 몬테카를로 검색, 이 정책은 정책을 수정하고 해당 정책에서 롤아웃을하는 것으로 가정합니다 다른 초기 행동으로 시작하는 것, 그러나 그 후에 항상 따르십시오

몬테카를로 트리 검색을 수행 할 때 k 롤아웃을 일반적으로 말하면, 정책은 k 개의 롤아웃 각각에 대해 다를 것이며, 그것은 의도적으로 당신이 더 나은 정책을 가지기를 바랍니다 그래서 다시, 그냥에, 그리고 다시 물러서서, 너 여기서 무슨 일이 일어나는거야? 이 사건에서 무슨 일이 일어나고있는지는 당신 요원이있는 것과 같습니다 우리의 로봇이고 그것은 취해야 할 행동을 알아 내려고합니다 그리고 나서 실세계는 S 프라임과 R 프라임을 돌려주고, 우리가 지금 말하고있는 것은 머리에서해야 할 모든 것입니다 다음 조치를 결정하기 위해 모든 롤아웃을 좋아하십시오

그래서 그것은 다음 행동을 취하기 전에 모든 계획을 세울 것입니다 일반적으로 전체 트리를 버릴 수 있습니다 그리고 나서 세상은 그것을 새로운 국가로 바꿀 것입니다 새로운 보상을받은 다음이 모든 과정을 다시 함께 할 것입니다 중요한 것은 다음에 취할 행동을 결정해야한다는 것입니다

우리는 가장 기대되는 가치를 얻을 수있는 방식으로 그렇게하고 싶습니다 우리가 지금까지 가지고있는 정보를 감안할 때 일반적으로 몬테카를로 트리 서치 (Monte Carlo Tree Search) 새로운 모델을 계산할 수있는 또 다른 단계가 여기 있습니다 따라서 온라인에서이 작업을 수행하는 경우, 가장 최근의 데이터를 가져올 수 있습니다 주어진 모델을 재교육하다 그 모델 재발행 몬테카를로 나무 수색 다음 단계에서 당신이 할 일을 결정하십시오

괜찮아 따라서 중요한 것은이 트리 정책과 롤아웃입니다 둘 다 다르다 음, 롤아웃은 적어도 가장 기본적인 바닐라 버전에서 적어도 무작위로 수행됩니다 확장을위한 톤이 있습니다

이를 위해 핵심은 트리 정책입니다 그래서이를 수행하는 가장 일반적인 방법 중 하나는 상위 신뢰 트리 검색이라고하며, 이것은 탐험으로 지난 몇 주 동안 우리가 이야기하고있는 것과 관련이 있습니다 그래서 아이디어는, 우리가 밖으로 압연 할 때, 그렇게 말하자면, 우리는 s_t에 있고 시뮬레이션 모델을 사용하여 우리가있을 다음 행동과 국가에 대해 생각해보십시오 그래서, 음, 나는 상태를 말합니다 그리고이 시점에서, 저는 말하고 싶습니다

나는 과거에 a1과 a2를 찍었고 나는 끝났어, 너도 알다시피, 나는 이것들에서 많은 롤 아웃을하고 여기에서 롤아웃을 많이했다 그리고 내가 말했듯이, 세 번이나, 내가 게임에서 이겼다고 해봅시다 그래서 3 1과 나는 1 1과 1 0을 얻었다 이 녀석 그래서 열쇠가 무엇인지, 다음에 어떤 행동을 취해야하는지, 내가 할 때 s1을 만나면 어디서 굴러 갈까요? 여러분이 지금까지 가지고있는 데이터와 관련해서는 낙관적 인 생각입니다

그래서 본질적으로, 우리는 이것을 적기로 간주 할 것입니다 각 결정 지점을 자신의 적기로 생각해보십시오 독립된 적기와 말하자면, 내가 현재의 상태에서 할 수있는 모든 행동을 취했다면, 내 각각의 행동에서 얻은 평균 보상은 무엇입니까? 그래프와 액션에서 특정 노드로부터 이것을 가져 왔습니다 내가 몇 번이나 가져 갔는가? 그래서 여러분은 그 주에 대한 경험적 평균을 얻을 수 있습니다 그래프 a1에 종종 특정 노드에 있었던 횟수와 비슷합니다

괜찮아 이것은 실제로 그래프에있는 노드이며 이는 해당 노드에 대한 것입니다 그래서 우리는 일종의 생각합니다 그 노드에 갈 때마다, 그 특별한 행동을 취했다 내가 해낸 평균 보수는 몇 번이나 더한거야? 그리고 낙천주의를 다시 사용할 수 있습니다

그래프의 다른 부분에 도달했을 때 말합니다 시뮬레이션 된 모델을 사용하기 전에 어떤 것이 좋을까요? 나는 그것이 내가 육체를 더 많이 차지하는 나무의 부분임을 확인하는데 집중할 것입니다 그게 내가 갈 거라고 생각하기 때문에 가능성이 높은 정책에 도달합니다 그리고 그렇게되면 희망을 갖게 될 것입니다 좋은 정책을 계산하기 위해 계산을 줄이십시오

말이 돼? 당신이 신탁을 가졌다면, 최적의 정책이 무엇인지 말해 줄 수 있습니다 그런 다음 트리의 해당 부분 만 채워야합니다 그리고 우리가 여기에서 사용하는 것은 우리가 지금까지 본 데이터를 고려할 때 잘 말하고 있습니다 우리는, 단지, 당신도 알다시피, 나무처럼 보이는 부분에 초점을 맞 춥니 다 우리가 행동을 극대화 할 때, 우리가 끝내는 사람들이 될거야, 어, 값을 다시 루트로 전달합니다

괜찮아 그래서 우리는 각 팔의 보상에 대한 확신을 유지했습니다 음, 사용, 정렬, 우리가 이전에했던 것과 똑같은 것 그리고 우리는 각 노드를 다루고 있습니다 그래서 각각의 상태 노드는 별도의 적기입니다

그리고 이것은 본질적으로, 여러분도 알다시피, 다음에 우리가 트리에서 같은 노드에 도달하면, 계정이 변경 될 수 있기 때문에 뭔가 다른 작업을 수행 할 수 있습니다 TD, 어, 어, [들리지 않음] 이것은 TD와 비슷합니다 그런 의미에서 [NOISE]는 적기에 대한 보상을한다면, 그 가치, 국가의, 또는 음, 기존 작업 쌍 또는 그 전환에 대한 보상입니까? 좋은 질문입니다 그럼,이 적기에 대한 보상은 무엇입니까? 우린 그것을 음, 본질적으로 그 노드로부터의 완전한 롤아웃, 왜냐하면 그것이 우리가 평균을 내고있어 우리가 카운트를하고 있기 때문입니다 우리가 노드 당 이것을한다는 의미에서 TD와는 다릅니다

제가 전에 언급했듯이, 여러분도 알다시피, 여러분은 s1을 가졌을 것입니다 a1이 그래프의이 부분에 나타나고 s1 a1이 여기에 나타납니다 우리는 그들의 계정을 결합하지 않습니다 우리는 모든 노드를 완전히 별개의 것으로 취급합니다 시뮬레이션을 위해 우리가 사용하는 모델은 종종 Markov입니다

그러나 나무처럼, 당신은 그것을 할 수 있습니다 대부분 구현이 훨씬 복잡해집니다 기본적으로 나무 대신 그래프로 취급하고 싶다면 자, 당신이 제기하는 또 다른 요점은, 우리는 잠시 후에 다시 올 것이다 이거 좋은 생각이야 [LAUGHTER]는, 그렇다면 적기의 한계점은 무엇인가? 그래서 우리는 잠시 후에 다시 돌아올 것입니다

좋습니다 그래서 Go에 관해서 이야기하겠습니다 이동하지 않았거나 너무 친숙하지 않은 당신을 위해 2500 년이 넘었습니다 그것은 고전적인 가장 어려운 보드 게임으로 간주됩니다

음, 아주 오랜 기간 AI에서 웅장한 도전 과제로 알려졌습니다 음, 우리 자신을 상기시키기 위해서 [소리] 이것은 의사 결정을 포함하지 않는다 역학 및 보상 모델이 알려지지 않은 경우, 그러나 이동의 규칙은 알려져있다 보상 구조는 알려져 있으며, 하지만 엄청나게 큰 검색 공간입니다 그래서 우리가 가능한 수의 조합론을 생각한다면, 당신이 볼 수있는 보드는 매우 큽니다

그래서 간단히 두 종류의 돌이 있습니다 아마도 대부분의 사람들이 이것을 알고 있습니다 어, 그리고 일반적으로 19 사람들이 생각해 봤지만 19 개 이사회에 의해, 알다시피, 어떤 사람들은 작은 보드에서 플레이합니다 그리고 가장 많은 영토를 포착하고 싶습니다 거기에 한정된 게임이기 때문에 보드에 돌을 놓을 수있는 유한 수의 장소

그래서 유한 한 지평선입니다 [NOISE] 나는이 부분을 간단히 살펴볼 것이다 쓰는 다른 방법이있다 보상 기능을 쓸 수 있습니다, 음, 측면 에서이 게임을 위해, 어, 아시다시피 다른 점은 다른 기능을 할 수 있다는 것입니다 가장 간단한 방법은 하얀 승 또는 검은 승을보기 만하면됩니다

게임과 그 경우에는 매우 희소 한 보상 신호이며 결국에는 보상 만받습니다 당신은 단지 모든 방법을 밖으로 플레이하고 어떤 게이 – 어떤, 어떤 사람이 이겼어 그리고 가치 함수는 본질적으로 무엇입니까? 현재 상태에서 승리 할 확률 Monte Carlo 평가를 수행하면 어떻게됩니까? 자, 이것이 당신의 현재 보드라고 상상해 봅시다 그리고 당신에게는 특별한 정책이 있습니다

그럼 당신은 반대합니다 대체로 고정 된 상대가 있다고 가정합니다 그리고 결국, 당신은 당신의 결과를보고 아마 두 번 이기고 두 번 잃었을 것입니다 그리고 나서 현재 시작 상태 값은 절반입니다 좋아요, 그럼이 사건에서 우리는 몬테카를로 나무 검색을 어떻게할까요? 따라서 시작하고 단일 시작 상태가 있습니다

그래서이 시점에서 나무의 어떤 부분도 시뮬레이션하지 않았습니다 그래서 아무런 행동도 취하지 않았습니다 그래서 무작위로 샘플링하면됩니다 그럼 아마 1 걸릴거야 그리고 나서 기본 정책을 따르고 이것은 종종 무작위입니다

AlphaGo와 같은 것들을 위해 훨씬 더 나은 정책을 원하지만, 무작위 정책을 사용하면 무작위로 행동을 취해서 다음 주 및 당신은 끝날 때까지 이것을하고 당신은 당신이이기거나 잃는 것을 보았습니다 이제, 음,이 경우 그것은 두 선수 게임입니다 그래서 우리는 expectimax 대신에 minimax 트리를합니다 그러나 기본적인 아이디어는 완전히 똑같습니다 그래서 저의 첫 번째 롤아웃입니다

나는 전에이 롤 아웃을 많이 할거야 내가 실제로 내 작품을 어떻게 놓을 지 알아 내려고 괜찮아 그래서 다음 번에, 그래서 이것은 제 두 번째 롤아웃입니다 이것은 내 머리에서 두 번째 롤입니다 [NOISE]

지난 번에 음, 알았어 나는이 행동을 취했다 이제 기본 정책이 생겼습니다 그래서 이번엔 다른 행동을 취할거야 일반적으로, 당신은 모두를 채우기를 원한다

현재 노드에서 적어도 한 번은 모든 조치를 시도하십시오 자, 행동을 시도하는 순서는 큰 차이를 만들 수 있습니다 음, 일찍부터 상당한 비용 절감이있었습니다 행동을 시도하는 순서에 대한 행동 적 휴리스틱 스 지금 당장은 모든 행동을 똑같이 시도해야한다고 상상해보십시오

그래서이 경우에는 이제 다른 행동을 취한 다음 그 후 당신은 그 행동에서 아무것도 시도한 적이 없습니다 그래서 당신은 밖으로 롤 아웃 다시 말하지만, 무작위로 행동하십시오 좋아, 그리고 너는 이것을 반복한다 그래서 지금, 당신이 여기에 도착하면, 제가 전에 이것을 시도했다고 가정 해 봅시다

자, 이제이 노드에 도달하면, 나는 음, 아마도 UCT를 사용하여 최대치를해야합니다 그래서 저는이 보상에 대한 보상과 보상에 대한 것을 봅니다 이 하나 더하기, 당신은 카운트에 대해 뭔가 알고 있습니다 괜찮아 이것은 분명히하는 질문입니다

괜찮아 그래서 나는 어떤 행동이 더 잘 어울 렸는지 롤 아웃에서 나는 지금까지 그것을 해왔다 그리고 나무의 일부를 확장하는 데 집중할 것입니다 그리고 당신은 이것을 계속하고, 당신은 천천히 일종의 빌드를 할 것입니다 나무와 계산 예산이 만료 될 때까지이 작업을 수행합니다

그리고 나서, 당신은 나무 밑으로 가셔서 모든 길을 되돌아갑니다 여기서 각 액션 노드에 대해 최대 값을 취합니다 그리고 여러분이 기대하고있는이 상태 노드 나 여러분이하고있는 상태 노드 각각은, 이 경우에는 미니 맥스 당신은 단지 [들리지 않음]을 구성합니다 그래서, 상대방은 무엇을합니까, 고정 된 상대와 같은 것입니까, 그게 무슨 뜻입니까? 좋은 질문입니다

괜찮아 그래서, 음, 현실에서는 다른 사람들이 왜 사람들에게 왜 큰 통찰력을 주 었는지 생각합니다 일하는 것은 자기 연극입니다 따라서 일반적으로 현재 에이전트를 상대방으로 사용합니다 그래서 저는 방금 다른 정책에 대해 계산 한 정책을 취합니다

저기, 저 나무를 지켰다 고 상상해 봅시다 그래서 그것은 그것이 할 수있는 것을 이미 알고 있습니다 그래서, 음, 각 지점에서, 나는 내가 가질 것 인 것을 볼 것이다 다른 에이전트는 그 상태에서 어떤 행동을 취할 지 알려줍니다 하지만 정말로 그 중 하나는, 그래서 나는 자기 놀이가 이것에 대한 믿을 수 없을 정도로 중요한, 음, 통찰이라고 생각합니다

그리고 왜 그렇게 중요한가요? 내가 고 (Go)의 그랜드 마스터 (grand master)를 상대로 플레이한다면, 나는 정말 오랜 기간 동안 보상을받지 못한다 음, 그게 에이전트가 배울 수있는 엄청나게 어려운 일입니다 다른 보상 신호가 없기 때문입니다 그리고 기본적으로, 당신은 단지 이러한 톤과 톤과 수많은 게임을 즐기고 있습니다 정말 오랜 시간 동안 신호가 없습니다

그래서 어떤 종류의 신호가 필요합니다 부트 스트랩을 시작하고 실제로 좋은 정책에 도달하십시오 내가 나에게 맞서 싸우면, 5 분 전에, 나는 아마 그들을 때릴거야 [LAUGHTER] 음, 적어도 시간의 절반은 어쩌면 내가 이길거야 그래서 두 명의 플레이어가있을 수 있기 때문에 가능합니다

그것들은 모두 나쁜 것입니다 이길거야 그리고 그들 중 하나는 잃을 것이고 당신은 신호를 받기 시작한다 그래서 자기 놀이 아이디어는 계속되었습니다 2 인 게임처럼 게임의 맥락에서 큰 도움이됩니다

당신이 얻을 수 있다는 것을 의미하기 때문에 어떤 일이 성공했는지 안했는지에 대한 몇 가지 보상 신호가 있습니다 둘 다 그렇습니다 좋아, 둘 다 너에게주고, 이 희소 한 보상 문제 및 그것은 당신에게 교과 과정을 준다 니가 항상 친절하기 때문에, 조금 밖에없는 환경에서 놀아 라 당신이 용인 할 수있는 것보다 더 어려울 것입니다

그리고 실제로 저는 생각합니다 음, 정말로, 같은 아이디어를 다른 도메인으로 가져 오는 방법을 찾아 낼 수 있다면 정말 멋지다 본질적으로 약이나 같은 것들을위한 자기 놀이를하는 다른 방법이있는 것처럼, 음, 고객 관계 또는 그런 것들 그것은 종종 좋기 때문에 정말 좋을 것입니다 당신이 원하는 보상 신호를 얻기가 정말로 어렵습니다

그리고 그것은 여기에 정말 좋은 것들 중 하나입니다 셀프 플레이, 우리가 지역의 극한에 빠지면 어떡하지? 절대적으로 일어날 수 있습니다 자기 플레이에서 무엇을 할 수 있습니까? 만약 당신이 갇혀 있으면 어떻게 될까요? 당신은 할 수 있겠지만 당신은 언제나 최대의 것을 시도합니다 따라서 정책 개선과 조금 비슷합니다 당신은 항상 조금 더 노력하고 있습니다

당신은 여전히이기려고 노력하고 있습니다 음, 그래서 당신이 둘 다있는 경우에 당신이 붙어 버릴 수도 있습니다 반 시간을 이기고, 그러나 그 때 당신이 이용할 수있는 무언가가 있어야합니다 그리고 당신이 이용할 수있는 것이 있다면, 충분한 계획을 세우면 그것을 식별 할 수 있어야합니다 네

당신이 얻을 수있는 전환점의 종류가있을 것이라고 상상합니까? 보다 전문적인 플레이어로 전환하여 자신과 대결하는 이점을 누릴 수 있습니까? 천천히 시작하고 천천히 시작해야하지만 실제로는 누군가보다 열심히 게임하는 것으로 더 빨리 배우십시오 예, 질문은, 당신도 알다시피, 당신은 항상 저에게 좀 좋아 하시겠습니까? 자기가 좋아하는 것, 자기가 아는 것, 5 분 전에 너 아니면 어쩌면 어떤 순간에 너 자신이 될거야 더 힘들어하는 사람에게가는 것이 더 효율적입니다 나는 이것이 훌륭한 질문이라고 생각한다 아마도 그럴 것 같아요

마찬가지로 더 큰 커리큘럼 점프를 할 수있는 경우가있을 것입니다 그게 학습을 가속화 할 수 있습니다 그러나 나는 그것이 같은 까다로운 까다로운 장소라고 생각한다 당신은 여전히 ​​부트 스트랩에 충분한 보상 신호를 가져야합니다 전혀

괜찮아 그래서, 당신도 알다시피, 이것을하는 것의 이점은 이 선별 적 최우수 우선 검색이되고, 왜냐하면 당신은 나무의 일부분을 구성하기 때문입니다 당신은 매우 구체적인 방법으로 그것을 만들고 있습니다 그리고 목표는 Expectimax를 수행하는 것보다 훨씬 더 효율적인 샘플이어야한다는 것입니다 나무 전체를 만들지 만 너는 훨씬 더 나아질거야

단 하나의 정책 개선 단계 만 수행하면, 음, 시뮬레이션 기반 정책 또한 언제든지 병렬화가 가능합니다 언제나 같은 의미로, 1 분이든 3 시간이든 다음 작업을 계산할 수 있습니다 그리고 알다시피, 3 시간은 매우 현실적 일 수 있습니다 고객 추천 기사 또는 만들거나 어쩌면 당신이하는 일 하루에 하나의 결정을 내리고 실행할 수 있습니다

8 시간 동안 하룻밤을 보낸 다음 그 결정을 계산하십시오 그래서, 음, 그것은 당신을 허용합니다, 가지고있는 계산을 활용하려면 얼마나 빨리 당신이 그것을해야하는지 상관없이 항상 대답을 제공합니다 롤 아웃 횟수를 줄이면됩니다 좋아, 음, 지금은 건너 뛸거야 나는 간단히 언급하고 싶다

음, 그게 질문이라고 생각합니다 우리가 각 노드에서 도적을하는 것은 약간 이상합니다 그리고 직관적으로, 조금 이상한 이유는 산적들, 왜 우리는 불확실성 하에서 낙관론을합니까? 우리는 실제로 나쁜 결정을 내리는 고통을 겪고 있기 때문에 그렇게합니다 그래서 불확실성 하에서 낙관적 인 생각은 당신은 정말로 높은 보상을 받거나 뭔가를 배웁니다 계획을 위해 그것을하는 것에 관한 이상한 점은 우리가 머리에 나쁜 결정을 내릴 경우 우리는 고통을 당하지 않을 것입니다

근본적으로, 우리는 단지 가능한 조치를 신속하게 취할 수있는 행동, 정보의 가치, 그래서 내가 올바른 행동이 경로를 얻는 것이라는 것을 안다 따라서 나쁜 행동을 시뮬레이션하면 실제로 문제가되지 않습니다 그것이 내가 길의 더 나은 결정을 얻을 수 있다면 우리는 단지 그것이 다를 수있는 아주 빠른 예를 보여줍니다 그래서 당신이 이런 식으로하면

이것이 Q의 잠재적 가치라고 가정 해 봅시다 괜찮아 따라서 이것은 A1의 값이며 이것은 A2의 값이며 이것이 우리의 불확실성입니다 글쎄, 너 낙천적이라면, 너는 항상 이것을 선택할거야 그것은 더 높은 가치를 가지고 있기 때문입니다

그러나 A1이 더 낫다는 것을 정말로 확신하고 싶다면, A2를 선택해야합니다 그렇게 할 때, 당신은 자신의 신뢰 구간을 업데이트 할거야 A1이 최고라고 확신 할거야 그러나이 방법은 그렇게하지 않을 것입니다 좋아요, 왜냐하면 그게

음, 그건 마치, 내 머리 속의 비용에 시달릴거야 잘못된 행동을 취해 A1을 잡을거야 그러나 궁극적으로, 당신은 옳은 행동이 무엇인지 알 필요가 있습니다 때로는 계산 측면에서 당신은 A2를 취해야합니다

왜냐하면 지금, 당신의 신뢰 구간이 분리 될 것입니다 더 이상 계산할 필요가 없습니다 음, 도적이 분명하지 않다 음, 각 노드에서 할 수있는 최선의 방법이지만 꽤 효율적입니다 괜찮아

그래서 그게 기본적으로 우리가하는 모든 것입니다 나는 Go에 대해 말할 것입니다 정말 아름다운 종이가 있는데, 새로운 최근 확장을 포함하여 이것에 대해 음, 체스에 응용 프로그램을 가지고있을뿐만 아니라, 다른 여러 게임들, 어, 제 생각에 그들은 정말로 놀라운 결과를 얻었습니다 그래서 나는 당신이 그 논문들 중 일부를 보길 강력히 권합니다

과정의 끝까지 다시 터지는 일종의 이야기를 간단하게 말하겠습니다 음, 마지막 강의이기 때문에 괜찮아 그래서 저는 새로 고침을하고 싶었습니다 너도 알다시피, 코스의 목적은 뭐야, 음, 우리가 끝내면서 당신들 중 일부는 월요일에 연습 할 기회가있었습니다

음,하지만 그저 말하고 싶었어 내가 생각하기에 당신이 그걸 꺼내 주길 바라는 중요한 것들 그러면 RL의 주요 기능과 다른 기능은 무엇입니까? 음, 인공 지능과 감독 학습 그리고 저에게이 열쇠는, 음, 음, 음, 에이전트는 자신의 데이터를 수집하고 세계에서 의사 결정을 내릴 수 있습니다 그리고 그것은 검열 된 데이터입니다

그것은 감독 학습에 대한 IID 가정과는 매우 다릅니다 또한 계획과 다른 점은 당신이 결정을 내리기 위해 세계에 관한 데이터에 의존하십시오 음, 아마도 이것은 – 두 번째 것은 아마 당신 중 많은 사람들이 가장 유용하게 쓰일 수도있는 것, 네가 문제를 생각해내는 방법은 어때? RL 문제로 써야할지 여부와 그것을 공식화하는 방법에 대해 설명합니다 그리고 우리는 당신이 이것을 조금 연습했습니다 월요일 그리고 또한 프로젝트의 일부에서이 점에 대해 많이 생각할 기회입니다

그러나 이것은 종종 매우 어려운 부분 중 하나라고 생각합니다 문제를 해결하는 것이 얼마나 쉽고 힘든 지에는 큰 영향을 미칩니다 그리고 종종 불분명합니다 설명하는 상태 공간을 적는 방법은 많습니다 환자 설명이나 학생 설명 또는 고객 설명

어떤면에서이 문제로 돌아갑니다 함수 근사 대 샘플 효율 모든 고객을 동일하게 취급하면 많은 데이터가 있습니다 아마 꽤 나쁜 모델 일 겁니다 따라서 다양한 트레이드 오프가 많이 있습니다

이 경우에 당신들 모두는 확신합니다 흥미로운 흥미로운 새로운 방법을 생각해보십시오 그리고 다른 세 가지가 있습니다 많은 일반적인 RL 알고리즘에 매우 익숙하기 때문에, 당신들은 많이 구현했습니다 RL 알고리즘이 좋은지 어떻게 결정해야하는지 이해하려면, 경험적 으로든, 계산 상 으로든, 계산상의 복잡성이나 얼마나 많은 데이터가 걸리거나 성능이 보장되는지, 음,이 탐험 착취 챌린지를 이해하고, 이것은 RL에 실제로 매우 독특합니다

그것은 기획에서 나오지 않고, ML에서 나오지 않습니다 음, 또 다시, 그것은 중요한 문제입니다 어떻게 당신을합니까? 올바른 결정을 내리기 위해 데이터를 신속하게 수집하십시오 음, 강화 학습에 대해 더 많이 배우고 싶다면, 다른 수업이 많아요 특히, Mykel Kochenderfer에는 정말 멋진 것들이 있습니다

그리고 벤 반 로이 (Ben Van Roy)도 좋은 일을합니다 특히 그 중 일부 이론적 측면을 살펴 보겠습니다 그리고 나서 나는 그것에 대한 고급 조사를합니다 현재 주제를 수행하고 프로젝트 기반 클래스입니다 음, 그리고 두 가지 더 할께

하나는 생각합니다 알다시피, 우리는 정말 놀라운 결과를 보았습니다 어, 한 가지 예가 있습니다 어, 우리는보고있는 중 – 정말 흥미로운 결과를보기 시작했습니다 로봇이지만 우리는 실종되었다고 생각합니다

우리 중 대부분은 아직 전화에 RL이 없습니다 우리가 전화로 얼굴 인식을하는 방식으로 그래서 저는 이런 종류의 다른 많은 유형의 응용 프로그램에 대한 아이디어는 여전히 엄청납니다 음, 그리고 만약에 당신이 나가고 그것에 대해 듣고 싶다면 그 중 일부를하십시오 음, 내 연구실에서는 이런 다른 형태의 응용 프로그램에 대해 많은 것을 생각합니다

그리고 저는이 사고의 또 다른 중요한 부분이 사고라고 생각합니다 우리가이 RL 요원들을 할 때, 음, 어떻게 우리가 일종의 안전하고, 공정하고 책임있는 방식으로, 이 체계는의 일부분 일 것이다, 당신도 알다시피, 루프 시스템의 인간 그리고 요원들이 그들의 추론을 폭로하고 노출하도록 허용함으로써, 음, 한계가 중요해 그래서 마지막으로, 음,이 의견을 얻는 것이 도움이됩니다 음, 우리는 앞으로 몇 년 동안 수업을 향상시킬 수 있습니다

음, 우리가 찾은 일을 계속하도록 도움이되었거나 도움이되지 못하는 일을 그만 두었습니다 우리가 10 분 정도가 걸릴 수 있다면 정말 고맙겠습니다 코스 평가를하기 위해서, 음, 그냥 먹이를 주시면, 어, 우리가 배운 것을 알게 해주세요 우리가 내년에 더 잘할 수있는 것들 감사

[박수 갈채]

Artificial intelligence and machine learning with SQL Server 2019

(낙관적 인 음악) 안녕하세요 내 이름은 Sanjay Soni입니다

여기에 마이크로 학습, 준비 비디오가 있습니다 안녕 Sanjay, 나를 보내 주셔서 감사합니다 나는 Anna Thomas입니다 나는 응용 데이터 과학자이다 오늘 Azure 데이터 팀에서 ML과 AI에 대해 좀 더 보여 주겠다

그리고 우리가 2019 년에 가져올 것들 중 일부 신난다, 나는 그 SQL 서버를 알고있다 어떤 종류의 기계 학습 기능을 가지고있다 과거에는,하지만 새로운 것은 무엇입니까? 그래 실제로 한 걸음 물러서십시오

이 진화를 통해 걷는 종류 SQL Server ML에 어떤 일이 일어 났는지 알려줍니다 아마 약 4 년 전에, 우리는 혁명 분석 (Revolution Analytics)이라는 회사 그때부터 이름이 바뀐 R Server가 나왔습니다 ML Server에 우리가 말했듯이, 이것은 매우 흥미 진진합니다 그래서 SQL Server로 가져와 봅시다 2016 년에 ML 서비스가 출시되었습니다

연구와 함께, 사람들은 이것에 대해 정말로 흥분했다 하지만 네가 들었는지 모르겠다 파이썬이라는이 언어의 SANJAY : 물론 하지만 사람들은 정말 흥분 했어 파이썬 2에 대해 그들은 말했다

좋아, 우리는 2017 년에 파이썬 2를 그렇게 빨리 원한다 우리는 파이썬에 대한 지원을 따라 갔고 따라서 오늘 본 ML 서비스를 형성했습니다 SANJAY : 오, 알았어 이 모든 서비스로 무엇을 할 것입니까? 데이터베이스 분석에서 무엇입니까? 예 바로 그 거예요 좋은 질문입니다

당신이 현재 기계 학습에서 무엇을하는지 보도록하겠습니다 기계 학습을하고 싶다면 애플리케이션에서 데이터를 가져와, 어쩌면 당신은 그것을 어떤 종류의 데이터베이스에 저장하고있을 것입니다 그것은 SQL 일 수 있습니다 그런 다음 분석 서버로 옮깁니다

그리고 이것은 당신이 다음과 같은 일을하는 곳입니다 데이터 변환, 탐색, 모델링 수행, 한 번 모델을 가지고 나면 그것을 보냅니다 점수를 매기는 거지? 그리고 마지막으로, 일단 당신이 좋아하는 모델을 가지고 있다면, 새 데이터를 가져 가면 보내 게됩니다 이 채점 서비스에 보내면 귀하의 응용 프로그램으로 귀하의 예측 SANJAY : 네

그래서 많은 일들이 벌어 졌지, 그렇지? 또한 모든 곳에서 데이터를 이동해야합니다 SQL Server, ML 서비스, 이 기능을 추가하여 훨씬 간단하고 올바르게 만들 수 있습니다 그래서 우리는 우리의 신청서를 가지고 우리의 거래를 이동시키고, 우리의 데이터를 우리의 데이터베이스와 데이터베이스로 옮기십시오 우리는 실제로 우리가했던 모든 것을 할 수 있습니다 이전에 데이터를 이동하지 않아도되므로 정말 시간과 노력이 걸립니다 문 밖으로이 모델을 얻을 수 있습니다

아직도 움직이는 것처럼 보이지 않는가? 데이터가 주변에 많이 있습니까? 그래, 그래서, 데이터베이스 기계 학습 그게 큰 장점 중 하나는 모든 데이터를 이동합니다 아, 알았어 좋아, 계속 가자 그래, 좋아 우리가 정말로 당신에게 보여주고 싶은 것과 내가 원하는 것을 오늘 이야기하는 방법은 SQL과 ML 서비스 당신이 기계 학습의 전체 라이프 사이클을 할 수있게 해줍니다 다른 조직에서 우리가 생각해 낸 것 팀 데이터 과학 프로세스입니다

우리는 실제로 전체를 통과 할 수 있습니다 팀 데이터 과학 과정, 데이터 탐색 우리가 사용하기를 좋아하는 다양한 도구를 시각화하고, R, 파이썬, T-SQL, 우리는 약간 새로운 것들을 보여줄 것입니다 그 다음 우리는 거기에서도 우리 모델을 훈련시킬 수있다 일단 우리가 행복해하는 모델을 갖게되면 우리는 그것을 배포 할 수 있으며 앱에 푸시 할 수 있습니다 그래서 우리는 공유 할 수 있고 우리는 그것을 소비 할 수 있습니다

정말로 이것이주기라는 것을 알 수 있습니다 기계 학습 및 앱 개발이기 때문에 주기적이며 우리가 원하는대로 새로운 데이터를 얻습니다 그것을 탐험하고 훈련 할 수 있도록, 새 모델을 배포 할 수 있습니다 그리고 다시, 그것은 모두 SQL에 있으므로 훨씬 쉽게 만듭니다 SANJAY : 그렇다면 보안은 어떨까요? 그래, 그게 뭔가 재미있어

그것은 확실히 우리가 많이 얻는 질문입니다 SANJAY : R이 있기 때문에 이유가 있습니다 그리고 파이썬 데이터베이스, 그래서 보안 무엇입니까? 그래, 그게 좋은 질문이고 실제로 이것이 어떻게 작동하는지 이야기하면 실제로는 아닙니다 R 및 Python 실행, 프로그램, 또는 귀하의 데이터 과학자 프로그램 DBA SQL 엔진에 없습니다 우리는 발사대라고 불리는 것을 사용합니다

발사대는 위성을 발사 할 수 있으며, 그래서 당신은 우리가 가졌던 주제의 종류를 보았습니다, 그러나 그들은이 위성 프로그램을 시작할 수 있습니다 그 안에 R이나 파이썬이있을 수도 있고 가능합니다 이동하지 않고 SQL Server에서 데이터를 가져옵니다 오, 알았어, 알았어, 알았어 TDS 연결은 어떻습니까? 그리고 모든 데이터 이동? 맞아

그리고 이것은 큰 걱정거리 야 실제로 TDS를 통해 데이터를 가져 오지는 않지만, 하지만 별도의 연결 라인, 그래서 만약 내 R 프로그램 우리의 SQL Server를 날려 버리지는 않을 것입니다 내가 참조 나는 자바에 대해 들었다 당신도 자바를 사용하고 있습니까? 예, 우리는 자바를 사용하고 있습니다

그리고 나는 우리가 작업해온 멋진 것들을 가지고있다 내가 생각하기에 모든 아이디어가 나와 함께 할 수 있기를 바랍니다 우리가 조금씩 보여줄 것이지만, 나는 파헤 치고 싶다 이 ML Services with Python을 보여줍니다 라이브 데모를 해보 죠

시간이 많으므로 데모를 보러 오십시오 그래, 보자 여기서 다루는 시나리오는 와인 품질입니다 나는 시나리오를 생각해 냈다 Quintessa Wines, 그들은 상점이고 모든 와인을 관리합니다

그들은 좋은 자질을 가지고 있는지 확인합니다 그들은 그것을 테스트하고,이 데이터를 수집하고 있습니다 오랫동안 이제 그들은 확장하고 싶어합니다 그 모든 사람들을 사용할 수없고 가질 수 없도록 이것을하기 위해 더 많은 사람들을 고용하기 위해서 그들은 우리에게 왔습니다

우리에게 무엇을 할 수 있니? 우리가 할 수있는 일은 우리가 할 수있는 일입니다 잠재적으로 예측할 수있는 프로그램 개발 와인의 품질, 그리고 그 번호 품질을 기반으로, 우리는 우리 가게에 그것을 재고하고 싶은지 아닌지를 결정할 수 있습니다 그들은 그것에 관해 꽤 흥분했다 그래서 나는 달리지 않을 것이다 이 전체 노트를 통해, 이것은 Jupyter Notebook입니다

전에는 보지 못했던 사람들에게는 파이썬 개발을 위해 선호하는 ID 중 하나이다 및 일부 다른 언어 나는 다른 흥미 진진한 것들을 가지고있다 내가 나중에 나중에 보여 주겠지 만 보자 네가 할 수있는 일에 SANJAY : 이것은 Jupyter Notebook입니까? 예, 이것은 Jupyter Notebook입니다

여기서 우리가 실제로 활용하고있는 것 RevoScale 패키지이고 이것들은 R Python을 사용하면 기본적으로 규모의 분석을 수행 할 수 있습니다 파이썬 개발자라면, 여기에서 가장 큰 것은 랩핑을 배우는 것입니다 코드를 함수에 추가하십시오 우리는 여기서 많은 것을 할 수 있습니다 우리는 일부 데이터를 볼 수 있지만 원하는 것은 무엇입니까? 당신을 보여주기 위해, 우리는 건너 뛸 것이다

그러나 다시 나는 공유 할 예정이다 이 모든 것은 SQL 워크샵 저장소에 있습니다 그래서 당신이 실제로이 코드를 직접 사용해보고 싶다면 또는 파이썬과 ML 서비스로 설정할 수 있습니다 확실히해라 그러나 여기에서 내가 본 것은 내가 잡아 당기는 것이다

히스토그램을 생성하는 일부 파이썬 코드에서 배포판이 무엇인지보고 싶어 할 수 있기 때문에 다른 와인 품질의 와인의 색깔 나는 이것을 함수로 감쌀 수 있었다 그리고 거기에서 우리는이 RX 정확한 함수를 사용할 수 있습니다 이것은 RevoScale 뒤에있는 진정한 마법입니다

기본적으로 여기에서 말하기 때문에 데이터베이스 분석에서 이 기능을 실행하고 와인을 비교하고 싶습니다 Google의 빨간색과 흰색 데이터 세트에 SQL 계산 컨텍스트의 계산 컨텍스트 우리가 말하면, 우리가 말하는 것은, 당신이 데이터베이스에서이 작업을 수행하기를 바랍니다 우리는 SQL Server의 계산 컨텍스트를 사용하고자합니다 이 멋진 시각화를 볼 수 있습니다

여기서 우리는 분포를 분석 할 수있다 그리고 이것은 여기에서하는 것이 훨씬 쉽습니다 SQL Server에서 할 수있는 것보다 ML 서비스 및 일부 서비스에서 실제로 나중에 보여 드리겠습니다, 우리는 단지 그렇게하려고 노력하고 있습니다 당신이 의미있는 방식으로 일을 할 수 있다는 것

SANJAY : 좋습니다 우리가 우리의 데이터를 조금 탐험하면 내가 말했듯이, 나는이 중 일부를 건너 뛰겠다 하지만 당신은 그들을 확인할 수 있습니다, 우리는 준비가되었을 수도 있습니다 모델을 훈련시키는 것 우리는 SK의 패키지들은 많은 개발자들에게 데이터 과학자들이 알고 사랑한다 우리의 훈련 및 테스트 데이터 세트를 만듭니다

일단 우리가 가지고 있으면, 우리는 내장 된 패키지 나, RevoScale 패키지를 사용하고 있습니다 Microsoft ML에서 가져 왔지만 내가 좋아하는 파이썬에서 지원되는 기계 학습 패키지, RX exec 기능으로 그냥 감쌀 것입니다 다시 여기에서 우리는 계산 문맥을 설정하고있다 SQL 컨텍스트로 변환하고 우리는 그 모델을 생성합니다 모델이 생기면 다음으로해야 할 일 보이지 않는 데이터를 예측하고 그것이 어떻게 진행되는지 봅니다

여기서 방금 훈련 한 단순한 모델 만 볼 수 있습니다 몇 초 만에 꽤 잘 예측할 수 있습니다 여기이 품질 항목에서 볼 수 있습니다 데이터 세트의 실제 품질 스코어 점수 열에서 다음을 볼 수 있습니다 우리의 모델로부터 우리의 예측

하나의 모델이 된 후에 꽤 괜찮은 것을 알 수 있습니다 우리는 이것을 여러 모델로 훈련시키고 싶습니다 최고의 모델을 찾으려고하지만, 목적만을 위해 노력하십시오 내가 모델을 얻으면 너를 보여주고 싶어 당신이 좋아하는, 당신이 원하는 것은 그것을 감싸는 것입니다

SQL Server에서 호출 할 수있는 저장 프로 시저에 저장합니다 이것은 번거로운 과정 이었지만, 특히 T-SQL 개발자가 아닌 경우, 하지만 우리는이 패키지를 만들었습니다 SQL ML Utils 그리고 그건 내 인생을 만들고있어 데이터 과학자들의 삶은 훨씬 쉬워진다 그것이하는 일은 내가 만든 함수들 중 그리고 그것은 그것을위한 절차에서 그것을 감싼다

예를 들어,이 함수를 만들었습니다 기차 모형 저장 절차를 통해 그 모델을 만들기 위해 코드를 래핑했습니다 나는 그 이름을 지었다 그리고 나서 나는 계속 나아 갔다 상기 함수로부터 저장 프로 시저를 생성하는 단계를 포함하는 방법

이게 무슨 일을하는지, 그리고 그것은 너에게주는 것이지 진정한, SSMS로 전환하면 어떻게됩니까? 나는 저장 프로 시저에 들어가고, 나는 이것이 그것이 실제로 만들어 졌음을 실제로 볼 수있다 나를위한 저장 프로 시저 나는 아무것도 할 필요가 없었다 나는 SSMS에 손댈 필요가 없었다

또는 실제로 그것으로 들어가고 지금 나의 DBA에는 그것이있다 그들이 원할 때 그것을 사용할 수 있습니다 내가 참조 SQL 관리를 잘 사용합니다 확실히 Jupyter 노트북과 함께 그 (것)들을 함께 사용할 수있는 방법 맞아, 맞아

T-SQL에 익숙하다면, 우리가 많이 알고 있다는 사실은 SSMS 내에서이 모든 작업을 수행하십시오 여기서 볼 수 있습니다 나는 훈련을 나누고 있습니다 데이터를 테스트 한 다음 그 같은 과정과 나는 단지 포장하고있다 저장 프로 시저 내 파이썬 코드

정말 멋지다 그리고 우리는 이것을 정말로 만들고 싶어한다 모든 사람이 접근 할 수 있습니다 SANJAY : 알겠습니다 이 모델은 포도주의 관점에서 무엇을 예측합니까? 우리가 실제로 할 수 있었던 것이 흥미 롭기 때문입니다

찾으려면, 우리는 그 알코올 비율을 생각, 어쩌면 그것은 큰 요인이 될 것입니다 그리고 그것이 큰 요인 이었다는 것이 밝혀졌습니다 그러나 실제로 그것은 큰 요인이 아니 었습니다 당신의 포도주에있는 알콜의 더 많은 것은 반드시 앞을 향하지 않았습니다 더 나은 와인

내가 참조 아마도 나파 밸리의 위치 일 겁니다 맞아, 맞아 좋아 데모에서 보여줄 다른 것은 없습니까? 아니, 그게 이거 야

흥미 진진한 내용이 다음 섹션에 나옵니다 우리가 들어갈거야 지금까지 고마워 안나, 너 얘기 하는거 알아 ML 서비스 전반에 관한 것이지만 새로운 내용 SQL Server의 관점에서 2019? 그래, 그게 좋은 질문이야

그리고 아마 Bob이 조금 더 일찍 그것을 털어 놓은 것 같아요 하지만 우리가하는 일은 정말 흥미 롭습니다 우리는이 SQL ML 서비스 실제로 데이터 과학자들을 대상으로했습니다 또는 데이터 개발자 또는 데이터 엔지니어, 하지만 더 쉬운 일이 있다면 어떨까요? T-SQL에 없습니까? 이것이 우리가 확장성에 대한 아이디어를 내놓은 곳입니다 소개하는 첫 번째 언어는 Java입니다

이것은 2019 년에 처음 나온 일이며, 저는 이것에 대해 정말로 흥분하고 있습니다 SANJAY : R, Python, SQL Server에서 Java를 사용하여 네, 좋아요 그것은 우리가 얻는 질문이기도합니다 왜 자바를 선택 했습니까? 많은 언어가 있습니다 우리는 많은 중얼 거리는 소리를 들었습니다

NET과 사람들이 좋아하는 다른 언어에 대해, 하지만 실제로 자바는 여전히 가장 대중적인 언어 중 하나입니다 오랜 시간 동안 주변에 있었지만, 당신은 그것으로 많은 것을 할 수 있습니다 이것이 바로 Java의 기본 아이디어였습니다 하지만이 확장 성 프레임 워크를 사용하면 아마 미래에, 나는 아무 말도 할 수 없다

하지만 어쩌면 우리는 뭔가 다른 것에 대한 문을 열었을 것입니다 SANJAY : 알겠습니다 나는 개발자가 모든 것을 정말로 좋아할 것이라고 생각한다 그래, 나도 그렇게 생각해 나는 정말로 흥분한다

AI를 실제로 사용할 수있는 멋진 방법이 있습니다 이걸로, 그리고 그냥 어떻게 작동하는지 그것은 우리가 사용하고있는 것과 동일한 기능입니다 R 및 Python 용 이제 Java를 사용할 수 있습니다

전에 컴파일해야합니다 그러나 나는 그것을하는 방법을 보여줄 것입니다 SANJAY : 시원한 것을 준비했다고 생각합니다 우리에게 보여주고 네, 보여줄 멋진 물건이 있어요 얼마나 많은 사람이 친숙한 지 모르겠습니다 또 다른 멋진 도구 인 Azure Data Studio 데이터로 작업 할 수 있습니다 SSMS는 사라지지 않습니다

보시다시피, 저는 파이썬 코드를 SSMS에서 실행하고있었습니다 Azure Data Studio를 사용하면 실행할 수 있습니다 크로스 플랫폼이기 때문에 실제로 실행 중입니다 내 Mac에서 Azure Data Studio를 사용합니다 그것은 정말로 다시 발전하기위한 문을 열어줍니다

우리가 개발할이 주제 네가 원하는 플랫폼에 리눅스 나 윈도우가 되든간에, 그리고 당신이 원하는 도구로 여기에서 볼 수있는 것은 내가 여기에 나의 관계가 있다는 것입니다 내 큰 데이터 클러스터에 대한 연결이 있습니다 나는 또한 리눅스에 대한 나의 연결을 가지고있다 그래서 나는 rhel에 SQL을 가지고있다

또한 우분투에서 SQL, 그리고 내가 이것을 닫으면, 너는 뭔가를 볼지도 모르지만, 너는 전에 이것을 보았을지도 모른다 하지만 이것은 실제로 SQL 커널입니다 Jupyter Notebook에서, 그리고 이것은 결코 끝나지 않았습니다 그러기 전에 이것은 매우 흥미 롭습니다 개인적으로, 나는이 SQL 커널에 대해 매우 흥분한다

이게 내가 무엇을 허락 하느냐, 이것이 T-SQL의 모든 사람들에게 허용되는 것 해야 할 일은 실제로 T-SQL과 텍스트를 함께 묶는 것입니다 그게 어떻게 작동하는지 좀 알 수있을거야 내 우분투 SQL 서버에 연결되어 있는데, 내가 뭘 찾았는지 알 수있어 텍스트가있는 셀 코드 셀도 있습니다 이것은 좋은 옛날 방식의 T-SQL이다

내가 달릴 때 나는 너와 내가 연결되어 있다는 것을 알 수있다 와이드 월드 수입업자와 와이드 월드 수입업자에게 우리가 많은 것들에 사용하는 예제입니다 이 경우 Wide World Importers에는 많은 것이 있습니다 리뷰 데이터를 검토하고 해당 리뷰 데이터를 분석하려고합니다 해당 리뷰 데이터에서 무엇이든 얻을 수 있는지 확인하십시오

우리는 그것을 살펴볼 것입니다 우리가 그것에 들어가기 전에, 그냥 백업하자 우리는 자바에 대해 이야기했고, 당신에게 보여주고 싶습니다 SQL에서 Java를 호출하는 방법 회사의 또 다른 흥미로운 사용 사례 와이드 월드 수입업자처럼, 나는 많이 생각한다

다른 회사의, 특히 GDPR의 보안이 중요한 것은 식별하는 것입니다 개인 식별 정보 또는 PII 데이터 자,이 작은 더미 테이블을 만들었습니다 일부 데이터를 가져 오면 알 수 있습니다 이 텍스트 중 일부에는 사회 보장 유형이 있습니다 그것의 숫자

그것은 민감한 정보입니다 네, 그렇습니다, 민감한 정보 제가 한 것은 자바 프로그램을 만들었습니다 정규 표현식 분석을 할 수있는 그리고 이것은 현재 쉬운 일이 아닙니다 T-SQL에서 할 수 있습니다

다시 한 번,이 일을하는 아이디어 쉽게 할 수있는 언어로 쉬운 것입니다 나는 아주 빨리 만들 수 있었다 정규 표현식 프로그램 SANJAY : 올바른 작업에 올바른 도구 사용 정확 하네

올바른 작업에 적합한 도구 사용 여기서 나는 정규식이 컴파일되는 곳에 전화를 걸고, 그 프로그램은 컴파일되고, 그리고 당신은 내가 정규식을 넣는 것을 볼 수 있습니다 익숙하지 않은 경우 일반적으로 세 자리 숫자 그 다음에 대시가 뒤따라오고 두 자리 숫자가 이어지며, 대시와 4 자리 숫자 순으로 표시됩니다 여기서 우리는 SP 실행 외부 스크립트를 사용하고 있습니다 이것은 기본적으로 우리가 R을 호출 할 수있는 방법입니다

또는 파이썬, 여기 우리가 자바를 호출하는 방법에 대해 설명합니다 나는 정확한 함수를 지정하고있다 기본적으로 우리는 그 결과를 얻을 수 있습니다 네가 볼 수있는 것은, 여기에 우리가 간다 우리는 그 세포들을 돌려 주었습니까? 그것에 사회 보장 번호가 있습니다

이것은 정말 멋지다 이것은 매우 쉬운 일이었고, 우리는 자바에서 그렇게 할 수 있습니다 나는 나 자신을 생각하고 있었다 좋아, 문 열어 내가 뭘 더 할 수 있을까? Azure 데이터 팀에 합류하기 전에, 저는 실제로 Azure AI 엔지니어링에서 일하고있었습니다

내가 참조 나는인지 서비스를 많이하고 있었고, 기본적으로 Microsoft의 연구가 진행되고 있습니다 이러한 API 또는 이러한 알고리즘에서 오랜 시간 동안 얼굴 인식과 같은 일을하기 위해, 언어 이해, 자연 언어 처리, 언어 탐지, 음성 – 텍스트 그들은이 모든 멋진 일들을하고 있고 나는 말했다 나는 많은 자료를 가지고있다

SQL Server에서 이러한 도구를 활용할 수 있습니까? 자바는 실제로 그것을 훨씬 쉽게 만든다 나를 위해, 내가 할 수 있었던 것은 견본을 끌어 내리는 것이다 이 샘플에서는 기본적으로 다양한 텍스트 문자열을 사용합니다 그것은 논평 일 수 있습니다 이 경우 Wide World Importers (와이드 월드 수입업자) 나는 그들이 많은 리뷰를 가지고 있다고 말했듯이, 그래서 그 감정을 분석하고 싶을 수도 있습니다

자바에서이 작은 프로그램을 만들었습니다 너는 그것이 감정을 되 돌리는 것이 무엇을 하는지를 볼 수있다 각 값에 대해 나는 당신이 매우 낮은 정서 점수를 싫어 모든 것이 괜찮다 높은 정서 점수를 얻는다

그런 종류의 일 나는이 프로그램을 컴파일하고, 그것을 나의 리눅스 박스에 버렸고, 이제 Azure Data Studio에서 호출 할 것입니다 내 SQL Server 데이터에 SANJAY : 그건 마술 적입니다 이것을 오디오, 비디오, 비전 API와 함께 사용할 수 있습니까? 그래 물론

SQL Server에 데이터가있는 경우, 나는 몇몇 사람들이 이미지를 저장한다는 것을 안다 파일 테이블에서 완전히 호출 할 수 있습니다 컴퓨터 비전 API 및 캡션 가져 오기, 어쩌면 사용자 정의 시야 및 일부 물체 감지 특정 유스 케이스와 관련있다 이것은 정말로 문을 열어 정말 흥미 진진합니다 그리고 나는 개인적으로 정말로보고 흥분한다

너 모두 이걸로 무엇을 만들지 Azure Data Studio로 돌아 가면, 그 리뷰 중 일부를 살펴볼 수 있습니다 우리가 분석 할 것입니다 우리는 약 25 개를 가져 왔습니다 SANJAY : 25 살이야? 긍정적인가 부정인가? 네

(웃음) 네 여기 내가 볼 수있는 걸 볼 수있어 내가 컴파일 한 내 감정 프로그램 JAR 파일에 저장하고 그 데이터에서 호출합니다 실제로 SQL Workshop 사이트로 가면 당신이 볼 수있는이 저장소를 확인하십시오 이 문제는 일반적인 문제입니다

애나, 내 모든 데이터를 보내고 싶지 않아 인터넷에 접속하여 해당 API를 누르십시오 결과를 되 찾을 수 있습니다 이 작업을 로컬로 수행 할 수있는 방법이 있습니까? 실제로인지 서비스를 실행할 수 있습니다 컨테이너에 저장하고 SQL Server에서 호출 그래서 모두 로컬에서 실행됩니다

이것은 정말로 흥미로운 물건이다 그래서 너희들이 그것을 밖으로 체크하는 것이 좋습니다 이것이 새로운 것이기 때문에 우리에게 피드백을주십시오 내가 같이 놀았고 우리는 관심이있다 너희들이 그걸로 무엇을 할 수 있는지보기

이 확장 성 문을 여는 방법을 알 수 있습니다 정말로 많은 기회를 열 수 있습니다 이미 가지고있는 데이터와 관련이 있습니다 정말 재미있는 일입니다 거기에는 많은인지 서비스가 있습니다

벅과 나는 프로젝트에서 일하고있다 배송지가있는 곳 아마도 당신은 일종의 배달 서비스를 가지고있을 것입니다 그들은 메모를 남긴다 이것이 전달되어야한다

화요일 오후 9시 애틀랜타에서 우리는 LUIS 모델을 만들 수 있습니다 이는 우리의 언어 이해 정보 서비스입니다 루이스? 그래, 루이스 우리는 LUIS 모델을 만들 수 있습니다

그 모든 데이터를 파싱 할 수 있습니다 SQL에서 그리고 실제로 꺼내서, 그들은 그것을 원한다고 말했다 화요일 오전 9시와 심지어 위치 루이스는 실제로 그 정보를 꺼낼 수 있습니다 너를 위해서도 그렇게해라

우리가오고있는 많은 재미있는 것들 파이프 라인을 내려 정말 당신이 자바에서 뭘하는지보고 흥분 그것은 정말로 흥미 롭습니다 나는 오랫동안 SQL Server를 사용 해왔다 그것은 우리가 AI, ML, SQL Server, 스파크

모든게 다 같이 온 것 같은가요? 그래, 모든게 다 함께 흥미로운 점은 우리는 모든 데이터 과학자가 아니며, 그래서 우리는 이것을 쉽게 할 수 있습니다 인지 서비스를 통해 기본적으로 API를 호출 할 수 있습니다 AI를 데이터 애플리케이션에 주입하고, 그것은 정말로 흥미 있고 그 다음 당신은 발걸음을 돌릴 수있다 기계 학습을하는 다음 단계로 R 및 Python을 사용한 데이터 엔지니어링 및 데이터 처리 그런 다음 데이터가 실제로 매우 커질 때조차도, 우리는 큰 데이터 클러스터로 이동하기 시작합니다 벅이 말하는 것처럼, 우리는 뭔가를 가지고있다 당신도 그곳에서 할 수 있습니다

굉장해 오늘 좋은 코드를 보여 줬어 사람들은 어떻게 이것에 대해 더 알 수 있습니까? 그들은 어디로 갈 수 있습니까? 좋은 질문입니다 akams/sqlworkshops에서 모든 워크샵에 액세스 할 수 있습니다

그리고 여기에 우리는 종일 코스에서 자원을 가지고 있습니다 기계 학습 R이나 Python을 배우기를 원한다면, 데이터 전문가가 사용할 수있는 코스가 있습니다 내가 말했듯이, 우리는 당신이 어디에 있든 당신을 만나고 싶습니다 학습 여정에서 그래서 당신은 더 많은 SQL Server를 얻을 수 있습니다

SANJAY : 대단히 감사합니다 이 모든 위대한 정보 당연하지 나는 여기에 오게되어 기쁩니다 너희들이 뭘하는지 보게되어 기쁘다

우리에게 연락하여 알려주십시오 당신이하고있는 일, 특히 흥분되는 경우 굉장해 이 비디오를 시청 해 주셔서 감사합니다 azure

com/sqldw에서이 주제 및 기타 주제에 대해 자세히 알아보십시오