AI Institute "Geometry of Deep Learning" 2019 [Workshop] Day 2 | Session 2

[음악] >> 다음은 CMU의 Nina입니다 데이터 중심 알고리즘 설계에 대해 이야기합니다 여기 있습니다, 니나 >> 멋지다

그래서 나는 사용에 대해 이야기 할 것입니다 데이터 중심 또는 자동 알고리즘 설계를위한 기계 학습 특히 최근에 이에 대한 확실한 보증에 대해 데이터 중심 알고리즘 설계의 매우 흥미로운 영역이라고 생각합니다 대화에서 나는 집중적 인 문제에 초점을 맞출 것이다 분리 된 구조에서도 마찬가지입니다 이산 구조에 대한 조합 알고리즘 제가 생각하는 방식은 기계 학습 및 학습 이론 사용 컴퓨팅 및 알고리즘 설계 이론에 영향을 미치기 위해 희망적으로, 해당 응용 분야

매우 높은 수준의 동기 부여로 시작하겠습니다 이 작업 라인을 위해 알고리즘을 설계하고 분석하는 고전적인 방법 조합 문제에 대한 부과 우리가 설계 한 알고리즘 주어진 문제는 해결하는 데 사용됩니다 문제의 더 나쁜 사례 알고리즘에 전혀 정보가 전혀 없습니다 이 기본 프레임 워크에서 우리가 추구하는 성능 보장 우리 알고리즘은 알고리즘이 해결에도 성공 최악의 경우 근본적인 알고리즘 문제 이 고전적인 틀 안에서 우리는 쉬운 몇 가지 문제가 있다는 것을 알고 있습니다 예를 들어 우리가 걱정한다면 러닝 타임은 우리의 주요 성과 측정입니다

우리는 우리가 가르치는 문제가 있다는 것을 알고 있습니다 우리가 가지고있는 기본 학부 알고리즘 과정 출력이 보장되는 최적 다항식 시간 알고리즘 최적의 솔루션 최악의 경우에도 다항식 시간 그래서 쉬운 몇 가지 문제가 있습니다 클래식 프레임 워크 내에서 그러나 클래식 프레임 워크 내 대부분의 문제는 우리는 그러한 강력한 성능을 보장하지 않습니다 따라서 어려운 문제의 예는 다음과 같습니다 클러스터링 문제, 파티셔닝 문제, 실제로 부분 집합 선택 문제 대부분의 조합 문제는 고전적인 틀 안에서 어렵다 한 가지 흥미로운 접근법 실제로 이러한 어려운 문제에 일반적으로 사용되는 특히 우리가 해결해야 할 경우 근본적인 알고리즘 문제의 한 인스턴스 만이 아니라 그러나 우리가 반복적으로 해결해야하는 경우 기본 알고리즘 문제의 인스턴스

한 가지 흥미로운 접근법이 이 어려운 문제를 해결하는 연습은 사용하는 것입니다 머신 러닝 및 인스턴스 배우기 위해 주어진 영역 우리의 인스턴스 유형에서만 잘 작동하는 알고리즘 물론 이것은 매우 자연스러운 아이디어입니다 실제로는 주어진 유형의 조합 문제에 대해 다른 설정에서 다른 방법이 더 좋습니다 종종 우리가 선택할 수있는 많은 방법이 있습니다 그래서 사용하려고 매우 자연 스럽습니다 머신 러닝 및 인스턴스 우리의 특정 영역에서 배우는 문제 우리의 인스턴스 유형에서만 잘 작동하는 알고리즘

실제로이 접근 방식은 AI 커뮤니티를 포함한 많은 응용 커뮤니티, 에릭 호 비츠가 실제로 이것에 대해 초기 작업을 한 것처럼 또한 전산 생물학 공동체에서 AI 기반 메커니즘 설계 커뮤니티 머신 러닝을 사용한다는 아이디어는 알고리즘을 배우는 데 널리 사용되었습니다 다양한 응용 커뮤니티에서 실제로 몇 가지 획기적인 이러한 영역은이 접근 방식에서 비롯되었습니다 하지만 놀랍게도 기본적으로 아주 최근까지 우리는이 접근법에 대해 공식적으로 거의 알지 못했습니다 오늘 대화에서 최근에 진행 한 작업을 조사하려고합니다 우리는 내 학생들과 공동 작업자와 함께 공식적인 보증을 제공하기 위해 이 데이터 중심 알고리즘 선택

>> 공식 또는 집단 또는 둘 다에 대한 공식 보증? >> 그래서 논의하겠습니다 당연하지, 우리는 분포 학습 형식화를 사용하거나 온라인 학습 공식화와 실제 의미 보증은 특정 공식화에 따라 달라집니다 몇 가지 사례 연구에 대해 언급하겠습니다 또한 힌트를 드리겠습니다 에 의해 발생하는 더 일반적인 원칙의 최악의 종류 이 문제들에 대해 생각하고 더 넓게 특정한 경우를 넘어서 적용 가능합니다 또한 많은 사람들이 여기 청중에는 AI와 기계 학습이 있습니다

나는 분명히 지적하고 싶습니다 이것은 매우 뜨거운 주제와 관련이 있습니다 요즘처럼 응용 기계 학습에서 하이퍼 파라미터 튜닝, 자동 ML, 메타 학습 물론이 주제는 그러한 주제 등과 관련이 있습니다 그러나 우리의 설정에 대해 생각하십시오 조합 설정에 있고 또한 우리는 많은 것에 반대되는 입증 가능한 보증 이러한 주제와 더 많은 내용은 보증없이 ML을 적용합니다

이것은 개괄적 인 개요입니다 이 구조로 제 이야기는 다음과 같습니다 : 우리가 어떻게 생각할 수 있는지 설명하겠습니다 데이터 중심 알고리즘 설계 또는 선택 분포 또는 통계 학습 문제로 몇 가지 사례 연구를 언급하고 이 맥락에서 발생하는 일반적인 샘플 복잡성 이론 얘기 할 시간이 없다고 생각합니다 온라인 학습 공식이지만 기쁘다 해당 공식의 세부 사항에 대해 오프라인으로 이야기하십시오 데이터 중심 알고리즘 설계부터 시작하겠습니다 분포 학습 문제로

그러나 구체적으로하기 전에 예를 들어 보겠습니다 데이터 중심의 접근 방식으로 해결할 수있는 문제 이것은 우리 모두에게 매우 친숙한 문제입니다 뉴스 기사와 같은 일련의 개체가 제공되는 클러스터링 웹 페이지 검색 결과 어떻게 든 그것들을 우리가 할 수있는 것처럼 자연적인 그룹으로 묶습니다 내가 지적하고 싶은 것은 문제의 완벽한 예 우리는 반복적으로 해결해야합니다 주어진 클러스터링 문제의 인스턴스 예를 들어 인터넷 검색을하고 있고 뉴스 기사를 클러스터링하기 위해 클러스터링을 사용한 다음, 물론 매일 뉴스 기사를 모아서 실제로 하루에 여러 번

이것은 완벽한 예입니다 반복적으로 해결해야 할 문제 데이터 중심의 접근 방식으로 넘어갈 수 있습니다 공식적으로 어떤 유형의 클러스터링 기술을 사용하고 있습니까? 목표 기반 클러스터링 기준을 사용할 수 있습니다 K- 평균 목적과 같은 특정 목적 함수를 선택 K- 중앙 목표 또는 중심 목표 주어진 입력 데이터 세트에서 최적화하십시오 그래서 이것은 당신이 사용할 수있는 하나의 공식입니다 물론 우리 모두는 예를 들어 모든 구체적인 목표는 K- 평균 최적화, K- 중앙 최적화, NP-hard도 마찬가지입니다

따라서 데이터 중심 접근 방식을 사용하는 것이 좋습니다 데이터 유형에 적합한 알고리즘을 배우고 보편적으로 효율적인 알고리즘이 없기 때문에 최악의 인스턴스에서 작동합니다 객관적인 클러스터링은 데이터 중심 접근 방식의 적절한 적용 하지만 생각해 보면 더 많은 머신 러닝 공식 숨겨진 진실이 있다고 가정 우리는 그것에 가까워 지려고 노력하고 있습니다 비지도 학습 또는지면 진실 버전의 일치 클러스터링 문제도 이 데이터 중심 접근 방식에 적합합니다 이 두 가지 제형 중 하나 데이터 중심 알고리즘 설계로 캐스팅 할 수 있습니다 이제이 예에서는 이제 우리는 어떻게 생각할 수 있는지 설명 할 수 있습니다 분포 학습 문제로서의 알고리즘 선택에 대해 물론 이것은 매우 친숙 할 것입니다 머신 러닝 사람들에게 청중에서 사람들을 배우는 기계

매우 자연 스럽습니다 우리가하는 일은 우리는 해결하고자하는 알고리즘 문제를 해결합니다 시설 위치 또는 클러스터링 또는 좋아하는 조합 문제 그런 다음 큰 가족을 고칩니다 우리의 문제에 대한 알고리즘 과이 될 수 있습니다 가족의 경우에 매개 변수화 됨 다양한 모듈이있을 수 있기 때문에 알고리즘 가족의 알고리즘은 조정해야 할 노브가있는 다양한 모듈

이 알고리즘 계열을 선택합니다 우리는 그것이 잘 작동한다는 것을 알고 있기 때문에 연습하거나 아마도 당신이 가지고 있기 때문에 믿을만한 분석 이유 데이터 유형에 좋을 수도 있습니다 그리고 우리가하는 일은 도메인에서 발생하는 문제의 전형적인 예는 기술적으로 우리는 전형적인 사례의 샘플을 의 일반적인 인스턴스에 대한 IID 샘플입니다 일부 기본 분포 우리의 사례와 이 전형적인 인스턴스 샘플을 사용하여 우리가 희망하거나 새로운 알고리즘 새로운 인스턴스에 대해 잘 알고 있음 동일한 기본 소스에서옵니다 그건 그렇고, 나는이 그림 목록을 사용하고 있습니다 그러나 희망적으로, 그것은 매우 분명합니다

예를 들어 내가 말하고 있다면 시설 위치 이러한 전형적인 사례는 무엇입니까? 첫 번째 샘플은 입력 그래프입니다 두 번째 샘플은 두 번째 입력 그래프입니다 또는 클러스터링을 수행하는 경우 클러스터링 알고리즘을 배우려고하면 클러스터 문서를 말하면 우리의 전형적인 사례는 무엇입니까? 첫 번째 인스턴스는 첫 번째 문서 집합이 될 수 있습니다 두 번째 인스턴스는 두 번째 문서 세트입니다 게다가 라벨이 없을 수도 있습니다

우리가하려고한다면 K- 평균과 같은 객관적인 클러스터링 클러스터링 또는 그들은 당신이 진실을 일치 시키려고한다면 예를 들어 문서를 IID로 클러스터링하고 문서를 클러스터링합니다 훈련 실례를 바탕으로 실제 수업 환경을 설정해야합니다 기본적으로 전형적인 사례, 우리가하고 싶은 일, 우리는 잘 작동하는 알고리즘을 생각해 내고 싶습니다 우리가 잘 수행한다는 것을 증명할 수 있다는 오는 새로운 무작위 인스턴스 동일한 기본 분포에서 훈련 세트로 전형적인 인스턴스의 물론 이제 우리는 통계 학습 이론 이 프레임 워크의 샘플 복잡성 질문 얼마나 큰지를 분석하는 의미 일반적인 인스턴스 집합은 보장하기위한 것입니다

그러나 우리가 잘하는 알고리즘을 넣으면 일반적인 인스턴스의 훈련 세트를 통해 이 알고리즘은 새로운 인스턴스에서도 잘 작동합니다 같은 출처에서 나온 것입니다 그러나 당신은 훈련 세트를 본 적이 없습니다 물론, 우리는 또한 통계 학습 이론에서 이러한 샘플 복잡성 결과를 분석하기 위해 예를 들어 균일 한 수렴과 복잡한 결과 당신이 이해할 수 있어야하는 것은 본질적인 차원 또는 본질적인 복잡성 의 가족에 의해 유도 된 기능 클래스의 알고리즘과 성능 측정 우리가해야 할 일은 절대 치수를 분석하거나 이 유도 된 기능 클래스의 복잡성 물론, 그것은 핵심 수량입니다 일반적인 균일 한 수렴 범위입니다 이 새로운 도메인에서 흥미로운 점은 학습 이론의 관점에서 흥미 롭습니다

이 설정에 나타나는 기능은 일단 알고리즘 학습을 시작하면 우리의 가설 공간은 알고리즘의 공간입니다 이제 우리는 매우 흥미로운 구조를 얻습니다 특히 알고리즘을 배우고 있기 때문에 조합 문제의 경우 본질적으로 해당 알고리즘에는 조합 모듈이 있습니다 매개 변수를 약간 변경하면 매우 다른 결과물을 얻을 수 있습니다 따라서 해당 비용 함수는 급격한 불연속성을 갖습니다

그래서 개념을 분석하려고 시도하는 것이 흥미 롭습니다 이 시나리오의 차원 그래서 그것이 외부에 있습니다 이러한 문제는 모든 고전적인 통계 학습 이론 이 양식의 몇 가지 예를 볼 수 있습니다 다음은 특정 유형의 기능입니다

우리가 살펴본 다양한 응용 프로그램에 나타납니다 시원한 실제로이 생각은 알고리즘 설계 또는 배급 학습 문제는 실제로 팀 러프 가든 (Tim Roughgarden)과 그의 전 학생이 작성한 논문에서 ITCS와 SICOMP에 논문이 실린 Rishi Gupta 거기서 그는보기 알고리즘 선택에서 모델을 제안했습니다 배급 학습 문제로 재분석 된 매개 변수화 된 가족 부분 집합 선택 문제에 대한 탐욕스러운 알고리즘 배낭 문제처럼 그 작업을 참조하십시오 실제로, 나는 종이가 매혹적인 것을 발견했다

아무도 그런 종이를 쓰지 않아서 놀랐어요 아주 자연 스럽기 때문에 그리고 그것은 또한 매우 강력하다고 생각합니다 저의 학생들과 공동 작업자들은 그래서 우리는 그것을 추적하고 분석했습니다 다양한 조합 문제에 대한 새로운 알고리즘 클래스 나는 단지 그들 중 일부를 빠르게 언급 할 것이고 그들 중 몇 가지에 대해 자세히 알아보십시오 예를 들어, 주제에 관한 첫 번째 논문에서 클러스터링 문제와 관련하여 매개 변수화 된 연결 절차를 살펴 보았습니다

클러스터링 다음에 일부는 고정 된 유형의 후 처리에 대해 말합니다 또한 [들리지 않음]의 클러스터링을 위해 우리는 무한 가족을 보았다 로이드의 방법 특히 Lloyd의 방법 중 일부를 매개 변수화했습니다 로이드의 방법을 초기화하는 법을 배웁니다 더 최근에는 일부 동료들과 CMU의 컴퓨터 생물학에서 매개 변수화 된 동적 프로그래밍 절차를 살펴 보았습니다 정렬 문제 해결 서열 정렬과 같은 전산 생물학

이것들은 우리가 살펴본 몇 가지 유형의 계산 문제입니다 우리는 또한 원본 논문을 보았습니다 매우 다른 유형의 알고리즘 예를 들어, 해결하려는 경우 다음과 같이 쓸 수있는 파티션 문제 Max-Cut과 같은 정수 이차 프로그램 우리는 가족을 보았다 알고리즘 또는 반정의 프로그래밍 감소 반올림 된 반올림으로 다시 모든 유형의 인스턴스가 얼마나 둥근 지 알아 봅니다

그런 다음 지금까지 설명한 모든 예에서 실제로 의도적으로 우리의 질문으로 돌아가서 우리가 보는 알고리즘 다항식 시간과 시간 설계 배우려고 노력하는 알고리즘입니다 Max-Cut의 가치가 좋은 것처럼 좋은 솔루션 품질 또는 문서를 클러스터링하거나 시퀀스를 잘 정렬 할 수 있습니다 하지만 우리는 또한 예를 들어, 우리는 혼합 정수 프로그램을 통해 해결하는 것을 보았습니다 유형의 분기 및 바운드 인공 지능과 OR을 사용하는 동안 기술 이 어셈블리의 알고리즘은 문제를 해결하기 위해 최적이지만 그들은 걸릴 수 있습니다 그의 오랜 시간을 최적화하려고 노력하고 있습니다 따라서 알고리즘의 솔루션 품질은 실행 시간입니다

우리는 또한 매우 관련된 기술도 보았다 의 맥락에서 나타나는 다중 구매자, 다중 항목 시나리오를위한 자동화 된 메커니즘 설계 다시, 우리는 여기서 어셈블리를 보았습니다 매개 변수화 된 VCG 경매와 같은 메커니즘 긍정적 인 가격 등 여기서는 수익을 최적화하고 있습니다 따라서 수익, 그의 절차 범위의 솔루션 품질

이 모든 것을 살펴본 결과, 몇 가지 일반적인 패턴이 등장 그에 대해 조금 말씀 드리겠습니다 하지만 그렇게하기 전에 구체적이고 생각할 구체적인 예를 명심하십시오 그리고 당신에게 가족의 간단한 예를 제공하기 위해 클러스터링 문제에 대한 매개 변수화 된 알고리즘 따라서 데이터 중심 접근 방식을 사용하려면 클러스터링 문제의 경우 가장 먼저하고 싶은 일은 당연히 내려 놓는 것입니다 알고리즘 계열 여기, 간단한 가족입니다 우리가 살펴본 알고리즘은 연습을 사용하는 동안 또한 좋은 기사 속성이 있기 때문에 데이터는 안정적인 유형의 인스턴스와 같이 매우 좋습니다 [들리지 않음]에서 알려짐 이러한 경우를 넘어서서 계산한다면, [들리지 않음]

따라서 수식의 균형은 다음과 같이 매우 간단합니다 두 단계가 있습니다 각 요소에는 두 단계가 있습니다 먼저 상향식 연결 절차를 사용하여 데이터를 생성하기 위해 계층 구조에 연결하는 욕심 많은 절차 클러스터 트리를 만든 다음 이 세 가지에 대한 고정 후 처리 예를 들어, 동적 프로그래밍을 위해 최고의 K- 평균 군집 추출 마지막 K- 머지로 클러스터 된 인덱스를 출력 할 수도 있습니다 또는 계층 구조를 사용자와 사용자가 볼 수 있습니다

물론, 그냥 생각 나게하기 위해 상향식 응집 결합 절차는 무엇을 의미합니까? 그래서 우리가하는 일은 그들 만의 작은 클러스터에서 시작하는 것입니다 두 개의 '가장 가까운'클러스터를 반복적으로 병합하겠습니다 물론, 다른 정의 가장 가까운 알고리즘은 다른 알고리즘으로 이어집니다 예를 들어 다음은 '가장 가까운'에 대한 다른 정의입니다 다른 알고리즘으로 이어지는 점의 하위 집합 사이

여기에 예가 있습니다 우리의 고전적인 알고리즘 기본 알고리즘 머신 러닝 과정에서 단일 연결, 정의 하시겠습니까 두 부분 집합 A와 B 사이의 거리 두 하위 집합의 점 사이의 최소 거리가됩니다 여기서는 기준점 사이의 거리가 고정되어 있다고 가정합니다 그래서 우리는이 엔티티를 정의하여 포인트 간의 갱신 거리 및 대응하는 부분 집합 그러나 또 다른 고전적인 알고리즘, 완벽한 연결, 두 부분 집합 사이의 거리를 사이의 최대 거리 해당 하위 집합의 포인트 이제 무한한 가족이 등장한다고 상상할 수도 있습니다 우리가 원할 수도 있기 때문에 연결 절차 이 기본 기준을 보간합니다

예를 들어 여기에 가족의 예가 있습니다 그러나 우리의 일을 살펴보기 위해 알파 가중치 연결이라고합니다 지금은 매개 변수 알파가 있지만 희망이 있습니다 데이터를 조정하고 거리를 정의합니다 두 하위 집합 A와 B 사이 1에서 알파를 뺀 거리 단일 결합과 알파 시간 완전한 연결에 의해 주어진 거리 이것이 알파 가중치 링크의 구체적인 예입니다

가족은 매개 변수화 된 가족의 구체적인 예입니다 조합 문제 클러스터링을위한 알고리즘 이제 우리는 무엇을 이해하기 시작할 수 있다고 생각합니다 이 알고리즘 군의 2 차원은 그건 그렇고, 2 차원은 무엇입니까? 가장 자연스러운 확장 일뿐입니다 실제 유효한 함수에 대한 VC 차원 나는 그것을 정확하게 정의하지 않을 것이다 그러나 이것이 당신이 알아야 할 전부입니다 이 특정 알고리즘 제품군의 경우 나는 당신에 대해 빨리 보여줄 것입니다 절대 치수는 log n뿐입니다

또는 n은 내가 해결해야 할 입력 인스턴스의 포인트 차원이 log n이므로 실제로 당신은 또한 보여줄 수 있지만 실제로 당신이 세트 S 또는 트레이닝 세트의 전형적인 예 클러스터링 문제의 전형적인 사례 우리는 최고의 알고리즘을 찾을 수 있습니다 다항식 시간에이 가족 다른 말로하면 기계 학습 이론 원자에서 그냥 ERM을 해결하십시오 다항식 시간을 효율적으로 이 간단한 군집 절차입니다 이 조합 문제 중 하나에서 여기서의 도전은 실제로 이 조합 유형의 출력으로 인해 언급했듯이 알파를 약간 변경 한 경우, 이것은 의사 결정의 초기에 변화로 이어질 수 있습니다 그런 다음 눈덩이를 만들어 생산할 수있는 연결 절차 나중에 훨씬 더 큰 변화

다시 말해, 약간 변경하면 알파 당신은 완전히 다른 출력을 얻을 수 있습니다 이건 정말 어려움이지만 우리가 보여줄 수있는 것은 이것이 너무 자주 일어나지 않는다는 것입니다 이제 이것은 치수 경계로 이동합니다 특히, 우리가 보여줄 수있는 것은 암시하는 주요 사실 의사 차원은 n의 로그 만입니다 또는 n은 상한이다 입력 인스턴스의 포인트 수 따라서 그 효과는 다음과 같습니다

기본적으로 해당 비용 함수는 부분적으로 일정합니다 그래서 그것은 무엇을 의미합니까? 주어진 알파 값에 대해 연동 알고리즘으로 알파를 실행하면 일련의 결정과 우리는 특정 연계 트리를 만듭니다 물론 알파를 바꾸면 나는 다른 나무를 얻을 것입니다 그러나 여기에서 알파를 0에서 1로 바꾸면 n 포인트의 클러스터링 인스턴스를 수정하면 그런 다음 매개 변수 Alpha를 0에서 1로 변경합니다 또는 최대 n 번째 여덟 번째 스위칭 지점 트리는 인스턴스 변경을 생성합니다

물론 이것은 다음을 의미하지 않습니다 상단의 비용 함수가 무엇이든 k에 대한 근거 진실의 예는 상수 등을 의미합니다 여기에서 해당 비용 함수는 조각 단위입니다 n에서 8까지의 상수 어느 것이 좋을까요? n은 2 차원에 암시 적입니다 엔

빨리 줄게 이 단계가 어떻게 입증되는지에 대한 높은 수준의 아이디어 이 특정 경우에는 전혀 어렵지 않습니다 핵심 아이디어는 다음과 같습니다 따라서 클러스터링 인스턴스를 수정하면 알파를 고치고 싶다고 해봅시다 연계 절차를위한 마일 단위 매개 변수는 어느 것입니까? 알고리즘의 어느 시점에서, 알고리즘은 Blob N_1을 병합해야하는지 결정해야합니다

N_2 또는 Blob과 N_3 및 N_4를 병합해야합니다 권리? 이제 결정은 여덟 가지 점에 달려 있습니다 내가 P & Q로 표시하면 N_1과 N_2에서 가장 먼 지점 그들은 완전한 연결과 P- 프라임에 의해 주어진 거리를 줄 것이고 Q- 프라임은 N_1과 N_2에서 가장 가까운 지점입니다 내가 R과 S로 표시되면 N_3과 N_4 및 R- 프라임에서 가장 먼 지점, S- 프라임은 N_3과 N_4에서 가장 가까운 지점입니다 처음 두 블롭 N_1과 N_2의 병합 여부에 대한 결정 N_3 및 N_4와 비교 이 두 수량 중 어느 것에 따라 달라집니다

알파와 P와 Q 사이의 거리를 곱한 값 +1 사이의 거리에 알파를 1 곱한 값 R 사이의 P- 프라임 및 Q- 프라임 또는 알파 시간 거리 그리고 S + 거리에 1을 뺀 알파 곱하기 R- 프라임과 S- 프라임 사이의 간격이 더 작고 커집니다 당신이 그것에 대해 중요한 지점으로 생각하면 [들리지 않음] 또는 알고리즘 스위치는 여기 평등이있는 순간에요 권리? 다른 말로하면, 중요한 요점은 실제로 이 같은 선형 평등의 뿌리에서 평등이라는 아이디어는 요점으로 주어집니다 그러나 물론 나는 그러한 선형 평등의 여덟 내가 가지고 있기 때문에 내려 놓을 수있는 n 포인트 중 8 [들리지 않음]의 수입니다 이것은 기본적으로 그것을 증명합니다

높은 수준에서 그것을 증명하기위한 핵심 아이디어입니다 알파를 고치면이 특정 간단한 연결 패밀리에 대해 인스턴스를 수정하면 클러스터링 인스턴스 및 알파 변경, 생산 된 8 번째 클러스터링 트리에만 n을 가져올 수 있습니다 10 분이 지났습니다 잘 됐네요 저건 완벽 해 좋은

이 구조적 결과가 나오면 의사 차원 경계를 즉시 증명할 수 있습니다 이것이 내가 당신에게 보여준 것입니다 인스턴스를 수정하면 어떻게 되나요? 알파가 당신에게 해당 cos 함수이지만 물론 당신이 걱정하지 않은 계산 된 의사 차원 의 행동에 대해서만 지정된 인스턴스의 알고리즘 패밀리 그러나 당신은 얼마나 많은 인스턴스에 관심이 있습니다 [들리지 않음] 산산조각 낼 수 있습니까? 우리는 실제로 얼마나 많은 인스턴스를 기하 급수적 인 행동을 취 하시겠습니까? [들리지 않음] 그들이 걱정하고 있습니다 이제는 어떻게되는지 생각해야합니다 m 개의 인스턴스와 클러스터링 인스턴스 내가 이전 경계에서 즉각적인 효과를 알고있는 것은 그러나 내가 m을 가지고 있다면 알파가 달라지면 인스턴스 클러스터링, 나는 여덟 패턴의 거듭 제곱에 m 곱하기 n을 얻을 수 있습니다

n 포인트 및 클러스터링 인스턴스의 경우 그리고 나는 단지 의사 차원 정의를 대략적으로 사용합니다 의사 차원이 무엇인지 계산하고 의사 치수가 최대 m이기 때문에 기하 급수적 인 패턴을 얻을 수 있습니다 가장 큰 m을 풀기 만하면됩니다 기하 급수적 인 패턴을 보호하고 달성합니다 즉, 여기서이 불평등을 해결해야합니다

각 2에서 m까지 가장 큰 m은 상한은 m 곱하기 n을 여덟 번째 n으로 제한한다 따라서 이것들은 즉시 의사 치수는 단지 로그입니다 엔 이 간단한 예를 들어 보자 그건 그렇고 나는 이것을 슬라이드에 가지고 있지 않습니다 실제로 무언가를 얻도록 요청할 수 있습니다

이 보간을 수행하기 위해 실제로는 가능하다는 것이 밝혀졌습니다 그래서 나는 실험의 주인을 가졌습니다 [들리지 않음]에서도 우리는 [들리지 않음]의 부분 집합을 실제로 튜닝하여 조금 얻을 수 있습니다 여기에있는 매개 변수 alpha 3 %와 같은 알파 가중치 연결 그리 많지는 않지만 여전히 3 %를 얻습니다 [들리지 않음] [들리지 않음] 예제를 많이 얻으면 얻을 수 있습니다

하지만 여기 또 다른 가족이 있습니다 클러스터링은 실제로 많은 것을 얻습니다 실제로 거기에 가기 전에 죄송합니다 방금 보여 드렸 기 때문에 끝내겠습니다 이 알파 계열의 의사 차원 연결 절차는 log n만이 log n의 큰 O입니다 실제로 당신은 또한 그것을 보여줄 수 있습니다 실제로 n의 큰 [들리지 않음] n

중 하나 저의 이전 학생들은 저역을 보여주었습니다 또한 구현할 수도 있습니다 당신은 또한 해결할 수 있습니다 다항식 시간의 해당 ERM 문제 만약 내가 당신에게 인스턴스를 주면 찾을 수있는 일반적인 인스턴스 다항식 시간에서 가족의 최고의 알파 비효율적 인 방법 바스티유 다항식 시간 [들리지 않음] 모든 입력 인스턴스가 주어지면 해당 인스턴스의 해당 알파 간격을 계산합니다 당신은 모든 대응을 가지고 모든 중요한 포인트의 연합 샘플보다 평균적으로 최고입니다

그것은 당신이 그것을보다 효율적으로 만들 수 있습니다 작동 학생 피드백 및 실험 중 하나 인 [들리지 않음] 앞에서 언급했듯이 예를 들어 [들리지 않음]에서이 작업을 수행하면 3 % 개선 단일 또는 완전한 연결을 통해 또한 우리가 더 잘할 수있는 [들리지 않음]도 있습니다 괜찮아 하지만 여기에도 실제로 그리고 이것은 내가 말하지 않는 방식이지만 이것은 나를 위해 이해하려고 시도하는 아주 모범이었습니다 이 공간은 어떻습니까 [들리지 않음] 데이터 분석 학습 이론 관점에서 디자인 그러나 우리는 또한 재미를 위해서 실험을했습니다

나는 그것을 옹호하지 않습니다 제목에 사용하여 다른 클래스를 데이터화하는 기술 그러나 실제로 다른 가족 아니면 조금 더 잘할 수도 있습니다 실험적이며 실제로는 실험적으로 관심있는 이론적으로 겨울 인 것은 알파 만 튜닝하지 않는 경우 연결 절차를 조정할뿐 아니라 하지만 거리 기능도 조정하고 있습니다 특히 특정 유형의 데이터의 경우 매우 다른 유형의 거리 정보가있을 수 있습니다 예를 들어 자막 이미지가 있다면 일부 거리 기능을 사용할 수 있습니다 이미지의 픽셀 정보를 기반으로 하지만 당신은 또한 자막에 따라 매우 다른 거리 기능, 그리고 당신은 그것들을 혼합하려고 할 수 있습니다 또는 마찬가지로 손으로 쓴 숫자의 경우 메타 학습에 사용되는 클래식 Omniglot 데이터 세트의 경우 픽셀 정보가 모두 있습니다

스트로크 데이터도 있습니다 문자 작성 방법에 대해 그래서 이것은 매우 무료 유형을 제공 할 수 있습니다 거리 정보 이제 우리는 무한 가족을 내려 놓을 수 있습니다 미터법 또는 거리 함수 무엇을 보간합니까? 이제는 이것들은 현재 두 개의 기본 거리 함수 d0과 d1을 말합니다 이제 튜닝도 시도 할 수 있습니다 이 베타 매개 변수는 거리 함수와 관련이 있습니다 예를 들어, 구체적으로 말하자면 내가 지금 얻을 수 있다면 알파-베타 가중 연결 절차의 가족, 또는 Alpha 매개 변수를 사용합니다 연결 기준을 보간하기 위해 하나의 완전한 연계 거리 매개 변수를 조정하기 위해 매개 변수 베타를 사용합니다

두 개의 고정 기본 거리 함수 사이의 보간 점 쌍 사이 이 Alpha-Beta 가중 연결이라고하겠습니다 다시 분석해 볼 수 있습니다 이 알고리즘 계열의 두 가지 차원은 무엇입니까 물론 최고의 알고리즘을 찾으려고 노력하십시오 데이터 유형에 따라 제품군에서 자세한 내용은 여기로 가지 않겠습니다 우리가 여전히 여기에 보여줄 수 있기 때문에 다시 밝혀졌습니다 이 절차 군의 의사 차원은 알파-베타 가중 연결 절차는 log n입니다

지금 구조 결과는 여전히 간단합니다 그러나 더 좋고 더 복잡합니다 그것을 의사 차원으로 증명하기 위해 이 알파 베타 가중 연결 로그 n, 당신이 보여 주어야 할 것은 다시 이중 기능의 구조에 관한 것 매개 변수가 Alpha-Beta 인 인스턴스를 수정합니다 분할 할 수 있음을 보여줄 수 있습니다 다수의 선형 및 2 차 방정식 인 경우 매개 변수 공간 같은 지역의 두 매개 변수에 대해 동일한 클러스터 트리가 생성됩니다

이걸 가지고 다시 할 수 있으면 이것의 위의 의사 차원의 인수 몇 분 더 있습니까? >> 둘 >> 둘 괜찮아 여기에서 세부 사항을 건너 뛰겠습니다 하지만 봐야 해 이 사실을 포함하는 문제의 구조에

그러나 실제로 다음 단계로 넘어 가기 전에 이 튜닝 알파와 베타에 대해 언급하고 싶습니다 실제로 실제 데이터에 영향을 미쳤습니다 예를 들어 실험이 Omniglot에있는 경우 요즘 메타 학습에 사용되는 고전적인 데이터 세트입니다 여기 보간하면 주어진 거리 함수 사이 에서 얻은 기능에 의해 MNIST의 관련 데이터 세트에 CNN 포함 MNIST에서는 CNN 임베딩에 의한 거리 기능, 컨볼 루션 뉴럴 네트워크 임베딩, 수작업으로 설계된 거리 기능 스트로크 정보를 사용하는 실제로 크게 개선 할 수 있습니다 정확도가 약 9 % 향상되었습니다 여기에 차이가 있습니다

거리 기능이 매우 무료임을 보여줍니다 연구를 위해 이러한 실험을 수행했을 수도 있습니다 단어를 사용할 수 있도록 여기 어딘가에 딥 러닝 CNN 임베딩을 사용하고 있기 때문입니다 나는 실제로 반 입방체이지만 시원합니다 실제로 실제로 개선되는 것을 보는 것이 좋습니다

나는 그것에 만족했다 이제 높은 수준의 이야기로 돌아가서 내가 언급했듯이 다른 많은 유형의 문제를 살펴보고 예를 들어, 파티션 문제 정수 2 차 프로그램으로 작성 될 수 있습니다 여기서는 매개 변수화 된 동일한 결과 절차를 살펴 보겠습니다 반정의 프로그래밍 이완을 줄이거 나 무작위 반올림, 그리고 이것은 세부 사항으로 가지 않고 매개 변수화 된 반올림입니다 여기서 관찰해야 할 요점은 의사 차원 경계를 증명하고 인스턴스를 수정하고 다를 경우 기본 [들리지 않는] 패밀리의 매개 변수 해당 기능은 조각 단위 구조입니다

특히, 여기에는 부분적으로 이차가 있습니다 우리는 단지 n 조각입니다 그것이 여기서 일어나는 일입니다 메커니즘 설계시 관련 구조화가 나타납니다 예를 들어 보시면 완성 된 가격 체계를 갖추기 위해 다중 구매자 다중 항목 시나리오가있는 경우 이제 우리는 각 게시 가격은 각 항목에 설정할 수 있습니다

여기서 다시 발생하는 것은 해당하는 인스턴스 또는 세트를 수정하면 입찰자 및 항목의 하위 집합에 대한 더 나은 가치 가격을 달리하면 해당 수익 함수 각 부분마다 선형으로 매개 변수 공간의 조각이 제공됩니다 선형 분리기의 교차로 이것이 핵심 결정자입니다 작동하는 의사 치수 본딩을 예측하는 데 사용합니다

이 [들리지 않음]에 동기 더 일반적인 정리를 알아 내려고 노력하십시오 문제의 구조를 필요한 것에서 분리하다 통계적 의사 차원 균형을 얻기 위해 여기 추상화가 있습니다 우리가 정말로 관심을 가지는 것은 함수 클래스의 의사 차원을 계산합니다 Alpha에 의해 매개 변수화되거나 알파는 문제의 인스턴스를 가지고 다운 2 클래스 세트를 클러스터링한다고 말합니다 그래서 이것은 의사 차원을 결합시키는 시간입니다

그런 함수 클래스 이것이 무엇을 증명하는지 아십니까? 우리는 이중 클래스 기능의 구조를 이용합니다 이제 듀얼 클래스 기능 문제의 인스턴스에 의해 매개 변수화됩니다 가능한 매개 변수 값을 입력으로 사용합니다 우리가이 모든 영역에서 보여준 것은 이러한 이중 기능은 부분적으로 구성됩니다

우리가 조각으로 구성된 것은 듀얼의 모든 기능은 다음과 같습니다 기본적으로 파티션 할 수 있습니다 함수를 사용하여 매개 변수 공간 잘 동작하는 함수 클래스 F 여기와 같은 각 종 안에있는 해당 비용 함수는 다른 함수 클래스에서 오는 함수 G 자본 G 우리가 보여줄 수있는 것은 기본적으로 당신은 두 차원을 버릴 수 있습니다 정말 신경 쓰는 원래의 기능, Alpha가 함수로 매개 변수화 한 함수 이 이중 기능의 장점에 대해 좋은 점은이 두 가지 기능이 부분적으로 구성되어 있다는 것입니다 여기서 부분은 함수 클래스 F의 함수로 정의됩니다 이 쪽은 함수 클래스의 함수 G G

의사 차원에 본드를 넣을 수 있습니다 내가 걱정하기 때문에 최종 기능의 의 친절 함의 기능이다 이 함수 클래스는 F입니다 G 경계 함수 F에서의 함수 비즈니스 내부의 기능이 훌륭합니다 나타나는 하나의 [들리지 않음] 여기 실제로 VC 치수가 아닙니다 VC 차원을 분류하는 함수 그 기능 클래스의 이중 그 이유가 있습니다 그들은 오픈 라인을 통과하기 시작할 수 없습니다

0 분 남았다 고 생각합니다 그냥 언급하고 싶습니다 하지만 지금까지 분배 학습에 대해 이야기했습니다 온라인 학습에 대한 질문을 할 수도 있습니다 알고리즘은 실제로 온라인 학습 문제라고 생각합니다

그들이 당신에게 주어지지 않은 인스턴스 똑바로하지만 하나씩옵니다 후회하지 않으려 고합니다 이미 언급했듯이 이제 불연속성이 있어야합니다 여기 많은 사람들이 온라인에 있다고 생각합니다 청중의 학습 전문가, 불연속을 공유하면 후회를 달성하는 것은 불가능합니다 그래서 우리는 종이를 제 학생들과 실제로 18 세 였고 후속 논문이었습니다 또는 충분한 조건을 식별 한 번 후회하지 않고 조각 별 Lipschitz 기능에 대한 온라인 학습 그리고 최소한 상태 유지를 보여주세요 이 알고리즘 중 다수 구성 또는 온라인 알고리즘 선택 문제 다시, 나는 이것에 대해 오프라인으로 이야기해야한다

조건은 바로 이러한 조각 별 Lipschitz 기능, 분산 만 대략, 우리는 단지 불연속을 요구합니다 해당 비용 함수는하지 않습니다 분산 된 곳에 너무 집중하십시오 그 주위에 공식적인 정의를 넣을 수 있습니다 다시 한 번 오프라인으로 이야기하게되어 기쁩니다 그러나 나는 요약해서 생각한다 저는 이것이 매우 흥미로운 연구 분야라고 생각합니다

학습 문제로서의 알고리즘 설계에 대해 배급 학습 문제, 통계 또는 온라인 학습 문제 강력한 공식 보증을 제공 할 수 있습니다 또한 학습 이론의 관점에서 내가 생각하는 설정을 발생시키는 구조 매우 흥미롭고 도움 우리는 학습 이론의 한계를 넘어서고 항상 매우 흥미 롭습니다 감사합니다 나는 우리가 N에서 5까지의 하한을 가지고 있다고 생각합니다 >> 우리는 그것을 논의했습니다 >> 그래서 우리는 토론합니다

우리가 알고있는 하한은 N에서 5까지입니다 인스턴스를 보여 주거나 N을 다섯째, 당신은 내재 된 불연속성을 가질 수 있습니다 예 우리는 모른다 N은 5에서 N은 8에서 8 사이에 틈이 있습니다 지금, 그 말의 실험 중 하나 내 죄는 현실 세계 야 N을 다섯 번째로 얻지 못할 것입니다

거리는 매우 복잡합니다 우리가 시도한 모든 것에 그것은 N에서 선형입니다 그래서 당신이 보완 설정에 대한 파라미터를 조정할 수도 있습니다 >> 나는 그것이 당신의 모델에 뭔가 있다고 생각합니다 내가 확신하기 때문에 내 접근 방식에서 N 제곱이 선입니다

>> 그것에 대해 이야기합시다 >> 알겠습니다 다음에는 MIT의 Constantinos가 있습니다 >> 그래서 기계 학습 바이어스와 사용법에 대해 이야기하겠습니다 바이어스를 줄이기 위해 잘린 통계 이 대화의 동기는 종종 데이터 과학 문제에서 데이터 세트로 작업하며 종종 데이터 세트마다 수집합니다 선택 편견이 있습니다 데이터를 수집 할 때 훈련하는 데 사용하는 훈련 세트 테스트 세트와 다른 모델

모델이 진행되는 조건 미래에, 특히 치우친 데이터 세트에 대한 교육 예측에 편견이 생길 것입니다 대화의 목표는 영역을 나타내는 검열 및 절단 통계 하려는 통계에서 절단 된 또는 검열 된 샘플의 추정 잘린 샘플은 샘플이 외부로 떨어지는 상황 관찰 창은 그렇지 않다 관찰되었고 그들의 수 또한 알려지지 않았다 검열은 당신을 의미합니다 최소한의 수 관측 창을 벗어나는 데이터 수 물론 이것은 여러 가지 이유로 발생할 수 있습니다 이러한 유형의 현상

아마도 당신의 측정 장치 측정 대역 밖에서 포화 상태가됩니다 그들이 포화되면 판독 값이 잘못되어 신뢰할 수 없습니다 이것이 검열의 경우입니다 몇 개의 측정 값이 있는지 알고 있습니다 신뢰할 수 있고 몇 개가 아닌지 알고 있습니다 실험 설계가 잘못되었거나 윤리적 또는 기타 법적 고려 사항이있는 상황 추론에 일부 데이터 포인트를 사용하지 마십시오

그래서 몇 가지를 드리겠습니다 보여주는 동기 부여 예제 데이터에 치우침이 있으면 무엇이 잘못 될 수 있습니다 첫 번째는 50 년대 이후 계량 경제학에서 잘 논의 된 질문, 관련이 있습니다 사람들의 소득에 대한 IQ 교육 및 교육 50 년대와 60 년대의 몇몇 작품들은 데이터를 수집하여이 모델과 당신이 생각하는 것이 옳은 일을했습니다 그래서 그들은 수입이있는 가족을 조사했습니다 빈곤 수준의 15 배입니다

공변량이 IQ에 해당하는 데이터를 수집했습니다 훈련, 교육 및 개인의 다른 많은 기능, 예를 들어, 노동 조합에 속하는 등 반응 변수는 그 개인과 그들은 모델을 맞추려고 노력했습니다 특히 그들은 선형 모델을 데이터에 맞추려고 노력했습니다 중요한 것으로 보이는 문제는 임계 값입니다 소득이있는 가족에게 데이터 수집 실제로 임계 값 아래의 한 지점입니다

편견을 도입하다 수입과 수입에 중요하다고 생각되는 기능 특히 나중의 결과는 예를 들어 교육 이외에도 직업 훈련과 IQ는 실제로 이전 작업이 발견 된 수입 대부분 교육은 수입에 중요합니다 괜찮아 따라서 고려하지 않은 이전 작업 임계 값이 잘못된 결론을 내렸다 수입에 중요한 것이 무엇인지 문제를 더 본질적으로 느끼기 위해 여기 다른 예가 있습니다 IQ 대 소득 대신에 높이의 중요성을 이해하려고 노력한다고 상상해보십시오 좋은 농구 선수이고 나는 게으르다 전체 인구를 조사하는 대신 내 데이터 수집 물론 어렵습니다 대신 NBA 데이터를 다운로드하기로 결정했습니다

그래서 가능합니다 NBA 데이터에 모델을 맞추려고하면 높이가 실제로는 농구 경기와 중립적이거나 심지어 부정적인 상관 관계가 있습니다 그러나 그 잘못된 결론 내가 게으르고 사실에서 온 NBA 데이터를 전체 인구 조사에 반대 내가 갖고 싶은 정신적 그림 내가 슬라이드를 진행하는 동안 이것입니다; 예를 들어, 바닐라 선형 회귀에서 우리는 세상이 선 주위의 섭동이라고 가정합니다 그러나 데이터를 가져 와서 임계 값을 설정하면 이것이 Y의 농구 성과이고 X의 높이라고 말하십시오 세계가 선형 일 수 있습니다 선의 섭동

하지만 내가 가고 상상 특히 NBA 데이터를 다운로드하여 나는 오직 임계 값을 초과하는 농구 성능이 우수합니다 이제 해당 데이터를 한 줄에 맞추려고하면 이 라인은 훨씬 더 그럴듯 해 보인다 이 데이터 세트에 대해이 행보다 >> XY 높이입니다 내가 X_i와 독립적입니까? 이것이 추가 노이즈인지 생각합니까? >> 말해봐 그러나 이것은 단지 예일뿐입니다 그러나 우리의 표준은 최소 제곱 회귀 분석은 반응 변수가있는 세계 Theta에 X를 곱한 값에 가우스 잡음과 같은 제로 평균 잡음이 있습니다

>> 그것이 일어나면 안됩니다 당신이 선택한 한 추가 소음 X는 패턴에 관계없이 패턴과 무관합니다 기다리십시오 그러나 Y를 통해 데이터를 선택해야합니다 >>이 상수를 통과하려면 평균 높이 이것으로 구성 그는 이것을 Y와 함께 사용하고 있습니다

그러나 그는 당신에게 X를 알려줍니다 그것을 선택하면 Y를 찾을 수 있습니다 >> 네 그래서 당신은 내가 경우 어떻게 될지 묻는거야 X 변수를 기준으로 자르시겠습니까? >> 네 >> 다음 슬라이드에서 예를 들어 보겠습니다 여기서 나는 Y 잘림에 대해 이야기하고 있습니다 X 잘림도 있습니다

그것은 또한 중요한 문제입니다 나는 잠시 후에 그것에 도달 할 것이다 그러나 Y 잘림에 관한 한 우리는 내가 길을 믿는다는 것을 여기서 본다 내가 믿는 라인 턴은 이 데이터 포인트가 없어야하기 때문입니다 이것은 짧은 사람입니다 소음 때문에 좋은 농구 선수

그래서 그는 그것을 NBA로 만들고 짧은 남자는 좋은 농구 선수라고 믿습니다 그러나 그것은 소음의 결과였습니다 그 사람이 내 데이터 세트에 들어가도록 만들었습니다 X 잘림으로 와서 잘 논의 된 현상이 관찰 됨 최근에 성별 분류기를 사용하면 훈련 된 성별 분류기 인터넷 데이터는 성별 예측에 정말 좋습니다 기본적으로 가벼운 피부 톤의 사람들, 그들은 매우 나쁠 수 있습니다 데이터 세트에별로 표현되지 않은 사람들에게 특히 Microsoft의 여러 성별 분류기, 페이스 북 등은 정말 나빴어요 또는 암흑과 여성의 성별 예측에서 꽤 나쁘다

왜 이런 일이 발생했는지에 대한 설명은 인터넷 데이터는 훨씬 남성이며 코카서스 사람, 더 가벼우 며 피부색이 강한 사람들과 이런 이유로 데이터 세트를 켤 때 다른 사람들에게 덜주의하십시오 당신이 가서 테스트 할 때 특정 하위 인구의 성별 분류기 당신은 실제로 그것을 미리 얻을 수 있습니다 그것은 당신이 일부 잘림이있는 예입니다 X 공변량 일부 하위 인구에 충분히주의를 기울이지 않도록합니다 내가하고 싶은 것은보고 싶어 잘린 통계의 아이디어를 사용하는 방법 이런 종류의 편견이 예측에 들어 가지 못하도록 싸워라 바이어스 데이터 세트를 학습 할 때 일부 모델의 맛을 내고 싶습니다 여러 공동 작업자와 함께 한 작업입니다 나는 세 가지 문제를 중심으로 할 것입니다

절단 및 Y 변수와 관련이 있으며 X 변수의 또 다른 잘림 그리고 세번째는 감독되지 않은 학습 환경 1 번 문제는 다음 시나리오를 고려하십시오 상황을 포착해야합니다 IQ 대 수입 및 키 대 농구 성능 공장이 내 교육 데이터를 생성하는 것은 다음 데이터 팩토리입니다 >> 성별 분류 예에 대해 질문 할 수 있습니까? >> 네 >> 그래서 가능합니다 주요 문제는 잘리지 않는다는 것입니다

테스트 데이터 세트 일 수도 있기 때문입니다 당신이하고있는 시점까지, 이것은 잘하고 있습니다 훈련과 아마도 훈련 그리고 둘 다 일부 수업에서 대표가 부족합니다 >> 클래스 조건 레이어가 아닙니다 >> 네 훈련 데이터가 세트는 테스트 데이터 세트를 나타냅니다

그럼 잘하고 있어요 예측자를 편향시키는 잘림이 없습니다 >> 아니요 손실 기능에 포함되지 않음을 의미합니다 공정성의 측면 작은 인구도 잘 대표되어야합니다 >> 네, 잘림 문제가 아닙니다

그래 자르기와 관련된 첫 번째 문제는 y 축은 훈련 세트를 가정합니다 다음 데이터 팩토리에서 생성됩니다 먼저, 기본 x의 모집단에서 x를 샘플링합니다 그러면 x마다 응답이 계산됩니다 응답은 파라 메트릭 기능과 노이즈입니다

노이즈는 모수 분포에서 나올 수도 있습니다 이 시점까지 이것은 고전 감독입니다 IID 데이터가있는 학습 상황 교육 분포는 테스트 배포 및 수명이 좋습니다 여기서 다른 점은 당신이 볼 때 y와 너 훈련 세트에 포함할지 여부를 결정합니다 그래서 당신은 y를 봅니다

예를 들어 이 남자가 좋은 농구 선수인지 아닌지 그가 좋은 농구 선수라면 당신은 그를 NBA 데이터에 넣었습니다 그렇지 않으면 해당 샘플을 휴지통에 버립니다 이 시나리오에서는이 잘림 Phi를 알고 있다고 가정합니다 그리고 확률적일 수 있습니다 내가 모르는 것은 D를 모른다는 것입니다

인간을 샘플링하는 기본 분포 나는 인간과 관련된 메커니즘을 모른다 좋은 농구 선수를 보유하고 나는 소음 모델을 모른다 그러나 나는 파이 때문에 알고 있습니다 어떤 의미에서는 제어합니다 그래서 다운로드를 선택했습니다 NBA 데이터 또는 IQ vs 적립 예 나는 가서 집중하기로 결정했다 그 특정 이웃과 내 설문 조사를 수행합니다 모델이 캡처되는지 확인하려면 잘린 선형 회귀 시나리오 이 경우 모델이 정렬됩니다

소음은 가우시안입니다 내 잘림은 결정적입니다 숨기는 임계 값입니다 y가 특정 임계 값 미만인 데이터 이 공장에서 생산 한 훈련 데이터에 대한 목표는 목표는 기본 태아를 회복하는 것입니다 메커니즘을 결정하는 기본 매개 변수 Gouleakis에 대한 결과는 Tzamos, Zampetakis 및 Rao와 함께 Ilyas가 여기에있었습니다 Rao, Ilyas 및 Zampetakis는 두 종류입니다

따라서 일반적인 프레임 워크입니다 이러한 종류의 시나리오에서 모델을 학습합니다 또한 이것은 일반적인 SGD 기반 프레임 워크입니다 GPU로 배송하여 Thetas를 복구 할 수 있습니다 이제 일반적인 프레임 워크는 잘린 선형 회귀 또는 잘린 프로 빗 또는 로지스틱 회귀 설정 그것은 당신에게 완벽한 보증을 제공합니다 기본 매개 변수의 복구에 대해

따라서 둘 중 하나에 사용할 수있는 프레임 워크입니다 엔드 투 엔드 보증을받을 수있는 올바르게 작동하는 설정, 또는 임의의 설정에서 사용할 수 있습니다 SGD 기반 프레임 워크이지만 실행할 수 있습니다 물론 여기 신경망이 있다면 당신은 엔드-투-엔드 보증을 잃을 것입니다 하지만 최소한 알고리즘을 실행할 수 있습니다 결과를 이전 작업과 비교하십시오 계량 경제학 통계에는 잘린 또는 검열 된 회귀에 대한 통계 선형 또는 프로 빗 및 로지스틱

이 작업의 기술 병목 현상은 두 가지입니다 이 기술적 인 문제는 높은 치수 설정에서 발생합니다 첫 번째는 알고리즘입니다 사용자가 비효율적이며 중요한 것은 수렴 률 이 방법은 차원에 나쁜 의존성을 가지고 있습니다 당신은 루트 n 요금보다 이것을 얻을 최대한의 가능성을 기대하고 그러나 비율의 의존성 차원이 잘 이해되지 않았습니다 우리가 얻는 것은 최적의 요금을 얻는 것입니다

즉, 잘리지 않은 회귀와 동일한 비율입니다 효율적인 알고리즘을 얻습니다 우리는 임의의 절단 세트를 허용합니다 임계 값일 필요는 없습니다 기본적으로 측정 가능한 세트가 될 수 있습니다

>> 임계 값 기능에 대한 의존성은 무엇입니까? 잘림 기능에? 뭔가가 필요합니다 >> 선택 기능은 Phi 기능은 측정 가능한 기능이 될 수 있습니다 이 요금을 받으려면 두 가지가 필요합니다 하나는 표준입니다 선형 회귀가 필요합니다 경험적 공분산 행렬 소비세의 최소값에는 하한값이 있습니다

이것이 선형 회귀에 필요한 표준입니다 잘린 회귀에 필요한 추가 가정은 임계 값은 기본적으로 데이터를 삭제하지 않습니다 평균 사이처럼 일정하지 않은 확률 임계 값에 의해 제거됩니다 1 % 정도만 있다면 훈련 세트로 만들 확률이 평균입니다 이 보증을받습니다 그래서 나는 개괄적 인 기법을 설명하고 싶었습니다

이들은 일종의 대표입니다 네 >> 그래서 당신은 가정 여기서 무엇을위한 행동이 잘 릴까요? 당신은 여기에 n을 받고 있기 때문에 >> N은 숫자입니다 >> 잘 렸습니다

>> N은 성공적인 데이터 포인트 수입니다 그 동네에서 몇 명이 조사를했는지 >> 그러나 그것은 유일하게 들리지 않는 것 같습니다 결과는 소스 또는 이 Epsilon에 대한 의존성 >> Epsilon은 무엇입니까? >> 미안 그들은 단지 분수의 확률입니다 평균 데이터 포인트 일 확률 >> 네 우리는 추정하다 상수이며 표기 순서대로되어 있습니다 네

모든 데이터 포인트에 1 % 확률 관찰 창으로 만들고 충분하면 약한 조건을 얻을 수 있습니다 그러나 각 사이에는 훈련 세트로 만들 확률이 높습니다 >> 그것은 당신이 y를보기 전과 같은 상태를 의미합니다 만드는 기회가 있습니까? >> 맞습니다 네

여기이 그림을 보면 내 임계 값이 여기 있다고 나는 모든 x가 그것을 만들 확률이 높기를 원합니다 예를 들어, 여기에서 1 % 확률로 만들 수 있습니다 모든 x에는 필요하지 않지만 평균 x에는 필요합니다 >> Phi는 실제로 그 부분을 잘라낼 수 없습니다 미친 기능이 아닙니다

사용중인 임계 값 기능입니다 >> 내가 말했듯이, 그것은 측정 가능한 기능 일 수는 있지만, >> 무조건 작동하는이 속성이 있어야합니다 >> 네 >> 그러나 유효한 절단 기능은 예를 들어 가운데 행의 모든 ​​점을 제거하십시오 >> 맞습니다 수입이 줄어드는 동네를보십시오

이제 저는 보통 인간이 필요합니다 그 동네에 살 확률이 적당합니다 권리 기술에 대해 알아 보겠습니다 이 작업 라인에서 무슨 일이 일어나고 있는지를 나타냅니다 훈련 세트 제작 방식에 대한이 모델이 있습니다 최대한의 가능성을 원합니다 훈련 세트의 밀도가 얼마인지 묻고 싶습니다

훈련 세트의 밀도는 xy입니다 밀도는 여기서 샘플링해야하는 것과 같습니다 이제 관심을 제한하겠습니다 매우 기본적인 선형 회귀 모델로 선이 있습니다 가우스 법선 01이 있습니다 훈련 세트의 밀도는이 밀도입니다 가우스 밀도 곱하기 y가 잘리지 않을 확률

이 밀도를 어렵게 만드는 것은 표준화해야한다는 것입니다 정규화 z가 있습니다 파티션 기능도 있습니다 그러나 내 훈련 세트의 밀도는 이 세 가지 구성 요소와 정규화 기능 내가하고 싶은 것은하고 싶다 이 모형에서 모집단 로그 우도

이 매우 간단한 설정에서 복구하려면 세타 만 복구하고 싶습니다 따라서 로그 우도, 모집단 로그 우도는 진정한 모델 세타 스타에 대한 기대 대수의 진정한 세타 별을 가진이 밀도, 이 사람들은 파티션 함수의 로그를 뺀 것입니다 이제 파티션 기능은 세타에 따라 다릅니다 여기 스타 세타에 따라 다릅니다 자, 명백한 문제는 먼저 여기에 가능성을 우리는 D를 모른다

우리는 분포 D를 모른다 하지만 그렇게해도 우리는 계산해야 할 것입니다 이 파티션 기능은 어렵고 어렵습니다 그러나 여기서 구원의 은총은 비록 당신이 가능성을 계산할 수없고 그래디언트를 계산할 수 없습니다 여전히 확률 적 그라디언트를 얻을 수 있습니다 여전히 임의의 변수를 얻을 수 있습니다 그의 기대는 이 기능은 필요없이 D를 알고 파티션 기능을 계산하지 않아도됩니다

특히, 그래디언트가 이 인구 로그 가능성 함수 ~의 차이가되다 두 가지 기대와 정확히 같은 평등입니다 그리고보기가 어렵지 않습니다 이 로그 우도의 기울기 두 가지 기대치의 차이입니다 한 가지 기대는 이 표현의 진정한 모델, 세타 스타 다른 기대는 그래디언트를 계산하려고하는 세타

특히 그라디언트의 권한을 얻으려면 그래도 그라디언트는 내가 모르는 사람을 제거합니다 이 남자의 그래디언트는 저에게이 용어를줍니다 주장은 어렵지 않습니다 세타에 대한이 사람의 기울기가 z는 세타에 의존하고 이 기대입니다 보기 어렵지 않고 매우 그라디언트의 표준 파티션 함수는 예상입니다

특히 모든 것은 두 가지 기대치의 차이입니다 한 가지 기대는 실제 모델의 샘플에 대한이 변수 그리고 다른 기대는 동일한 기능이지만 샘플에서 특정 세타에 대한 모델 그라디언트를 계산하는 곳 그래 확률 론적 경사 하강을하고 싶습니다 이 관찰을 사용합니다 >>이 기차는 이것은 진정한 [들리지 않음]에서 온다 [들리지 않는] 세타 열차는 xy 부모의 분포 이렇게 내림차순 실제로 d의 x를 사용해야합니다

>> 아니요, 실제 샘플이 있습니까? 그래서 나는 중 하나를 선택할 수 있습니다 내 훈련 샘플은 이미이 모델의 샘플입니다 그러나 p 세타 열차는 세타 스타의 기능입니다 옳은 나는 그것이 진실이라고 본다 괜찮아

죄송합니다 이것이 진실입니다 이것이 가짜와 나는 그 가짜를 시뮬레이션해야합니다 그래 이 다른 용어를 얻으려면 네

>> 그러나이 시뮬레이션은 성공적이어야합니다 잘리지 않는 잘림 때문에 그래서 나는 매우 조심해야 확률 적 그라디언트 하강을하고 있습니다 세타 스타와 아주 멀리 떨어져있는 세타에 가면 모든 것이 가능합니다 거부 샘플링을 수행하여이 모델을 시뮬레이션하겠습니다 다음을 선택하고 실행하겠습니다

내 모델을 통해 그런 다음 성공적으로 볼 수 있습니다 관찰 창으로 만듭니다 해당 프로세스가 계속해서 실패하면 해당 샘플을 시뮬레이션 할 수 없습니다 그래서 나는 더 나은 확인 내 확률 적 그라디언트가 우주에서 너무 멀리 방황하지 않고 거부 샘플링이 성공합니다 필요한 또 다른 것은 볼록성이 강해야한다는 것입니다 가능성을 작게하면 나는 또한 내가 주장 할 수 있습니다 매개 변수 거리에서 배웠습니다 우연의 가치 만이 아닙니다 이런 종류의 종합적인 결과를 얻는 데 필요한 구성 요소 하지만 거기에 신경망이 있다면 당신은 항상 할 수 있습니다 에 의해 확률 적 하강 하강 이 매우 간단한 아이디어를 활용하십시오

이 결과를 건너 뛰고 NBA 데이터 예제를 보여 드리겠습니다 2000 년 이후의 NBA 데이터입니다 이것은 농구 선수의 키입니다 2 미터 정도 가우시안이 정말 좋습니다 이들은이 플레이어가 득점 한 게임당 점수입니다

이 데이터에 대해 선형 회귀를 수행하면 나는 그것이 옳은 일이라고 주장하지 않습니다 그러나 만약 당신이 선형 회귀를한다면 게임당 포인트 수를 높이기 위해 이 감소하는 음의 경사 곡선을 얻습니다 여기 제가 할 멋진 테스트가 있습니다 따라서이 데이터를 더자를 것입니다 그래서 나는 선수를 볼 것입니다 게임당 최소 8 점을 얻습니다

이 데이터입니다 자 이제 절단에서 잘립니다 그래서 내가 순진하고 선을 맞추려고하면이 선을 얻습니다 내가 한 사실을 고려하지 않으면 게임당 8 점 이상 잘림 양의 경사 곡선을 얻습니다 최소 제곱 법을 사용하면 그러나 내가 고려하면 8 점에서 잘렸다는 사실은 부정적으로 줄을 바꾸겠다

이것은 생각의 이점입니다 사실에 대해 데이터에서 이미 일부 잘림이 발생했습니다 이것은 확실히 당신이 할 줄이 아닙니다 이것이 데이터 세트라고 생각하면 적합합니다 하지만이 데이터 세트가 다른 데이터 세트를 잘라서 생성 한 이 라인은 이제 의미가 있습니다 이것이 최대 가능성입니다 시간이 얼마 남지 않았습니다 하지만 다른 유형의 잘림 통계에 대해 설명하겠습니다

성별 예측 이야기에 더 잘 맞는 문제 1 분 남았 어? >> 네 >> 내 타이머에 따르면 이 설정에서 내가하고있는 일은 세계가 다음과 같이 생산된다고 가정하십시오 기본 분포 D가 있습니다 이미지와 라벨을 샘플링합니다 그러나 알려지지 않은 메커니즘이 이미지를보고 결정합니다

포함 여부 내 훈련 세트에서 그 이미지와 레이블 특히, 예를 들어 나에게 알려지지 않은이 파이가 경주를보고 피부톤 등 그 사람의 결정에 따라 인터넷에 해당 이미지를 게시할지 여부 훈련을 위해 나에게 줘 이와 같은 필터 데이터가 주어지면 그리고 그것은 우리가 가정하는 여분의 것입니다 내가 관심있는 테스트 인 큰 테스트 세트가 주어졌다 편견이있는 훈련 세트가 있습니다

또한 바이어스되지 않은 테스트 세트가 있습니다 그러나 테스트 세트에는 모든 종류의 사람들의 이미지가 있습니다 이들은 실제로 라벨링에 관심이있는 이미지입니다 편향되고 레이블이 지정된 데이터 세트를 제공한다고 생각합니다 그리고 편견이 있지만 레이블이없는 테스트 세트를 제공하고 있습니다

내가하고 싶은 것은 하는 성별 분류기 편견없는 분포에서 >> [들리지 않음]이 경우 왜 중요하지 않아야 하는가 [알아들을 수 없는]? >> 당신은 일종의 중요한 [들리지 않음]을해야합니다 문제는 이제 기준을 모른다는 것입니다 적의 결정에 따라 데이터 세트에 이미지를 포함할지 여부 이 경우 당신은 필터링을 모른다 >> 가정이 [들리지 않음]? >> 절차 가정은 당신이 주어진다는 것입니다 레이블이 지정되고 편향된 데이터 세트, 레이블이 지정되지 않은 및 바이어스되지 않은 테스트 세트 그래서 당신은 배워야합니다 이 필터링 절차를 기반으로하여 그 가능성을 바탕으로 우리가 제안하는 최대 가능성 설정은 그리고 그것은 몇 가지 대안입니다 다른 도메인 적응 접근법

여기에 한 가지 예가 있습니다 그와 함께 마무리하겠습니다 여기에서 우리는 다음 실험을했습니다 이미지도 찍었고 아주 좋은 성별 분류기 성별 분류 기가 실패한 이미지를 살펴 보았습니다 이것들은 하드 메일 이미지입니다

그래서 이것은 정말 좋은 성별 분류 기가 실패하는 곳입니다 성공적인 남성 이미지입니다 이것들은 실패한 딱딱한 여성 이미지입니다 이것들은 실패하지 않는 쉬운 여성 이미지입니다 그래서 우리는 아주 좋은 성별 분류기를 사용했습니다

우리는 그것이 실패한 곳을 살펴 보았습니다 그리고 실패하지 않는 곳 우리는 주로 데이터 세트를 만들었습니다 하드 이미지를 포함하고 쉬운 이미지가 거의 없습니다 우리는 이것을 성별 분류기로 설정 한 훈련으로 제공합니다

이제 순진한 경우 해당 바이어스 데이터 세트를 학습하면 남성과 여성의 역할이 천천히, 반대로 바뀌어 당신은 무작위 추측에서 시작 천천히 악화되고 편향되지 않은 데이터 세트가 더 나쁩니다 뒤집힌 세계를 배우기 때문입니다 절단이 가능하다는 점을 고려하면 [들리지 않음]에서 복구 할 수 있습니다 그래서 이것은 제가 말하고 싶은 또 다른 것입니다 밀도를 배우는 비지도 학습 문제

>> 이것을 가지고 죄송합니다 따라서 이것은 편향되지 않은 데이터 세트에서 정확성의 가능성입니다 >> 맞습니다 예 >> 당신은 여전히 ​​[들리지 않음]에 비해 매우 나쁜 일을하고 있습니다

[들리지 않음]에서 55 %가 정확합니다 >> 네 우리는 천천히 개선되고 있습니다 >> 어쩌면 당신은 그것을 얻을 수 있습니다 >> 아직 포화되지 않았습니다 예

결과가 있습니다 비지도 학습, 학습 밀도 다시, 우리가 얻는 것은 학습을위한 최적의 요금 함수로서의 가우시안 및 지수 패밀리 데이터의 차원 그러나 요약하자면, 학습자가 제가 제시 한 사례를 연구하면서 센서 사용 방법 더 이상 사용되지 않는 통계로 들어가는 편견 제거 트레이닝 세트가 대표적이지 않기 때문에 알고리즘의 조건 앞으로 만날 것입니다 강건한 것을 배울 수있는 방법 사실 데이터 세트를 얻는 방법에 대한 선택 편견? 우리는 다시 신경망에 작동하는 일반적인 프레임 워크를 가지고 있습니다 SCD를 기반으로합니다 그러나 엔드-투-엔드 보증을 받으려면 통계에서 몇 가지 오래된 문제에 대한 정보를 제공 할 수 있습니다

특히, 잘린 선형 회귀 프로 빗 물류 및 가우시안 학습은 가우시안을 잘랐습니다 그게 다야 고맙습니다 >> 알겠습니다 암시? 슬라이드로 돌아갈 수 있습니까 당신은 Y에 의해 잘린 농구를 어디에? >> [들리지 않음] 그림이 기억납니다 네

>> 우리가 전에 본 훨씬 간단한 알고리즘이 있기 때문입니다 >> 네 어느 것입니까? >> [들리지 않음] >> 잘린 선형 회귀는 오래된 문제입니다 해결되지 않은 통계에서 >> [들리지 않음]은 엡실론이 대칭이라는 것입니다

그리고 나는 반영하고 싶습니다 당신의 걱정되는 추정치보다 낮은 점수 >> 작동하지 않습니다 왜냐하면 그들 모두를 반영 할 수는 없습니다 당신은 어디에 선을 모른다 >> 아니요 모두 반영하지 마십시오

>> 당신이 줄을 알고 있다면 >> [들리지 않음] 반영 간단 해 >> 라인이 어디에 있는지 알고 있다면 작동합니다 그러나 당신은 선이 어디에 있는지 모른다 >> 아니오, [들리지 않음]

>> 우리는 좋은가요? >> 알겠습니다 다음 단계는 스탠포드의 Tengyu Ma가 있습니다 >> 내 말 들려? 이 작동합니까? 괜찮아 그래서 얘기 할게요 초기의 큰 학습률의 정규화 효과에 대해 Yuanzhi Li와의 공동 작업입니다 누가 스탠포드에 아직 기술적으로 있다고 생각하지만 그는 직업을 위해 CMU에갑니다 스탠포드의 학생 인 콜린 웨이 저는 Tengyu Ma입니다

정규화에 대해 이야기하겠습니다 그러나 원래 동기 이 프로젝트의 가장 빠른 알고리즘에 관한 것입니다 2 년 전에는 1 년 동안 Facebook에 가입하기로 결정했습니다 나는 내가 원하는 것을 생각하고 있었다 딥 러닝을 위해 경험적으로 더 빠른 알고리즘을 설계하십시오 아마 3 년 전에 우리는 [들리지 않음]과 다른 많은 협력자들과 이론적으로 다른 것을 원했다 볼록하지 않은 문제에 대한 빠른 알고리즘

나는 깊은 모델을 위해 이것들 중 일부를 시도해야한다고 생각하고있었습니다 그런 다음 조금 시도했지만 작동하지 않았습니다 그리고 나는 우리 모두가 흥미롭게도 더 빠른 훈련을 원한다면 그렇게 어렵지 않습니다 그래서 당신이해야 할 일은 사용하는 것입니다 학습률이 낮고 매우 쉽습니다 따라서 이것은 더 빠른 훈련을 제공합니다

그러나 테스트 정확도는 그렇지 않을 것입니다 큰 학습 속도만큼이나 좋습니다 여기 2 년 전에 제가 만든 음모가 있습니다 형식을 변경할 수 없어서 더 이상 Facebook 클러스터에 액세스 할 수 있습니다 이것을 전달하겠습니다

주황색은 훈련이고 초기 학습 속도가 001 인 알고리즘의 테스트 이 경우 001은 작은 것으로 간주됩니다 녹색은 초기 연간 비율이 01 인 알고리즘의 곡선 이것은 큰 학습률로 간주됩니다

훈련 측면에서 볼 수 있습니다 점선은 훈련 곡선이고 훈련 성과는 많이 작은 학습률 하나에 더 좋습니다 그러나 주황색 테스트 성능이 시작될 때 학습률이 낮을수록 좋습니다 수렴 후 하루가 끝나면 어떻게 든 녹색이 주황색을 이깁니다 더 오래 실행하면 당신은 주황색이 따라 올 수 있다는 것을 결코 보지 못합니다 어떻게 든 본질적으로 큰 학습률로 여기에 무슨 일이 일어나고 있습니다

큰 학습 속도는 우리가 하루가 끝나면 규칙적으로 우리는 더 나은 테스트 정확도를 가지고 있습니다 따라서 테스트 정확도를 얼마나 빠르게 수렴하는지에 대한 것이 아닙니다 이것은 실제로 최종 정확도에 관한 것입니다 학습률이 높을수록 훨씬 좋습니다 학습 속도가 작은 것보다 조금 낫습니다

여기에는 1 % 만 개선되었습니다 다른 쪽의 데이터와 설정에 따라 다릅니다 여기서 개선은 단지 1 %에 불과합니다 우리는 모든 데이터를 사용하고 있기 때문에 아키텍처 및 정규화와 같은 따라서 많은 개선을 기대할 수는 없습니다 그러나 예를 들어 논증이 없다면 격차가 매우 크다는 것을 알 수 있습니다

어떤 의미에서 우리가 볼 수 있기 때문에 이것은 정말 좋은 알고리즘이 정규화 될 수 있기 때문에 새로운 현상이 발생합니다 [들리지 않음]에 대해 이야기 한 것 같습니다 그것과 많은 다른 사람들에 대해 이야기했다 정규화 효과 알고리즘 정말 신나 네요 새로운 연구 방향이 많이 열립니다 그러나 반면에 걱정은 적어도 병목 현상은 우리는 정규화 효과를 이해하지 못한다 알고리즘의 최적화 알고리즘으로 디자인하는 방법을 모릅니다

더 빠르게 실행되는 더 나은 최적화 알고리즘을 찾을 수 있습니다 하지만 정규화를 이해하지 못하면 결과는 내가 그것을 실행하는 것입니다 실제 데이터 세트와 일반화는 좋지 않습니다 레온과 얘기 했어요 페이스 북의 어느 시점에서 이것에 대해 레온이 말 했어요 실제로 그들은 아마도 20 년 전에 이것을 시도했고 2 차 알고리즘이 더 빠르게 변경 될 수 있음을 발견했습니다 그러나 일반화는 크지 않습니다 아마 이것은 아마도 많은 논문들이보고 한 것처럼 나 자신에 의해 만들어졌습니다

나는 그 신문을 읽는 데 시간이 오래 걸렸다 그래서 내가 스스로를 발견했습니다 그러나 실제로 그들은이 효과를 훨씬 더 일찍보고합니다 그래서 우리의 주요 질문 이 대화에서 부분적으로 답변을 시도 할 수 있습니다 초기 학습 속도가 큰 이유가 일반화에 도움이되는 이유 이걸 이해하면 향후 최적화를 통해 설계 할 수 있습니다

생각해 보면 그렇게 간단하지 않습니다 중요한 것은 여기에 초기 학습 속도가 어떻게 든 있습니다 초기 학습 속도가 달라지기 때문에 이 분석은 다소 역사에 민감해야합니다 따라서 알고리즘 분석은 알고리즘의 시작 단계에서 일어나는 일에 대해 이것은 찾기가 쉽지 않다는 것을 의미합니다 이러한 현상을 볼 수있는 간단한 설정입니다

예를 들어 선형 모델로 작업하는 경우 선형 모델은 우리는 거의 확실하다고 생각합니다 선형 모델에는이 속성이 없습니다 우선, 정규화를 사용하면 이는 볼록한 문제입니다 따라서 어떤 알고리즘을 사용했는지는 중요하지 않습니다 따라서 정규화 효과가 없습니다 정규화가 없으면 사용중인 법률에 따라 물류 법을 사용한다면 그의 곡선 대 논문이 그것의 반복이 전통에 의존하지 않았다는 것을 보여주었습니다

최종 학습률에만 의존합니다 대략 제곱 법이 법칙이라면 나는 같은 일이 일어난다 고 생각합니다 여기 모든 것이 볼록하기 때문에 우리는 반복을 이해하고 매우 확신합니다 그런 현상이 없다고 초기 학습 속도에 대해 종종 최종 학습 속도가 중요합니다 때로는 초기화가 약간 중요합니다 초기화하는 경우 데이터에 대한 직교 부분 공간 거기서 아무것도 바꾸지 않을 것입니다

그래서 초기화가 약간 중요합니다 또한이 문제를 연구하기위한 또 다른 어려움은 당신은 단지 할 수 없습니다 같은 이유로 제한 행동에 대해 이야기하고 중요한 것은 끝이 아니기 때문에 그래서 당신은 어떤 학습 속도를 사용합니다 따라서 우리는 T를 무한대로 취할 수 없으며 확률 론적 과정의 제한적인 행동 연구 NTK도 여기서 실제로 도움이되지 않습니다 NTK가 꽤 많기 때문에 커널 공간에서 볼록 최적화 된 선형 모델 첫 번째 범주에 속합니다

우리가 여기서하는 일은 장난감 데이터 배포 이 장난감 데이터 배포를위한 두 개의 신경망의 경우 우리는 실제로이 현상을 보여줍니다 발생하는 이유는 SGD는 다양한 패턴을 배웁니다 학습 속도 일정이 다른 여러 가지 순서로 따라서 선형 요율표가 중요한 것은 다른 순서로 다른 패턴을 배우고 다른 것들이 다르기 때문에 우리는이 결과를 볼 수 있습니다 마지막에 다른 일반화 성능 우리가 말하는 패턴의 유형은 무엇입니까? 우선, 나는 단지 생각 할거야 이론적으로 이것을 분석 할 수있는 데이터 분포 하지만 처음에는 더 큰 그림을 드리겠습니다 우리가 이미 어떤 종류의 건축을하려고하는지 우리는 두 가지 패턴을 만들 것입니다 첫 번째 단계 패턴은 우리는 일반화하기는 쉽지만 맞추기 쉬운 패턴이라고 부릅니다 예를 들어이 설정에서 선형으로 분류 가능한 패턴으로 생각할 수 있습니다

따라서 선형 모델 만 필요하므로 적합합니다 이러한 데이터에 적합한 매우 간단한 아키텍처 하지만 같은 치수 번호가 필요합니다 일반화 할 데이터 포인트 이것이 우리가 일반화하기 쉽지만 맞추기 쉬운 것입니다 다른 유형의 패턴 비교는 일반화하기 쉽고 적합하지 않은 패턴입니다 우리는이 구체적인 예제를 여러분이있는 곳에서 사용할 것입니다 예를 들어 클러스터 데이터입니다

제가 말했듯이 데이터 포인트는 세 그룹으로 묶여 있습니다 이 세 그룹이 배웁니다 이것들은 긍정적 인 예이며 중간에 있습니다 부정적인 예가 있습니다 이 경우 분리 할 선형 구분 기호를 사용할 수 없습니다 세 군집이 동맹하기 때문에 선형 분류 기가 없습니다

그래서 우리는 당신이 필요하기 때문에 맞추기가 어렵다고 말합니다 그러한 데이터에 적합하도록 적어도 2 계층 네트워크 그러나 그것들은 매우 밀집되어 있기 때문에 실제로 일반화는 쉽습니다 2 계층 네트워크가 필요하더라도 당신이해야 할 유일한 것은 세 가지 요점을 거의 암기하기 위해 클러스터의 세 중심 기본적으로 세 가지 예를 보면 완벽하게 일반화 할 수 있습니다

따라서 복잡한 모델이지만 일반화 할 샘플은 거의 없습니다 이것들은 우리가 이야기 할 두 가지 유형의 패턴입니다 우리는 학습 순서를 보여줄 것입니다 그런 문제에 분포는 다른 유형의 패턴을 가지고 있습니다 그래서 여기에 방법이 있습니다 패턴이 혼합 된 장난감 분포를 구성합니까? 따라서 데이터 포인트에는 좌표의 두 가지 하위 집합이 있습니다 좌표의 첫 번째 부분 집합을 x1이라고합니다

차원이 d이고 좌표의 두 번째 하위 집합도 치수입니다 디 우리는 세 가지 유형의 예제를 구성 할 것입니다 이 데이터 세트는 이기종입니다 따라서 첫 번째 유형의 예제는 질량의 20 %입니다 이 예제의 20 %는 x1, 0 형식입니다

두 번째 특허는 존재하고 우리는 첫 번째 패턴 만 가지고 상기 제 1 패턴은 상기 제 1 패턴으로부터 생성되며, 선형 적으로 분류 가능한 패턴 타입 2 예제는 또한 질량의 20 %를가집니다 그들은 첫 번째 패턴이 없을 것입니다 첫 번째 좌표 세트에서 그리고 두 번째 좌표 세트는 후반 패턴 클러스터링되었지만 선형으로 분리 할 수없는 패턴 세 번째 유형의 예 나머지는 두 가지 패턴이 있습니다 그래서 우리가 걱정하는 이유 이 이기종 데이터 세트를 사용하면 학습 순서가 차이를 만드는 것을 볼 수 있습니다 두 알고리즘을 비교해 보겠습니다

첫 번째 알고리즘은 첫 번째 유형의 먼저 패턴을 만든 다음 두 번째 패턴을 배웁니다 기본적으로 먼저 패턴 1을 배우고 패턴 1을 어떻게 배우나요? 기본적으로 1 번 예제를 입력하고 3 예제는 x1을 모두 가지고 있습니다 패턴 1을 배우기 위해 모두 사용할 수 있습니다 질문? >> 패턴 1은 선형으로 만 분류 할 수 있어야합니다 또는 클러스터가 잘 구성되지 않은 고 분산을 원하십니까? >> 타입 I의 경우, 우리는 그것들이 높은 분산을 원합니다

정확한 구성에 대해 이야기하겠습니다 기본적으로이 두 가지를 절반 가우시안으로 최소한 일반화 할 샘플 수를 요구합니다 >> X와 원의 의미는 무엇입니까? >> X는 양수 샘플입니다 원은 음성 샘플입니다 >> X1에도 라벨이 포함되어 있습니까? [들리지 않음]과 함께 제공되는 [들리지 않음] 외부 레이블

>> 네 이와 관련된 레이블이 있습니다 다음 슬라이드에서는 더 정확할 것 같습니다 여기에 아주 빨리 설명하기 위해 제 X1은 패턴 1에서 생성되었습니다 나는이 배포판에서 X1과 레이블을 함께 결합한다는 것을 의미합니다 >> 라벨이 X1 안에 있거나 [들리지 않음]입니까? >> 레이블은 기술적으로 표기법으로 X1 외부에 있습니다

네 >> X1 내부? >> 외부 >> 외부 >> 네 기술적으로 패턴 1에서 생성 된 X1, Y를 작성해야합니다 >> 알겠습니다

>> 네 >> 세 번째 유형으로 말할 때 X1에서 X3까지 두 개의 레이블이 있습니까? >> 하나의 레이블이 있고 연결되어 있습니다 따라서 X1과 X2는 동일한 레이블에서 생성됩니다 >> 알겠습니다 >> 레이블에 나열한 다음 X1 및 X2를 생성 할 수 있습니다 다음 슬라이드에서 더 명확해질 것입니다

괜찮아 학습 순서로 돌아갑니다 따라서 이기종 데이터 집합이 있다면 패턴을 먼저 배우고 싶다면 그러면 무슨 일이 일어나는지 사용해야합니다 패턴 1을 가진 모든 예제는 패턴 1을 학습합니다 기본적으로 Type을 사용합니다 I 및 Type III 데이터가있는 곳 X1에 있고 가장 적합한 선형을 찾습니다 패턴 2를 배울 수 있습니다

패턴 2를 배울 때 우리는 단지 나머지를 사용합니다 패턴 2 만있는 예제의 20 % 따라서 알고리즘 2의 순서는 다릅니다 여러분이하는 일은 먼저 패턴 2를 배우는 것입니다 최고의 비선형 피팅을 찾는 곳 패턴 2를 가진 모든 예에 패턴 2가있는 예는 무엇입니까? 유형 II 및 유형 III 예제는 패턴 2를 갖습니다 그런 다음 나머지를 배웁니다 이제 남은 예제의 20 % 만 남았습니다

모든 유형 II 및 유형 III 예가 이미 완벽하게 맞습니다 따라서 예제의 20 % 만 있습니다 왼쪽 이들은 유형 I 데이터입니다 기본적으로 차이점은 학습 패턴 1과 관련하여 여기 첫 번째 알고리즘에서 우리는 80 %를 사용합니다 패턴이 1 인 데이터의 두 번째 경우에는 데이터의 20 % 60 %의 나머지 패턴 2를 배우는 데 사용되었으며 정확하게 맞습니다 더 이상 사용할 수 없습니다

이 비율이 작을수록 [들리지 않음]이 발생합니다 당신은 거기에 볼 수 있습니다 일반화 측면에서 차이가있다 여기서 일반화는 데이터의 80 %를 사용하고 있기 때문에 더 좋습니다 그리고 여기서 일반화는 더 나빠질 것입니다 데이터의 20 % 만 사용하고 있기 때문입니다 여기서는 학습 패턴 1에 대해서만 이야기하고 있습니다 학습 패턴 2는 항상 좋습니다 패턴 2는 배우기 쉽기 때문입니다

패턴 2를 배우려면 세 가지 예만 있으면됩니다 그래서 그것은 질문에서 벗어났습니다 따라서 두 예제 모두 패턴 2를 매우 잘 배울 수 있습니다 기본적으로 제가 보여 주려고하는 것은 이 큰 학습 속도 플러스 어닐링은 알고리즘 1을 수행 할 것입니다 정확히이 두 가지를 할 것입니다

전체적으로 작은 학습 속도는 알고리즘 2를 수행합니다 그래서 알고리즘 1과 알고리즘 2가 작은 학습 속도와 큰 학습 속도 일반화 성능에 차이가있을 수 있습니다 패턴 1의 일반화 성능이 다릅니다 그것들은 다른 수의 예에서 배운 것이기 때문입니다 지금까지 질문 있나요? 따라서 이것은 단지 높은 수준의 계획입니다

어떻게하는지 좀 더 말해 줄게 우리는 이것을 정확하게 구성하고 증명했습니다 또한, 우리가 온전한 지 여부를 확인합니다 여기에서 분석과 관련하여 역사에 의존하는 우리는 물류 손실을 사용하기 때문에 그렇게합니다 기본적으로 일어나는 일은 큰 학습 속도와 어닐링을 사용하면 먼저 패턴 1을 배우고 이제이 데이터를 모두 사용한 후 물류 손실을 사용하고 있기 때문에 샘플이 적합하면 자신감 때문에 너무 높고 그래디언트가 너무 작아서 다른 용도로는 절대 사용할 수 없습니다 적어도 오랫동안 당신은 사용할 수 없습니다 자신감이 돌아 오지 않는 한 그래서 당신이 몇 가지 예를 배운 후 물류 손실을 잘하면 더 이상 사용할 수 없습니다

그래서 여기에 패턴 1을 배우면 사용할 수 있습니다 패턴을 배우는 예제들 여기서도 마찬가지입니다 이것이 역사의 의존성에서 비롯된 것입니다 >> [들리지 않음] 의존성, [들리지 않음] 수정 가능 이 예제의 문제 당신은 일정한 학습 속도를 가질 수 있습니다 탈락 또는 그와 비슷한 것 >> 물론입니다

우리는 몇 가지 완화 전략을 가지고 있습니다 [들리지 않음]에 매우 가깝습니다 그래서 나는 대화가 끝날 때 완화 전략에 대해 이야기하고 이것은 인공적인 실제 데이터 셋을 보여주는 실험입니다 이런 현상도 볼 수 있습니다 인공 인공 데이터 세트 용 우리가 증명할 수있는 것은 장난감 케이스입니다

여기 좀 더 현실적인 경우입니다 여전히 또 다른 실제 데이터 세트입니다 하지만 좀 더 현실적입니다 데이터 셋을 생성하는 방법은 다음과 같습니다 아이디어는 우리는 실제 데이터 세트에서 이 쉬운 패턴과 어려운 패턴이 있습니다

이 두 가지 패턴을 좋아하지만 찾을 수 없었습니다 적어도 우리는 아직 그것들을 찾는 방법을 모른다 우리가 한 일은 기존 이미지의 모든 패턴에서 그것들은 타입 I 패턴이고 우리는 타입 II 패턴을 주입합니다 일반화하기 쉽지만 적합하지 않은 패턴 우리는 어떻게합니까? 그래서 기본적으로, 이 워터 마크를 CIFAR 이미지의 중간에 추가하면 이것은 타입 II 패턴입니다

기본적으로 모든 클래스에는 정확히 두 개의 패치가 있습니다 이 두 패치는 해당 클래스와 정확히 연관되어 있습니다 두 패턴을 보면 그들이 어떤 클래스인지 정확히 그리고 당신은 방금 주사 해당 클래스의 모든 이미지에 대한 두 패턴 중 하나입니다 기본적으로 두 가지 패턴이 있습니다 각 클래스 I에 대해 V와 VI 프라임 클래스 I 예제의 VI 소수

우리는 같은 타입 I을 사용합니다 유형 II 및 유형 III 구성 예제의 20 %에는 패치가 없습니다 예제의 20 %에는 패치 만 있습니다 따라서 실제 이미지조차 없습니다

중간에 패치 일뿐입니다 배경이없고 60 %의 예제가 혼합되어 있습니다 이제 데이터 세트가 있고 실험을 실행할 수 있습니다 큰 학습 속도와 작은 학습 속도로 우리가 어떤 종류의 패턴을 배우고 있는지보십시오 >> 20 %는 단지 [들리지 않음]입니다 >> [들리지 않음]에서 나는 단지 깨끗한 이미지를 생각합니다

네 이제 우리는이 큰 열거 형과 작은 열거 형을 실행합니다 이 [들리지 않음]의 예를보고 싶습니다 먼저 패치를 배우 든 실제 이미지를 먼저 배우 든 이 경우 패턴이 무엇인지 알기 때문에 이러한 패턴의 학습 순서는 무엇인지 조사 할 수 있습니다 나는 녹색을 무시하도록 요청할 것입니다 이것이 실제로 완화 전략입니다

파란색과 빨간색에 중점을 두겠습니다 따라서 파란색은 큰 열거 형 어닐링입니다 이것이 우리가 에포크를 어닐링하는 지점입니다 30과 초록색은 전체적으로 더 작은 열거 형입니다 나는 녹색을 무시하도록 요구할 것입니다 빨간색은 전체적으로 작은 열거 형입니다 깨끗한 정확성을 볼 때 깨끗한 예, 파란색의 정확도

큰 열거 형과 어닐링 전체적으로 좋은 정확성을 얻습니다 그러나 깨끗한 정확성 작은 열거 형이 아닙니다 큰 열거 형의 깨끗한 정확도만큼 좋습니다 이것은 우리의 설명에 따릅니다 이것은 당신이 사용하지 않기 때문입니다 깨끗한 패턴을 배우기에 충분한 샘플 열거가 작은 패턴 1 더 유익한 정보 일 수도 있습니다 패치 정확도를 보면 여기에서 우리가 의미하는 것은 분류기에 패치하고 정확성을 확인하십시오

이것이 여러분이 배우는 양을 측정하는 것입니다 패턴 2를 얼마나 사용하고 있습니까? 패치, 분류합니다 이제 이것은 매우 분명합니다 당신이 작은 열거 할 때 그래서 패치를 매우 빠르게 배워야합니다 패턴 2는 매우 배웁니다

다섯 시대에 아주 빨리 그러나 큰 열거 형을 사용하면 패턴 2와 [들리지 않음]을 배우지 않을 것입니다 기본적으로 큰 열거 형으로 당신은 단지 무시하지 않을 것입니다 당신이 중간에 패치 어쨌든 이것이 가짜 연습임을 감지하십시오 >> 정확한 정확성에 대한 정의는 정확히 무엇입니까? >> 임의의 깨끗한 예제에 모델을 적용하기 만하면됩니다 >> [들리지 않음]없이

>> 수정없이 >> 동일한 무조건 배포입니다 >> 네 동일한 무조건 분포 >> 알겠습니다 패치 정확도 워터 마크를 포함하고 있습니다 >> 패치 정확도는 방금 압출 된 것입니다

우리는 워터 마크와 배경이 없습니다 배경이 0으로 설정되었습니다 >> 워터 마크 만 있습니다 >> 네 >> 그것은 흰색이거나 다른 이미지와 비교됩니다 >> 예, 예 >> 알겠습니다 >> 네 그래도 여전히 올바르게 분류 할 수 있다면 기본적으로 패치를 배우고 있음을 제안합니다

실제로 이미지가 제공되지 않기 때문에 당신은 패치 만 제공됩니다 >> 당신은 그것을 모든 흰색 이미지 또는 다른 것과 비교하고 있습니다 >> 어떤 이미지가 제로 정확도를 제공합니까? >> 맞아 그러나 나는 그렇게 말하고 있습니다 패치에는 한 가지 유형의 이미지 만 표시됩니다 (들리지 않음) >> 한 가지 유형의 이미지 만 있습니다

>> 알겠습니다 >> 기본적으로 20 개의 이미지가 있습니다 모든 수업마다 10 개의 수업이 있으며 모든 수업에는 2 개의 이미지가 있습니다 이 20 개의 이미지 만 가지고 있으며 정확도가 무엇인지 살펴보십시오 큰 열거 형으로 무시해야합니다

패치는 기본적으로 작은 열거 형으로, 당신은하지 않을거야 또는 당신은 패치를 매우 빠르게 배울 것입니다 >> 왜 각 수업마다 두 개의 패치가 있습니까? 클래스 당 하나의 패치 만 있으면 [들리지 않음] >> 그렇다면 선형으로 분류 할 수 있다고 생각합니다 패치가 필요합니다 대칭 위치이므로 패치는 선형으로 분리 할 수 ​​없습니다 이것은 또한 우리의 건설에도 있습니다

나는 우리가 하나의 패치를 시도했지만 작동하지 않았다고 생각합니다 마지막으로 배운 것은 패치와 학습 패치에는 이미 깨끗한 이미지가 일반화되어 있습니다 올바른 곡선으로 패치를 매우 일찍 배우고 그러나 당신은 두 번째 패턴을 잘 배우지 못합니다 괜찮아 아마 10 분 정도 걸렸을 것 같아 10 분 미만 >> 6 분 미만

>> 6 분 괜찮아 그럼 아마도 나는 아주 빨리 갈 것이다 사실 여기서 너무 많이 말하지는 않습니다 기본적으로 이것은 정확한 구성입니다

그래서 여기에 올바른 표기법을 사용하고 있습니다 나는 x1, y를 생성 할 것입니다 분포 p와 분포 p 패턴 1은 선형으로 분리 가능 약간의 마진을 가진 가우시안의 절반입니다 정확한 [들리지 않음]은 중요하지 않을 것입니다 타입 2는 다음과 같은 두 번째 패턴에서 생성됩니다

그래서 우리는 그것들을 선형으로 분리 할 수 ​​없도록 구성합니다 방향면에서 클러스터가 있습니다 타입 3은 기본적으로 생성하는 방법을 찾는 것입니다 기본적으로 몇 개의 레이블을 사용하여 x1, y는 p이고 x2, y는 Q임을 알 수 있습니다 기본적으로 조건부 레이블 및 생성 조건부 분포에서 나온 XYS X2 데이터 조건부 레이블 그래서 이것들은 [들리지 않는] 개선 된 정리입니다

중요한 것은 이것은 거의 분류 할 수 없습니다 그래서 우리는이 두 클러스터를 선형으로 분류 할 수 없도록 레이블을 1로 지정하십시오 따라서 정리 정리를 생략 할 것입니다 진술은 내가 당신에게 말한 것입니다 난 그냥 조금 더 만들었습니다 공식적이지만 여전히 공식적이지 않은 깔개 밑의 모든 것을 쓸어 버리기 때문입니다

중요한 것은 우리가 어떤 아키텍처를 사용하려고합니다 정확히 표준 아키텍처가 아닙니다 이것이 우리가 그것을 증명할 수있는 유일한 경우이기 때문입니다 따라서 X1과 X2에서 독립적으로 작동하려면이 아키텍처가 필요합니다 어떤 식 으로든 알고리즘은 가우스 잡음으로 분석합니다 그래서 소음이납니다 잠시 후에 이야기하겠습니다

그런 다음 알고리즘을 증명할 수 있습니다 하나의 큰 열거 형과 매체 캔 작동 및 알고리즘 2가 작동하지 않습니다 많은 시간이 걸리지 않았습니다 여기서 자세히 설명하지 않겠습니다 기본적인 직관에 대해 조금 이야기하고 싶습니다 내가 생각하기 때문에 조금 아마도 여기서 가장 흥미로운 것입니다 우리가 작은 분석에서 우리가하는 일은 기본적으로 이것이 NTK라고 말하는 것입니다

NTK를 사용하면 수렴을 분석 할 수 있습니다 변환기가 얼마나 빠른지 알고 있습니다 우리는 NTK를 조금 더 연구해야합니다 우리가 배우는 패턴을 정확히 특성화합니다 흥미로운 것은 큰 열거 형에 관한 것입니다 왜 큰 열거로 배우지 않을 것입니까? 열거가 큰 패턴 2와 그 이유는 다음과 같습니다

큰 열거 형을 사용하면 소음이 매우 커서 그래디언트에서 같은 양의 노이즈가 있다고 가정합니다 큰 열거 형에 해당 반복적으로 많은 양의 노이즈가 효과적으로 발생합니다 그것은 파도가 많이 변한다는 것을 의미합니다 파도가 많이 바뀌고 소음이 크면 모델을 살펴보면 두 번째 유형의 패턴 또는이 클러스터 패턴 실제로, 당신의 모델은 할 수 없습니다 실제로 작동하는 강력한 도구입니다 실제로 모델은 동작 만 할 수 있습니다 노이즈가 클 때 선형 모델처럼

그 이유는 벡터 W가 있고 이 W는이 클러스터를 분리하지 않습니다 이 W가 이전 데이터 포인트와 같다고 가정 해 봅시다 W의 한쪽에 있습니다 즉, 활성화 패턴이라는 의미입니다 에 대해 모두 동일하게 될 것입니다 세 가지 유형의 예 또는 Z 및 세타 및 Z 및 Z + 세타 기본적으로 W 조옮김 X의 relu가 있지만 실제로 relu는 많은 작업을 수행하지 않습니다

relu는 항상 당신을 제공합니다 모든 패턴 2 예제에 대한 고정 부호 >> [들리지 않음] 다시 말하면 학습률의 선택을 잊어라 타임 스탬프의 처음 20 % 만주세요 패턴 2의 예 마지막 80 %에서 패턴 1의 예 그래서 당신은 무슨 말을하든 어떤 알고리즘이든 그렇게 할 것입니다

왜냐하면 >> 아뇨 >> 아니, 내 말은 이 경우 학습 속도는 실제로 중요하지 않습니다 >> 네 당신이 맞아요 이 경우 학습 속도는 중요하지 않습니다 하지만 우리는 알고리즘이 없다는 것을 증명할 수 없었습니다 모든 알고리즘이 나쁠 것입니다

우리는 단지 특정 알고리즘이 알고리즘이 있기 때문에 나쁘다 예제의 첫 번째 배치를 사용합니다 >> 모든 알고리즘을 말했을 때 나는 단지 학습률이 처음 20 % 만 줘도 도움이되지 않습니다 첫 번째 패턴 2와 패턴 1 >> 네 그러나 어려운 부분은 그렇습니다, 나는 동의하고 그것을 보여주기가 어렵지 않습니다 어려운 부분은 학습률 종류는 올바른 순서를 제공 할 수 있습니다 큰 알고리즘처럼 올바른 순서를 제공합니다

작은 알고리즘은 다른 순서를 제공합니다 이것이 기술적 인 어려움입니다 그래서 여기 기본적으로 큰 알고리즘을 사용하면 패턴 2를 배우지 않을 것입니다 알고리즘에서 패턴 2가 주어 지더라도 그 이유는 가중치가 너무 임의적이므로 비선형 함수로 동작하지 않도록합니다

기본적으로 뉴런은 항상 선형 함수와 같습니다 뉴런은 이와 같은 것을 만족시킵니다 이 두 점을보고 평균을 구합니다 실제로 중간 지점과 같습니다 따라서 항상 선형 함수가 있습니다

그래서 당신이 할 수없는 이유 이런 종류의 학습 패턴은 선형으로 분리 할 수 ​​없기 때문입니다 학습 속도에 근접한 경우에만 소음 수준을 줄이려고합니다 W를 볼 수 있도록 우리는 초평면을 만들 수 있습니다 이 예제 클러스터 사이에 있습니다 이 데이터 분포에 대해 비선형 모델을 가질 수 있습니다 이것이 바로 직관입니다 따라서 기술 직관을 건너 뛸 것입니다

당신이 관심이 있다면 아마도 기록 될 것 같아요 그래서 나는 추측하자 완화 전략에 대해 조금 더 이야기하십시오 따라서 우리의 이론에 따르면 학습 속도가 큰 경우 활성화 패턴에 많은 노이즈를 주입하고 일반화하기 쉬운 패턴을 배우지 못하게합니다 활성화 패턴에 노이즈가 많으면 선형 모델처럼 행동합니다 우리는 이것이 우리에게 도움이 될 수 있는지 보려고 노력했습니다

완화 전략 설계와 같은 자연 완화 전략은 사전 활성화시 노이즈를 추가하고 [들리지 않음] 부분과 같습니다 이제 녹색에 대해 이야기 할 수 있습니다 기본적으로 작은 학습 속도와 소음입니다 이제 우리는 학습률이 낮습니다 하지만 우리는 소음을 사용하여 [들리지 않는] 인공 패턴을 배우십시오

이제 노이즈가있는 녹색이 그렇지 않다는 것을 알 수 있습니다 작은 학습 속도로 인공 패턴을 배우십시오 나는 여기에 당신이 소음 수준을 알고 있다고 생각하면 배울 수 있습니다 좀 더 나은 정확도를 얻을 수 있도록 패턴 따라서 이것은 실제로 완화 전략입니다 또한 인공 패치없이 깨끗한 데이터로 시도했습니다 사실, 그것은 여전히 ​​개선에 도움이됩니다 학습률이 낮을 때의 정확도

기본적으로 여기에 실험이 있습니다 일부 WideResNet16이있는 CIFAR-10 그래서 나는 이것과 이것이 기준이라고 생각합니다 큰 학습 속도와 어닐링 이는 90 %이며 학습률은 84 %입니다 따라서 6 %의 차이가 있습니다 큰 학습 속도와 작은 학습 속도 사이 작은 학습 속도와 사전 활성화 노이즈를 사용하면 우리는 그 차이의 거의 대부분을 통해 그 차이를 회복 할 수 있습니다

그건 그렇고,이 숫자는 그렇게 높지 않습니다 여기에 데이터 제한이 없기 때문에 이 둘 사이의 간격이 6 %라는 것을 알 수 있습니다 데이터 제한이있을 수 있습니다 크고 작은 학습 속도의 격차 아마 2 % 또는 그와 비슷한 것입니다 그래서 빨리 마무리하는 것 같아요 그래서 주요 메시지 학습률이 높으면 일반화하기가 어렵습니다

맞추기 쉬운 패턴 및 작은 학습 속도 일반화하고 맞추기 어려운 패턴을 배웁니다 배우거나 배우는 모든 것 이러한 패턴은 로지스틱 손실과 관련이 있습니다 열린 질문은 실제 데이터에서 이러한 패턴을 어떻게 식별합니까? 우리는 아직 그것을하는 방법을 모른다 인공 패턴을 주입하려고합니다 그러나 실제 데이터에서 이러한 패턴을 식별하는 방법을 모릅니다

우리는 어떻게 결과를 더 많이 만들 수 있습니까? 우리가 고안 한 장난감 예제 대신 일반? 이 예제는 실제로 장난감입니다 어떤 식 으로든 우리는 그것을 증명하는 방법에 대한 아이디어를 가질 것입니다 마지막으로 마지막 슬라이드에서 적어도 일부를 공유해야합니다 알고리즘 정규화에 대한 개인적인 폭 넓은 전망 이 작품은 다소 더 넓은 범위의 알고리즘 정규화 적어도 어쩌면 나처럼 또는 우리는 더 강한 결과를 입증 할 수 없었습니다

하지만 이해하는 것 같아 알고리즘 정규화는 매우 이 장난감 예제에서도 우리가 도전하기 때문에 모든 것을 증명하기 위해 50 페이지 중 40 페이지를 사용해야합니다 또한이 장난감에 대해 명확하지 않습니다 알고리즘이 정규화하는 복잡한 측정 방법 정말 복잡합니다 어떤 의미에서는 나는 또한 적어도 우리를 끌어 들이고 싶습니다 다른 가능한 지름길을 생각하기 위해 이런 종류의 것들을 처리합니다 내가 비관적이라고 생각되는 것처럼 우리가 할 수 없었던 한 가지 측면에서 매우 큰 발전 가까운 장래에 알고리즘 정규화를 이해합니다 그러나 그것은 또 다른 경로 일 수 있습니다

약간의 속임수이지만 더 쉽습니다 우리가 할 수있는 명백한 조절기를 찾을 수 있다고 말할 수 있습니다 적어도 경험적으로 알고리즘 정규화를 가정하십시오 그래서 우리는 명시적인 조절기를 설계하고 실제 데이터 세트의 명시 적 조절기 당신이하지 않는 것을보고 희망 정규화하려면 알고리즘을 사용해야합니다 자, 이것들은 적어도 해결 이 조절기로 인해 최적화 문제가 더 빠른 알고리즘을 안전하게 설계 할 수 있습니다

나는 관심의 분리가 있습니다 난 신경 쓰면 돼 더 빠른 알고리즘이 있습니다 그러나 나는 여부에 대해 생각할 필요가 없습니다 내 정규화는 알고리즘에서 충분하거나 아닙니다 그런 다음 우리는 초기 예비 약속의 징후를 보았습니다 이 데이터 종속 정규화 중 일부를 사용합니다 그래서 이것들은 그렇지 않은 정규화입니다

매개 변수의 표준에만 의존합니다 네트워크의 다른 수량에 따라 다릅니다 예를 들어, 활성화 및 기타 사항 또한, 마지막으로하고 싶은 것은 일반적으로 나는 이질성이 의심 데이터 세트는 중요한 것입니다 그래서 우리는 여기서 볼 수 있습니다 흥미로운 현상이 발생합니다 이기종 데이터 세트가있을 때 또한, 나는 일반적으로 아마 데이터 집합에 이질성이있는 경우 실질적인 개선도 다소 쉽습니다

아마도 표준 데이터 세트 일 것 같습니다 모든 것이 멋지게 디자인되면 그래서 데이터 세트는 알고리즘 정규화에 맞게 이미 잘 조정되었습니다 그래서 여부를 확인하기가 매우 어렵습니다 명시 적 조절기는 정확도를 향상시킬 수 있습니다 예를 들어, 어떤 의미에서 불균형 할 때 우리는 명시적인 정규화가 실제로 실제 성능 측면에서 많은 도움이됩니다 이 논문은 매우 간단한 이론을 가지고 있습니다

이론처럼 수업에 대한 숙제 질문만큼 쉽습니다 그러나 경험적 성능은 많이 이전의 [들리지 않음] 부분보다 낫습니다 그게 내가하고 싶은 전부라고 생각합니다 고맙습니다

AI Institute "Geometry of Deep Learning" 2019 [Workshop] Day 1 | Session 3

>> 기조 연설을 위해 MSR에 Leon을 환영하게되어 기쁩니다 그는 소개가 필요 없습니다

몇 가지 주요 사항을 설명하겠습니다 나는 매우 행복했다 실제로 올해 튜링 상 수상자 신경망에 대한 레온의 기본 연구에 대해 90 년대 초에도 확률 적 그라디언트에 대한 대규모 학습에 대한 그의 연구 그는 항상 출발에 대한 깊은 통찰력을 가지고있었습니다 추론을 배우고 보간에서 외삽으로 그는 오늘 나에게 제목을 말해 구매 그의 기조 연설은 볼록성이 될 것입니다 그는 단지 볼록성에 대해 말해 줄 것입니다 더 이상 고민하지 않고 레온에게 가져 가라

>> 저를 초대 해주셔서 감사합니다 오늘 아침에 많은 것을 보았 기 때문에 사과하고 싶습니다 매우 세련된 대화와 방금 마무리했습니다 그래서 나는 그것이 있기를 바랍니다 내부의 무언가가 어리 석고 잘만되면 당신은 저에게 말할 것입니다 제목이 AI의 지오메트리 였기 때문에이 대화의 동기는 몇 년 전 지오메트리와 관련이 있다고 생각했습니다 2016 년과 17 년에 작성된 것 같습니다 >> 마이크 >> 마이크가 켜져 있지 않습니다

>> 마이크가 켜져 있지 않습니까? >> 작동합니다 >> 작동합니다 알았어요 우리는 출판 된 논문을 썼습니다 조금 애매하지만 남자 형제 때문에 모호하지 않아야 아이젠만 형제입니다 커널은 40 주년을 맞았습니다 지나가고 이해하려고하는 것에 대한 많은 기초 총의 토폴로지와 무슨 일이 일어나고 있는지, 우리는 매우 이상한 이론을 가지고있었습니다 단순하고 어쨌든 우리는 그 이름을 알아볼 수있을만큼 똑똑했습니다

"알라 카르 트 볼록"하지만 너무 많이 생각하지 않아서 단순하고 또한이 정리로 얻은 결과 때문에 나는 그것을 잘 찾지 못한다 지는 경계에 만족하지 않습니다 하지만 최근 몇 년 동안 신경 접선이있는 논문 및 관련 논문 신경망에서의 최적화 이 아이디어로 돌아갈 때마다 아주 간단하게 생각하기 때문입니다 적어도 그것은 내 직감을 말한다 여러분과 공유하고 싶습니다 이것이 유용한 도구인지 확인하십시오

무언가를 극도로 말하는 주장 새로운 것이지만 그것을 보는 흥미로운 방법입니다 요약하자면 문맥 최적화에 대해 이야기하겠습니다 물고 토론하다 근사 속성에 대해 말하는 것, 글로벌 최소화 및 매개 변수화 바이어스 세 번째 부분에서 그때 당신이 나에게 1 시간 슬롯을 준다는 것을 깨달았습니다 나는 무엇에 대해 이야기하려고합니다 처음부터 종이도 기하학이 또 다른 예를 제공합니다 매우 다르며 그 결과를 계속 사용할 수 있습니다 처음에는 아주 느리게 시작해야하는데 우리가 거의 증명할 수있을 정도로 간단합니다 한 가지를 제외한 모든 것이 중요합니다

배경; 저는 세련된 미터법 공간에서 일하고 있습니다 좋은 미터법 공간을 생각해보십시오 곡선은 단지 0,1이라고합시다 내 공간으로 연속하고 두 점을 연결하고 콤팩트하기를 원하기 때문에 감마 서브 트리 T라고 부릅니다 따라서 미터법 공간의 커브에는 많은 것이 있습니다

전 분야가 있습니다 메트릭 지오메트리를 사용하여 대부분 단축 할 것입니다 내가 정말로해야 할 유일한 것은 내가 필요하다는 것입니다 제한 속도 곡선은 실제로 Lipschitz를 거의 의미합니다 그것에 대한 많은 배경이 있습니다 상수 속도에 대해 말할 수 있기 때문에 커브와 일정한 측지선으로 이동합니다 이 모든 사업은 기본적으로 내가 만들면 곡선의 파라미터 T에서 약간의 움직임 미안하지만 난 그냥 할거야 두 점 사이의 거리가 너무 멀지 않다 크고 빨간 볼록도를 정의하겠습니다 곡선 군 C를 가정하고주었습니다

나는 그것이 무엇인지 압니다 그들에 대해 아무 말도 하지마 내 공간의 부분 집합은이 곡선 군과 볼록한 관계입니다 모든 쌍 x, y에 대해 하나씩 x를 연결하는 곡선이 있습니다 y로 완전히 연결되어 있습니다 기본적으로 나는 내 세트에 머무를 수 있고 다음 중 하나를 사용하여 x에서 y로 갈 수 있습니다 내 곡선과 나는 말한다 실제 함수는 모든 곡선에 대해 C에 대해 볼록합니다

곡선에 대한 F의 제한은 모든 DAB에 대해 볼록합니다 기본적으로 당신은 정상적인 볼록 함을 가지고 있습니다 첫 번째는 내 가족이 곡선은 유클리드 공간의 선분이며 이것은 정상적인 볼록 함입니다 두 번째는 비대칭입니다 나는이 볼록한 구조를 보았습니다 하나의 커브와 실제 함수는 모든 커브에서 볼록합니다

두 점을 연결하는 곡선이 여러 개인 경우 두 번째 정의가 더 까다 롭습니다 내가 유일하게하기 때문에 조금 약화시킬 수 있습니다 끝점 사이를 볼록하게 볼 수 있습니다 기본적으로 어떤 T에 대해서도 감마 T의 F는 감마 0의 F와 감마 1의 F의 혼합물 아래 그림과 같이 조금있을 수 있습니다 신경 쓰지 않을 것이고 결과는 매우 간단합니다

F가 커브 패밀리에 볼록한 효과 인 경우입니다 비용 함수 인 경우 곡선의 끝점에 대한 끝점 대류 효과 기본적으로 모든 레벨 세트는 C에 제한 속도 곡선 만 포함 된 경우 모든 지역 최소값은 세계적입니다 기본적으로 볼록성의 필수 속성은 원하는 모든 곡선이있는 설정에서 유지됩니다 말이 되나요? 이것의 증거는 매우 간단합니다 레벨 세트에 속하는 X와 Y를 입력하면 기본적으로 X의 F는 M보다 작습니다 Y의 F는 M보다 작습니다

F는 커브 패밀리에 대해 볼록한 관계이므로 안에 연결되어있는 커브가 있습니다 F F는 끝 점이 볼록하므로 나는 감마 T의 F가 1-Fx의 T + T보다 작다고 생각합니다 Y의 F와 T의 F와 Y의 F가 모두 M보다 크므로 감마 T가 내 레벨 세트에 속한다는 것을 의미합니다 따라서 레벨 세트는 연결되기 전에 경로로 연결됩니다 이제 지역 최소값에 대한 두 번째 부분입니다

나는 포인트가 있다면 로컬 최소값이라고 말했다 그런 공 공의 모든 포인트는 공의 중심보다 크거나 같습니다 모순에 의한 추론, Y가 있다고 가정 Y의 F가 X의 F보다 작도록 X를 Y에 연결하는 곡선을 만듭니다 속도가 제한되어 있어야합니다 속도가 제한되어 있기 때문에 이 속성은 Lipschitz 속성입니다 제한 속도이므로 2K 이상 엡실론을 사용하면 2K 이상의 감마 엡실론의 F가 더 큼 X의 F 인 감마 제로의 F보다 하지만 종말점 볼록성을 가지고 엄격한 불평등과 반대 불평등, 따라서 불가능합니다 그러므로 내 지역 최소의 모순은 위에있을 수 없습니다 F의 다른 지점에서의 가치 지금까지 매우 간단합니다

간단한 머신 러닝 예제를 보자 연속 기능인 X 일부 입력 공간에서 일부 출력 공간으로 부분 집합 X는 기능 군입니다 그것은 일부 세타에 의해 매개 변수화되었습니다 파라 메트릭을 쓰지 않았습니다

커널이나 물건을 갖고 싶어 손실 L을 보자 첫 번째 주장에서 볼록하고 이것은 내 모델의 출력입니다 훈련 예제, 그리고 f, 그래서 손실과 함께, 나는 2F를 가질 것입니다, 미안합니다 내 경험적 교차 함수는 f입니다 그래서 f 기본적으로 모든 기능에서 경험적 손실을 계산합니다

혼합물 만 나타내는 곡선을 만들겠습니다 함수 공간에서 직선 세그먼트 일뿐입니다 즉, 내가 지금 말할 것은 평면 볼록 인수로 얻을 수있는 것 나중에 살펴 보겠습니다 따라서 비용 함수 f는 내 곡선과 사소하게 볼록합니다

기본적으로 출력 공간에 커브를 그립니다 예를 들어 내 네트워크의 손실이 볼록하기 때문에 이것은 볼록하고 문제 없습니다 따라서 함수 군이 곡선에 대해 볼록한면이라면 정리가 적용되며 선형 모형에 적용됩니다 대포 모델의 경우에도 마찬가지입니다 그리고 공식 네트워크도 거의 마찬가지입니다

왜 거의? 내가 매우 풍부하게 패러미터를한다면 과도하게 매개 변수화 된 것이 여기에 적합하지 않다고 말해서는 안됩니다 풍부하게 매개 변수화 된 신경망 근사 특성이 좋습니다 글쎄, 당신은 내 선형 혼합물을 근사 할 수 있습니다 직선에 가까이 갈 수 있습니다 그러나 이것은 A를 증명하기에 충분하지 않습니다

B가 일반적으로 거의 A가 거의 B를 의미한다는 것을 의미하지는 않습니다 그것은 너무 좋을 것이고 이것은 커브가 유용 할 수있는 곳입니다 내 네트워크가 대략적으로 잘 될 수 있다는 것은 무엇을 의미합니까? 글쎄, 나는 단순화 할 것입니다 나는 F가 있다고 말할 것입니다 감마 세타 t

그래서 기능 혼합물에 가까운 내 가족 기본 2 차 거리 인 감마 t 기본적으로 F에서 G로가는 선을 정의합니다 기능 공간에서 내 두 기능 나는 시가를 정의하고 다른 시가 이후로 나는 그것을하는 가족의 기능을 가지고 있습니다 이 시가가 존재한다는 것을 증명하면 이것은 성가신 일입니다

할 수 없습니다 클릭 만하면됩니다 그렇게하는 페이지는 흥미롭지 않습니다 흥미로운 것은이 r 계수가 여기가 작아지면 네트워크가 커지고 근사치가 좋아집니다 그래서 나는 그것에 머물 것입니다 이제 커브 세트가 이러한 시가 모양 영역에 포함 된 모든 곡선

두 점이 있으면 시가를 그리고 이 안에있는 모든 커브는 내 커브 중 하나입니다 저는 행복합니다 이제 구성에 의해, f는 일련의 곡선에 대해 볼록하다 두 기능마다 시가 안에 곡선이 있어요 f에 속한다고 가정합니다 문제는 이 제품군과 관련하여 비용 함수 끝 점이 볼록합니까? 글쎄, 무슨 일이 일어나면 당신이 할 수있는 고정 도메인에 도메인을 바인딩 어쨌든 레벨 세트가 끝났다고 주장 매우 높은 엔드는 다른 주장과 같은 다른 주장도 있습니다

당신은 손실과 함께 일부 Lipschitz 가정을 만들 수 있음을 알 수 있습니다 기본적으로, 당신은 같은 것을 그것은 기능에 일어나고 있습니다 세타 t의 f가 f의 f보다 작다 혼합물과 약간의 quartic, 람다 t1 빼기 t 람다 Lipschitz의 제품입니다 상수와 내가 가진 L 이것을 적용하면 나는 이것을 얻습니다

부호가 잘못 되었기 때문에 강한 볼록성이 아닙니다 사실, 손실이 Mu라면 이 작업을 수행하는 대신 볼록하게 볼록하게 Mu를 추가 할 수 있습니다 t1에서 t를 빼고 Lambda가 Mu보다 작 으면 완료됩니다 그러나 그렇지 않습니다 볼록하지 않은 기능을 처리해야합니다

거의 볼록한 모양이며,들을 수 없습니다 여기의 두 번째 부분이 있습니다 내가 거의 볼록 최적화라고 부르는 정리 익숙한 곡선을 존중하기 위해 F가 볼록합니다 각 곡선에 대해 비용 함수 이와 같은 것을 만족 시키십시오 더 이상 빨간색으로 작동하지 않습니다

볼록한 검증 [들리지 않음] 지금 말할 수 있으면 증명하기가 매우 간단한 것입니다 m이 최소값보다 크면 f plus Lambda 함수의 에 등장하는 람다 그런 다음 레벨 세트가 연결됩니다 기본적으로 제한 속도, 구속 조건도있는 경우 그것은 어떤 지역 최소 세계 최소값보다 최대 감마입니다

왜 그렇게 되었습니까? 다시 매우 간단합니다 따라서 두 가지 점을 고려하십시오 레벨 설정에서 x와 y 그리고 값이 M보다 작은 것은 레벨 세트에서 az를 선택합니다 z의 f는 m에서 감마를 뺀 값보다 작습니다 아래에있는 az를 선택합니다 이제 두 개의 커브를 만들어 보겠습니다

x를 z에 연결하는 것, 또 하나의 z에서 y 사실, 그들은 같은 구조입니다 이 두 커브가 있다면 그런 다음 경로가 있고 경로가 연결되어 있습니다 이 그래프에서보다 쉽게 ​​볼 수 있다고 생각합니다 감마 제로가 x이고 감마 1이 z이면 m은 저의 레벨입니다

나는 그 선 아래에 있지 않을 것입니다 여기 빨간 곡선 아래에 있습니다 z가 x보다 충분히 낮 으면 빨간색 곡선이 모두 M 아래에 있는지 확인할 수 있습니다 따라서 x와 z 사이의 곡선은 전적으로 레벨 세트에 있습니다 마찬가지로 z에서 y까지의 곡선은 전적으로 레벨 세트에 있습니다

따라서 내가 가지고 있다는 결론에 내 레벨 세트에서 x와 y를 연결하는 경로를 찾았습니다 따라서 매우 짧습니다 예 >> 그래서이 시가를 가져 가서 이것의 모든 곡선으로 정의되는 함수 클래스 >> 내 커브 클래스는 시가의 모든 커브입니다

>> 그러나 각 열은 FT에 직접 대응합니다 그런 다음 [비가 청]에 다시 매핑하려면 어떻게해야합니까? >> 각 곡선이 해당합니다 아니요, 여러 개체가 있습니다 나는 가고있는 커브 패밀리를 가졌습니다 볼록한 개념을 원하는 방식으로 사용자 지정할 수 있습니다 사이에 선분이 아닌 내 곡선 군 두 기능은 두 기능 사이에있을 것입니다

시가에서 계속 유지되는 곡선 내 기능 군이 모델 인 것은 볼록합니다 이 곡선 중 하나가 가족 내부에 남아 있다고 말할 필요가 있습니다 내 가정 때문에 모델은 근사 특성이 우수합니다 시가 내용이 근사치 일 정도로 충분합니다 거기에 커브를 만들 수 있습니다

연속성에 대해 약간주의해야합니다 두 번째 부분은 비용 함수가 볼록한 것입니다 하나는 모든 곡선에 대한 제한이 볼록한 것입니다 따라서 특히 우리 가족의 곡선에 대한 볼록한 존중 이 볼록 함을 실제로 완화시킬 수 있습니다

엔드 포인트 볼록을 사용할 수 있습니다 나는 거의 볼록했다 말할 수있다 볼록 함은 계수 Lambda t1 빼기 t 그런 식으로 결함이 있으면 당신이 증명할 수있는 것은 레벨 세트가 연결되었습니다 Lambda를 최적으로 사용할 때까지 Lambda를 원하십니까? 예, Lambda를 원합니다 따라서 하강 알고리즘이 있다면 당신은 레벨 세트를 축소거야 하강 할 때마다 거기에 갈 것입니다 기억이 잘 나면 나는 더 큰 말했다 네트워크는 더 나은 근사치와 내 시가는 작습니다

네트워크가 커지면 이 Lambda는 더 작을 수 있고 더 작아서 전 세계 최소값으로갑니다 예 >> 다음 [들리지 않음] 증거에서 감마가 연결되어 있어야합니다 >> 예, 감마는 Lambda 여야합니다 마지막 순간에 방금 변경했기 때문에 대화에 감마가 너무 많았 기 때문입니다 여기이 감마는 람다 여야합니다

하지만이 감마 -t는 여전히 감마입니다 당신은 참조하십시오 그래서 저는 용어 문제가있었습니다 이 슬라이드는 좋지 않습니다 그러나 실제 아이디어는 여기에 있습니다

기본적으로 m 지점과 Lambda 지점은 m 이하 내가 볼록 결함과 같더라도 나는 그들을 연결 m 아래에 남아있을 수 있습니다 그런 점 하나면 충분합니다 우리가 지금 어디에 있는지 생각한다면 비교적 간단한 방법으로 신경망이 있다면 합리적인 가정을 가진 강력한 근사 특성, 괜찮은, 배달 된 세트는 원하는만큼 느리게 연결되고 CR을 원하는만큼 작게 얻을 수 있기 때문입니다 하강 알고리즘은 꽤 잘 작동합니다 지역 최소 또는 하단에 우리는 단지 시원합니다

그런 말을하는 최근 결과가 있다는 것을 의미합니다 그러나 훨씬 더 복잡합니다 그렇다면 이것으로부터 무엇을 이해할 수 있습니까? 제가 이것에 대해 이야기한다면 이 결과는 독립적입니다 친숙한 기능의 매개 변수화 이것은 중요하지 않습니다 정말로 중요한 것은 익숙한 기능이 충분히 가까이있을 수 있습니다

적절한 곡선으로 연결하거나 또는 적절한 곡선이 잘 될 수 있습니다 가족의 요소에 의해 추정됩니다 어느 쪽이 좋습니까 세타 공간에서 레벨 세트는 볼록하지 않을 수 있습니다 그들은 매우 기괴 할 수 있습니다 그러나 그들은 연결되어 있습니다

그들이 중심에 갈 때 일할 것입니다 그러나 학습 알고리즘은 Theta 공간에서 작동하기 때문에 암묵적인 편견이 무엇이든 학습 알고리즘에 있고 기본적으로 사물을 어떻게 매개 변수화하는지에 따라 그리고 세계 최소의 것들 초과 매개 변수화 된 모델로 반환됩니다 또는 일찍 할 때 어떤 솔루션이 반환되는지 그게 정말 달려있다 학습 알고리즘의 역학에 매개 변수 자체에 따라 다릅니다 어쨌든, 당신은 거의 전 세계적으로 갈 수 있다는 사실과 암묵적인 편견은 연결이 끊어졌습니다 혼합 곡선을 사용할 때 내가 지금까지 한 일입니다 어떤 곡선입니다 직선 또는 직선에 매우 가깝습니다

기본적으로 익숙한 기능이 충분한 근사 특성을 너무 밀접하게 그 기능 중 두 가지의 혼합을 나타내는 합리적인 학습 알고리즘 내 말은, 거리 물건, 결국 세계적으로 가장 가까운 곳을 찾을 것입니다 네트워크가 충분하다면 최근 결과가 많이 있습니다 실제로 베드로는 목록을주었습니다 그것들은 신경 용어와 일치합니다 신경 접선 [들리지 않음] 이 모든 최근 결과는 훌륭합니다

그들은 일반적으로 더 복잡합니다 이 일련의 논문에서 내가 아주 흥미로운 것을 발견 한 것은 프랜시스와 오 얄론 그가 주장하는 게으른 학습 신경 접선 접근이 있습니다 그가 게으른 학습이라고 부르는 것 해결책을 거치는 정권 그러나이 솔루션은 종종 그 솔루션을 일반화하지 않습니다 디커플링이 있기 때문에 이것을 볼 수 있습니다 매개 변수화와 볼록 속성의 볼록 속성 내가 가고 있다고 말할 수 있습니다 기본적으로 결과는 학습 알고리즘이 극복 할 가능성이 있음을 의미 매개 변수화 및 따르기 복잡한 수준을 설정하고 솔루션에 도달하십시오

그러나 이것이 좋은 아이디어는 아닙니다 특히, 당신이 많은 경우 소셜 공간이 큰 솔루션 과도하게 매개 변수화 된 네트워크에서 일반적입니다 그것은 또한 이상한 것과 연결된 매우 강한 모양, 학습 알고리즘은 특정 매개 변수화에 도달 할 수 있음 고려할 최소값보다 더 나은 최소값 당신은 단지 고려할 수 있었다 어떤 제약도없이 반대 의견을 제시합니다 이제 이것은 문제에 따라 결정될 것입니다 매개 변수화가 실제로 문제와 관련이 없는지 여부 따라서 우리가 가질 수 있습니다 대신 좋은 해결책을 제시 할 암묵적 편견 기본적으로 솔루션의 여전히 달성 가능합니다

특정 문제 여야합니다 또는 다른 곡선을 사용할 수 있습니다 다른 커브를 사용하는 것은 어떻습니까? 예 >> 우리가 다시 갈 수있는 곳이 있습니까? 자연스러운 그라디언트를 암시하는 것으로 생각하십니까? >> 자연스러운 그라디언트는 약간 다릅니다 당신이 고려하는 자연적인 그라디언트 매개 변수화 된 공간, [들리지 않는] 공간

그래서 당신은 밖을 보지 않습니다 여기서는 전체 공간에 지오메트리를 정의하지 않습니다 함수를 정의한 다음 모델의 하위 세트를 정의합니다 볼록 속성이있는 모델의 하위 세트를 원합니다 내 비용 함수는 일부 곡선에 대한 볼록 특성

어쨌든 바깥을 보면 파라 메트릭 모델을 사용하면 나에게 중요한 것은 매개 변수화가 아니라는 것입니다 그러나 실제로 친숙한 기능의 기하학 올바른 목표를 볼 때 네 >> [들리지 않음] 따라서 자연스러운 그라디언트를 연결할 수 있습니다 내 형상을 관련 시키면 자연 그라데이션을 정의하는 나머지 매니 폴드 커브 세트의 커브 지오메트리에 나는 그것이 연결이 될 것이라고 생각합니다

그것은 당신이 어떻게 움직일 수 있는지 알려줍니다 >> 네 그러나이 경우 첫 번째 재산이 있습니다 익숙한 기능의 볼록 함은 기본적으로 달성됩니다 당신은 단지 내부를보고 있기 때문에 두 번째는 문제를줍니다 여기 트릭은 둘 사이의 균형을 잡을 수 있다는 것입니다 내가 가족 때문에 문제가 생겼을 때 함수는 볼록한 것이 아니 었습니다

그들은 선을 근사 할 수있었습니다 "좋아, 더 많은 커브를하겠습니다 " 다른 부분을 가진 플레이어는 그래서 어려움을 한 손에서 정리 모형의 다른 손 기능의 볼록 함과 가족의 볼록 함 그래서 나는 언제 그것을 썼는지 몰랐습니다 하지만 그것은 매우 간단하지만 강력한 도구입니다

그러나 이것은 내가 지금 생각하는 것입니다 아마도 틀 렸습니다 나는 내가 틀렸다면 많은 사람들이 말해 줄 수 있다고 생각했습니다 그래서 그것은 저에게 기회를줍니다 실제로 논문에 무엇이 있는지 토론하십시오 이 논문에서 이것은 논문의 마지막 부분에있었습니다

내가 아주 좋아하지 않는 결과를 제공하기 위해 그 단점에 대해 이야기하겠습니다 하지만 흥미로운 부분이 있습니다 암시 적 모델에 관한 것입니다 GAN, VA 같은 것 또한 좋은 예입니다

내가가는 예가 매우 다른 종류의 곡선과 혼합을 사용하십시오 사실, 나는 그것이 작동하지 않는 혼합물을 보여줄 것입니다 암시 적 모델에 관심이있는 이유는 저는 단어의 중요한 속성을 찾고 싶습니다 있는 것보다는 특정 분포에 따라 다릅니다 변하지 않는 중요한 속성을 찾고 싶습니다 분포 변화에 특정 종류 또 다른 이야기입니다

하지만 기본적으로 엔지니어링 된 모델 대신 배포 보안을 통해 최근 모델과 매우 가깝거나 내부에 있으며 모든 거리를 사용할 수 있습니다 중요한 속성을 나타내는 매우 간단한 모델을 사용하고 싶습니다 그러나 데이터 배포가 현실적인지는 신경 쓰지 않습니다 그래서 사이의 거리 실제 분포와 모형의 분포 내가 최소화하려고하는 것은 정말 중요합니다 이 최대 가능성을 원한다면 좋은 도구가 아닙니다

간단한 모델이 무엇입니까? 몇 가지 관찰되거나 잠재 된 변수와 관련된 것 분포가 퇴화되고 저 차원 매니 폴드로지지됩니다 그것은 밀도가 없다는 것을 의미합니다 따라서 밀도 추정이 없습니다 그래서 그 해결 방법 사용하여 간단한 모델을 보강하는 것입니다 노이즈 모델과 노이즈 모델을 조정할 때까지 원하는 결과를 얻고이를 감독되지 않은 학습이라고합니다

그것은 실제로는 아니지만 나는하고 싶습니다 노이즈 모델을 추가 할 필요가 없는지 알고 하지만 재미있는 거리를 찾으십시오 올바른 속성이 있습니다 아직 찾지 못했습니다 그러나 몇 가지가 있습니다 암시 적 모델링은 관찰 된 데이터를 가지고 있다는 것입니다 분포 Q로 흐르는 나는 내가 알고있는 배포판을 가지고있다 매개 변수화 된 기능을 통해 앞으로 모수 분포를 만들기 위해

샘플을 얻을 수 있습니다 기본적으로 두 개의 샘플러가 있습니다 데이터 인 하나는 무제한 인 또 다른 하나입니다 Theta를 최적화하기 위해이 분포를 비교하고 싶습니다 좋은 점은 저 차원지지를 가질 수 있습니다

기본적으로 이것은 매우 좋습니다 매니 폴드 지지율이 낮은 분포를 나타냅니다 수학으로 쓸 수 있습니다 흥미로운 것은이 # 표기법입니다 운송 문헌에서 일반적입니다 G-Theta # Mu를 보시면 중 하나에 대한 푸시를 의미 함수 G-Theta를 통한 분포 Mu 많이 사용하겠습니다

그것은 퇴화 분포에 좋습니다 이제 분포를 비교하십시오 너무 똑똑해지기 전에 문헌에 무엇이 있는지보세요 분포를 비교하는 것에 관한 큰 문헌이 있습니다 기본적으로 강력한 토폴로지를 생성하는 것이 있습니다 총 변형과 같이 밀도가 필요한 쿨백-라이 블러

그것은 필요하기 때문에 거리가 아닙니다 밀도, 비대칭, 가능하면 무한 에 사용되었던 Jensen Shannon GAN의 첫 번째 버전 실제로 작동하지 않기 때문에 아무도 사용하지 마십시오 비대칭에는 밀도가 필요하지 않습니다 제곱근은 실제로 적절한 거리입니다 그러면 더 최근의 것들이 있습니다 Wasserstein-1이 있습니다

Wasserstein 거리는 모두가 알고 있거나 설명해야한다고 가정합니까? 시간이있어 설명 할 수있을 것 같습니다 그래서 저는 두 개의 분포 P와 Q를 가지고 있습니다 이것이 제가 WL, Peyre 소개에서 취한 그래프입니다 두 개의 분포 P와 Q, 그리고 나는 한계 P와 Q의 합동 분포를 구하고 공동 분포는 어디에서 보조금을 운송해야합니다 하나의 분포에서 두 번째 분포를 만들 확률 그래서 파이는 최소 이상입니다 모든 공동 배포 일부 비용 함수의 한계 P와 Q가 있습니다

운송비가 비싼 지 아닌지를 알려줍니다 이원성 정리로 최고야 모든 Lipschitz의 하나의 기능 X의 F 분포에 대한 기대 Y의 F의 두 번째 분포에 대한 마이너스 기대 항상 정의되어 있습니다 기본 공간의 측정법과 관련이 있습니다 밀도가 있거나 Lipschitz의 기능 중 하나 그것은 Wasserstein GAN에게 영감을주었습니다

거의 Kantorovich이지만 약간의 성공을 거두었습니다 때 나를 놀라게 한 또 하나 내가 처음 봤는데, 나는 무지하기 때문에 Diane Bouchacourt의 논문에서 그것이 Szekely의 에너지 거리입니다 네가있는 기괴한 일이야 기대하다 두 분포 지점 사이의 거리 두 번 곱하기 분포 차이 내부를 제거합니다 당신은 보여줄 수 있고 나는 그것을하지 않을 것입니다 이것은 동일하다 기본적으로 여기서 사용하는 거리와 또는 MMD 방법에서 사용하는 커널

최대 평균 불일치 MMD는 기본적으로 동일한 역할을합니다 다시, 당신은 Wasserstein과 에너지 거리를 모두 가지고 있습니다 MMD, 주 토폴로지를 정의하십시오 어쩌면 그들은 정말 의존 아래의 미터법 공간 분포 >> DiscoGAN의 경우 근사치 신경망과 함께이 최고 아니면 대포보다 더 똑똑한 일을합니까? >> 그들은 캐논보다 똑똑하지 않습니다

이제는 미터법을 MMD-GAN이라고하는 새로운 방법으로 작성했습니다 왜 대포로 똑똑한 일을하지만 또한 적대적인 용어로도 사용됩니다 사실, 그는이 정의를 벗어납니다 따라서 동일한 지오메트리를 갖지 않았습니다 이제 분배 공간에서 혼합물을 살펴 보겠습니다

P0, P1의 경우 최대 분포 Pt는 두 분포의 혼합물입니다 나는 배포판이 있다고 가정합니다 생성기에 의해 암시 적으로 정의됩니다 혼합물이 볼록하다고 생각합니다 아마도 볼록한 혼합물이라고하면 혼합물 세트에 대한 주요 볼록한 존중 그밖에

그것이 의미하는 바입니다 기본적으로 모든 혼합물에 대해 세타 T는 G-Theta T를 통해 Mu를 밀면 내 분포가 나옵니다 문제는 P0과 P1이 0이 아닌 여백을 가진 G-Theta 지원 T2 세타 T보다 불연속 또는 Theta에서 G-Theta 로의 불 연속적입니다 두 경우 모두 배우기가 매우 어려울 것입니다 불연속 기능을 배우는 것은 재미가 없기 때문에 최적화

증거는 간단합니다 두 개의 분포 P0을 취합시다 G-Theta 공급 장치가있는 P1 여기에 약간의 여백 Mu 모든 Epsilon 양성에 대해 그러나 Z의 G-θ 0은 작다 따라서 G- 쎄타 제로의 출력은 항상 P0의 공급 장치에 속합니다

G-Theta 제로를 통해 Mu를 앞으로 밀면 P0이 구현되기 때문입니다 모든 Epsilon, Z의 G-Theta Epsilon, Epsilon 확률로 P1의 공급원에 속합니다 작은 규모이지만 관리가 있다면 Z의 일부는 P0의 공급 P1의 P0 공급 즉 Z가 있으므로 Z의 G-θ 0과의 거리 Z의 G- 세타 엡실론이 우리의 4 명이 Epsilon 인 방법에 관계없이 U 따라서 이것은 본질적으로 확률 공간을 커브하는 혼합물, 이 두 분포 사이에 곡선을 만들고 싶습니다 당신은 어딘가에 끊을 연속성이 있습니다

연속 할 수 없습니다 그래서 이것은 혼합 곡선이 일치하지 않습니다 암시 적 모델의 기하학 전혀 다른 곡선이 필요합니다 변위 곡선으로 이동하는 동안

검색 시간으로 돌아가서 P0에서 P1까지의 운송 계획 한계가 P0 및 P1 인 공동 분포입니다 우리는 최적이라고합니다 DXY에 대한 DP의 기대 공동 분포에 대한 기대는 최소입니다 지수 P는 어설 션 P 거리 중 하나입니다 같은 그림이 여기에 있습니다 이제 유클리드의 경우 기본 공간이 아닌 경우 측지선을 따라야하는 것이 더 복잡합니다

간단한 사례를 살펴 보겠습니다 변위 곡선은 Pt를 정의 할 것입니다 최적의 운송 계획을 통해 혼합물을 추진하는 것 즉, 최적의 운송 계획을 세웁니다 배포부터 시작하여 이민자 권한을 갖겠습니다

P 음식 운송 계획을 따르면 저는 Q로갑니다하지만 교통 수단에서는 난 그냥 떨어 뜨릴거야 분수 T와 내가 어떤 분포를 얻었는지 보라 이제 P_0이 G_Theta_0이라고 가정 해 봅시다 [들리지 않음] G_Theta_0 및 P_1을 통해 mu를 앞으로 밀기 u G_Theta_1의 푸시 포워드 글쎄, 내가 둘 다 앞으로 밀면 공동 배포가 있습니다

그것이 교통 계획입니다 두 가지의 조합을 추진하면 이 운송 계획에 대한 변위 곡선이 있습니다 기본적으로 가족이 G_Theta 함수는 근사치가 충분히 강합니다 이것은 최적의 계획에 가깝습니다 그래서 실제로 필요했습니다 G_Theta_0을 원하는 것으로 가져갈 수 있기 때문입니다

>> 알겠습니다 >>이 최적의 변위는 u로 G_Theta_t에 가깝습니다 기본적으로 다시 한 번 경고를하면 복잡 할 수 있습니다 나는 여기에 지나치게 주장하고 싶지 않습니다 난 그냥 말할 때 G_Theta 제품군은 충분히 풍부하고 근사치입니다 변위 곡선이 패밀리 내부에있는 것이 당연합니다 기본적으로 변위 볼록성은 자연 명목 볼록 암시 적 모델에 의해 정의 된 배포 제품군

그러한 가족은 일반적으로 논쟁 때문에 혼합 볼록한 그들이 있다면 그것들을 쓸모 없게 만드는 불연속성이 없습니다 가족과 비교할 수 있습니다 파라 메트릭 밀도 함수로 정의됩니다 파라 메트릭 밀도 기능이 있으면 파라 메트릭 밀도 함수가 근사 특성이 높고 근사 할 수있는 기회 중첩 또는 혼합물이며 여기에서 무시됩니다 혼합 곡선의 경우 밀도를 추정 할 때 매우 자연 스럽습니다

그러나 암시 적 모델이 있으면 자연 곡선은 실제로 변위입니다 문제는 변위가 볼록한 비용 함수는 무엇입니까? 그것은 또 다른 쓰레기이기 때문입니다 우리는 암시 적 모델링을 알고 있습니다 몇 가지 사실을 알려 드리겠습니다 첫 번째는 Wasserstein과 MMD가 얼마나 다른지입니다

글쎄, 나는 강력한 토폴로지를 제쳐두고 또한 불연속 문제가 있기 때문입니다 Wasserstein 논문의 주제였습니다 나는 Wasserstein과 에너지 거리를 취합니다 이중 형식을 설명하면 매우 닫힙니다 다른 유일한 것은 sup [들리지 않음]입니다

Lipschitz_1 기능에서 하나의 Lipschitz 경계인 기능 Wasserstein과 MMD에 대한 [들리지 않음]에 내가 무지하기 때문에 [들리지 않음] 예, 정말 가깝습니다 나는 그것이 꽤 큰 차이라는 것을 발견했다 Lipschitz_1이 분명히 더 큽니다 RKHS로 많은 것을 근사 할 수 있기 때문이 아닙니다

RKHS Bohr은 Lipschitz_1 Bohr와 가깝습니다 어쨌든 측지학에 대해 토론 할 수 있습니다 분배 공간이 갖추어 진 경우 에너지 거리 또는 MMD 거리 가장 짧은 경로를 보여줄 수 있습니다 두 분포 사이의 혼합 곡선입니다 가장 짧은 길을 보지 않았다는 것만 빼고 거리를 최소화하면 최단 경로는 꽤 볼록성 측면에서 중요합니다 분포 공간이 Wasserstein_P와 같을 때 가장 짧은 경로는 변위 곡선입니다

Wasserstein_1에는 둘 다 있고 모든 종류가 있습니다 약간 변위되는 하이브리드 커브의 약간의 혼합물 공간의 다른 부분 또는 다른 반전 Wasserstein_1에는 많은 측지학이 있습니다 통계적 속성, 내가 사이에 예상 거리를 보면 종점에 대한 분포 Q 및이 경험적 근사치 에너지 거리는 그것은 n 이상에 있습니다

Wasserstein에게 그것은 n에 대한 차원이고 d에 대한 차원입니다 재앙입니다 이것은 Sanjeev가들을 수없는 좋은 예입니다 그의 영역에서 이것이 완전히 도달했습니다 완전히 희망이없는 것 같습니다

그러나 당신이 그것을 실행할 때 무슨 일이 일어나고 있습니까? 실제로 ED MMD는 치수가 작을 때 잘 작동합니다 이것이 [청취 불가] 논문에있는 내용입니다 [들리지 않는] 용지가 다릅니다 높은 차원에서 매우 빨리 붙습니다 Wasserstein 훈련은 꽤 잘 작동하는 것 같습니다 나는 그것이 매우 쉽고 매끄 럽거나 전부라고 말하지 않을 것입니다

그것은 정상적인 신경망뿐만 아니라 작동하지만 작동의 기울기입니다 예를 들어서 그것은 전형적인 침실입니다 이러한 모든 초기 이미지 혁신 문제에 사용됩니다 이것들이 예입니다 MMD 교육을 받으면 특정 신경망, 당신은 그 세대를 얻습니다 Wasserstein 거리로 훈련하면 이 네트워크를 얻을 수 있습니다

그게 왜 힌지가 가장 끔찍한 통계적 속성 작품을 훨씬 더 잘 생각할 수 있습니다 나는이 사진이 보면, 그것은 일종의 미인 대회입니다 그렇게 많이 말하지 않습니다 그러나 여전히 볼 수있는 일관된 효과입니다 그것의 많은 세트, 거기에 뭔가가 있습니다

어떻게 일이 잘못 될 수 있습니까? 괜찮아 이것은 예입니다 균일하고 매우 간단하며 완전히 구성되었습니다 그러나 그것은 그것을 보여주기 위해 만들어졌습니다 상황이있을 수 있습니다 지역 최소값과 Wasserstein_1과 같은 에너지 거리는 그렇지 않습니다 구성 예입니다

그렇게하도록 설계되었습니다 그러나 최소한, 그것은 당신이 얻을 수있는 개념 증명입니다 에너지 거리가있는 지역 최소 당신은 Wasserstein과 함께하지 않습니다 이제 저는 가족의 볼록함에 대해 이야기했습니다 거리 함수의 볼록함에 대해 [들리지 않음] 제가 최소화하려고하는 것은 DQ, P_Theta입니다

비용 함수 P를 DQ로 P, 그것은 볼록한가요? 변위 볼록합니까? 혼합 볼록은 일직선이므로 작동하기 쉽습니다 변위 볼록은 먼저해야하기 때문에 더 복잡합니다 이것은 일반적으로 미터법 공간에서는 사실이 아니라고 확신합니다 L1 거리를 갖춘 L2를 가져 가십시오 이것이 맨해튼입니다 거리를 제외하고는 거리의 이산화없이

측지선은 가장 간단한 방법으로 세로로 가로로 가로로 이동합니다 여기이 십자가는 L1입니다 L2에 L1 거리를 장착하면 볼록합니다 죄송합니다 세트와 관련하여 볼록합니다

측지선이며 L2의 L1 메트릭에 사용됩니다 그러나 두 볼록 세트의 교차점은 볼록하지 않아도 연결되지도 않습니다 또한 거리를 0으로 설정하면 여기이 두 곡선이 측지선이라는 것을 알 수 있습니다 파란색은 볼록하지만 거리를 0에 가깝고 빨간색은 그렇지 않습니다 따라서 기본적으로 제공되지 않습니다

알았어요 Wasserstein 거리 변위 볼록하지 않습니다 여기에 반례가 있습니다 원에서 균일 한 Q B는 중앙에서 회전하는 스틱에서 균일합니다

스틱의 길이는 LL입니다 PL과 Theta 사이에 Q의 플롯 Wasserstein을 표시하면 세타에 의존하지 않기 때문에 회전 비대칭은 L에만 의존하고 감소합니다 기본적으로 스틱이 클 때 Wasserstein 거리가 더 작습니다 실제로는 매우 직관적입니다 이제 스틱을 약간 돌리고 P1과 P0 사이의 변위 보간

여기에 PT가 있습니다 하지만이 PT는 곡선을 따르지 않습니다 그것은 직선을 따르고 있습니다 여기이 도트 도트 선은 직선입니다 즉, 회색 세그먼트는 P0 및 P1보다 약간 짧습니다

조금 짧기 때문에 Wasserstein 거리가 더 큽니다 여전히 희망이 있습니다 기본적으로 당신이 얻는 것, 희망은 당신이 쓸 수 있다는 것입니다 내가 싫어하는 정리 한계가 너무 심하기 때문에 그러나 그것은 심지어 볼록성을 위반하더라도 T의 용어로 묶을 수 있습니다 1 빼기 T 곱하기 이제 G_Theta를 늘려도 무언가가 줄어들지 않습니다

이것이 내가 싫어하는 이유입니다 고정 수량입니다 기능에 따라 다릅니다 증거가 아주 초보적인 접착제 그것은 약간 성가 시지만 실제로는 그리 어렵지 않습니다 그런 다음 거의 볼록한 최적화 정리를 적용 할 수 있습니다 보증이 있다고 결론 내립니다 Wasserstein을 사용하여 암시 적 모델 최적화 그 값이 전 세계 최소값에 가까운 지역 최소값 만 근방은 그다지 좋지 않습니다 내가 신경망에 가지고있는 것 나는 그것을 줄일 수 없기 때문에 근사 함수를 증가시킵니다

내가 대략적으로 근사하더라도 내 기능은 Wasserstein 거리와 관련하여 볼록했습니다 내 기능 군은 Wasserstein 거리를 정확히 고려하여 나는 여전히이 여분의 용어를 가질 것이다 어쨌든, 나는 이것과 거꾸로 있었다 보기 때문에 재미 있다고 생각합니다 중요한 것이있는 예 [들리지 않음]의 기하학 인 기계 학습 배급은 장비 될 수있다 혼합물과 매우 다른 곡선으로

때로는 암시 적 모델 때문에해야합니다 여전히 어떤 종류의 것을 얻을 수 있습니다 이러한 방식으로 볼록성 결과 및 최적화 결과 우리가 논문을 쓸 때 정말이 결과에 흥분했습니다 정리는 나에게 너무 단순하다 하지만 제 관찰은 이런 종류의 실제로 결과는 그렇게 간단하지 않습니다

그들은 문학에서 일반화하기가 훨씬 더 어렵습니다 시간이지나면서 내 마음이 바뀌었던 아마 실제로 생각 이 사소한 정리는 그렇게 나쁘지 않습니다 많은 어려운 결과를 아주 단순하게 만들기 때문입니다 그래서 내 결론은 혼합 곡선에 대한 볼록 함은 로 회귀 모형 최적화 강한 근사 특성 하강 알고리즘은 거의 전 세계 최소값을 산출합니다 이 속성은 정확한 매개 변수화와 무관합니다 암묵적인 편견에 대해서는 아무 것도 말하지 않습니다

매개 변수화와이를 가장 잘 활용하는 방법에 의해 유도됩니다 암시 적 생성 모델에서 변위 곡선에 대한 볼록 함이 더 보인다 혼합 곡선과 관련하여 볼록성보다 자연 스럽습니다 그것은 우리의 잠재력입니다 이미지에 대해 생각하십시오 이미지에서 이미지의 혼합은 쓰레기입니다

몰라 자연 지오메트리의 이미지에는 변위 지오메트리가 있습니다 따라서 사용 가능성이있을 수 있습니다 이상한 곡선과 증명 어떤 종류의 네트워크에 흥미로운 것들, 특히 이미지에서 잘 작동하는 모든 네트워크 그러나 나는 그것을하지 않았으며 어떻게 해야할지 모르겠다 그것 그게 다야

>> 질문 할 시간 >> 네 >> 부분적으로 이해하지 못했습니다 2 일반화에 대해 이야기하기 시작했을 때 나는 파트 1이 훈련에 관한 모든 것을 의미합니다 >> 아니요, 일반화에 대해서는 전혀 이야기하지 않았습니다 >> [들리지 않음]

>> 일반화에 대해서는 아무것도 없습니다 >> 당신은 어떤 점에서 그것이 >> 미안, 2 부 무슨 말인지 알 겠어 >> 맞아 >> 하강 알고리즘이 진행될 수 있도록하는 속성 거의 전 세계적으로 복잡한 속성으로 줄어 듭니다 매개 변수화에 의존하지 않습니다

그러나 매개 변수화는 하강 알고리즘은 다음과 같습니다 우리는 생체 공간에서 일하기 때문입니다 따라서 암묵적인 편견을 만듭니다 그들은 당신이 찾을 솔루션을 결정할 것입니다 일찍 멈 추면 그들은 당신이 멈출 곳을 결정할 것입니다 예를 들어, 솔루션 공간이 있으므로 레벨이 설정됩니다

제로 레벨이므로 연결합니다 그것은 데이터 공간에서 매우 기이합니다 결과에 따르면 해당 수준까지 나는 그들 중 하나에 갈 수 있도록 연결되어 있습니다 그것은 내가 좋은 것에 갈 것이라고 말하지 않습니다 반면에 익숙한 기능이 매개 변수화되는 방식 익숙한 기능이더라도 제로 행렬을 상당히 많이 바꾸고 있습니다

아주 잘 해결책에 도달 그것은 일반화 측면에서 우수합니다 >> 당신은 할 수 있습니다 >> 할 수 있습니다 만약 내가한다면, 이것은 매우 문제에 의존하는 것입니다 그것은 본질적으로 달려 있기 때문에 매개 변수 설정 방법에 대해 >> 커널 방식과 같은 시점에서 이것은 커널이 당신이 [들리지 않음]을 시도하는 것뿐만 아니라 일반화 할 것입니다 >> 아니, 당신은 그 증거를 설정했습니다

>> 알겠습니다 >> 종이를 Francis와 그의 학생의 게으른 학습지 그의 이름을 기억해야합니다 죄송 해요 >> [들리지 않음] >> 알겠습니다 그것이 얼음이나 사자 또는 이와 같은 것인지 확실하지 않습니다 >>이 학생은 [들리지 않음] 학생입니다

>> 알겠습니다 어쨌든 오늘이 논문을 가져 가면 그들은 경험적으로 당신이 따르는 해결책을 보여줍니다 탄젠트 채널은 작업 수에 비해 성능이 떨어지고 논쟁이 있습니다 그러나 그것은 끝입니다 시작 신문은 이런 종류의 게으른 학습은 많은 모델에 나타날 수 있습니다 특정 방식으로 스케일링을 변경할 때 그래서 그것은 희귀 속성이 아니라고 말합니다 일반화 보장 측면에서 많은 것을 제공하지 않습니다 이 솔루션은 매우 좋습니다

그것은 우리가 실제로 알고있는 것들과 상당히 일치합니다 커널 방식이 작동하면 솔루션을 제공합니다 그러나 실제로는 이미지에 대한 CNN뿐만 아니라 일반 좋은 이유 때문에 CNN은 이미지에 매우 적합합니다 >> 그러나 나는 단지 이해하려고 노력하고 있습니다 당신이 무슨 말을하는지 이해합니다 그러나 파트 1은 지금 당신이 말하는 것을 설명하지 않습니다

>> 1 부에서는 세계적으로 가장 가까운 곳으로가는 것은 기하학적 일뿐입니다 그것은 매개 변수화에 의존하지 않습니다 >> 아무 상관이 없습니다 >> 매개 변수화가 직교 관심사에 대한 영향 암묵적인 편견이 중요합니다 이것이 내가 말하는 것입니다

>> 알겠습니다 괜찮아 그 일 >> 내가 말하는 전부입니다 >> 녹음 중입니다 [들리지 않음] >> 내가 설립하려고 에 대한 복잡성 변위 코드 또는 추가 코드 하강 알고리즘으로 무언가를 할 수 있습니까? 문제는이 등급의 곡선에서 볼록합니다

>> 하나, 저는 전혀 몰라요 당신이 그것을하더라도 그것은하지 않습니다 올바른 솔루션으로 안내 할 것입니다 어쨌든 당신이 생각하는 사실은 동시에 매우 강력한 모델 용어 근사화 속성 및 동시에 매개 변수화 측면에서 매우 복잡하거나 유용한 것입니다 그것들을 모두 분리하는 것이 좋습니다 당신은 잘 말할 수 있습니다 이 강력한 모델로 해결책을 찾겠습니다 이제 매개 변수화 작업을 할 수 있습니다 내 문제에 적합하게 만들었습니다

이를 통해 학습 알고리즘의 역학을 바꾸고 있습니다 더 흥미로운 것들을 향해서 >> 매우 동의합니다 적어도 내가 이해하는 한 철학 그러나 레벨 세트가 연결되면 하강 알고리즘은 세계 최소는 직관적으로 매력적입니다 그러나 당신이 가지고 있다면 그것은 분명하지 않습니다 실행할 수있는 하강 알고리즘 연속 시간과 [들리지 않음] >> [들리지 않음]

C 만 내용이 속도 곡선을 제한하는 경우 f의 모든 지역 최소값은 세계적입니다 계속해서 전 세계 최소값을 찾으면 최대 [들리지 않음] 전역을 살펴보십시오 두 번째 부분은 바깥 쪽 가장 나는 그렇게하지 않았지만 같은 종류의 증거입니다 >> 맞아 그러나 세트가 될 수는 없었습니다

아마도 이것은 제한 속도 곡선에 의해 배제 될 것입니다 예를 들어, 물론 당신은 사용하는 지수입니다 당신은 할 수 없습니다 [들리지 않음] 알고리즘 다항식 [들리지 않음] >> 나는 다항식에 대해 말하지 않았습니다 합리적인 방법으로 강하하는 알고리즘이 있다면 당신이 말할 수있는 의미는 최소 지역을 찾을 것입니다, 그러면 새로운 세계를 찾을 것입니다 이것이 내가 의미하는 전부입니다

레벨 세트는 약한 가죽 끈 논쟁입니다 그러나 이것은 내가 추측하는 기하학이라고 생각합니다 예 >> 표면이 평평하다면 기본적으로 하위 수준 집합을 연결할 수있었습니다 그러나 당신은 여전히 ​​글로벌 최적으로 수렴하지 않습니다

>> 이것이 속도를 제한 한 이유입니다 경계 속도에서 일어나는 것은 실제로 그 속도입니다 기본적으로 현지 최소 금액을 취하면 기본적으로 X 지점을 중심으로 나는 내가있는 공간이있다 올라가거나 나는 평평한데 아래에 선을 그려야하는 점 이 평평한 지역의 중심 아래가이 평지에 있기 때문에 어느 시점에서 아래로 가야합니다 종점 볼록성과 모순됩니다 원한다면 아마 자랄 수 있습니다

x와 a1x가 있습니다 내 기능은 평평합니다 나는 아래에 있다고 가정합니다 따라서 x와 y와이 곡선은 속도를 경계로합니다 기본적으로 아래 어딘가에 키를 찾을 수 있습니다 기본적으로 함수의 값은 Gamma_t는이 선형 하강 라인보다 높아야합니다

기본적으로 그들은 선택됩니다 한계 속도는 매우 중요합니다 다른 경우에는 실제로 우리는 나중에 그것이 훨씬 더 단순하다는 것을 알고 있습니다 글쎄, 그것은 실제로 같은 것입니다 Lambda는 아래에 z 지점이 있습니다

당신은 레벨 M을 가지고 있습니다 당신은 x를 가지고 있습니다 여기 평평한 구역이 있고 z로 가고 싶습니다 z가 충분히 낮 으면 당신은 완전히 아래에 호를 가질 것입니다 그러나이를 위해서는 한계 속도가 필요합니다

t를 조금 움직일 때 당신은 큰 변위를하지 않습니다 기능 공간 또는 제한 속도 어 Where 어? 음, 그것은 평평한 지역입니다 한계 속도는 여기 생각합니다 지금 찾으려고하면 나는 그것을 잘못 찾을 것입니다 괜찮아

예 >> 네, 첫 번째 결과는 보편적 근사입니다 찾은 곡선이 연속적임을 어떻게 보장합니까? 모든 점에 대해 근사 기가 있기 때문에 그러나 아마도 별개의 일이 어려울 수도 있습니다 >> 내가 말했을 때 내가 보여줄 방법을 정확히 알고 있기 때문에 당신은 많은 포인트를 찾을 수 있습니다 연속성이없는 기능 아주 쉽습니다

당신은 밖에 갇혔습니다 내가 아직 몰라 죄송 해요 내가 있다고 말할 때 나는 단지 나를 깨달았다 우리가 아직 [들리지 않는] 연속성 문제 함수를 근사하기 위해 바인딩해야 할 수도 있습니다 및 또한 유도체

괜찮아 >> 더 이상 질문이 없으면 Leon에게 감사를 표합니다 >> 고맙습니다

[우리집] 작품및 윤가은 감독소개(김나연,김시아,주예림,The House of Us , 2018)

안녕하세요 쵸키입니다 저는 새로 공개된 신작영화를 소개해드리고 있는데요 오늘 소개해드릴 신작 영화는 4학년 또래 여자아이들의 우정과 질투를 그린 영화<우리들>을 만든 윤가은 감독의 두 번째 작품인 영화 <우리집>입니다 영화<우리집>은 5학년인 주인공 하나(김나연)와 같은 동네에 사는 3학년 유미(김시아) 7살 유진(주예림) 자매의 이야기 입니다 하나는 늘 다투기만하는 부모님으로 인해 가족 모두가 함께 여행가는 게 꿈인 소녀인데요 그러던 어느날 하나는 가난한 집안 사정으로 부모님과 떨어져 사는 유미자매를 만나게 됩니다 이때 집주인의 이사 통보를 받게 된 유미자매로인해 하나와 아이들은 유미의 부모님을 찾아 길을 나서게 됩니다 이처럼 이 영화는 가족의 문제를 풀기 위해 길을 나선 아이들의 모습을 그린 영화입니다 이 영화를 만든 윤가은 감독은 2009년 휴일에 무심코 등교를 하게 된 서로 친하지 않은 같은반 두 여학생의 이야기를 그린 단편영화<사루비아의 맛>을 연출하며 영화계에 발을 들여놓게 됩니다 그 뒤에 2011년 아빠의 불륜녀 집에 무작정 찾아간 사춘기 딸의 이야기를 그린 단편영화 <손님>을 만들고 2013년도에는 생애 처음으로 콩나물 심부름을 가게 된 7살 소녀의 이야기를 그린 25분짜리 단편영화 <콩나물>을 통해 유수의 단편영화제에 초청되며 영화계의 관심을 받게 됩니다 그리고 2016년 사춘기 여자아이들의 시선에서 타인과의 관계에 대한 심도 있는 질문을 던지는 장편 데뷔작 영화<우리들>로 국내외 30개 이상의 영화제에 초청 받고 수상하며 큰 관심을 일으킵니다 거기다 독립영화로써 국내 관계 5만이 넘는 흥행을 하며 관객과 평단 모두를 만족시키며 화려하게 등장한 감독입니다 특히 일본의 거장 고레에다 히로카즈 감독의 영화 <진짜 일어날지도 몰라 기적>과 영화<아무도 모른다> 가 생각날 정도로 아역 배우들의 자연스러운 연기를 이끌어냈던 윤가은 감독만의 연기지도와 연출 방식은 신인 감독이라고는 믿지 못할 정도로 노련함이 묻어났는데요 그런 자신만의 장점이자 특징을 살려 이번 신작에서도 아역 배우들을 등장시켜 가족문제에 대해 이야기한다고 합니다 영화는 2019년 8월 22일 개봉입니다

The Dawn of AI (Machine Learning Tribes | Deep Learning | What Is Machine Learning)

이 AI 시리즈의 과거 비디오에서 의 분야에 꽤 깊이 파고 들었다 기계 학습, 둘 다 논의 지도 및 비지도 학습 그만큼 이 비디오의 초점은 우리가 가진 많은 주제를 통합 지난 비디오에서 논의하고 답변 이것의 시작 부분에 제기 된 질문 기계 학습 시리즈, 차이점 인공 지능과 기계 학습! 요약하면 이 시리즈의 지난 두 동영상에 우리는 감독과 그들과 함께 비지도 학습 기계 분야의 부분 집합 배우기

지도 학습은 우리가 레이블이 있고 구조화 된 데이터가 있으며 우리가 사용하는 알고리즘은 입력 데이터를 기반으로 출력합니다 반면에 비지도 학습 레이블이없는 비정형 데이터 용 우리가 선택한 알고리즘은 구조화되지 않은 구조에서 구조 도출 출력 데이터를 예측할 수있는 데이터 입력 데이터를 기반으로합니다 또한 둘 다 지도 및 비지도 학습은 1) 회귀-A 지도 학습 방식 출력은 기능 기반의 값입니다 다른 기능과의 상관 관계에 최고의 연속 선에있는 것 알고리즘에 맞게 결정합니다 2) 분류-감독 학습 출력이 레이블 인 방법 카테고리에 기초한 데이터 포인트 포인트가 있었다

이산 카테고리의 결정 경계는 우리가 선택한 알고리즘 3) 클러스터링- 비지도 학습 방식 다양한 카테고리를 발견해야합니다 데이터 포인트는 그들의 기능의 관계 4) 협회-비지도 학습 우리가 발견해야하는 방법 데이터 세트의 기능 상관 과거에 언급했듯이, 그것은 좋지만 이 주제들을 조금씩보기 위해 거품, 종종 많은 크로스 오버가 있습니다 예를 들어 다양한 기술 사이에서 반 감독 학습의 경우 이것은 이전에 논의되지 않았지만 본질적으로 데이터 세트가 레이블이있는 데이터와 레이블이없는 데이터를 모두 포함합니다

따라서이 경우에는 이러한 유형의 데이터는 먼저 클러스터 할 수 있습니다 데이터를 분류 한 후 실행 그것에 알고리즘, 또는 다른 많은 기술의 조합 이제 길을 개척하고 장군 기계의 종류에 대한 이해 학습과 모든 지식 과거에 다룬 용어 비디오, 우리는 이제 무엇을 해독하기 시작할 수 있습니다 기계 학습이라는 용어는 실제로 그리고 인공과 관련이있는 방법 지능과 다른 분야! 명시된 바와 같이 이 시리즈의 첫 번째 비디오에서 기계 학습이라는 용어는 컴퓨팅의 선구자 인 Arthur Samuel은 컴퓨터를 제공하는 연구 분야 능력 명시 적으로 배우지 않고 배우다 이러한 광범위한 정의로 하나는 논쟁 할 수 있고 모든 '유용한'프로그램은 '학습' 그러나 무언가 진실의 수준 학습은 다양합니다 이 수준의 학습 알고리즘에 의존 프로그램이 통합됩니다 이제 돌아가 몇 단계, 알고리즘은 개념 그 이후로 수세기 동안 존재했습니다 인류 문명의 새벽 프로세스를 지칭하는 용어 또는 따라야 할 규칙 세트 계산 또는 기타 문제 해결 작업

무엇이든 될 수 있지만 알고리즘과 같은 음식 접시 또는 단계를위한 조리법 화재를 시작하는 데 필요한 용어입니다 가장 일반적으로 우리를 설명하는 데 사용 수학의 이해와 방법 우리 주변의 세상과 관련이 있습니다 현실의 정보 패브릭 의 발전과 함께 앞으로 진행 컴퓨팅, 본질적으로 구축 된 필드 수학적 속도의 전제 계산, 탄생의 길을 주었다 알고리즘이 현재 컴퓨터 과학 처리, 저장 및 정의 디지털 정보의 통신 그만큼 알고리즘을 반복하는 능력 초고속 컴퓨터 지난 세기에 운영 주도 구현 및 발견 몇 가지를 나열하기 위해 다양한 알고리즘 Bubble과 같은 정렬 알고리즘이 있습니다 정렬 및 빠른 정렬, 최단 경로 Dijkstra 및 A *와 같은 알고리즘 이 목록은 계속해서 다양하게 사용할 수 있습니다 문제 이 알고리즘은 있는 것처럼 보이는 작업을 수행 학습은 정말 반복적입니다 사전 프로그래밍 된 단계 수행 뚜렷한 대조로 결과를 달성하다 기계 학습의 정의에 명확한 프로그래밍없이 배우십시오

지난 몇 개의 동영상을 다시 반영 이 시리즈에서 우리는 머신 러닝 유형 감독 및 감독되지 않은 사람이 있습니다 그것들을 통과하는 공통 스레드 양자 모두 다양한 기술을 활용하려면 형성하는 접근법과 알고리즘 데이터 세트에 대한 의사 결정 경계 결정 공간 이것은 결정을 나누었다 공간을 기계라고합니다 학습 모델과 과정 모델을 형성하는 것 데이터 세트의 의사 결정 경계는 훈련이라고합니다 이 훈련 모델이 첫 번째와 평행을 이룹니다 우리 인간으로서의 기본 지식 유형 표시, 선언적 지식, 기타 단어, 암기, 축적 개별 사실

우리가 훈련되면 모형과 그것은 좋은 정확도를 보이고 있습니다 훈련 데이터에 우리는 그것을 사용할 수 있습니다 다음 단계를위한 모델, 추론 이 출력을 예측하는 능력입니다 그 가치 또는 범주인지 여부 새로운 데이터 머신 러닝 추론 두 번째 기본 유형과 평행 지식 우리는 다른 말로 명령형 지식을 전시합니다 단어, 일반화, 능력 오래된 사실로부터 새로운 사실을 추론하십시오 또한, 모델이 새로운 것을 만나면서 데이터를 기차로 더 사용할 수 있습니다 결정 경계를 미래의 데이터를 추론하는 데 도움이됩니다

우리가 방금 논의한이 전체 과정 두 번째로 가장 널리 사용되는 머신 러닝의 정의 카네기 멜론 박사 톰 미첼 대학, "컴퓨터는 일부 수업과 관련하여 'E'경험 작업 'T'및 성능 측정 'P' 'T'작업에서 성능 'P'로 측정, 경험과 함께 향상 '이자형' 따라서 진술하는 것이 정확하지만 모든 '유용한'프로그램은 무언가를 '배웁니다' 데이터에서 나는 수준의 차이를 희망 기계 학습 모델 학습 및 일반적인 알고리즘이 더 명확 해졌습니다 도메인 별 머신 러닝의 부상 약한 인공 지능 그대로 에서 수십 년 동안 만들기 그러나 먼저 인공적인 것은 무엇입니까 지성? 당신이 배웠기를 바랍니다 이 시리즈의 지난 동영상에서 AI는 모방 할 수있는 모든 모델을 말합니다 인간의 사고를 발전 시키거나 보여 주거나 지각 또는 행동

우리의 경우에 컴퓨팅 기반 AI를 말합니다 우리의 이 AI 시리즈의 첫 두 비디오 인 AI의 역사와 탄생, 우리는 인공 분야의 발전 지능을 개발하려는 노력에서 더 일반적인 AI는 강력한 AI라고도 함 도메인 별 획득에 집중 다양한 분야의 전문 지식 이 터닝 AI 분야의 요점은 본질적으로 80 년대의 전문가 시스템 복잡한 조건부 논리 만약 그렇지 않다면, 그것은 의 각 분야에 맞는 해당 분야의 전문가에 의한 지식 에서 AI 비디오의 탄생이 끝나고 우리가 중단했던 기간은 AI였습니다 90 년대 초반의 흉상 AI 과대 광고주기에서 낮은 포인트 어떤 전문가에 대한 약속을 통해 시스템은 실제로 할 수 있습니다 이 시점 이후 지능형 시스템의 개발 부족으로 인해 배경으로 갔다 자금 및 주요 관심사 분야와 빠른 기술 다른 많은 분야에서 진행된 인터넷 발명에서 모바일 컴퓨터 상용화 전화-목록은 계속 갈 수 있습니다

동안 이 90 년대의 전문가 원래 시스템과 알고리즘 AI 연구원에 의해 개발 시작 더 큰 시스템의 일부로 나타납니다 이들 알고리즘은 많은 것을 해결했다 어려운 문제와 해결책 에 걸쳐 유용한 것으로 입증 데이터 마이닝, 산업용 로봇, 물류, 연설 인식, 금융 소프트웨어, 의료 진단 및 Google의 검색 엔진 몇 가지를 나열하십시오 그러나 인공 지능 분야 이것에 대한 크레딧을 거의 또는 전혀받지 못했다 1990 년대와 2000 년대 초반의 성공 AI의 가장 큰 분야의 많은 분야 혁신은 도구에서 다른 항목의 상태 컴퓨터 과학의 가슴 Nick Bostrom으로서 Superintelligence의 저자는 2006 년 "많은 첨단 AI가 일반적인 응용 프로그램으로 필터링 AI라고 불리지 않고 뭔가 유용하게되고 일반적으로 AI라고 표시되어 있지 않습니다

더 이상 " 이것은 요한과 비슷합니다 AI의 아버지 맥카시도 다시 80 년대 그래서, 무엇을 시작했는지 2000 년대 후반과 추진 한 10 년의 시작 다시 AI의 분야가 최전선에? 우선, 증가에 감사 할 수 있습니다 무한한 컴퓨팅 파워와 스토리지 컴퓨팅, 빅 데이터 및 기타 다양한 과거 비디오에서 다룬 주제 이러한 발전은 많은 양을 허용했습니다 학습 할 데이터 및 컴퓨팅 전력 및 스토리지가 필요했습니다 그렇게하기 위해

이제, 그 발견을 말할 수 있습니다 데이터의 구조는 인간의 상태이며 우리가 지금까지 와서 진보는 컴퓨터에게 그들이 무엇을 주었다 그렇게해야합니다 자, 여기에서 볼 수 있듯이, 차이점 다양한 AI 혁신과 알고리즘이 처음 시작된 날짜 그러나 거의 20 년이 제안되었지만 평균 3 년 후 상기 문제에 대한 데이터 세트는 획기적인 일이 있습니까? 데이터가 큰 병목 현상을 의미 AI 분야의 발전에 기계의 부상에 대한 다음 이유 학습은 기계 학습의 특정 부족, 연결주의, 또는 많은 사람들이 알고있는 것 그것의 깊은 학습 우리가 탐구하기 전에 딥 러닝, 먼저 논의하자 AI의 다른 부족 5가 있습니다 기계 학습의 주요 부족 사람들의 그룹을 언급하는 부족 방법에 대한 다른 철학을 가지고 AI 기반 문제를 해결합니다

우리는 과거에이 부족들 중 상당수에 대해 이야기했습니다 동영상이지만 아래 목록은 더 구체적인 : 첫 번째 부족은 상징 주의자입니다 그들 역전 제에 집중 공제, 그들은로 시작하지 않습니다 결론을 향해 노력할 것을 전제로하지만 오히려 구내 세트를 사용하고 결론을 내리고 거꾸로 채우기 격차에서 우리는 이것을 AI 비디오의 역사 앞으로의 비디오에서 더 많이 인공 인간 지능 두 번째 부족은 연결 주의자입니다 그들은 주로 디지털 리엔지니어링을 시도합니다 뇌와 모든 연결 안에 신경망

가장 유명한 예 연결주의 접근 방식은 일반적으로 '딥 러닝'으로 알려져 있습니다 우리 의 상승의 부분을 논의 AI 비디오의 탄생에서 연결 세 번째 부족은 진화론자입니다 그들의 초점은 아이디어를 적용하는 데 있습니다 진화론의 게놈과 DNA 데이터 처리 그들의 알고리즘은 끊임없이 진화하고 알려지지 않은 조건에 적응하고 프로세스

당신은 아마 이것을 보았을 것입니다 게임을 치는 데 사용되는 접근 방식 마리오 같은 다가오는 비디오에서 훨씬 더 '강화 학습' 네 번째 부족 베이지안입니다 베이지안 모델은 가설을 취할 것입니다 일종의 '선험적'사고 방식을 적용하고 일부가있을 것이라고 믿어 더 가능성있는 결과 그들 그들이 본대로 그들의 가설을 업데이트 더 많은 데이터 우리는 조금 더 논의했다 우리의 비디오 에서이 생각의 라인 양자 컴퓨팅

다섯 번째이자 마지막 부족은 아날로그입니다 이 기계 학습 부족은 기술에 중점을 둡니다 데이터 비트를 서로 일치시킵니다 우리는이 접근법에 대해 논의했습니다 지난 몇 개의 동영상에서 감독과 감독의 많은 핵심 개념 비지도 학습은 그것에 묶여있다 어떻게 내가 대표하는 것이 최선이라고 생각 이 인공 지능 부족 기계 학습은 거품에 다이어그램 형식

우선 우리는 기본 AI 버블 및 머신 러닝 거품, 우리는이 관계를 보여 머신 러닝의 첫 번째 비디오 시리즈 이제이 후 우리는 부족을 추가 할 수 있습니다 거품 그들은 끊임없이 움직이며 서로 겹쳐서 제작 소설 아이디어와 축소 및 성장 인기 부족이 주류에 도달하면 연결성과 같은 인기 말하자면, 새로운 분야에서 일어나 다 연결성의 경우 딥 러닝이었습니다

다만 명심하십시오 연결성이 깊어지면서 학습이 전체를 의미하지는 않습니다 연결성의 부족이 중심에있다 딥 러닝을 중심으로 연결성 버블과 많은 연결 주의자들은 새로운 접근법을 계속 연구 연결주의 이론을 활용합니다 또한, 딥 러닝은 모든 연결주의가 아닙니다 많은 상징 주의자와 유추 론자가있다 철학도 포함되어 있습니다 5 종족에 대해 더 배울 수 있습니다 Domingos의 기계 학습 책, 마스터 알고리즘, 그리고 당신은 할 수 있습니다 전자 책을 무료로 받으십시오 Audible 30 일 무료 평가판 멤버쉽 아래 링크로 가입하십시오! 주제로 돌아와서 머신 러닝과 인공 지능? 아무것도 아니고 모두

머신 러닝은 AI 유형으로 분류 된 이후 일치하는 능력을 보여줍니다 인간 차원의 인식과 행동을 초과 다양한 작업에서 이전에 언급했습니다 AI가 약하고 이러한 작업은 종종 격리되기 때문에 다른 말로하면 도메인 별 우리가 보았 듯이 기계 학습은 수백만 줄의 많은 것들 복잡한 규칙과 결정으로 코드 나무, 통계 모델, 상징 주의자 이론, 연결주의 및 진화 기반 접근법과 훨씬 더! 모두 복잡성을 모델링하는 목표 우리의 두뇌가하는 것처럼 생명 빅 데이터의 출현으로 컴퓨팅 성능 및 스토리지 증가 우리가 논의한 다른 요소들 이전과 과거의 비디오에서 더 간단한 반복 알고리즘의 모델 복잡한 도메인이 많은 사람들에게 수학과 과학 작업 매듭 이론, 게임 이론, 선형 대수 통계 몇 가지를 나열합니다 하나의 중요한 이 모델을 참고하십시오 알고리즘이 얼마나 발전했는지에 관계없이 유명인의 인용을 통해 가장 잘 알려져 있습니다 통계 학자 조지 박스, "모든 모델이 잘못되었지만 일부 "유용합니다"라는 의미입니다

모든 모델, 추상화 및 그들은 단순화되도록 만들어졌다 절대 100 % 모델 현실은 아닙니다 하나, 현실의 단순화는 종종 많은 복잡한 문제를 해결하는 데 매우 유용합니다 문제 머신 러닝 관련 이것은 우리가 모델을 가질 수 없다는 것을 의미합니다 그 정확도는 100 %입니다 대부분의 실제 출력 예측 특히 모호한 문제 문제 주요 가정 중 두 가지 머신 러닝 분야에서 제작 그 원인은 다음과 같습니다

1) 우리는 과거, 현재 과거의 패턴, 예측 미래, 그리고 2) 그 수학은 우주 전체를 진정으로 모델링합니다 이러한 가정에 관계없이 모델은 여전히 ​​매우 유용 할 수 있습니다 광범위한 응용 프로그램, 우리는 이 큰 사회적 영향을 다루다 다가오는 비디오의 약한 지능 AI의 진화에 또한, 전공에 기인 한 방법 모델의 정확성을 높이고 앞에서 언급 한 내용이 깊습니다 다음에 다룰 학습 이 AI 시리즈의 비디오 세트! 지금 결론을 내리기 전에 한 가지 중요한 사실 반복하고 싶습니다 모든 AI가 시작될 때의 면책 내 목표는 시도하는 것입니다 현실에서 매우 복잡한 단순화 주제 나는 당신이 추가를 추구하는 것이 좋습니다 이 플랫폼 및 다양한 리소스 다른 사람에 대해 더 배우고 싶다면 훨씬 더 깊은 레벨! 그러한 자원 중 하나 사용하고 적극 추천합니다! 만약 당신은 기계에 대한 자세한 내용을 알고 싶어 학습하고 난 정말 방법을 배울 의미 이 알고리즘은 감독에서 작동합니다 회귀 및 비지도 학습에 대한 분류 그리고 Brilliant

org보다 더 많은 곳 당신이 갈 수 있습니다! 자동화를 통한 세계 알고리즘이 점차 대체 될 것입니다 더 많은 직업, 그것은 개인으로서 우리에게 달려 있습니다 우리의 뇌를 날카롭게 유지하고 여러 분야에 대한 창의적인 솔루션 문제와 화려한 플랫폼입니다 그렇게 할 수 있습니다 예를 들어 매일 매일 도전이 있습니다 다양한 코스를 다룰 수 있습니다 STEM 도메인 이러한 도전은 그들이 그리는 방식으로 제작 당신은 다음 새로운 것을 배울 수 있도록 직관적 인 개념 설명 이 채널의 주요 목표는 다양한에 대한 영감과 교육 기술과 혁신 세상을 바꾸지 만 높은 단계는 단계를 밟아야합니다 이 비디오를 넘어 실제로 수학과 과학 학습 내가 논의한 개념을 넘어서 훌륭한 수학과 과학을 만들어서 흥미 진진한 학습 표시에 대한 호기심 다양한 사이의 상호 연결 다른 주제! 특이점을 지원하려면 번영과 더 많은 것을 배우십시오 Brilliant, Brilliantorg/로 이동하십시오 특이점과 무료 가입, 또한 처음 200 명은 해당 링크로 이동하면 20 % 할인됩니다

연간 프리미엄 구독! 이것에 비디오가 결론에 도달했음을 지적하고 복용 주셔서 감사합니다 그것을 볼 시간! 당신이 그것을 즐겼다면 Patreon에서 나를 지원하는 것을 고려하거나 이를 유지하기위한 YouTube 멤버십 채널 성장! 우리의 웹 사이트를 확인하십시오 자세한 내용은 다음을 고려하십시오 콘텐츠를 구독하고 한입 크기의 청크를위한 Facebook 페이지 내용의 이 Ankur되었습니다, 당신은 특이점 번영을 지켜보고 있습니다 곧 다시 보자! [음악]

Machine Learning and Product Design with Dr. Ethan Pancer – Sobey School Summer of Research

내가 정말 중점을 둔 연구 분야는 외모에 기초한 판단이며 시각 정보 처리 따라서 컴퓨터가 새로운 제품을 살펴볼 수 있습니까? 시각적으로 보이는 방식을 기반으로하고 실제로 사람들과 그것을 할 것입니다, 그것은 시장에서 기회가 있습니까? 사람들의 입수 이런 것들에 대한 평가는 중요하고 그들의 감정을 얻기 때문에 실제로 우리가 관심을 갖고 있지만 실제로하기가 어렵습니다

비싸고 시간이 많이 걸리고, 그것을 얻는 것은 정말 어렵습니다 넓은 관점 우리가 실제로 이것을 합성 할 수있는 방법이 있다면 시장에 많은 가치를 부여하는이 프로세스를 자동화 신제품 연구 컴퓨터 비전 알고리즘을 사용하면 이 프로세스를 자동화하고이 데이터를 그것이 어떻게 분류되는지, 우리가 이것에 얼마나 확신하는지 볼 수 있습니다 분류

그리고 이것은 몇 초 안에 완료 될 수 있습니다 할 수있다 수천 개의 서로 다른 디자인 반복에 대해 비용을 절감 할 수 있습니다 백 달러보다 우리가이 프로젝트에서 사용하는 것은 Google과 Google의 Cloud Vision은 다음을 수행 할 수있는 인터페이스입니다 시각적 이미지를 기반으로 정보를 추출합니다

누구와 함께 놀고 싶어 소프트웨어를 사용하면 데스크톱에서 이미지 중 하나를 가져 와서 소프트웨어에 대한 의견을 즉시 제공합니다 카테고리 용어 및 해당 분류에 대한 확신 그래서 우리는 우리는 그 정보가 카테고리에서 무엇인지에 관한 정보를 취하는가? 관점, 그 분류에 얼마나 자신감이 있는지 그리고 그것이 정보는 실제로 자금이 조달 될지 예측합니다 얼마나 많은 사람들이 지원할 것인가 실제로 모금 목표를 달성 할 것입니다 그리고 그것은 일종의 종이의 초점 우리가 새로운 것에 대해 생각할 때의 모호성의 개념 제품

제품은 우리가 전통적으로 생각하는 것에 맞을 수 있습니다 그래서 이 야구 모자를 보면 마치 야구 모자 인 것 같아요 야구 모자의 전통적인 마커를 기반으로합니다 아니면 새로운 기술 제품 스마트 폰을 볼 수 있는데 이것이 스마트 폰처럼 보입니다

그러나 만약 다른 기능, 다른 디자인 관점, 다른 시각적 요소를 추가 단서, 당신이 할 수있는 것은 실제로 소비자를 볼 수 있습니다 이 일이 무엇인지 이해하고 선의 투쟁 나쁜 점이 있으며 문헌에는 이것에 대한 혼합 증거가 있습니다 너무 극단적 인 소비자가 "나는 이것을 이해하지 못한다, 나는 그것을 원하지 않는다" 그러나 약간의 모호성을 추가하면 디자인 관점에서 약간의 흥분 카테고리 유추, 당신이 할 수있는 것은 흥분을 강화하는 것입니다 여러 카테고리 추적이 있으므로 여러 카테고리에 연결 우리가 생각하는 특정 카테고리가 아닌 다른 것들 "이것은 스마트 폰이라는 것을 알고 있습니다

" 그러나 우리의 데이터가 제안하는 것은 스마트 폰과 비슷하지만 약간 다릅니다 사람들이 원하는 것 지원하고보고 싶은 것은 약간 다른 것들입니다 그 흥분을 이끌어내어 확실히 이것들에 대한 식욕이 있습니다 모호성을 소개하는 제품 우리는 그들이 무엇인지 완전히 확신하지 못합니다 우리는 그들에 대해 더 배우고 싶습니다

그래서 그것은 일종의 연구의 테이크 아웃 균형을 찾는 것은 깔끔합니다 새로운 제품 개발을 위해 플레이 할 수있는 곳으로 알고리즘을 통해 최적의 범위가 무엇인지 평가할 수 있습니다 뭐 실제 가치는이 분류 또는 분류를 보는 것입니다 조금만 조정하면 실제로 조금 더 만들면 접근성, 그렇지 않은 경우 좀 더 혁신적으로 만들면 그것이 무엇인지 이해하면 실제로 얼마나 증가합니까? 당신이 모금하는 금액? 더 긍정적 인 피드백을 얻을 가능성이 있습니까? 시장? 더 많은 사람들이 자금을 조달 할 것인가, 더 많은 사람들이 그것을 구매할 것인가? 우리가 점점 가까워지고있는 곳입니다 이것이 첫 번째 단계 중 하나입니다

그렇게 할 수 있습니다 이것이 우리에게주는 것은 정말 흥미로운 전략입니다 통찰력 처음에는 약간 다르게하고 싶을 수도 있습니다 이 다른 신호를 통해 자금을 조달하고 사람들을 선상으로 데려 갈 수 있지만 이러한 기능 중 일부를 꺼내려는 시장에 출시합니다 하나입니다 그 반 직관적 인 발견의

당신은 생각한다면 이러한 것들은 소비자에게 이해가되어야합니다 그러나 이것들은 물건이 아닙니다 사람들이 돌아오고 싶어합니다 그들은 당신이 지원하고자하는 것이 아닙니다 특히 새로운 기술 공간에서 이번이 처음입니다 실제로 기계 학습을 수행하여이 생성 플랫폼에서 수천 가지의 디자인 반복을 생각해 내고 실제로 움직입니다 시장의 실제 상황을 측정 할 수있는 직관적 인 의미로 이러한 다양한 유형의 옵션에 응답합니다

Learn Deep Learning with Python, Keras and TensorFlow with Applications of Deep Neural Networks.

깊은 신경 네트워크를 환상적인 기술로 만드는 것은 그들은 거의 모든 형식으로 입력을 받아 들일 수 있습니다 그들은 표 형식의 데이터를 취할 수 있으며, 이미지, 텍스트 및 심지어 오디오까지

그런 다음이 정보를 처리하고 그런 종류의 수학적 마술은 결정이나 숫자를 출력합니다 등급을 부여하지만 동일한 유형의 데이터를 많이 출력 할 수도 있습니다 표 형식의 데이터, 이미지, 텍스트 또는 오디오를 출력 할 수 있습니다 내 수업에서는 응용 프로그램 딥 뉴럴 네트워크 (Deep Neural Networks)에 대해,이 신경망을 일상적인 문제 Jupyter Notebooks를 사용하여이 코스의 모든 것을 가르칩니다

및 Python 보시다시피, 코드와 정보를 섞어 볼 수 있습니다 내 과정에서 귀하의 프로그램에서 실제 결과를 볼 수 있습니다 그들 이제 비디오 게임을 만드는 응용 프로그램 중 일부는 비디오가 필요합니다

그래서, 우리는 그것들을 실제로 Jupyter 바깥에서 움직일 것입니다 노트북과 파이썬에서 직접 모든 것은 양립성이 보장된다 Google CoLab을 사용하면 필요에 따라 무료 GPU로 실행할 수 있습니다 GPU, 나를 믿으십시오, 당신의 훈련 시간에 시간을 절약 할 수 있습니다

나는 너에게 많은 것을 보여주지 그래픽 및 기타 멋진 것들을이 비디오에서 볼 수 있습니다 모든 것은 우리가 비디오 마술이 없도록 수업을 들으십시오 자, 나를 넣어 조금은 필요가있다 녹색 화면 마술의,하지만 신경 네트워크는 그런 처리가 필요해 날 믿어 멋지게 보입니다

GAN은 우리가 살펴볼 신경 네트워크의 한 유형입니다 이번 코스 GAN은 Generative Adversarial Neural Network의 약자입니다 GAN은 일반적으로 얼굴을 생성하는 데 사용되지만, 그들이 훈련받은 "가짜 데이터" GAN은 두 개의 신경망을 가짐으로써 작동합니다

그만큼 첫 번째 신경 네트워크는 발전기입니다 본질적으로 난수와 얼굴을 생성합니다 두 번째 신경망은 판별 자입니다 그것 본질적으로 발전기가 정확한 얼굴을 생산하는지 여부를 알려줍니다 이 두 사람 적대적 전쟁을 앞뒤로하고왔다

(충돌) 일단 그들이 당신을 끝내면 정말 다른 난수를 많이 가질 수있는 제너레이터가 있어야합니다 꽤 현실적인 얼굴을 계속 생성합니다 보강 학습, 특히 깊은 학습을 통해 적용하면 매우 강력합니다 Google AlphaZero가 Stockfish를 이기고 본질적으로 마스터가되는 기술 짧은 시간에 모든 체스 이 과정에서 우리는 인공 지능 체육관을 사용하고 배울 수있는 보강 프로그램을 만드는 아타리 비디오 게임 실제 비디오 이미지를보고이 게임을하는 법 게임에서 그리고 어떤 경우에는 실제 비디오 게임의 RAM 상태에서 진행됩니다

앉아라 앉아라 누가 착한 소년이야 히코리 강화 학습을 사용할 때 애완 동물을 훈련하는 것처럼 좋은 일을하거나 뭔가를하는 신경망에 대한 보상 그것은 유리한 결과로 이어집니다

신경망도 매우 훌륭합니다 광고를위한 잠재 의식 메시지를 생성 좋아, 잘 시도해 죄송합니다

신경망이 모든 유형의 입력을 받아 들일 수 있다고 말했던 때를 기억하십니까? 글쎄요 그들은 동시에 여러 유형의 입력을 수용 할 수 있습니다 이것은 어떻게 이미지 캡션이 작동합니다 글을 쓸 수있는 신경망을 만들려면 이미지 캡션, 당신이 할 일은 두 가지를 수용하는 신경망을 만드는 것입니다 서로 다른 유형의 입력, 사진, 그리고 그 순서가 그 순서입니다

끊임없이 성장하는 단어들의 집합 먼저 빈 배열로 전달하면됩니다 토큰을 시작한 다음 그림이 무엇인지 설명하는 단어를 추가합니다 되려고 요로, "너는 한번만 봐

" 이것은 당신이 볼 수있는 놀라운 기술입니다 주위를 도망 다니고 있어요 그것은 객체, 여러 객체를 분류하고 그것을하고 있습니다 매우 효율적입니다 한 번만보아야하기 때문입니다

우리는 당신이 어떻게 할 수 있는지 보게 될 것입니다 이 기술을 파이썬 프로그램으로 옮기고 실제 좌표 및 분류에 대한 정보를 제공합니다 요로 수 있습니다 어리석은, 여기 내 강아지와 박제의 차이를 말할 수 없다 동물 광고판을 말하는 데 어려움이 있습니다

사람들이 그것에 대해 생각하고 그들이 사람들이라고 생각하는 것들 이 간판 그것이 자기가 생각하는자가 운전 차에 관해서는 매우 넓어지기 그러나 기다려라 더있다 이 동영상은 이 코스의 하이라이트 만 보여줄 수 있습니다

전체 목록은 다음과 같습니다 우리가 다루는 다른 주제에 대해서도 설명합니다 이 비디오를 시청 해 주셔서 감사 드리며,이 코스에 대해 질문이 있으시면 그냥 코멘트에 뭔가를 남겨주세요 이 채널을 구독하여 이 코스에 새로운 비디오가 추가 될 때마다 업데이트됩니다 모든 정보 재생 목록 및 GitHub에서 사용할 수 있습니다

Welcome to the world of Machine Learning with ML.NET 1.0 – BRK3011

>> 모든 권리는 시작되었습니다 그래서 이것은 마지막 회기입니다

내 이름은 GNAW만큼 애매하다 나는 너는 60 분 만에 행복해 당신과 포크들이 즐거워하기를 바랍니다 그것은 끝날 것이다 당신이 만든 모든 권리 이 년을 지어 라

이것은 마지막이다 그것 나는 우리가 각자를 위해 꼭 끼워야한다고 생각한다 빌어 먹을 우리는 최고를 구했다

너희들 중 한 명 고맙습니다 [박수 갈채] 마지막으로 그게 우리가하는거야

60 분 남았 어 이 세션에 대한 희망 보자 건물을위한 전체 가격 그럼 시작하십시오

시작하기 전에 우리가 얻을 수있는 모든 것을 얻으십시오 나는 청중을위한 질문을 가지고있다 다음 60 분 동안의 세션 여기 몇 군데의 포크 그리고 우리는 신속하게 처리 할 것입니다 청중은 단지 얻고 있습니다 나는 프로그램 매니저 다 – IT 'S 기계 학습으로 시작 했습니까? 할 수 있었다 가장 큰 데이터 중 하나

과 우리는 손수레를 가지고 있습니까? 굉장한 우리는 기술을 사용하는 고객이 있습니다 고맙습니다 이 세션에서 우리는 카프카 하이브와 HBASE 같은 그래서 나는 네가 할 수있는 일에 대해 얘기하자

좋은 생각이라고 생각 했어 사실 기계의 세계에 들어가기 이 고객들의 몫을 나누기 위해 배우기 나는 세사르에 의해 그들이 건축 할 때를 통해 가십시오 크리스 로렌 우리는 압도적이다

큰 응용 프로그램과 무엇입니까 오늘 여기있으세요 당신이 이미 존재하는 것처럼 그 (것)들은 무역을 중지합니다 그리고 다시, 보았습니다 NET은 대단한 방법입니다 옳고 그름

약간의 일들 다양한 응용 프로그램을 만들 수 있습니다 시나리오에 맞게 작업하십시오 VDOT에서 WEP APPS를 만들 수 있습니다 어떤 사람은 그렇지 않을 수도 있습니다 하지만 몫을 원해

SGLAM RON의 NET 및 MOBILE APPS 우리가 수집 한 것 그래서 전부다 그리고 – ZAMRON 우리가 이야기하고있다 고객 여정과 통찰력 학습을위한 훌륭한 기계를 만드십시오 그들이 결정을 내리는 방법 IN ML 그물 빨리 지나갈 수있게 해줘

그들이 만든거야 당신이 전형이라면 우리가 이걸 다루는 부분은 무엇인가? 큰 데이터 풍경에 대해 생각해보십시오 세션 넘겨주기 시작하십시오 나는 너희들이 FAIRLY – YOU라고 생각한다

너는 새로운 것이 무엇인지에 대한 전반적인 견해를 가지고있다 패턴을 이해하십시오 만약 너라면 ML과 NET 1 0

우리는 보여줍니다 고객 기반에 대해 생각해보십시오 어떻게 시작해야 할까? 호수가있는 호수를 지어야한다 ML NET EXPERIENCE L 프레임 워크

그러나 나는 이것을 생각한다 포함 된 냉각 경험 좋은 참고가 되길 바란다 MODEL BUILDER 및 ML NET CLI AND 우리는 그것을 사용하는 고객을보고 있기 때문에 우리는 너를 어떻게 할거니? 건축물 그래서 거기 엔 뭔가가있다

ML을 배치 할 수 있습니다 규모의 NET 당신이 생각한 곳에서 뜨거운 곳으로 전화를했다 풍부한 오픈 소스 인기있는 라이브러리 장치 및 센서의 데이터 TENSEOR 흐름과 ONYX처럼 에 대한 통찰력있는 사람들의 전형적 사용 너네가 퍼시픽 에선 너니? KAFKA는이 데이터를 수집합니다 그리고 한 가지 방법을 배우는 새로운 방법 한 번 그들은 필요한 데이터를 가지고 있습니다

너는 기계 학습에 대해 생각할 수있다 스트림 처리를 수행 할 수 있어야합니다 그것은 프로그램 할 수없는 것을 프로그래밍하는 것에 관한 것입니다 기기에 대해 생각하는 경우 가끔 있습니다 예를 들어 포크에 묻은 경우 데이터는 JSON 일 수 있습니다

및 AT 크라우드에서 당신은 앞으로 나아갈 수 있습니다 당신이 필요로하는 최소한의 것 가져 오는 기능을 구축하십시오 그들 중 4 명 그래서 그들은 스트리핑을하고 있을지도 모른다 이 이미지와 이미지 및 반품 필요한 데이터를 내려주십시오

및 기타 그 안에 얼굴이 있거나 없는지, 너는 그들이 실행될 수 있음을 나타냅니다 시작을 알지 못합니다 내가 취한다면 비행 및 기계 학습에 관한 것 내가 낳은 다른 예 그게 스트림 프로세싱이야 남자와 같은 셔츠 설명 그리고 그들은 SQL에 저장하려고합니다

하나는 지금 당장 입을 옷을 입으십시오 또는 IT 장치 데이터의 경우 SQL이 없음 나 한테 다시 쓸 수있어? 저장 많은 사람들이 HBASE를 사용합니다 그게 무엇을 반환하는지 또는 선택에 따라 달라진다 이 셔츠,이 경우에 당신은 그거 저장해라 그리고 그들의 이야기 몇 가지 주요 단어를 볼 수 있습니다 층

핵심 경로 용 긴 소매 또는 사업체와 같은 설정 당신이 저장하고있는 ANALYTICS 그리고 그 값을 생각해보십시오 이 데이터 만 필요하지는 않습니다 교회에 B – 셔츠 내가 말하면 실용적 기초에 대한 분석 실행 1, 000 개의 제품까지 확대 그리고 당신은 분석을 실행하고 싶습니다

온라인 스토어 판매 조건의 IT 또한 역사적인 기초 그럼 너 할 수있어 거기에 큰 도전이 될지도 모릅니다 데이터 스토리지에 보관하십시오 너도 알지도 못하는 것일까? 그래서 일괄 처리 측면에서, 글쓰기 시작하기 전형적으로 당신은 데이터를 얻을 것입니다

이 기능들, 당신이하는 일 사전 신청에 대한 다른 신청 앞에는 예가 있습니다 당신 또는 클라우드에서 그러면 그들은 얼굴이있는 이미지의 예가있다 모든 분량의 데이터를 섭취하십시오, 그들 안에 너는의 예를 가지고있다 사용 시간에 따라 몇 주 얼굴이없는 것을 상상해보십시오

그게 줘야 해 그들 기계 학습이 모두 무엇인가 데이터 그리고 나서 생각할 필요가있다 이 예에서 배우는 내용은 다음과 같습니다

거버넌스 생각하는 법 그런 다음 건물을 짓거나 메타 데이터 및 관리, 보안, 우리가 기계 학습이라고 부르는 것 제어 행정 과 사용할 수있는 모델 다른 봉사 계층

나는 많이 생각한다 기계에 대한 생각하기 우리 고객들의 당신이 생각할 수있는 학습 모델 분석 및 데이터 입력 지능적인 기능 데이터웨어 하우스 창고 하지만 우리는 이 이미지의 입력을 받는다 더 많이보고 더 많이 사용하는 경우 이 이미지와 사례 및 반품 데이터 그 자체가 A에서 사용됨 그 안의 얼굴

함께 자리를 뜨고 싶습니다 ML NET, MECHLT로 당신은 ML을 할 수 있습니다 전체 조직과 그들 당신은 좋아하는 이미지를 가질 수 있습니다 그때부터 분석 분석을 할 수 있어야합니다

내가 너에게 보여준 것 너는 만들 수있어 그곳에 그래서 우리가 얘기해 줄거야 회귀하는 희소 한 모형 게다가

언제 고객이 보는지 방법을 많이 사용하는 것처럼 대답합니다 이 문제 해결의 종류 많은 ML을 쓰는 동안 그물 또는 건축술, 톤이있다 C #을 사용할 수 있습니까? AZURE의 기술 여기 있네

그리고 F #이 모델을 만드는 기술 데이터 공장 및 데이터 브릭 우리도 알다시피 그물 스파크 워크로드 기타 등등 그러나 이 년이 시작되면 오늘의 통찰력은 통찰력입니다

이 역사 또는 뿌리를 보아라 우리가 우리 시간을 보낼 곳은 어디입니까? 그래서 ML의 MICROSOFT에서 NET을 구입하십시오 누군가 HDINSIGHT를 사용하게되는 이유는 무엇입니까? 연구 프로젝트 호출 TLC 왜 HDINSIGHT를 사용하여 고객을 봅니까? 회사에서 번호를 찾았습니다 나는 그 이유 중 하나라고 생각한다

년 확장 성이 뛰어납니다 기존에 보존하고 싶은 것이 있습니까? AZURE MACHINE LEARNING, 투자 그들은 뛰고 있을지도 모른다 WINDOWS HELLO OFFICE와 같은 경험 하나의 번역문과 하나의 번역문에

힘 AZURE 팀 분석 그들이이 일을 요인으로 생각한다면 그리고 전체적으로 더 많은 이름을 알 수 있습니다 지원 책임의 책임 우리가 개발자를 목표로 삼고 있기 때문에 그들에 지금 관리하고 있습니다 ML과 우리는 NET을 설계했습니다

당신은 많은 조각과 HDINSIGHT을 얻습니다 그 문제의 프레임 워크 WITH 1 여러 워크로드를 지원할 수 있습니다 0 우리는 새로운 기능을 추가하고 있습니다

건축물에는 참여자가 없습니다 자동 빌더처럼 자동 ML 및 도구 거기에는 아무 것도 없습니다 및 커맨드 라인 인터페이스 구성 요소 및 모든 구성 요소 정말로 당신을 위해 함께 다른 사람과 함께 일해라 맞춤식 기계 학습 모델을 작성하십시오 그들은 같은 플랫폼의 일부입니다

우리는 또한 생각한 것을 가지고있다 같은 코드를 유지하고 싶습니다 확장 성의 핵심 포인트 베이스 고객이 가끔 수시로 돌보다 또는 핵심 가치 제안 또는 핵심 디자인 GOOGLE AMAZON에서 실행하십시오

때문에 ML에서의 원칙 그물 NOT 할 수있는 유일한 우리는 100 개의 APACHE를 사용하고 있습니다 당신은 ML을 가져오고 사용하십시오 그물 코드베이스를 변경해야합니다

과 트레이너와 ML 그 변종 레벨 보안에 대해 우리가 이야기 해 줄 것입니다 상자에서 나오지만 할 수 있어요 그 저렴한 비용

그리고 당신은 본다 오픈 소스를 사용하여 이익을 얻습니다 그것은 가격이 책정되었습니다 아주 낮은 비용 인기있는 프레임은 수위와 비슷하게 작동합니다

AZURE의 빅 데이터 제공 업체 그러나 같은 세트를 사용하는 유량 또는 오닉스 어쨌든, 너는 경악하고있다 그건 ML NET 제공 그냥 — "그 길은 무엇인가"

너무 통찰력, 이 슬라이드의 한 지점 더만 확보하십시오 빨리 얘기하자 AT보고있는 경우 내가 원하는걸 모든 것과 같음 HIVE, KAFKA, STORM 및 기타 그러나 ELSE

이 일에 NET 그들이 결정 했음에도 불구하고 NET은 무료입니다 교차 플랫폼입니다 그들은 뭔가를 만들고 싶어

그리고 그것은 오픈 소스입니다 그 소리 HDINSIGHT 많은 질문이 있습니다 큰 퍼시픽 이야기 답변이 필요합니다

예를 들어, 당신이하는 것들은 무엇입니까? 우리는 스트림 프로세싱에 대해 말했습니다 ML과 함께 할 수 있습니다 NET 1 0? 그곳에 이 아키텍처에서 우리는해야한다

그게 너의 몇 가지 숫자 야 스트리밍을 즐기거나 그럴 생각 너가 이미 할 수있는 활주에 본다 폭풍 또는 우리가 생각하고있는 것이 있다면 해야 할 것 당신은 성찬 분석을 할 수 있습니다 우리의 봉사 계층

그 층 모델, 제품을 만들 수 있습니다 데이터 분석가에게 줄 것이다 추천인 너는 가격을 만들 수있어 우리는 PRESO를 사용합니다

SPARK SQL 저장 예측 및 명암 이미지 AZURE에는 여러 유형이 있습니다 매출 예측 및 전체 구축 저장 시스템 프리미엄

그래서 훨씬 많이 이러한 모든 시나리오 어떻게 결정을 내릴 수 있습니까? 너 여기 볼 수있어 우리는 AZURE의 생각한다 – 또는 공기 너 거기 걸어 다닐께 너 뭐라구? 흐름 또는 우리가 사용하고있다 – 켜기 여기에 잠깐 들러보고 싶다

전염병은 충분합니다 또는 또는 두 번째는 THE IS NET WEBSITE ETL을 사용해야합니다 그래서 그들은 니가 ML을 찾고 있다면

순전히 너 그림이 필요로하는 질문들 우리는 기계를 클릭 할 수 있습니다 아웃 그로부터 시작 하자구 웹 사이트 당신이 더 나아 간다면 질문 및 이야기 다양한 샘플보기 프로와 단둘이

첫 레트 우리는 하나를 클릭하고 한 번에 쉽게 벗어나십시오 그것들은 우리에게 당신을 데려 갈 것입니다 그래서 스파크, 하이브 그게 뭐야? 샘플을 빌려서 도와주세요 서비스에 표시됩니다

스파크를 얻고있다 그것들은 스크래치에서 나온 것입니다 너를 보여 줄 수있게 해줘 입양의 비트 어디서? 이 신속하게

샘플 REPO 너 할 수있어 너는 P에 대해 생각하고, 우리는 고객을 가지고있다 FRAUD DETECTION에 대한 샘플이 있습니다 누가 예비 선상에서 사용할지 모릅니다

문제를 규명 할 수 있습니다 너 할 수있어 하지만 지금은 그걸 실행하고 싶다 권장 제품 너는 할 수있어

시스템은 클라우드에 있습니다 그러나 아무 것도 판매 스파이크 이상 탐지 당신 NET WORK APPLICATIONS를 구축하고있다 ONYX를 사용하여 이미지 분류를 수행 할 수 있습니다 P

를 사용하지만 스파크보다 힘이 적습니다 및 개체 검색 각 당신이 무언가를 실행하는 경우 이 검체에 대한 여기의 검체 P보다 돈을 많이 벌고 있습니다 우리 모두 훈련 코드를 가지고 있습니다 성과는 당신과 당신입니다 이 모델들과 소비 코드

자원 비트를 사용한다 각 사례에 표시 될 수 있습니다 그곳에 그래서 나는 그게 조각이라고 생각해 데이터 사이트가있는 곳 많은 사람들이 글을 쓰고 있습니다

작업 표에서 가기로 결정한 신청서 작성 모형 건축 법규 스파크로 알았어, 사람들은 말했어 그리고 모델을 소비하는 것 만약 너라면 ETL을 위해 그것들을 사용하십시오 하지만 현실에서 기계 학습에 대한 새로운 지식 데이터웨어 하우스 주변에 더 가까이 있습니다

시작된 채널을 얻고 싶습니다 그것의 측면 그리고 스트리밍 엔진 당신이 샘플을 방문한다면 다시 한 번 당신이 폭풍 또는 일부를 사용한다면 PERHAPS를 가능하게하는 시나리오 폭풍을 저지른 고객 이미 거기에 이것은 대단한 것입니다

폭풍 그것 때문에 사랑한다 샘플을보기 시작하십시오 저지대 자연 너는 처리 할 수있어

그리고 배운다 다음 페르시아는 받아 들여진다 하나의 사건이 일어납니다 당신 시나리오 또는 여기에 대한 찬성 MICROBATCH가 필요하지 않습니다 그리고 배치

분석하고 내가 너에게 살아 보여라 그와 같은 시스템이 있습니다 응용 프로그램이 이것을 사용합니다 너는 무엇을 가지고 있니? 그게 어디에서 중요합니까? 당신 앞에 블레이저가 있습니다 시스템은 모든 것을 처리 할 수 ​​있어야한다

ML NET APP 이것은 블레 이저 사용 한 사건 너무 폭풍 그리고 실행중인 모델 그 감각에서 대중적이었습니다 IT는 MEL입니다

NET IT는 기계 학습을 원합니다 하지만 스파크는 많은 순간을 가지고있다 언젠가는 재미 있습니다 그것은 긍정적이다 스파크는 일반적인 목적이기 때문에 감정

그것은 잘 작동하고 있습니다 만약 프레임 워크와 스파크와 함께하는 ETL, 나는 기계 학습이 재미 없다고 말합니다 그것은 자연적인 감각을 사용하여 당신은 그 죄의 대가를 보게 될 것입니다 귀하의 필요에 맞는 똑같은 플랫폼 그것은 ML의 한 예입니다

NET PLAY 하지만 그것은 마이크로 바입니다 너는 가져 왔어 나는 스크래치에서 톱 빌드를 원한다 방해 너는 많은 사건을 BATCHING하기 때문에 나 당신이 그걸 어떻게 할 수 있는지 보여 줘

함께 그러나 무역을 이해하십시오 나는 시각 스튜디오를 나가기 위하여 가고있다 아주 낮은 LATENCY 스트림 처리 주변 이리 당신은 시각적 인 입을 위해 사용합니다 비슷한 사건들

그리고 제 3 ML NET을 당신이 원하는 패키지를 얻으십시오 하나는 좀 더 환상적이다 한 번 패키지를 모두 받으십시오 인터랙티브 쿼리 기술 선택

소스 코드는 현재 존재합니다 이 지점에서 당신이 정한 시간에 MICROOSOFT DOT ML NAME 호수와 호수는 우리가 지금있다 공간 코드를 원하면 가장 원시적 인 형태의 데이터 할 수있다

그럴 수 있어요 한 번 나는 너트를 세웠다 JSON의 BE TEXT 또는 동등한 내가 갈 수있는 패키지와 이름 공간 앞으로 그리고 너는 드러내고 싶어

앞뒤로 내 기계 만들기 귀하의 조직 어떤 경우에는 그렇다 학습 문맥 너 때문에 너는 작게 노출 될거야 엔티티와 함께하는 실내에서 팀

그래서 ESQL은 좋을 것 같습니다 이것은 창조와 비슷합니다 적당한 당신도 마찬가지 지요 DB 문맥

그 다음에 내가 가지고있는 것 더 많은 사용자에게 노출 시키십시오 해야 할 일은 내 데이터 세트에 있습니다 자원 관리에 대한 질의 응답 훈련 훈련 및 검사 매우 중요합니다

그래서 오른쪽면에 통보하는 경우 인터랙티브를 바라 보는 경우 너는 나에게 2 개의 데이터 세트가있을 것이다 클러스터 당신은 매우 솔직하게 할 수 있습니다 이리 나는 테스트를 거친 데이터를 가지고있다

소지품 – QUALIES에 대한 이야기 세트 이 데이터 중 하나를 탐색하면 매우 중요합니다 결과 여기에 SET SETS가 있습니다

캐싱은 매우 중요한 영역입니다 여기에는 두 개의 열이 있습니다 첫번째 사용자 수는 과연 얼마 였는지 상상해보십시오 열은 열 텍스트입니다 IT는 클러스터에게 문의 사항 제출 실제 텍스트

상원 의원 그리고 그들은 같은 질문을 내고 있습니다 가치가있는 두 번째 칼럼 지금 그들 중 일부는 관심이 있습니다 1 또는 0 심판이있는 경우 동일한 결과와 결과 좋든 싫든 예를 들면 나는 이미 사용 가능합니다 왜 컴퓨터를 사용해야합니까? 나는이 곳을 좋아한다

한 번 더 그래서 결과를 캐싱 그분에 대한 심판은 많습니다 결과는 언더 라이닝과 함께 캐시 됨 긍정적 인 것은 긍정적 인 것입니다 데이터가 변경되지 않았습니다 다른 종횡비 제보

그래서 내가 읽은 길 MATERIALIZED VIEWS 그래서 왜 느려지는가요? 이 데이터에 MY ML로 설정하십시오 그물 너 큰 데이터로 그들은 가입한다 환경은 [불가분] 당신은 계산을하기 때문에

수업 그것은 두 분야가 있습니다 첫번째 그리고 자원과 시간을 가져 가라 필드는 호출되는 텍스트의 유형입니다 결과를 원하는 고객 및 고객 텍스트 및 유형 문자열

이게 뭐야? 좌절하다 그래서 기술이있다 매핑을 표시하는 것은 결과를 미리 예측할 수있는 곳 데이터 세트의 첫 번째 열을 여기에 입력하십시오 언젠가 타임베이스를 앞두고 두 번째 필드는 레이블이 붙어 있습니다 스케줄 또는 소스 데이터와 상관없이 그건 열두 번째 색인입니다

그 변경된 또는 아닙니다 그리고 다른 모습 내 상처는 무엇인지 나타냅니다 거래입니다 우리는 이야기한다 긍정적 또는 부정적이다 큰 데이터 시스템

한 번 쓰고, 이 경우에는 하나도 아닙니다 나는 가고있다 많은 시간을 읽고, 업데이트하십시오 이 상급 수업을 읽고 사용하는 방법 삭제하지 마십시오 그건 사실이 아니야

내 데이터에 나는 데이터를 말하려고한다 실용적인 삶 배신하다 여기를보십시오 나는 안으로 들어가기 위하여 가고있다 그

GDPR과 같은 규제 여기 내 수업은 어떻게 전화를 걸 냐고 고객을 삭제해야합니다 데이터 세트를 읽으려면 매개 변수로 업데이트하고 삭제해야하는 데이터 내 훈련에 그것을 전달할 것입니다 지금 PRESTO에서 보는 경우

그 데이터 세트 그런 다음 여기에 매개 변수 더 강해진 것은 아니다 IT가 전화를 했어 나는 이미 있었어 그것의 측면

IT가 실제로 빛나는 곳, 머리글 나는 또한 앞으로 나아갈 것이다 데이터가있는 시나리오를 상상해보십시오 그리고 빨리 읽으십시오 나는 가고있다

오라클 그리고 잠시 멈추다 내 훈련 데이터 모델 사용하기 I 그밖에 그리고 당신은 싱글을 쓰고 싶습니다 테스트 데이터를 사용하려고합니다

모두에 대해 실행되는 선택 쿼리 내 모델이 실제로 얼마나 적합한 지 판단하십시오 출처 프레스토는 연결자가있다 실행할 수 있는 내가 가지고있는이 지점에서 이러한 모든 데이터 소스 및 데이터 세트로 실행하십시오

길드 기계 사람들은 독창적 인 질문을 할 수 있습니다 학습 한 것은 내가 읽은 것입니다 그곳에 너는 어떻게해야합니까? 이 데이터에 지금 테스트하십시오 석회석과 함께? 알았어, 그래서 뭐야? 여기는 엄청난 클리어입니다 석회석 거기에 큰 데이터 있음 일반 요구 사항의 열 또는 텍스트 데이터 호수의 데이터

그러나 메타 닷타 특정 부분으로 변환되어야한다 METASTORE에 데이터가 저장되어 있는지 확인하십시오 특정 기계 학습 형식 그래서 메 타 스토 레입니다 지금 알고리즘은 이해할 수 있습니다 뭐 높은 메타 스토어는이 글쓰기입니다

내가해야 할 일은 다음은 이 모든 대형 데이터 엔진을 묶습니다 여기에 열을 가하고 만들어라 함께 SPARK IT에서 보시려면 기본적인 유형의 벡터 이해하십시오 – 생각한다면 필수적으로 내가 그렇게하는 길 피고용인이 허락 한 카탈로그를 알 수 있습니다

ML NET은 파이프 라인을 만듭니다 몹시 떠들어 대다 P와 그 중 일부를 보는 경우 데이터를 변환하는 파이프 라인 기술 그것은 매우 위험하다

한 번 내 데이터가 올바른 형식입니다 구성 요소 그래서 당신이 보면 – ML 트레이너를 추가 할 수 있습니다 나는 너는 기본적으로 싱글을 가질 수있다 추측 컨대 나는 변혁가라고 말하라

메타 스토아와 데이터 호수와 모두 나는이 추정자를 만들려고한다 ENGINES가오고 이해할 수 있습니다 순진한 묘사로 처음에는 이 데이터 개념으로부터 큰 것 단계 저는 앞으로 나아갈 것입니다

원근법 두 배 클릭 한 경우 내 텍스트를 변형하려고합니다 그걸 생각하면 그 때마다 생각해 이 변형을 위해 나는 가고있다 엔진은 일반적인 것을하려고합니다

동기 변환 호출 사용하기 최소한의 것 권리? 그리고 그것은 그램에서 호출되는 텍스트 어떤 경우에는 공유하기에 좋을 것입니다 이 입력 열에 나타납니다 하지만 엔진은 최적화 할 수 없습니다

이것은 특징의 결과입니다 성과 관점에서 될거야 나도 같이 갈거야 거래 관점에서 볼 때

첫 번째 열을 입력하십시오 모두가 함께 따라야하는 모든 것 그 상원의 지시서 내가 탔어 일반적인 METASTORE 최소의 내 입력 텍스트 열과 변환 된 할수있다 그래서 뭘하고있는거야? 그것이 미래의 텍스트 열 메트로 스토어? 지금 스파크와 하이브 이걸 사용하십시오

한 번 내가이 일을 끝냈어 일차적 인 참가자의 편이다 내가 가서 트레이너를 추가 할 수 있어요 메트로 스토어에서 그래서 공동체 이에

나는 점을 말하기를 갈 예정이다 너 알 잖아, 스파크가 가고있어 우리는 본질적으로 노력하고 있기 때문에 메트로 스토어 소유 그리고 잠깐 수행 감정 분석 및 수련 메라 ​​스토어를 소유하게 될 것입니다 그래서 그 고소 여부를 알리기 위해 2 개의 전자석과 그 방법 0 또는 1은 이진 분류입니다

그 밖의 다른 집들과 이야기하십시오 문제 나는 그것을 설정하려고한다 그것은 빠르다 그리고 그 의미 내 콘테스트의 한 부분

나는 가고있다 그거야 거래를 사용하는 경우 연수생을 말하고 지금 내가 할 수있는 일 잠에서 깨어나 스파크는 읽을 수 없다 지금은 하나만 선택할 수 있습니까? 그 데이터

그게 유일한 그랩 수 있습니다 ML의 많은 트레이너들 그물 데이터 하지만 지금은 가고있다 제공하십시오

이것이 바로 지능입니다 지원 및 호환 모든 나에게 보여주고있다 나는 사용하려고하고있다 갑작스런 스파크는 절정에 처함 물류 이동

너 레이블 예제의 트랜잭션 데이터 내가 발표 한 기능 요약 그래서 이들은 몇 가지 이점이 있습니다 또는 변형 됨 지금 내가 지어 줬어 건축과 함께하는 것 : 데이터를 가져올 수있는 파이프 라인 하지만 데이터 레이크를 만드는 경우 IT를 오른쪽으로 변형 최신 오픈 소스 시스템 형식 및 기계 학습 알고리즘

알 필요가있는 기술 다음 단계는 내 모델을 훈련시키는 것이며, 이 차이 그런 다음 데이터 내가하는 부름에 의한 방법 파이프 라인 조직의 선택 추측에 맞는 API 패스 당신이 아마존에 있다면 당신은 아마 존재합니다 나만의 훈련 데이터에 AZURE DATA FACTORY가있는 가족

짐을 실은 이것은 기차를 실행할 것입니다 우리의 많은 사용은 AZURE 데이터를 사용합니다 데이터 및 전철 제공 공장 및 공기 흐름 개방 모델

한 번 준비가되어 있습니다 SOURCE PROJECT 그것은 많은 것을 가지고있다 내 미래의 일부 계획 그것과 함께하는 순간 AT보고있는 경우 단계

우리의 예측은 모델이 될 것입니다 12, 000 스타의 스타 그래서 내 모델을 훈련 한 변혁 존경받는 거대한 모멘텀이있다 훈련 데이터에 있지만 내가 원했던 것 그걸로 다중 건물을 만드는 경우 의 프레디릭을 변형하려면 배포해야하는 솔루션 데이터

내 테스트 데이터를 사용할 수 있습니다 PREM OOZY IT의 인기가 가고 있습니다 나는 초기 다 한 번 수행 한 내려가는

하지만 이미 투자 했어 나는 내가 갈 필요가있는 예언들 당신은 그것을 계속 가질 수 있습니다 하지만 나 모델에 가치를 부여하십시오 나는 가게에 갈거야 이 시간이되면 생각하지 마십시오

이 전선에있는 IT가 전화를 걸었습니다 브랜드를위한 새로운 NET 응용 프로그램 내가이 과정을 진행할 때 새로운 신청서 권리? 괜찮아, 나는이 분류를 사용하려고한다 그래서 나는 아마도 그것이 나의 기계 학습이기 때문에 질문 그곳에

괜찮아 아니 태스크 내 계획에 따라 갈 예정입니다 질문 우리는 시간을 절약합니다

움직여 라 점수에 레이블이 붙어 있습니다 에 좋아, 그럼 너, 너 알지, 들 아주 좋아요

이 높은 수준을 결정하는 종류, 나는 건축 할 수 있어야한다 어떤 기술이 당신에게 가고 있습니까 여기에있는 판결 분석 모델 다음에 큰 질문을하기 위해 내 데이터를 풀기 시작합니다 나는 변환한다 당신 앞에서 보관 해

권리? 올바른 형식으로 추가 신규 신청서를 작성하는 경우 기계 학습 알고리즘, NEW 굉장합니다 하지만 이미 있다면 변형 및 새로운 테스트 데이터 결핵 환자 수는 많다 이 경우 나는 휴식을 결정할 것이다 PREMISES에 대한 루프 구현

여기 디버거에서 실행하십시오 그 데이터를 AZURE로 이동하려면 어떻게해야합니까? 그래서 나는 정확성의 종류를 볼 수 있습니다 그러면 천리안에 너는 너무 많아 우리는이 모델을 가지고 있습니다 옵션

내가 무엇을 먹어야하는지 그리고 나는 여기 저기 다가 가려고한다 당신 무역은 무엇입니까 누구도 메트릭 (metrics) 아래에서 볼 수 있습니다 스토리지 옵션에 대한 정보 당신은 정확성을 보러 갈 것입니다 응, 이것들은 제거 될거야

들 이 정확성 분야는 주목하고 있습니다 저장소는 항상 원격입니다 그 이 모델이 얼마나 잘 작동하는지 알 수 있습니다 몇 밀리 초

캐싱 80은이 정보에 대해 제안하고 있습니다 구름은 중요합니다 과 80 지금 정확한 당일에 우리는 그 점에 관해서도 잘 이야기 할 것입니다 상상력 테스트 자료가 잘못되어서는 안됩니다

2TB의 데이터가 미리 준비되어 있습니다 우리는 단지 시작했다 개념 WE 두 번째 링크 당 45MB가 넘고 편리한 API를 사용하여 호출 그걸 옮겨야 해 IT는 예측 엔진 IT가 허용하는 것 12 년 만에

그게 현실이야 너는 그것에게 프리젠 테이션을 허용한다 그것의 큰 데이터 전송 데이터의 단일 인스턴스에 나는 TRICKY입니다

당신은 알고있다, 유선에 예측 엔진을 만듭니다 말하다 다시 말하지만, 당신이 더 작 으면 데이터의 단일 인스턴스에 대한 예측 데이터는 명시된 경로를 사용할 수 있습니다 나는 여기에 예측 엔진을 말 할 것이다

그리고 거기에 사용할 수있는 도구 그러나 예측 엔진이 다시 시작됩니다 대용량 데이터가있는 경우 입력 클래스의 알림 및 출력 하늘빛 데이터 박스가 있습니다 나는하지 않는다

입력기의 클래스 및 테이크 업 당신이 얼마나 친숙한 지 알고 있습니다 모델 한 번 나는 그 계획을 세웠다 데이터 박스 포함 큰

좋은 거래 ENGINE 나는 싱글을 만들어야했다 그래서 데이터 박스와 우리는 가지고 있습니다 예측 엔진 지금 나는 통과 할 수있다

데이터 박스로 작업하기 그에게 새로운 소식을 전하십시오 나는 가고있다 꽤 많은 시간 그들에게 화가났다 이 새로운 청원을 불러내 어라

바닥 가져 오는 링크가 있습니다 기계 학습을위한 앱 하나 당신은 단계 가이드에 의해 단계에서 단계로 즐겁습니다 내 휴식 지점을 다시 놓을거야 이 장치가 어떻게 작동하는지

이리 나는이 예측을 당신에게 보여줄 것입니다 그래서 우리는이 장치들을 기본적으로 운송합니다 실제 작동 여부 또는 예측 방법 너에게, 그리고 거기에 세트가있다 하고있다

나는 너를 이길거야 당신이 필요로하는 지시 사항들 여기 디버거에서 볼 수 있습니다 데이터에 데이터로드 안함 이 상원의 계획 상자에 넣고 순금으로 돌아온다 긍정적이고 확률이다 그리고 플러그를 꽂습니다

너도 그렇다면 점수는 당신에게 잘 알려져 있습니다 많은 데이터를 사용하면 옵션을 사용할 수 있습니다 예측 그게 바로 예입니다 이제 당신이 데이터를 움직여서, 어떻게 시작 할 수 있니? 블록 저장 장치를 표준화하려면

프리미엄 ML 정보 분석을 구축하기위한 NET 꾸리다 우리가 생각하는 것 모델 이러한 개념 중 일부 우리가 뭘 뿌려야 하죠? THE BLOB 걱정하지 마십시오 저기에 있었어

IT가 출시되었습니다 우리는 여기에 우리의 갑옷에 이것을 담을 것입니다 AZURE와 함께 그것은 기술이 있습니다 그래서 다음에 내가 원하는 것은 좋은 결과를 얻은 채 배팅 된 나는 이미 그것을 하나의 것으로 보았습니다

궂은 나날들 IT LAX의 기능 다음에 내가 빨리 덮고 싶어하는 것 원근법 보기를 위해 단순한 우리가 가진 특징은 무엇입니까? 작동, 당신은 알고있다 ML에 추가

NET 1 0 THE FIRST 거대한 세계에서 원자 번호 변경 내가 자동으로 얘기하고 싶어하는 것 그 말에 귀를 기울이십시오

그래서 ML NET 또는 자동 인공 지능을 극대화하십시오 스파크 실행자가 다른 경우 이것은 우리가 추가 한 새로운 기능입니다 지역 주민 발굴과 노력 코드 예를 기억한다면 데이터 및 중간 결과 내가 끝날 때까지 내가 갔다 그들이 다시 들어가서 그리고 이진 트레이너를 선택하십시오

임시 폴더를 호출 했습니까? 너는 관찰 된 것일 수도있다 결과가 모두 계산 될 때 우리는 수련생 수를 가지고 있습니다 임시 폴더 및 재발행 그곳에 우리는 평균 수명 TRON, 출입구를 내십시오 재구성 우리는 [비실망]하고 있습니다

폴더는 메타 데이터 운영입니다 지금은 시작하는 사람으로 지금 아무것도 움직이지 않으면 이름을 바꿀 수 있습니다 ML이 새로워 짐 폴더의 -이게 뭐니? 하나의 공연에 가장 적합합니다 당신은 실제로 육체적 인 존재입니다

이 시나리오 일인 경우 파일 이동 기본 속도가 느린 경우 너는 오른쪽 트레이너를 뽑았다 ETL 조각 내려 너 모두 귀하의 시나리오 또는 귀하의 시나리오에 따라, 일하면서 일 했어

– 이 연수 자들을 조율 할 수 있습니다 이 데이터를 이동하십시오 하지만 그건 그렇지 않아 이 설정이 하이퍼로 호출 됨 METADATA 운영으로 좋습니다 그래서 매개 변수

다시 시작하는 경우 다시 ANALYTICS의 패턴 기계 학습 및 당신은 새로운 있습니다 우리가 사용해야하는 일터로드 – 작동 이것은 당신을 위해 도전 할 수도 있습니다 잘 우리는 TRANING을 원합니다 이들 당신이 좋아하는 종류의 자동 프리미엄이 중요합니다 그럼 내가 얘기 할거야

이 문제 AUTO ML AUTOMATICALLY 지금 소개 나는이 이야기를 들었다 이 모델을 최고로 구축하십시오 IDEA OF – 당신은 BIT를 가졌습니다

트레이너 및 설정 수행 밴드의 10GB를 얻을 수 있습니다 당신을 위해서 IT 부서는 로컬 컴퓨터를 사용합니다 초당

워크로드가있는 경우 최상의 조합을 도출하기 위해 읽고 쓰는 많은 데이터 여기에서 최고의 공연을 선사합니다 네가 할 수 있기 때문에 대단한거야 모델 AUTO ML EXPERIENCE를 실행할 수 있습니다 그 데이터와의 충돌

우리는 그럴 것입니다 우리는 현지에 있습니다 우리는 3 가지를지지한다 장면과 당신의 성능은 거기에서 일한다 우리는 회귀를지지한다

HIGH BAND 때문에 아주 좋아요 이진 분류 및 다중 폭 도전 중 하나 등급 분류 당신이 사용할 수있는 저체온 수술실입니다 IN SQL 우리가 만든 AUTO ML EXPERIENCE HBASE 또는 스파크 스트리밍과 함께 워크로드 IN

세 가지 다른 방법으로 인터넷 당신이 필요로하는 곳에 저장하십시오 내가 쓰는 도구를 사용할 수 있습니다 매우 쓰기 때문에, 매우 빠르다 당신을 다음에 보여주기 위해서

너는 저체온 운동 및 ML 내가 가고 싶어했던 NET CLI 저장은 20에서 200 사이에 있습니다 보여줘 우리는 ML에 대한 API가 있습니다 그물 밀리, 너를 어떻게 생각해? 너는 나가기를 바란다

네가 원한다면 그걸 할거야 그래서 나는 갈거야 비행 중에 모델을 만들 수 있습니다 그래서 사용 사례 HBASE에 대해 이야기하십시오 방법 다음에 내가 가고 싶어하는 것 HBASE의 이해 방법 내가 지금 경험하고있는 도구 경험 공장

소수 민족 그래서 내가 설명해 줄게 너를 위해 ML을 제공한다 그물 또한 우리 지금 가지지 못한 사람들을 위해 이 올해 건축에 발표 HBASE에서 볼 기회

SO HBASE 도구가 ML을 호출했습니다 NET NEW BOD 아무 SQL 저장소가 아닙니다 그리고 모든 데이터 엘 빌더 이것은 비디오 스튜디오이다 정렬 된 순서로 저장됩니다

그래서 신장 아주 단순한 UI입니다 높은 쓰루트 작성에 도움이됩니다 커스텀 모델을 사용하는 도구 종점 읽고 그 무엇 ML을 자동으로 사용합니다 뭐 사용 사례가 있습니다

그래서 HBASE에서 모든 또한 당신에게 도움이됩니다 클러스터 노드는 지역으로 알려져 있습니다 모델 교육 및 소비를위한 코드 서버 각 지역 서버 수 이 공구를 사용하도록 보여 주시겠습니까? 여러 지역이 있습니다

이 사건에서 그래서 너는이 공구를 발사 할 수있어 나는 그들에게 3 가지를 기원합니다 그리고 오른쪽 클릭 및 광고 클릭으로 이동합니다 지역 번호가 메모리에 있습니다 그들 여기에서 배우는 기계

네가 원한다면 메모리가 있어야합니다 언제 쓸 때? 당신이 할 수있는 그림을 그린다 무언가가 실제로 서면 이 공구는 우리의 웹 사이트에 갈 수 있습니다 이 H 파일에 이렇게 적혀있다 빨리

그것은 NET ML 이것은 기억에 대단하다 MODEL BUILD ERR 페이지 당신이 쓰고 있기 때문에 빨리 모델의 다양한 기능 기억

그리고 나서 특정 기간 이후 BUILD ERR 다운로드를 허용합니다 THRESHOLD, 당신은 THRESHOLD IT를위한 시각적 확장 나는 가지고있다 너 – 그 길은 아주 빠르다 이미 확장 기능을 다운로드했습니다 너는 너의 저장고에 나섰다

나는 그 일을 다시 할 필요가 없다 이 후에 어떤 일이 언제 일어날까요? 최초의 스크린 모델 제작자입니다 귀하의 데이터가 기록 될 NODES GO 첫 번째 스크린은 당신에게 다른 것을 보여줄 것입니다 잃어버린

그래서 방주 보호 이 도구를 사용하여 기계를 학습합니다 암묵적으로 – 쓰도록 우리는 가격 예측을위한 예를 가지고 있습니다 이러한 메모리 구조는 고도로 감옥의 예는 무엇인가? 독서 인 경우 장식 된 패션 의 예인 분석 나도 너에게 편지를 쓸거야 일종의 이종 분류 당신 지하 저장고에 통나무 다른 시나리오를 만들 수 있습니다

내가 할 수있는 곳에 내려 갔다면 커스텀 시나리오는 여기서 만나요 이 데이터를 다시 읽으십시오 그거야? 나는 가고있다 – 여기에서 템플레이트하십시오 나는 목적 당신이 수술을 보는 경우에 분석을 클릭하십시오

그만큼 INSERT, UPDATE, 다음 화면은 정보입니다 이 그것을 얻고 삭제해야합니다 데이터를로드 할 수 있습니다 이후 순서대로 너는 삭제할 수 없다

내가 어떻게 로딩했는지 알았어 HAPPENS를 삽입하기 전에 근데 뭐 파일로 인해 SQL이 표시됩니다 나는 너는 어떤 종류의 원거리와 함께 AZURE SQL에 연결하기 저장 장치가 오래되었습니다 여기 데이터베이스

OF OF OF SQL을 선택하십시오 방해 너는 좋은 시댁을 보았다 하지만 사실 나도 그걸 다시해라 그것은 갑작 스레 300, 700 밀리 초를 보아라 HOPEFULLY에 다시 돌아갈 예정입니다

모든 모든 종류의 스파이크 – 종류 – 권리 그래서 다시 로그인 해주세요 거친 격렬한 에피소드가 막혔습니다 여기 SQL에서 나는 그것을 갈려고한다

그래서 우리가하는 일은 다시 >> 또한 누구에게나 감사합니다 우리가 프리미엄을 소개하는 워크로드 이 데모 용 데이터베이스 그래서 당신은 -이 대신 서면 쓰기 귀하의 데이터베이스에 로그인하고 지금 우리는 BLOB 매장 또는 세대에 이르기까지 데이터베이스 중 하나를 사용할 수 있습니다 우리는 그것을 프리미엄 매니저에게 써 놨습니다

나는 같은 데이터베이스를 사용할 것이다 디스크를 클러스터에 연결합니다 과 내가 중고품을 사용 했어 이것은 불리운다 그렇다면 귀하의 글은 매우 비쌉니다 맛있는 음식 나는 갈거야 빠른

그들은 엄청 빨랐어 괜찮아 나는 테이블을 선택할 수있다 에서 그래서 우리는 훌륭한 성과를 봅니다 이 경우 같은 감정 검토 지적인 변화를 일으켜서

표 해야 할 일 우리는 계속 데이터를 넣고 있습니다 당신에게 미리보기를 보여줍니다 저장 그러나 우리가 생각한 방법 필수적으로 볼 것입니다

다음 회사 소개, 알고 계신다 공구가 제공을 요청합니다 건축 문제 그래서 당신이 예언하는 열입니다 HBASE를 사용하고 계시다면 나는 감옥을 선택하려고한다

2 개의 풍미가 표준과 함께 내가보고 싶어하는 칼럼으로 열거하십시오 저장소와 기타는 – 어디에서 한 번은 내가 할 수있게 만들었어요 나는 화장 할 수 있어요 우리는 프리미엄 관리 디스크를 넣었습니다 훈련의 다음 단계로 서면은 매우 빠릅니다

당신 단계 나는 앞으로 나아갈 것이다 읽는 것에 대해 어떻게 생각하십니까? 너 할 수있어 여기에 30 초 정도의 기차 필요할지도 모르는 일자리가 있습니다

이 공구로 MODEL BUILDER는 단일 밀폐형의 두 번째 시술 보러 갈 트레이닝 디지털 우리가 지원을 시작 했으니 까 정확성의 아래쪽에 있습니다 프리미엄 저장 SSD에 구축하십시오

그래서 너무 멀리있는 모델의 당신은 아주 빨리 창자를 얻을 것입니다 최고의 알고리즘, 최고의 알고리즘 질문이 있으십니까? >> 그럼 너무 좋아? 좋은 IT는 다른 선택했습니다 거래 또 다시, 우리가 말한 이야기 알고리즘이 나가고 있습니다 더 이 기술은 로컬 대 리모컨입니다

도구를 제공 할 시간, 하지만 어떻게 생각할 것인가? 더 많은 시간을 가질 수 있습니다 더 많은 치즈 저장고를 알고 계십시오 알고리즘 및 다른 모델 원격 매장을 만들고 빠르게 만드시겠습니까? 당신을 위해서 이 경우 내 데이터 세트 그래서 캐싱 기술은 매우, 데이터 세트가있는 경우에는 작지만 매우 중요하며 여러 항목이 있습니다 큰일 날 것 같네요

다른 워크로드와 캐싱 시간의 커플을 가져 가라 당신이 가지고 있다면 기법 스파크에서 우리는 스파크를한다 테러범에 관한 데이터 IO 캐시 R 캐시 기반 오늘의 커플을 먹을 수 있습니다

나는 죽었다 APACHE PROJECT 란 무엇입니까? 그래서 만약 30 초 동안 너는 정확성을 본다 너는 스파크에서 읽는 중이다 우리는 86 퍼센트를 얻었다

기억한다면 로컬에 캐시되어 있고 문제가있는 경우 내가 본 마지막 순간부터 동일한 질문을 할 수 있다면 매우 좋을 것입니다 나는 언제 판결 분석을 만들었 는가? 매우 빠르다 HBASE와 PHOENIX에서 이 모델 만이 80 % 나에 대해 말한 것에서 벗어나십시오 정확성 30 초 밖에 걸리지 않습니다

버킷 캐싱이 있습니다 다시, 훈련 한 번 내 훈련은 최근에 쓰여진 데이터, 최근 이제 다음 화면으로 넘어갈 수 있습니다 READ 데이터가 L2에 입력됩니다 이제는 가치있는 화면입니다

그만큼 캐시와 그 서비스를 직접 제공 할 수 있습니다 VALUE 화면에서 보도록 허용합니다 불을 지르며 최고의 모델 성능 그만큼 그것은 매우 빠릅니다 만약 너라면 탐구 된 다른 모델들 높은 가격으로보고 있습니다

에 이 단계에서 불만족 스럽다면 그 자리에 봉사하는 것은 정확성을 가지고, 당신은 할 수있어 지능형 캐시를 모두 호출하는 곳 뒤로 이동하고 더 오랫동안 훈련하십시오 그 의 데이터는 다시 캐시됩니다 더 나은 결과

당신 로컬 메모리 그리고 내가 말하는 것 더 많은 데이터를 문제에 추가 할 수 있습니다 로컬 메모리에는 2 개의 부분이 있습니다 등등 마지막 단계 그것

다이나믹 RAM 및 로컬 SSD MODEL BUILDER는 당신이 할 수있는 것을 허락합니다 그래서 만약 당신이 코드를 자동으로 생성 할 수 있습니다 D14를 가진 송이 VM 유형

그것 내가 여기 프로젝트를 클릭하면 800GB의 로컬 SSD가 있습니다 비어 있는 두 개의 프로젝트를 만들려고합니다 그만큼 비용 없음 : 나는 그것이다고 생각한다 그것이 창출하는 첫 번째 프로젝트 에서

그게 뭐야 그 사이에 클래스 라이브러리 클래스 란 무엇인가? RAM, SSD 및 원격 저장소, 엔진 라이브러리는 모델 우편 파일입니다 자체적으로 재활용하는 방법에 대해 알아 봅니다 그저 훈련 된 모델은 비트

그게 쓸모있어 도구에 훈련 된 IT가 입력되어있다 사례 이 용도로 사용하는 경우 고려하십시오 출력 클래스 와 함께 이 옵션을 작성할 때 옵션

모델 및 입력 및 출력 클래스 그래서 이것은 IO 캐시입니다 알다시피, 우리는 ANO – CREATE PROJECT를 제안했다 너는 단지 그것을 활성화한다 그럼 너 암호 내가 너에게 훈련을 보여 준다면 캐싱을하십시오

아래쪽에 신속하게 코드를 볼 수 있습니다 1TB 규모로 다시 결핵에 이것이 본질적으로 동일한 특징입니다 – 질의 응답 없음 우리가 숙련공에 의해 한 일 에서 캐싱을 좋아합니다 때때로 이 경우는 더 좋은 결과를 가져옵니다

캐싱은 작동하지 않습니다 하지만 ON 학습자 이 또한 하이퍼를 발견했다 전체 작업이 2 배 빨라졌습니다 최고를 제공 한 매개 변수 하지만 20 가지 이상의 질문이 있습니다

성과 당신은 어떻게 볼 수 있습니까? – 기준점은 8 ~ 10 배입니다 경험은 당신이 창조하는 것을 돕고 있습니다 빨리 그래서 QUELIES, REPEAT처럼 최고 성능 모델 기타 귀하가 볼 곳이 QUELIES입니다 파일이 프로젝트에 표시됩니다

많은 조각 보안 그곳에 프로그램 CS 파일입니다 무엇 질문입니다 [OFF MIC] >> YES, 너는 지금 너를 사용할 수있는 방법을 보여주고있다

우리는 해 하지만 우리는 허용되지 않습니다 너와 함께 시작한 훈련 된 모델 번호를 공유하십시오 좋은 질문 문맥을 창출하는 갱 그래도 "좋아

" "알았어 모든 LOAD ML NET 모델 및 시작 가능 권리 그럼 얘기 좀하자 프레디 크크 만들기

나는 하이킹에 갈거야 보안, 이것은 데이터 구조에 있습니다 이 코드는 여기에 약간의 비트가 있고 섹션 하지만 보안은 내 개인적인 데이터 인스턴스 하나 추가 모든 사람과의 마음 그래서 그 길 그리고 말하기를, 새, 너는 적은 것을 싸워라

우리는 보안이 필요하다고 생각합니다 BIT를보고 입력 내용을 봅니다 그만큼 권위와 데이터의 생각 현장에서 새 감사를 부름 나는 원근법 이 클러스터를 넣을 수 있습니다

돌아가서 새로운 감동을 부르십시오 아주 안전한 네트워크 내부 과 나는이 일을 성취하려고 애쓴다 그 정보는 그곳에있다 똑같은 내가 어리 어리다고 말했어

약간 인증 및 승인을위한 기계 학습은 재미 있습니다 방해 우리는 AZURE DIRECTIVE에 의존합니다 나도 다시 이걸 시도해 내가 이걸 실행하면 아파치

함께 – 무엇을 지금, 내 휴식 지점을 어떻게 설정합니까? JEN 1 또는 JEN 2에서 수행 할 수 있습니다 당신은 생성 된 코드를 보게 될 것입니다 보호 데이터가 보호됩니다 그 모델이 나를 위해 창조 한 운송 또는 보관 중

그럼 모두 지금은 본질적으로 생성됩니다 조각이 있습니다 설명하고 싶습니다 단일 예측을위한 코드 이 그림은 비트가 환상적이기 때문에 나타납니다

우리는 디버거를 보러 갈 것입니다 오픈 소스 기술을 보시려면 다시 내가 예측에 가면 스파크, 하이브 및 HBASE 및 기타 측정치가 표시됩니다 프로토콜에서 공개 소스로 너는 진실을 알 것이다 원근법, 모두는 위에 일한다 그리고 점수를 잘받습니다

그게 뭡니까? – 그게 그 의정서에요 그러나 가장 좋아하는 것 중 가장 빠른 데모 AZURE ACTIVE DIRECTY에서 보는 경우 MODEL BUILDER는 당신을 위해 할 수 있습니다 모델 클라우드에 저장되었습니다 그래서 이들은 우리는 도구로 도구를 사용할 수 있습니다 2 다른 프로토콜

그 후에 HOPEFULLY 이것은 만드는 기계를 만든다 그것이 의미하는 바는 ML이있는 모델 그물 나는 가고있다 쉽게 클러스터를 가리키는 것만 큼 쉽게 여기 갑판으로 돌아 가기 AZURE DIRECTY 및 그럴 것입니다

빨리 다음에 내가 원하는 것 작업 그들은 그렇게하지 않기 때문에 다른 도구의 모음입니다 다른 프로토콜 그럼 그게 뭐야? 그 중 일부분에 대한 이야기 우리는 부품 AZURE를 사용합니다

너를 체사에게 데려다 줘라 능동적 인 지시 AZURE 활성 통화 이것을 덮을 것입니다 >> 감사합니다 직접 서비스를 수행하십시오

그것은 기본적이다 당신 [APPLAUSE] >> COOL 그건 DO MAIN SERVICES INSTANCE 그래서 멋진 데모

우리가 가고있는 것 우리는 사용자 신원을 지금 볼 수있는 것은 다른 접근법, 기본 서비스를 수행 한 다음 기본으로 수행하십시오 우리가 만든 것을 사용하는 다른 도구 문제가 될 수있는 서버로서의 행위 ML하지만 사용자 스튜디오 대신에 우리의 클러스터에 티켓 그래서 원하는 다른 사용자가 될 수 있습니다 합리적인 세트의 비트,하지만 온라인 인터페이스 사용 IT가 작동합니다 그럼 조금이라도 보게 될거야

이것이 교차점 일 수있는 경우 어떻게, 당신의 조건에 데모의 비트 플랫폼을 실행할 수있는 플랫폼 일단 당신이 설정을 통해 가면 안됩니다 MAC, LINUX 또는 WINDOWS 다른 그리고 그것이 일과 성격을 어떻게 구분 하는가? 한 번 당신이 알고 있기 때문에 이유가 있습니다 너는 그걸로 할 수 있니? 그래서이 사건에서, 당신이 원하는 과정과 가능성 나는 클러스터가있다 미안, 나좀 시켜줘

매일 또는 매일 모델을 생성하십시오 스위치 당신도 볼 수 있습니다 그래서 새로운 데이터 또는 자동화를 원하십니까? 나는 클러스터와 당신이 본 것을 가지고있다 다른 파이프 라인의 CLI와 함께 지금

이것은 군대이다 또는 무엇이 가장 유용한가요? 매니저 그것은 약간의 일을합니다 이러한 또한 CLI가 있어야합니다 보자

모니터링 구성으로 서비스 DEMO에 대해 알아보십시오 그래서 여기에 창문이 있습니다 관리 등등 그리고 또한 이 경우 나는 그것을 실행하려고한다

특정 도구를 제공합니다 몇 가지 파워 쇼 너는 할 수있어 그래서 예를 들어, 그 중 하나 동일한 데모 작업 MAC 또는 온 라인 온라인 제공하고 있습니다

너 할 수있어 잘 또는 리눅스 당신이 얻은 길 데이터 레이크에서 높은 쿼리를 작성하십시오 CLI는 이것이 글로벌 도구라는 것입니다 그리고 지금 나는 승인에 대해서 말했어

IT를 글로벌 도구로 설치하십시오 APACHE 레인저 인 구성품 너와 같이 볼 수있어 NET TOOL 이거 야 그리고 그것은 많은 것을 가지고있다

INSTUALLED 또는 ML 인 NET 많은 플러그 인을위한 INS 새로운 패키지를 자동으로 받으십시오 다른 것들 그래서 우리는 볼 것이다 설치됨

나는 내가 필요 없다고 생각한다 높은 플러그 인에서 우리가 정의 할거야 지금하십시오 그 밖의 것들 높은 접근 정책은 여기에 있습니다

과 너에게 보여주고 싶은 것은 또한 HOGWARTS이다 나는이 하나를 클릭 할 것이다 그래서 ML을 쓸 수있는 곳 NET, OUTER 내가 실제로 지키고있는 정책들 기차 및 그 다음 그때 우리는 높은 표본 표를 기본값으로 부름 또한 완성품을 누를 수 있습니다

클러스터와 함께 제공되는 테이블 다른 탭을 눌러보고 높은 표본 위에 이종 분류 인 작업 내가 할 수있는 것은 무엇이겠습니까? 다단 규정 및 회귀 일부 데이터를 마스킹하고 싶습니다 우리가 갖게 될 버전으로 나는 특정 사용자를 원하지 않는다 우리는 ML의 나머지를 가지고 있습니다 KIND OF OF DATA이 데이터를 보시기 바랍니다

나는 할 수있다 IN ML 그물 한 번 샘플을 실행 해보세요 내가 여기있는 것처럼 너에게 보여라

동일한 유사 데이터 세트 사용 그래서 나는 스파크 정책처럼 그것을 명명했다 우리가 사용했다 기본적으로 할 수있다 당신의 테이블이 있습니다 이 ML보기

NET OUTER BINARY 분류 테이블 내에있는 열 그런 다음 코드 이름 또는 이 사용자를위한 클라이언트 ID 및 폴더가 감정이 될 것입니다 이 사용자는 도메인 사용자입니다 모델 데이터 세트의 이름 가짜 행동 지시자의 사용자 레이블이있는 TSV입니다

IT 텍스트 파일입니다 나는 그것을 완화시킬 수 있어야한다 COLUMNS와 TABS 사이 마침내 데이터 저것과 같이 쉬운

그래서 지금 나는 라벨 열을 제공해야한다 여기에 와서 쿼리를 실행합니다 열이 란 이름입니다 내가 볼 수있는대로 로깅되었습니다 내가 미리보고 싶어? 나는 사용하고 싶다

ASHISH 데이터를 가지고 있습니다 목표 권리? 마침내 시간 너는 클라이언트 ID가 재확인되었다는 것을 본다 내가 찾고있는 것 같아

지금 다른 사용자가 여기 있습니다 더 나은 모델 이 경우 JUST에서 그리고 그녀의 이름은 앨리스입니다 당신이 할 수있는 한 15 초이므로 QUICK입니다 여기를 보아라 : 나는 그것을 조금만 만들어라

데모 하지만 너와 일할 때 더 크게 그럼이 사람은 앨리스 야 과 많은 사람들이 필요할지도 모릅니다 내가 봤던 정책에 따라 분 또는 시간

너는 그것을 볼 수있다 주의하지 마십시오 그녀는 모두 있었어 감동, 더 좋아 보인다 액세스 및 지금 앨리스가 실행 중입니다

알고리즘과 당신은 최고를 볼 수 있습니다 동일한 검색어, SELECT STAR FROM 아주 정확한 것은 87 년과 마침내였습니다 샘플 테이블과 지금하실 수 있습니다 당신은 5 개의 베스트와 함께 요약을 얻습니다 실제 데이터를 볼 수 있습니다 알고리즘,이 중 가장 좋은 것은 이 데이터는 데이터 레이크가 아닙니다

이 GS LOGISTIC 회귀의 경우 LB입니다 RAW 텍스트 파일은 더 많은 정보를 얻을 수 있습니다 생산 도구 그리고 지금 너 우리가 가지고있는 URL에이 메트릭스 칼럼 레벨 시큐리티를 수행 할 수 있습니다 이리 가장 중요하게 우리가 창출하고있다

사용자가 볼 수있는 조건 코드와 모델, 모델 파일의 데이터 그게 아주 귀엽다 훈련이 시작되었을 때 강한 그래서 이것은 작전을 비난합니다 교육을위한 코드

어떤 것 그리고 과정의 예상 미국 – 당신 어쩌면 어쩌면 분명하지 않을 수도 있습니다 알 잖아, 이걸 모두 검사 해 이전에 데모, 당신이 한 번 조각들 너를 보지 못하게 – 너 그 다음 저장할 수있는 모델 교육 수납 공간에 액세스하고 싶습니다 [불가분] 파일로

과 직접 어떻게 작동합니까? 방법 너는 네가 끝날 때부터 그걸 싣을거야 신원이 밝혀 졌는가? 사용자 신청서, 목재 신청서 등 짐을 싣기 위해 그래서 보자

ML 모델 도트 파일 및 그 다음 그거야 그래서 나는 AZURE에서보고 싶다 코드 코드는 비슷합니다 그것 저장 장치 탐 색기

여기 AZURE가 있습니다 여기에 생성했다 너는 볼 수있어 저장 장치 탐 색기 및 그 안에 이제 우리는이 폴더를 가지고 있습니다 나는 "테스트"라는 폴더를 가지고있다 새로운 소식입니다

그것은 시작과 함께 너 거기 볼 수있어 그리고 내가 본다면 TSV 이것은 창출되었다 우리 MANAGE ACCESS에서 가능한 한 클래스에 동일한 프로젝트가 있습니다 MICROSOFT 참조하십시오

COM에 액세스 교육을위한 도서관 및 코드 이 폴더에 하지만 보지 마라 시각적으로 똑같은 점수 그 안에 앨리스 그녀는 아무런 접근이 없었다 사진관

그것은 시각에 비 슷하다 폴더에 그래서,이 사용자, 스튜디오가 그 위에 갔다 이 경우 부끄럽지 않아요 CLI

우리는 일관되고 현실적입니다 클러스터 노드에서 그리고 난 검색 중이 야 똑같습니다 돌아 가자

클러스터 노드와 그곳으로 다음 섹션으로 정보 나는 명령을 할거야 지금은 나야 확장 및 생산으로 간다 ABFS는 여기에 용기가 있으며 그래서 우리는 당신이 어떻게 볼 수 있었는가? 나는 그 내용을 간파하고 싶다

모델 훈련, 어떻게 테스트 할 수 있습니까? 폴더와 그래서 나는 들어갔다 과 IT, 유효성 확인, 그러나 무엇에 대해 IT SAYS, 2 개의 기록이 발견되었습니다 당신은 보았다 이 사실을 귀하의 실제 의무로 언 U아하는 자에게 무언가가 접근했다 IN NET ALLEGATIONS 또는 HTL NET

저장 우리는 그것을 통과 할 수있었습니다 NET FRAMEWORK 및 NET CORE 그것 IT는 관심이 있습니다

앨리 앨리스 당신이 그것을 실행할 수있는 크루즈 플랫폼 그곳에는 아무런 허가도 없었습니다 WINDOWS LINUX 또는 MAC 이동하는 경우 테스트 폴더 및 히트를 탐색하려면 생산에있어, 그것은 단지에 대한 것이 아닙니다 들어가고 말해라 데이터 및 건물 준비하기 그녀는 허락을받지 못하기 때문에

또는 훈련은 또한 뛰기에 관한 것입니다 그래서 내가 너에게 할 수있는 말은 뭐니? 귀하의 신청서에 해당 모델 정당하게 THE PERMISSIONS를 설정하십시오 이게 맘에 들어요 데이터 호수 자체

그리고 당신은 사용자입니다 어떻게 최적화 할 수 있는가? 신원이 클러스터로부터 유출되다 ASP NET 응용 프로그램 실행 또는 그리고 그들은 존경을받을 것입니다 이 멀티 쓰레딩 또는 어떻게 포함시킬 수 있습니까? 당신이 처한 상황에 도움이된다 그 모델의 창조 여러 번 클러스터 설치 반대 우리는 CI / CD에 앙키 츠로 보았습니다 데이터 호수

사람들은 무엇을해야합니까? 파이프 라인 어떻게 자동화 할 수 있습니까? 그들은 기관에 서기를 권한다 너 한테 한가지 데모 해 줄까? 그래서 그게 좋은 부분입니다 ASV 네트워크에 모델 사용 가능 괜찮아 그래서 지금 우리는 2 가지를 샀어

신청 그래서 여기에 그리고 당신을 혼란에 빠뜨릴 수도 있습니다 내가 API를 가지고있는 해결책 지금은 2 권의 인증 엔진이 있습니다 우리는 잠깐 시간을 멈출 것이다

그 계획에 APACHE 레인저와 우리는 그 두 가지를 가지고 있습니다 다른 것 어떤 사람이 신청할 것인가? CLI가 정확하게 생성 함 그리고 언제 그래서 여기 당신을위한 테이블입니다

또는 시각적 인 스튜디오 그것은 모델이다 그렇다면 응용 프로그램에 대해 생각할 때 ZIP 파일이있는 프로젝트 레벨 액션 당신이하는 것처럼 그들이 보여준 데이터 클래스 데이터를 얻으려는 질문 나중에 우리가 단위 테스트를하고 있습니다

알았어 이 경우, 지금 나는 어떻게 할 수 있는지에 초점을 맞추고있다 높은 플러그 기어 또는 케이스 – 그들 이 모델의 ZIP 파일을 사용합니다 그곳에 저자가 되십시오 그래서 그건 기본적으로 세 가지 클래스가 있습니다

작품 하지만 너는 있니? 모델을 실행할 때 사용해야합니다 높은 테이블을 창조하고, 숨을들이 마십시오 하나는 I 변환 오류 모델, 너는 그 표제를 쓰되 표를 써라 그래서 저축이 저축됩니다

당신 너는 또한 위치 안에 위치를 진술한다 단일 톤 또는 [비 구분] 데이터가있는 곳 그래서 당신은 재사용 할 수있게되면 더 좋을 것입니다 구내에 위치 너의 다른 줄기로부터의 IT 저장 그 경우에 당신은해야합니다 신청

그것은 예측이다 두 곳 모두 허가를 받아야합니다 우리가 얘기 한 엔진 너는 레인저 또는 언더 그라운드에서 그것을 필요로한다 단일 프레디 크크 그것은 위협이 아닙니다

저장 그리고 만약 당신이 생각하면 저장 됨 당신은 그것을 특별한 용도로 사용해야합니다 당신이하고있는 SPARK DATA API 너가 복수를 할 때 길 – CSV 파일을 읽는 중입니다 끔찍한 신청

그게 뭐야? 저장 위치 및하지 않을 경우 나는 당신에게 API를 보여주고 싶습니다 당신 허가를 받으면 접근 할 수 있습니다 우편 번호를 복사 했어 거절 당했다 모든 시나리오에서 그렇다

모델을위한 파일 나는 데이터를 가지고있다 직접적으로 참고할 곳은 어디입니까? 독서 및 사용을위한 수업 스토리지에, 당신은 최소한 모델 우리는 무엇을 했는가? 보관소에서 허가를 받아야합니다 이것은 확장 가능한 방식으로, 당신은 사용합니다

수준 및 AT 허용 예측을위한 [불가피] 다르게 레인저 레벨 나는 그걸 어떻게 쓰는지에 대해 생각 해낸다 거기에있는 플러그 ALL RIGHT, ANY 너 그렇게 할 수있어 몇달 전에 질문이 있으십니까? 좋은 거래

면제 라이언 노박과 ASVI 팀에서 우리는이 부분들에 대해 많이 말하지 않습니다 가자 NET, VDOT NET 그러나 나는 우리가해야한다고 생각합니다 많은 사용 가능한 확장 패키지 일이 잘못 될 수 있습니다

권리? 그래서 같은 방법으로 사용할 수 있습니다 자, 너는 있단다 INSTANCE SIGNAL R 또는 [INDISCERNIBLE] 당신이 알고있는 시스템, 당신이 만든 뼈대 그럼 너는 할 수있다

매일 한 번씩 많은 클러스터 확장 성이 있습니다 IT는 최고입니다 너 어디서 비난 해? 쉬운 시작 클래스로 가라

위 아래로 내려 AT보고있는 경우 그리고 서비스를 구성하십시오 당신 클러스터는 A의 구성 요소입니다 함께 집을 등록해야합니다 AZURE 서비스의 번치

VM, 저장 장치, 우리가 주목 한 동일한 데이터 클래스들 당신이 그것을 사용하는 이름입니다 및 위에 모델을 만들 때 불러 오기 다중 오픈 소스 있음 그 (것)에게에 경로 인 파일 우리가 만든이 프레임 워크 STEEP FILE 우리가 그걸로 등록 했어 클러스터

일이 잘못 될 수 있습니다 만약 당신은 비슷한 것을 빨리 할 것입니다 구성 요소 중 하나 – IF 주입 사용 객체 가져 오기 예측 시스템에 많은 구성 요소가 있으므로, 그리고 그 (것)들을 가진과 잡아 당기기 및 차가운 계획 신뢰성은 최대입니다 HTTP에서 온 데이터

사례 대부분의 신뢰할 수없는 구성 요소 그게 다야 우리가 보내는 것을 보아라 아래로 오는 이유 SO 계정 이 데이터

ML NET은 굉장합니다 그것 FAILURES를 위해, 당신은이다 진실성에 대한 확신을 표하는 중이다 클러스터 생성 한 번에 한 번 그 문

움직여 그만큼 실패한 클러스터가 될 것입니다 데모 난 너와 함께 보여주고 싶어 올게 구현 및 재시도 API

다른 것은 CICD에 관한 것입니다 논리 수동 저울과 같습니다 및 개발 우리는 이걸 실행했다

위 아래로 내려 당신이 비례 할 때 당신이 생산하기를 원한다면 아래로, 그리고 가끔이 사태 일관된 코드를 유지하려면 상당히 그러니깐 특정 데이터와 함께 모델 로컬 데이터 그리고 너는 움츠 리다

당신이 창조를 기원 할 필요가 있다고 모든 길을 다시 맺어 라 귀하의 파이프 라인 모델의 나는 3 노드 또는 1 노드 클러스터, 오른쪽? 그걸로 데모 할거야 그리고 우리는 해독 중입니다 그래서 나는 그것을 빨리하려고 할 것이다

원래 NODE는 해독 될 것입니다 그만큼 나는 문제에서 시작하려고한다 하나는 당신이 아래로 및 로컬 확장 나는 약간의 숙취가있다 REMAINING에 데이터가 복제됩니다 Linux, WINDOWS의 응용 프로그램 웹 응용 프로그램 NODES

DRASTICALY SCALED 인 경우 API를 사용하고 싶은 곳 하나 노드 아래에 공간이 없을 수도 있습니다 내 친구들의 변화된 데이터 그리고 클러스터는 무언가를 얻을 수 있습니다 설정하고 GitHub로 전환 이름 모드가 안전한 모드로 이동합니다 직접 배포했다

알지 못합니다 어디에 AZURE 에의 시각적 인 스튜디오 인터넷 내 데이터 나는 패닉 상태이며, 거기에는 API가 작동 중입니다 이것은 당신의 URL입니다, 내가 본 몇 가지 단계 APP 서비스를 배포 중입니다

거기에서 벗어나기 위해 잘못된 너는 ML 인터넷이 보일거야 안전에 들어가는 이름 노드 굉장하지만 긍정적 인 9 월 방법 우리가하는 다른 것 선고는 거짓입니다 내가 말하면 너는 규모를 올리고 확장하고있다

음식은 불안정하다 비용을 절감하십시오 우리는 발표했다 틀린 것은 사실입니다 내가 간다

AUTOO SCALE 그래서 너는 떠나야 해 내 건물 파이프로 갈 수 있어요 귀하의 클러스터 확장 실행 데이터는 언제나처럼 보입니다 미국 및로드 또는 일정에 따라 달라질 수 있습니다

게시 됨 오류가 발생했습니다 우리는 클러스터를 축소 할 수 있습니다 그 여기 내가 볼 수있다 엄청난 스케일 우리는 안된다

통과하지 못한 검사 적어도 드디어 100에서 노드로 나는 이것을 고칠 수있다 내가 무엇을 할 것인가? 우리는 엄숙한 패션을합니다 내가가는 코드에서 설명 할 것입니다

그래서 우리는 그렇게 할 수 있습니다 과 제공함으로써 새로운 건물을 불러 오려면 내가 기초 자료를 원하거나 좋은 데이터 세트 그래서 나는 단지 오전 시간 기반 그리고 나서 말하면 이 데이터 세트 복사 중, RENAMING 시간베이스 그러면 우리는 스케줄 A를 사용한다 그것

그럼 나는 그것을 넣을거야 클러스터를 원할 때 특별한 시간 내가 데이터를 가지고있는 곳을 얻는다 아래로 스케일링하고 모니터하십시오 세트 DEMO, PUSH, GOOD DATA SET

이것은 많은 세제 옵션이기 때문에 지금 GitHub에있을거야 우리는 대단히 잘하고 있습니다 그리고 나는 계속해서 구성했다 그리고 너는 덜 문제가 될 것이다 통합 및 배치 그래서 지금 당신의 클러스터가 실행 중입니다

이 건물을 트위터로 이동하십시오 만약 스케일 업 및 나는 내 건축으로 돌아 간다 너는해야한다 축소 고장 함께 여기있어

여기에 시합이 있습니다 너는 클러스터를 만들려고 – 너무 많아 몇 가지 조치를 취할 것입니다 다른 구성 요소 및 구성 요소 몇 분 남았습니다 이 기간 동안 어느 시점에서든 내려갈 수 있습니다

내가 원하는 모든 것의 제일 먼저 일하고있다 RESIS SDIL에 내장되어 있습니다 – 시험에 관한 당신의 코드를 보여주기 위해 취업 규칙이 폐지되면 그것 흥미롭지 이 사건에서 아마도 더 많은 시간을 할애 할 것입니다 테스트 대상 유닛 테스트 노드가 내려 갔으므로 완료하십시오

모델 한 가지 시험은 당신을 할 수 있습니다 하지만 그 일은 그 일에 큰 영향을 미치지 않을 것입니다 이 시험을 여기에서 실행할 수 있습니다 하나의 시험 분배 시스템에서 단순한 테스트를 해봐야 할 것입니다

아래로 가세요 아시다시피, 진술, 부정적인 진술 틀린 방향으로 나아가는 것은 의미심장합니다 틀린 말로 나쁜 것 당신의 시스템으로 만들지 않을 것입니다 문장 또는 부정적인 문장 영향을받습니다

그러나 카스트로프틱 권리는 있습니다 이 같은 이 실패는 발생할 수 있습니다 저장 장치 영화 관람 예정입니다 또는 네트워크 장애가 발생할 수 있습니다

그래서 다른 하나는 틀릴 것입니다 재난 옵션을 계획하십시오 그곳에 다른 시험들도 더 흥미 진진합니다 너는 할 수있는 방법의 무리 다 나는 모델을로드하고있다

재해 복구 일부 자원이 있었어 표시된 계략과 같은 계시록 얻기 우리가 실험실을 걸어 다녔습니다 그리고 나는 이성을 지니고있다 그것을 설정하는 방법

그래서 자원 W80보다 높은 것은 아님 저기 있습니다 그들이 HBASE에 대한 검사를 통과하지 못했습니다 절절하다 HBASE 복제물 가져 오기 및 짓다 너는 또한 할 수있다 수출

그래서 이것은 본질적인 주제입니다 많은 기록을 남김 나는 단지 시간을 보낸다 여기에서 모든 것을 테스트하십시오 소개 – 그러나 나는 추천을한다 이것은 우리가 정확하게하는 일입니다

이 자료는 당신 자신을 만듭니다 건물 안에 나는 그것을 편집하고 싶어한다 그와 함께있는 가족 마지막으로 모니터링 중입니다

당신을 한꺼번에 보여줄 수있는 건물 모니터링에 관해 이야기하기 전에, 건물의 계단 당신은 또한 수 어떤 질문? >> 나는 질문이있다 내가 원하는 새야말로해라 회사 소개 – 그리고 그와 관련하여, 작업 대신 YAML에서 수행하십시오 우리가 이미 HDINSIGHT SET를 가지고 있다면 이리

LEMAHIEU는 (는) 지금 >> 그래서 질문 YAML하지만 다르게 표현하는 것이 더 낫습니다

업무 당신이 필요로하는 건물과 함께 교육 신청서 작성, 모델을 훈련시키고, 우리가 만든다 UNIT 테스트 프로젝트, UNITS 실행 생성 된 파일을 테스트하고 복사하십시오 신청서 작성과 함께 웹 API에 모델 우리가 만든 웹 API 및 마침내 게시 IT 파이프 라인 예술품

가능하다면 그것이 끝나면 가서 보아라 그것 이제 끝내고, 지금 당장 IT가 끝나고 지금은 얼마 안남았습니다 내가 갈 것이라고 두 번 볼거야 테스트를 참조하십시오 그런 다음 시동 및 트리거링 또한 릴리스

생성물 때문에 트리거됩니다 너는이 방출을 볼 수있다 지금 웹 API를 게시 함 내 스테이플 링 환경 두 가지 다른 AZURE APP 서비스 하나는 리눅스에, 하나는 WINDOWS에 있습니다 생산에 나가고 싶으면 나에게 묻는다 그러나이 경우에 나는 가지고 있어야한다

MANUAL APPROVAL 가는 중이다 잠시만 기다려주세요 그것이있는 동안 나는 너를 보여주고 싶다 릴리스 파이프 라인

너 할 수있어 웹에 배포하는 방법 리눅스와 윈도우 용 API 마침내, IT가 완성되면 보자 괜찮아 QA 생산에 이미 게시 됨 승인 참석 중입니다

그때 나는 새로 워진 다 너는 그것의 달리기를 볼 수있다 API 나는이 하나의 진실을 알고있다 게다가

지금은 ML에 대한 찬성 NET은 진정한 AZURE에서 실행됩니다 이 거짓말입니다 그게 다야 고맙습니다

[APPLAUSE] >> 우리는 A를 가졌습니다 많은 텍스트 및 숫자 데이터 유형 너는 이미 아주 좋아한다 함께 일하는 방법 호프 Pully 우리는 정보를 어떻게 추가 할 수 있는지 보았습니다 귀하의 신청서에

지금 나는 가고있다 우리가 미리보기를 어떻게 사용할 수 있는지 보여주기 위해 ML의 특징 INCORPORATE 할 NET 미리 깊이 파고 들었던 PMODELS 응용할 수 있도록 다른 데이터 유형과 같이 작업하려면 이미지 및 음성, 오디오 등 우리는 현재 복용을지지 할 수 있습니다 기저부 유출 물 흐름 모델 그리고 ONYX 모델들

그 녀석들 너는 깨닫지 못하는 너는 우리가 협력했던 오픈 소스 개시 자 포크스는 아마존, 인비디아, FACEBOOK 및 많은 하드웨어 제공 업체 INVIDEA 인텔과 다른 사람들처럼 CROSS 플랫폼 산업 표준 기차 기계 학습 모델 모든 기계 학습 모델 또는 픽처 리, 동부 표준시 CETERA, ONYX로 변환해야합니다 나는 너에게 보여줄 방법을 보여줄 것이다 PRETRAINED TENSER FLOW MODELS 및 MIX 모델을 사용하여 응용 프로그램에 적용하십시오 당신은 아마도 많은 예를 보았을 것입니다

깊은 학습을 어디서 사용 했습니까? 우리는 고전적인 모델을 사용합니다 웹상에서 간단하게 이용할 수 있습니다 다운로드 이 사람은 Yolo를 호출합니다 한번만보세요

그것은 객체이다 탐지 예제 나는 보여주고있다 여기 ASP에서 NET APP 및 SELECT 다른 이미지 및 IT 식별 내가 상자를 맺는 것처럼 결합 상자에있는 것의 가능성 그리고이 정도 확신할만한 수준 실례로 예복입니다

지금 나는 너를 실제로 보여줄 것이다 이쪽은 영상 스튜디오에서 제작하십시오 지금은 ANKIT와 CESAR가 보여준 것과 같습니다 우리가 시작하기 전에 ML 문맥 우리가 가지고있는 것조차도 사전 기계 학습 모델 이 경우에는 ONYX YOLO MODEL, 너는 할 시간이 길어

사전 처리 또는 변형 이를 통해 자료를 제출하기 전에 그 모델 SO ML NET NOT ONLY 교육 맞춤식 기계 학습 모델은 필수 사전 처리 이 딥을 사용하기 위해 필요한 단계 학습 모델 너 먼저 볼 수있어 텍스트를로드 한 것과 같은 이미지로드 시작하기 전에 모델에 맞추기 – 데이터를 예상했던 것과 일치시킵니다

깊은 학습 그래프는 NODE입니다 우리는 이미지의 크기를 조정하려고합니다 픽셀을 추출하고 ONYX 모델은 우리 중고품을 사용합니다 우리가 구한 동일한 예측 모델 간단히 취하는 전에 이미지 데이터 및 반환 결과 이 예측 엔진 완전 소개 모든 다른 준비 단계

이 출판물을 공유 할 수 있습니까? 새로운 물건 패키지와 같은이 다른 유형으로도 사용할 수 있습니다 AZ의 기능과 같은 APPS CETERA 나 또한 너에게 보여 줄게 자신 만의 비전을 훈련 시키십시오 모델

나는 뒤죽박죽 질 것이다 나는 이것을 닫았다 이 남자를 태워주세요 백업 그래서 너를 보여줄거야

무언가를 창조하는 것을 창조하는 방법 PRETRAINED를 사용하는 모델의 모델 TENSER FLOW 모델을 귀하가 원하는 항목에 대한 파이프 라인 프로세스 식료품 점 찾기 테니스 요령 모델은 매일 같이 좋아했습니다 자전거와 차들과 사람들과 물건 그것처럼 우리는 기법을 사용하여 호출 과외 학습 IT가 모두 차지한다

너가 배운 지식의 누군가 한 번 문맥 상으로 5 월을위한 모델 훈련 많은 일과 많은 일과 많은 일 DATA of 그걸 너의 계부로 사용해라 NET PIPELINE 및 TRAIN 다른 모델 너의 일에 특별하다 에서 이 경우 나는 한 뭉치를 사용했다 식료품에서 다른 데이터 때로는 그 모델을 훈련 시키십시오

좋은 평판 좋은과 때가 있습니다 이것처럼, 음, 모르겠다 IT가 소다인지 아닌지, 소다의 깡통 중 일부 소다의 유형은 많은 병을 보입니다 주니어가 모델을 얻을 수 있을지 모르겠다 약간은 혼란 스럽지만 그만한 가치가 있습니다

정확히 읽으십시오 이것은 하나의 정의이다 주스 이 사람은 커피, 케이크, 등등 이 기계를 훈련 시키려면 학습 모델, 우리가 할 일 우리는 여기저기서 에너지가 넘을 것입니다

우리가 SQL에서 로딩했을 때처럼 서버에 연결하기 전에 어떤 종류의 데이터 소스 로드를 사용하고 싶습니다 ENUMERABLE에서 이 경우 나는 모든 사람에게 나타납니다 우리가이 안에 들어있는 이미지들 다른 폴더 너도 볼 수있어

나는 클래스마다 하나의 폴더를 가지고있다 케이크, 수채화, 캔디, 시리얼, 동부 표준시, 등등 나는 훈련의 무리가있다 여기에있는 이미지 지금은 끝이야

오늘의 나는 여기에 있었다 나는 커피에 대해 생각하고 있습니다 이 우리의 새로운 훈련을위한 입력입니다 모델 이 부분을로드하려고합니다

쪽으로 IT를 통해 IT가 진행될 것입니다 이들 다시로드 될 것입니다 이미지, 수정, 추출 픽셀과 여기에 우리가있다

TENSEORFLOW 모델을로드합니다 그러면 우리는 추가 다중을 훈련하게 될 것입니다 CLASSSIFIER 위에 그 클래스 CLASSIFIER 템포 플로우의 출력을 사용하여 모델은이 분류 층에 입력하십시오 마침내 우리는 ZIP 파일은 당신이 전에 봤던 것처럼 우리가 이걸 실행할 때, 나는 싣았 어

단지 속도를 향한 시간의 흐름 목적 우리는 다시 ITERATE 오버 다른 모든 수업, PRINTOUT 이 중 하나를 각각 어떻게 샘플링 할 것인가? 수업 모델이 예측되지 않는다면 그 수업 중 하나는 물론, CESAR (선생님) 께서 당신을 초라하게 보여 주셨습니다 당신은 당신의 데이터를 붕괴시킬 필요가있을 것입니다, 귀하의 코드를 거부하지 마십시오 추가 할 수도 있습니다

하나의 추가 사진 더 많은 샘플을 얻으려면이 폴더 그 중 하나의 수업 그때 우리는 TENSORFLOW 모델을로드합니다 CLASSIFIER를 훈련시킨 후 출력 우편 번호 ANKIT처럼 보였습니다 당신은 선관위 선출을 앞두고 있습니다

METRICS, 품질 평가 점수 조심스럽게 실행 한 다음 실행합니다 점수를 받기위한 샘플 여기 또는 뒤쪽에서 명령 행 유니트는 당신이 전에 소중히 여기는 힘을 테스트합니다 게다가 그래서 우리는 한 움큼 이상을 ITERATE 테스트 폴더에있는이 이미지들 중 기차 폴더 대신 당신 테스트를 확실히하고 싶습니다

이미지는 커딩으로 모델링되었습니다 그렇지 않으면 너는 적합 할 것 같은 훈련 나쁜 결과를 초래할 모델 나는 이 사용 AZURE 개발을 게시 할 수 있습니다 그 경로를 따라 내려갔습니다 내가 원하는 약간의 세부 사항으로 이동하려면 다른 주제를 다룹니다 모델 설명력

이 내용 해석하기 기계 학습 모델이 유용 할 수 있습니다 교활한 당신이 많이 기뻐요 테스트 방법에 익숙하지 않은 가족 지원서 기계 검사 학습 모델은 매우 유용 할 수 있습니다

설명 누군가가 그 일을하는 방법 네가 소리를내는 길은 정당하다 트릭커 상당한 표준이있다 그 산업 분야의 기술 이걸 할 수있게 해줘 너 할 수있어

모델을 설명하고 디버그하지만 내가 아는 것보다 더 많이 중요하다 산업 분야에서 일하는 곳 규제 요구 사항 IT는 재무 또는 건강 관리 또는 선반 시간이 지나면 그들은 안할거야 생산에 선적하게하십시오 당신이 무언가를 털어 놓을 수 없다면 어떻게 작동하고 왜 작동하는지 설명하기 너는 좋다고 믿는다

추가 여기 마이크로 소프트에서 많이 사용합니다 시간과 에너지의 데이터 세트는 우리의 기계와 함께 사용합니다 학습 모델은 정당하지 않다 노출되지 않으므로 도구를 사용할 수 있습니다 이 자료를 발견하고 모델이 예측하는 이유를 이해하십시오

그것이하는 방법 너는 결정할 수있어 당신이 사용하는 특성이든간에 그 정보는 그 정보가 아니어야한다 IT는 나이, 성별 또는 많은 것입니다 모델이 실제로는 안된다

부적절한 계정으로 가져 가기 타임스 둘 중 하나를 통해 실행 세계적인 데이터 세트의 두 종류 또는 특정 예측에 대해서 ML을위한 다른 기술들입니다 NET이 숨어있는 것을 가능하게합니다 건강 관리의 예를 보려면 여기를 클릭하십시오 당신이 품질 평가 점수를받는다면 얼마나 건강한가, 너는 82 퍼센트의 건강이 있습니다

그들은 아마 내가 닮은 것 같아 부도, 뭐라구? 너는 원할거야 설명을 되 돌리는 방법 또한 여기에 특징이있다 너는 개선 할 수있다

이것이 왜 100 퍼센트가 아니라는 것을 예측했습니다 건강한 권리? 당신이 디버깅 할 때 모델, 너는 모두를 볼지도 모른다 이해할 수있는 데이터의 데이터 기능의 배포 그들의 상대적 중요성 그 모델 훈련 나는 가고있다

당신이 정확히 어떻게 할 수 있는지 보여주기 위해서 그걸 ML로해라 그물 그래서 나는 가지고있다 엄청난 팬이 되라 응용 프로그램을 즐겁게 나는 그렇지 않았다

잠시 동안 그랬다 하지만 당신은 할 수 있습니다 뉴욕시 택시를 사용하십시오 운임 데이터 세트 아주 간단합니다 이해할 수 있도록 설정된 데이터

대부분의 포크 전에 택시를 이용하십시오 그곳에 이 데이터에있는 데이터는 같은 길의 길이처럼 거리와 시간의 거리 그것이 현금이든 지불 한 사람 신용 카드 또는 기타 기능 잘 우리가 할 수있는 여행 기반에 테스트 데이터 설정 ANDITIER 불러 오기 다양한 기능에 대한 평가 이 특별한 모델에서 왜 그게 기분이 좋을지 예측 했어 10 달러 야 여행 거리가 컸다

이 중요한 관계의 중요성 다른 사람에게 이 중 일부는 여행과 같은 다양한 기능 시간과 경로의 차이점은 근본적으로 다릅니다 모두 중요합니다 가끔 이 특별한 여행에 잘 가라 여행 시간은 조금 더 많았습니다

주행 거리보다 나는 오직 할 수있다 누군가 CAB 드라이버를 가졌다 고 상상해보십시오 가고 기다리는 동안 기다려라 가방과 같은 것

그들 대기 수수료 부과 가지 마라 지금까지와 마찬가지로 그것은 교통이 어려웠을 것입니다 나도 몰라 각 개별 예측 당신은 이해를 얻을 수 있습니다 왜 그렇게했는지 그게했다

우리가해야 할 일 여기에있는 데이터는 우리가 가지고있는 것과 같습니다 우리가 짐을 싣기 전에 데이터 우리는 어떤 변형을 할 것입니다 한 번의 뜨거운 인코딩 및 표준화와 같은 우리가 훈련 할 때의 데이터 비트 우리가 할 수있는 모델은 하나의 마지막 것을 추가 할 수 있습니다 미래 공헌을 계산하려면 여기를 누르십시오

미래 공헌자 계산 설명은 무엇이겠습니까? 모델이 왜 그랬는지 그랬지 추가 때 우리는 이 모델 만 교육하면 안된다 특정 단계를 포함하지만 우리는 또한 실행할 수 있습니다 – 우리는 할 수 있습니다 테스트 데이터 세트를로드하십시오 우리는 할 수있다

어떻게 변신하는지 확인하십시오 데이터 한 번의 뜨거운 인코딩에 대해 이야기했습니다 그리고 NORMALIZATION 이것은 무엇인가 컴퓨터가 실제로 본다

이 개별 1 및 0 많은 즐거움이 있습니다 우리는 도표를 칠 수있다 관계의 종류를 나타내는 그 사이에 NET PREDICTED 실제적으로 얼마나 잘 수행되는지에 대한 것입니다 내 표가 오지 않아

이유 괜찮아 너는 보았다 예 수가 많아요 호프 Pully 당신이 이해하고있는 것을 어떻게 모형이 능력을 설명 할 수 있는가? 디버그를 통해 단계를 도와주세요

코드, 귀하의 모델 및 이해 설명 할 수있는 귀하의 데이터 그들이 신뢰해야하는 다른 사람들에게 그것 우리가 우리의 힘에서 어디로 갔는가? 여기에 슬라이드 괜찮아 아름다운 그래서 너를 고맙게 생각하고 싶다

그만큼 ML에 여섯 번 NET에서 0 1 마지막 1 오늘까지 지어지는 0 환상적인 환상 거기있다 다운로드의 전체 번치, 전체에서 커밋의 전체 뭉치 지역 사회에서 사람들의 무리

정말 환상적 이었어 너와 함께 모든 것을 만들어라 기계 학습 모형 프레임 워크 FOR NET 개발자 거기있다 그것을 사용하는 고객의 수 생산 오늘날 훌륭한 결과를 얻으십시오

IT를 쉽고 간편하게 만들 수 있습니다 그들의 기계 학습 그물 AZURE와 같은 응용 프로그램 NET 응용 프로그램 자동화 기계 호화로운 학습 능력 배우기 너를 시작하게하는 큰 방법이다

우리 모두가 좋아해요 고객 나는 이것을 알지 못한다 기계 학습 스터프가 최고 일 수 있습니다 교활한

공구는 MHELP를 사용해야합니다 더 편하게하십시오 우리는 가고있다 정기적 인 선적을 계속하십시오 우리의 지속적인 개선을 위해 우리가 지금까지 말했던 능력 모델 제작자와 같은 사람들 중 일부 자동 기계 학습 스터프 (AUTOMATED MACHINE LEARNING STUFF) 미리보기 권리가 있습니다 우리는 그것을 향상시키고 그것을 얻으려고 노력하십시오

조지아 우리는 귀하의 피드백을 신속하게 원합니다 가능한 한 오늘 나가보십시오 우리는 기차를 편하게 만들 것입니다

AZURE에서 IT 지원 및 지원 기계의 새로운 유형의 작업을 위해 배우기 우리는 당신의 시나리오를 듣고 싶다 정확히 우리가해야 할 것을 제시하기 위해 누출의 다음 세트에 포함됩니다 오늘 시작하십시오 NET / MR

우리가 도와 줄 부두로 나가라 너는 너를 달성하는 방법을 설명한다 기계 학습 목표 행복 코딩 YA'LL을 정말로 추천합니다

오늘 밤 늦게까지 거기에 머물러 라 나는 앙키와 세사를 고맙게 여기고 싶다 잘된 시간 IT가되었다 환상적인 모든 작업 계속 진행하기

[박수 갈채]

Flexible systems are the next frontier of machine learning

– 우린 괜찮아? 안녕하세요 AI Salon에 오신 것을 환영합니다

우리는 오늘 당신들에게 아주 특별한 인공 지능 살롱을 가지고 있습니다 내 이름은 호르헤 쿠에 토 (Jorge Cueto)이고 나는 조직자 중 한 명이다 AI 살롱 시리즈 AI 살롱에 익숙하지 않다면, 우리는 대략 두 주간의 주간 시리즈입니다 우리는 금요일에 함께 기계 학습 및 인공 지능 (AI) 분야에서 높은 수준의 주제를 논의하기 위해, 우리가 도망 갈 수 있도록 돕는 목표로 우리의 일상적인 연구와 연구로부터 우리가 매일하는 일을 어떻게하는지보십시오

사회의 더 큰 그림에 들어 맞는다 이 사건들은 계몽 시대 시대의 살롱을 모델로 한 것이며, 그래서 우리는 전자 제품을 사용하지 않습니다 우리는 화이트 보드를 사용하지 않습니다 그것은 모두 공개 토론입니다 실제로 토론 부분으로 이동하면 우리는 앙드레가 들고있을 마이크를 여기 있습니다

따라서 질문이나 의견이 있으시면 질문을하기 위해 옆으로 나아가십시오 이것은 분명히 대화입니다 제발 질문에 대해 부끄러워하지 마세요 오늘은 주제에 대해 논의 할 것입니다 유연 기계 학습 시스템, 우리에게는 아주 특별한 손님이 두 명 있는데, Jeff Dean과 Chris Re

그들은 어떤 소개도 필요하지 않습니다, 나는 확신합니다 그러나 나는 단지 공유하고 싶다 그들의 배경에 대해 조금 우리 모두가 같은 페이지에 있는지 확인하십시오 그들이 얼마나 굉장한 지에 대해서 (청중 웃음) Jeff Dean은 Google AI의 책임자입니다

Google Brain의 공동 설립자이기도합니다 1999 년에 Google에 합류했습니다 관심 분야는 다음과 같습니다 대규모 분산 시스템, 성능 모니터링, 기계 학습의 응용 검색 및 관련 문제, 신제품 개발 기존 정보 정리 새롭고 흥미로운 방식으로, 몇가지 말하자면 그는 컴퓨터 과학 박사 학위를 받았다

워싱턴 대학에서 Chris Re는 부교수입니다 컴퓨터 과학과에서 InfoLab의 스탠포드에 있습니다 그는 통계 컴퓨터 학습 그룹, Pervasive Parallelism Lab, Stanford 인공 지능 연구소 그의 작업 목표는 사용자와 개발자가 응용 프로그램을 작성하는 방법 더 깊이 이해하고 데이터를 활용합니다

그의 연구는 데이터베이스 이론, 데이터베이스 시스템, 기계 학습 Chris는 2015 년에 MacArthur Fellowship을 수여 받았습니다 그는 또한 컴퓨터 과학 박사 학위를 받았습니다 워싱턴 대학에서 사실 약간의 개인적인 관계가 있습니다

둘 다에게 Google에서 Jeff Dean은 전설이며, 모든 직원이 Jeff Dean 번호를받습니다 그들의 프로필에 이것은 당신을 얼마나 멀리 제거했는지 나타냅니다 분리 정도의 관점에서 조직도의 Jeff Dean으로부터

제프 딘이 네 명 이었어 내가 PM으로 일했을 때 크리스에 관해서는, (청중 웃음) 나는 Chris 's CS145 Intro to Databases 클래스를 가져 갔다 학사로서, 나는 솔직히 말할 수있다 그는 최고의 컴퓨터 과학 교수 중 한 명이었습니다

나는 스탠포드를 가졌다 오늘 우리 둘을 데리고와 주셔서 감사드립니다 – 정말 고마워 (관객 박수) – 우리가 시작할거야 각자에게 개회사문을 제공함으로써 오늘 주제를 소개하는 유연한 기계 학습 시스템의 관점에서

Jeff Dean이 먼저 가고 Chris Re 그들이 개장 한 후에, 우리 모두 너희들에게 열어 줄거야 너의 질문을 물어봐 나는 또한 내 자신의 몇 가지 질문을하겠습니다 대화 시작

제프, 받아 줄까? – 좋아 먼저 나를 보내 주셔서 감사합니다 여기 와서 정말 흥분 되네 나는 국제 여성의 날에 생각합니다 그래서 행복한 국제 여성의 날

(관객 박수) 이것은 흥미로운 형식입니다 나는 무엇을 기대해야하는지 잘 모르지만, 여기에 우리가 간다 나는 내가 이야기하고 싶은 것이 무엇인지 생각한다 오늘 내가 배우는 기계 분야에서 볼 수있는 것은 우리는 많은 성공을 거두고 있습니다 흥미로운 문제를 발견 할 때

대부분 우리가하고있는 것은 감독 학습입니다 매우 성공적 일 수 있습니다 실제로 올바른 데이터 세트를 수집 할 수 있습니다 상당히 복잡한 엔드 – 투 – 엔드 기계 학습을 수행한다 복잡한 작업에

번역을 배우고 싶다면 영어에서 일본어, 우리는 병렬 문장의 큰 데이터 집합을 수집 할 수 있으며, 모델을 훈련 시키자 그리고 그 모델은 이제 더 잘하고있다 우리가 적용하는 방법을 알고있는 다른 접근법보다 그런 종류의 문제들 소량의 멀티 태스킹 학습을 할 때마다, 우리가 말하는 곳, 아,이 3 ~ 4 가지는 관련이 있습니다 어쩌면 우리는 하나의 모델을 훈련시켜야합니다

그것은 단지 하나가 아닌 3 ~ 4 가지를합니다 우리는 그것이 잘 작동하는 것을 발견하는 경향이 있습니다 동시 멀티 태스킹 학습 또는 우리는 이전 학습을 할 수 있습니다 여기서 우리는 관련된 작업을위한 모델로 시작한다 그런 다음 매개 변수를 복사합니다

그런 다음 다른 작업을 세밀하게 조정하십시오 어쩌면 우리는 아주 많은 데이터가 없을 것입니다 그것은 보통 꽤 잘 작동합니다 그러나 나는 우리가 충분히 야심적이지도 않다라고 생각한다 이 접근법에서

정말, 나는 우리가 한 모델을 훈련해야한다고 생각한다 우리가 신경 쓰는 모든 일을하는 것 Google은 수천 대의 기계 학습 모델을 교육합니다 많은, 많은 다른 일을하는 것 그리고 그들 각각은, A, 많은 데이터가 모두 학습 중이기 때문에 기본적으로 임의의 부동 소수점 숫자를 시작하는 것으로부터, 새로운 일을 배우는 것을 시도하기 위하여, 물론 더 많은 데이터가 필요합니다 세상에 대한 맥락이 없을 때 당신 이외에 난수 발생기가 뿌렸어요

무작위로 씨 뿌린다 나는 톤이 있다고 생각한다 흥미로운 분산 시스템 문제에 대해 분명히 시스템, 수천 또는 수백만 개의 작업을 수행하는 방법을 배워야하는 경우, 희망은 만과 첫 번째 과제가 따라옵니다 어떻게하는지 알고있는 것들을 활용할 수 있습니다 처음 만 건의 작업에서 아주 좋은 상태가 될 수 있어야한다

백만 분의 첫 번째 과제를 매우 빨리 아주 적은 예제가 있습니다 그게 방향이야 나는 전체 공동체가 추진해야한다고 생각합니다 여기에는 수 많은 분산 시스템 문제가 있습니다 시스템이 매우 커지려고하기 때문에 계산 능력면에서 그 중 일부가 다운 된 경우에도 실행할 수 있기를 원합니다

여전히 가능하다 합리적인 예측이나 결과를 내려면 이 기계 선반이 떨어져도 또한 재미있는 기계 학습 질문 톤이 있습니다 왜냐하면 저는 이것을 실용적으로 생각하기 때문에, 매우 희소하게 활성화 된 모델이어야합니다 그래서 어떤 특정 작업을 위해, 분명히 활성화하고 싶지 않아

그 작업을위한 칩의 전체 데이터 센터 이 모델을 통해 통로를 찾고 싶습니다 해당 작업과 관련이있는 관련이없는 다른 부분은 활성화되지 않습니다 그것은 우리가보고 있어야한다고 생각하는 방향입니다 나는 꽤 흥미로울 것이라고 생각한다 나는 그것에 대해 꽤 흥분한다

좋은 조합이야 기계 학습 연구 문제 및 컴퓨터 시스템 문제 및 그 (것)들은 수시로 유익하다 협업에 좋습니다 – 굉장해 – 크리스 그래, 제프와 나는 정말로 여기서 일직선이되어 있다고 생각해

아마 내가 생각할 수있는 트위스트가 성능 문제 외에도 그리고 시스템은, 사람들이 어떻게 소프트웨어를 만들지 생각합니다 근본적으로 변화하고있다 이러한 대규모 멀티 태스킹 모델의 결과로 내가 너에게 문맥을 줄 수 있다는 것을 이해하기 내가 생각해 봤던 것들 지난 몇 년 동안 5, 6 년 전에 우리는이 시스템을 구축하고있었습니다 그것은 합동 추론 및 학습 시스템이라고 불 렸습니다

이것들은 정말로 가설을 가지고있는 시스템이었다 이러한 여러 가지 일을 많이 할 수 있다면, 3, 4, 5 개의 작업을 동시에 수행 할 수 있습니다 문장을 읽고, 일부 회화를하고, 문서를 이해하고, 당신은 놀라운 것을 할 수 있습니다 또는 인간의 정확도보다 높은 것 과학 기사를 읽을 수있는 시스템을 구축했습니다

인간의 정확성보다 뛰어나다 또는 우리는 인신 매매와 싸울 수 있습니다 우리는 그렇게하기위한 시스템을 구축했습니다 우리는 이런 단편적인 것들을 만들었습니다 자, 우리가 그것을 살펴볼 때, 우리는 이러한 시스템이 사람들이 코드를 작성하는 것은 실제로 상당히 어려웠습니다

무슨 일이 있었기 때문에 이 시스템을 만들 때 높은 수준의 정신 모델을 가질 수 있다는 것입니다 체계가 알 필요가 있던 무슨을의 세계의, 하지만 실제로 그 정보를 가져 가라 기계 학습 시스템 (machine learning system) 유용하고 유익한 일을 할 수있다 기본적으로 박사님이 앉고 앉아서 할 것입니다 특별한 종류의 PhD, 누가 너트와 볼트에 정말로 들어가기를 원했던가? 이 시스템이 어떻게 구성되었는지 그래서, 우리는 그 일을했습니다

우리는 회사를 세울만큼 운이 좋았다 업계에서 약간의 시간을 보냈다 취득의 결과로, 우리가 알아 차 렸던 것은 사실, 우리가 해낸 것처럼, 사실, 대부분의 사람들이 그들의 시간을 보냈던 곳 더 이상 모델을 만들지 않았습니다 TensorFlow 및 PyTorch와 같은 훌륭한 도구, 밖에있는 다른 것들, 그들은 실제로 상당히 주식과 바닐라 아키텍처, 배포, 그리고 나서 알아 내려고 노력했다 데이터를 피드로 제공하고 디버깅하는 방법, 그리고이 모든 것들을 그 위에 덧붙여 라

그래서, 우리 첫번째 회전 속도계 우리가 그때에 대해 생각해보고 싶어했던 것의 알아 내려고했다 어떻게이 모든 일터를 먹일 수 있니? 제프가 말하는 것처럼 우리는 어떻게 서로 다른 모든 데이터를 공급합니까? 필요한 것? 그것은 샘플의 복잡성에 관한 것이 었습니다 우리가 점점 더 커지기 시작한 시스템의 멀티 태스킹 종류 그런데 이상한 일이 생겼습니다

그런 종류의 이상한 일이 일어났습니다 공개 연구 및 산업 전반에 걸쳐, 우리는 몇 가지 예제를 보았습니다 사람들이 접근하는 방식입니다 그들의 소프트웨어 엔지니어링 작업 어떤면에서는 꽤 많이 변하는 것 같았다 그들은 시작하기 시작했다

이러한 종류의 이전 학습베이스 라인에서, 또는 이러한 작업 중 일부부터 시작하여 작업을 수행 할 수 있습니다 이 일이 시작되기 전에 우리는 약간의 대화를 나누고있었습니다 이 코드를 자주 보게됩니다 한 팀과 함께 살거나 한 가지 일을하는 삶, 그리고 그 모든 지식 다음 작업으로 전송되지 않습니다 그래서, 정말 흥미 진진합니다, 제 생각에, 여기에 방향 설정 당신이 어떻게 통일 되려고 노력하는지 그 정보를 더 많이

우리가 기대하지 않은 다른 것은, 내 생각에, 우리가 시작했을 때, 그러나 매우 초기에 일찍 이러한 멀티 태스킹 시스템, 그 부서지기 쉬운 사람에게 되돌아 가게되면서, 그들은 그들과 이야기하기에 더 풍부한 어휘를 가지고있다 개발자는 자연스럽게 갈 수있을 것 같습니다 그 높은 수준의 표현에서, 사람들, 장소, 사물에 대해 알지 못합니다 여기에 내가 그것을 모델에 넣는 곳이 있습니다 또는이 특정 문장을 구문 분석하는 방법을 알지 못합니다

그것이 내가 내 노력을 기울여야하는 곳이다 그들이 어디서 시간을 보내는 지 알아 내다 근본적으로 변화하는 것 같다 이 기계 학습 모델을 만드는 방법 그들은 좀 더 유연하게 그것을 구축 할 수 있습니다 이제 그 일은 정말로 흥미 롭습니다

그러나 도전으로 돌아갑니다 우리는 효과적으로 소프트웨어 도구가 없습니다 어떻게 든 그것은 PyTorch 및 TensorFlow와 같은 느낌입니다 미래의 일종 우리의 삶을 극적으로 쉽게 만들어 주었고, 그리고 위에 모든 것 효과적으로 지원되지 않는 것처럼 느껴집니다 컴퓨터 과학 작업이 많지 않습니다

너 한테 말 했잖아 고전적 시스템이 어떻게 작동해야하는지 이 일은 시간이 지남에 따라 어떻게 살아야합니까? 사람들은 어떻게이 모델을 공유해야합니까? 우리는 거기에서 많은 연구를하지 않고 있습니다 나는 그것이 장소라고 생각한다 정말로 유익한 연구가있을 것입니다

내가 언급 한 다른 비트는 나는 여전히 성과가있을 것이라고 생각한다 다음 몇 년 동안 정말 중요한 도전 나는 그것이 그것이, 토론을 보러 그냥 250 명의 친한 친구와이 친밀한 살롱에서 (청중 웃음) 조금 다르다 내가 생각한 것보다 – 우리가 나는 나타나기 시작했다 – 191 년이었다 나는 그것이 191이라고 생각한다

– 오, 그래, 그건 90이야, 합법적 인 목적으로 191 년이야 (청중 웃음) – 굉장해 진술서를 작성해 주셔서 대단히 감사합니다 자, 너희들에게 질문이 있다면, 당신의 손을 들고 시작하십시오 또는 당신이 가장자리에 가깝다면, 마이크를 만들 수 있어요

우리가 바로 거기에있다 – [청중 회원] 두 분이 많이 말하는 걸 들었습니다 ML 시스템의 성능, 그래서 나는 많은 사람들이 있다고 생각한다 소프트웨어 및 하드웨어 스택의 서로 다른 레벨에서 누가 ML 시스템의 속도를 향상 시키려고하는지, 하지만 ASIC 또는 FPGA와 같은 새로운 칩을 설계하고 있습니다 모델 교육을 병렬화하는 데 도움이되는지 여부 더 효율적이고 물건

다음 몇 년 동안 너는 어떻게 생각하니? 당신은 우리가 극적으로 빠른 속도로 성장할 것이라고 생각합니까? 모델을 훈련시킬 수 있음, 무어의 법칙이 1960 년대 또는 70 년대에 있었던 것과 유사합니다 어떻게 생각해? – 생각이 좀 있지만 – 네, 그러니까, 첫째, 나는 많은 분야에서 개선이있을 것이라고 생각한다

나는 ML 하드웨어가 충분히 다르다고 생각한다 범용 컴퓨터 하드웨어에서 나는 우리가 완전한 대답을 가지고 있다고 생각하지 않는다 어떤 컴퓨터 아키텍처가 가장 효과적 일지 우리는 많은 이득을 얻을 것입니다 여러 세대에서 길 아래로 ML 중심의 하드웨어 우리가 일종의 스케일링 한계에 도달 할 때까지 범용 CPU에서 우리가 봤던 그 (것)들에 고원에 조금 일으키는 원인이되었다 나는 우리가 갈 여러 세대가 더 있다고 생각한다

무어의 법칙의 종류, ML 하드웨어 공간에서의 나는 이것이 하나의 좋은 것이라고 생각한다 둘째, 시스템 규모가 커질 수 있으며, 비록 개별적인 칩이 더 빨라지지는 않을지라도 글쎄, 둘 다 일어나고있어 그러나 시스템의 규모 또한 커질 것이다 좋은 곱셈 적 요소입니다

당신이 짊어 질 수있는 계산량 하나의 문제 또는 시스템에서 나는 또한 이러한 기술 중 일부는 알고리즘 적으로 생각한다 그 종류의 희소성을 모델에 추가합니다 실제로 더 큰 모델을 훈련시킬 수 있습니다 엄청난 용량, 그러나 당신이 가득 차있는 모형을 활성화하고 있지 않기 때문에 모든 예에서, 그들은 모두 추론을 위해 더 빠릅니다 당신이 덜 계산하기 때문에, 또한 교육을 위해 더 빠름 이제 너는 간섭이 없기 때문에 항상 모델의 모든 매개 변수를 업데이트하기 때문에 모든 예에서

대신, 당신은 다른 조각들을 가지고 있습니다 그리고 그것은 당신을 허용합니다 이러한 대용량 모델을보다 신속하게 교육 할 수 있습니다 우리는 이것을 보아왔다 어마 어마하게 큰 신경망 논문에서 나는 공동 저자이고, 우리가 실제로 보았던 곳 우리는 모델의 품질을 향상시킬 수 있다고 다른 전문가가 많고 2,000 명의 전문가, 각자는 같은 것을 가지고있다, 나는 잊는다, 2 백만 매개 변수, 4 백만 매개 변수, 그 결과, 우리는 훈련 시간의 10 분의 1을 훈련 할 수 있습니다

추론 비용의 절반은 시스템은 더 높은 품질입니다 보통, 당신은 그 물건을 꺼내 거래하고 있습니다 하지만 지금은 세 명이 모두 올라가고있어 – 그래, 내 생각에, 같은 감정을 연상 시키는데, 나는 CPU가 고원을 친 것을보고 있다고 생각한다 GPU가 고원에 충돌하는 것을 보았을 수도 있습니다

그 중 일부는 현재 모델에 의해 주도됩니다 현재 아키텍처 제프가 방금 드문 드문 방식을 묘사 한 내용이 많이 있습니다 선을 따라 오는 더 많은 데이터 흐름 지향 프로세서 몇 가지 수준의 향상을 허용 할 수 있습니다 전혀 명확하지 않다 만약 당신이 큰 희소 계산을하고 싶다면, 당신은 BLAS 가속기처럼 보이는 것을 원합니다

GEMM 블록, 매트릭스 곱셈 블록, 당신이 GPU에 들어가는 것처럼 심지어는 구세대의 TPU에서도 마찬가지입니다 이보다 유연한 아키텍처 내가 생각할 수있는 것들이다 이 모델들의 엄청난 숫자 수많은 멀티 태스킹 모델이 있습니다 그들이 재미 있기 때문에 그들은 재미있을거야 너도 알다시피, 너가 본 것들 중 하나 사람들이 가서 코드를 작성한다는 것입니다

정말로 그것에서 지옥 전문 오늘날의 아키텍처에서 좋은 성능을 얻으려면, 그러나 당신이 더 많은 멀티 태스킹 모델을 만들기 시작할 때, 당신은 더 이상 그 일을 할 수 없을지도 모릅니다 다른 정도의 유연성이 필요할 수도 있습니다 나는 말해야한다, 완전한 공개와 학문적 순결의 이익을 위해, 여기에 멀티 코어의 아버지 인 쿤들 (Kunle) 우리는 회사를 세웠다 이것은 더 유연한 스타일의 칩을 사용하고 있습니다 SambaNova라고합니다

거기에는 큰 성과가 있음이 분명합니다 이들은 당신이 만들 수있는 급격히 다른 스택입니다 나는 몇 가지 규모의 주문이 있다고 생각한다 거기에 성능에 숨어있는 그리고 나는 그것이 바뀔 것이라고 생각한다 사람들이 시간을 보내고있는 곳 꽤 근본적인 방법으로, GPU가 기계 학습을 위해했던 것처럼

2 년 전 깊은 학습에서, 그 스위치가 일어 났을 때, 갑작스런 아이디어가 효과를 내기 시작했습니다 굉장 했어 그런 일이 일어나는 것을 보게 될 것 같아요 멀티 태스킹은 내가 그렇게 될 것이라고 생각하는 나의 베팅 중 하나입니다 어쩌면 보강 학습이 또 다른 하나 일 것입니다

그런 종류의 혁신에 익숙한 것 같습니다 – 한가지 더 추가 할게 나는 특수한 하드웨어를 만드는 것이 좋다고 생각한다 기계 학습 같은 분야 실제로 꽤 도전적이다 들판이 매우 빨리 움직이기 때문에, 오늘 칩 디자인을 시작할 때 또는 오늘날의 시스템 설계, 그 과정의 다른 쪽 끝이 튀어 나옵니다

2 년 후 그리고 나서 3 년 동안 살 필요가 있습니다 그래서, 당신은 예측하려고합니다, 우리는 지금부터 2 ~ 5 년 후에 무엇을하고 싶습니까? 하드웨어와 함께 우리는 오늘 건물을 생각할 것입니까? 그것은 실제로 꽤 어렵습니다 우리가 주간 단위로 진행하는 회의 중 하나 몇 컴퓨터 아키텍트, 몇 가지 컴퓨터 소프트웨어 분산 시스템 사람들, 몇몇 기계 학습 연구원 함께 이야기하다가 온다 ML 알고리즘의 추세는 어디에 있습니까? 하드웨어의 추세는 어디에 있습니까? 하드웨어에서 우리는 무엇을 할 수 있을까요? 알고리즘의 관점에서 보면 재미 있을지도 모릅니다 그 반대

그 종류의 포럼이 정말로 도움이된다고 생각합니다 이런 종류의 토론을하는 것 우리가 지금부터 5 년 동안 무엇을 만들어야하는지 – 하나의 프로그램, 당신이 후속에 관심이 있다면, DARPA의 프로그램이있다 우리 한 무리가 이것이이 소프트웨어 정의 하드웨어입니다 그 프로젝트의 출발점은 우리는 무슨 일이 일어날 지 알 수 없다

2 ~ 3 년 후에 ASIC이 아닌 것을 얻을 수 있습니까? ASIC은 뭔가를 위해 맞춤형으로 만들어졌습니다 이것은 범용 프로세서가 아닙니다 그러나 그것은 어떤 종류의 달콤한 장소 다 아키텍처와 시스템, 항상 그 달콤한 장소에 관한 그것들은 흥미로운 베팅 장소입니다

당신이 얻을 수있는 재구성의 종류 그리고 당신이 할 수있는 성능 상충의 종류 나에게 놀라운 것은 당신이 시스템 지향적이거나 하드웨어 지향적 인 사람이라면, 4 ~ 5 년 전 하드웨어가 그렇게 흥미로운 것 같지 않았습니다 모든 건축 싹에 대한 공격은 없습니다 (청중 웃음 소리) 하지만 지금은 놀라운 놀이터입니다 거대한 숫자가 있기 때문에 당신이 취할 수있는 다양한 디자인들

당신은 사람들이 급히 타고있는 것을보고 있습니다 대기업, 분명히 매우 유명하게 제물을 제공합니다 꽤 엄청난 컴퓨팅 하드웨어 그것은 저를 놀라게 한 것입니다 구글 자체 칩 만들기; 그것은 나에게 굉장했다

그것은 많은 사람들을 위해 들판을 열었습니다 스탠포드 다음 분기에, 우리는 새로운 양자 컴퓨팅 클래스를 가지고 있습니다 그 중 하나에서 다룬 주제 중 하나 기계 학습을위한 양자 컴퓨팅입니다 양자 컴퓨팅이 현실화되면, 그게 어떤 영향을 미쳤 을까? 지금 논의하고있는 유형의 시스템에? – 있을 수있다 양자 컴퓨팅에 대한 나의 관점은 꽤 좁게 집중 될거야

어떤 종류의 문제들에있어서, 어떤 종류의 문제 극적으로 영향을받을 것입니다 당신이 암호 학자라면, 당신은 세심한주의를 기울여야합니다 훈련하려고하는 중이라면 1 조 매개 변수 신경망 모델, 나에게 명확하지 않다 사용 가능한 양자 컴퓨터의 첫 번째 세대 당신이 먼저해야 할 일이 될 것입니다 그러나 당신은 분명히 그들에 주목해야합니다

특정 종류의 최적화 문제가 있다고 생각합니다 꽤 재미있을거야 – 크리스가 뭔가 말하고 싶어한다고 생각해 – 그래 – [Chris] 그래서 너 둘 다 찬양을 불렀어

멀티 태스킹 학습 나는 그것을 조금 풀고 싶었다 정말 결과가 얼마나 강한 지 물어보십시오 왜냐하면 제 말은 멀티 태스킹 학습이라고 생각합니다 몇 가지 매우 밀접한 관련 업무에서 훌륭하게 작동했습니다 다국어 기계 번역, 예, 훌륭합니다

(청중 웃음) 몇 가지 작업이있는 것처럼 보입니다 전학에 매우 성공적이었습니다 ImageNet에서 교육받은 비전 모델 그들은 꽤 잘 일했고, 이러한 문맥 언어 모델 벗어나기에 꽤 좋다 하지만 거기에는 다양한 작업이 있습니다

또한 부정적인 결과가 많이 있습니다 멀티 태스킹 학습을하려는 사람들의 내 말은, 얼마나 많이 우리가 실제로 가능하게 했는가? 이러한 많은 작업 모델을 구축하고 이익을 얻으려면? – 항상 그와 싸워야 해 이걸 가져 가고 싶니? (청중 웃음) – 네가 맞다고 생각해 정말 강력한 결과가별로 없습니다 너는 그들을보기 시작하고있다

매우 큰 언어 모델에서, 상당히 다양한 NLP 문제를 해결할 수 있습니다 우리는 비전 전송으로 이것을 보았습니다 우리가 아직 저울을 밀지 않은 것 같아요 우리가 실제로 시도한 작업의 수 정말로 알기에 충분하다 모델을 훈련 시키려고하면 10,000 또는 100,000 개의 작업 수행 매우 multimodal입니다, 표현을 어떻게 배울 수 있습니까? 사물의 시각적 표현을 함께 융합시킨 것, 언어 표현, 오디오 표현, 그리고 나서 우리가 희망적으로 새로운 작업을하도록 허락하십시오

아주 적은 예제만으로 그것을 배울 수 있습니다 – [크리스] 이것이 신앙의 도약인가? 10시에 효과가 없다면, 잘하면 그것은 10,000, 맞습니까? 어쨌든 깊은 학습을 위해 일했습니다 (청중 웃음) 아니, 농담이야 진지함을 전제로, 나는 당신이이 일들을 볼 때, 귀하의 질문에 더 선명한 버전을 넣으려면, 공동 유추 및 학습, 베이지안이 책임자 였을 때, 그 문제 이 작은 이익을 얻을 것이라고했습니다 우리가이 시스템을 만들 때, 당신은 당신의 차트를 만들 것입니다

여기서 우리는 모든 것을 독립적으로하고 여기서 우리는 공동으로, 그리고 당신은 곁눈질을해야했고 당신은 정말로 스트레칭을해야했습니다 당신은 당신의 플롯에 작은 줌을 가져야했습니다 당신의 아름다운 이익을 보여 주려고 그것은 정말로 우울했습니다 나는 그 시스템을 구축하고 있었다

그래서 우울증을 직접 느꼈습니다 아마도 이것은 같은 생각 일 것입니다 하지만 그건 달라질 것 같아 아냐 (웃음) 그것이 나에게 달라질 이유가, 우리가 정박 한 곳에 실제로 대규모 이동이 아니 었습니다

여러분의 수업이 있습니다 거대한 멀티 태스킹 학습을하고있는 예를 들어 Richard Socher와 다른 사람들과 같은 Richard의 경우, decaNLP, GLUE 벤치 마크 및 다른 것들처럼, 네가 정말 좋아할 곳 넓은 범위의 이전이 가능합니다 나에게 이것은 중요하다 그 더 근본적인 질문을 추진 : 너 할 수 있니? 그 일의 가설은 그것은 사소한 것이 아니며, 우리는 아직 그 이득을 보지 못했습니다 기본적으로 모든 사람들은 속임수를 사용합니다

이 네 가지 일을 함께 훈련시키는 곳 그러나이 세 가지가 아니라, 그리고 일종의 일 이죠 나는 당신은 절대적으로 어떤 작업이라도 던질 수 있고 그것은 작동합니다, 우리는 여전히 꽤 좋은 단단한 덩어리입니다 내가 정박 한 곳 실제로 작동하는 것을 본 내가 믿는 가치를 보여라 나는 가치있는 일이라고 생각한다

그게 내가 정박 한 이유야 소프트웨어 엔지니어링 측면에서 더 많이, 업계에있는 작업이있는 곳 어떤면에서 학계와는 다른, 당신은 많은 밀접한 관련 업무를 수행하고 있습니다 모델이 그렇게 다르지 않은 곳에서, 한 도메인에서 다른 도메인으로 작업하는 사용자 매우 명확하게 전달 된 많은 정보가 있습니다 학자가 이것을보고 말하면, 이것들은 같은 작업이다 그러나 우리가 전에 이야기하고 있었던 것에 따라, 다른 조직 단위, 그들은 완전히 다른 일을하고 있을지도 모른다

그리고 거기에서, 그것은 코드 재사용의 수준을 가능하게합니다 이 모델을 만들 수 있습니다 극적으로 빠릅니다 그래서, 나는 이런 종류의 소프트웨어 공학이 승리한다고 생각한다 나는 더 확신한다

왜냐하면 나는 화상을 입었 기 때문에 에, 어이, 그 자체로 품질을 몇 번하자, 하지만 이전하기 시작하는 곳이 있습니다 그리고 아마 우리가 예상했던 것보다 훨씬 더 BERT와 같은 종류의 전송 어떤면에서는 꽤 훌륭합니다 Pretraining은 기본적으로 효과가 없었습니다 ELMo와 그 일까지, 그 종류의 연구가 다시 시작되었습니다

양도 희망이 있습니다 더 풍부하고 흥미로운 작업 중 일부는 그러나 그것은 열린 질문입니다 내가 말할 마지막 한가지가있다 한 번에 모든 과제의 꿈이 실현된다는 것은 사실입니다 누군가가 그걸 의심한다면, decaNLP를 보아라

그 시스템이 훈련되는 방식 그들은 함께 일하는 일련의 작업으로 훈련을 받았으며, 서로 방해하는 다른 작업들 우리는 전혀 모른다 왜 간섭하는 작업이 간섭하는 작업인지 이 시점에서 그것은 모든 종류의 미신입니다

너는 그것을 볼 수 있었다 말하자면 오, 그 농담하는 사람들이 뭘 알고 있니? 또는 당신은 그것을보고 말할 수 있습니다, 그것은 연구를위한 엄청난 기회입니다 영원한 낙관론자 인 크리스 (Chris) 나는 그것을보아야한다 연구를위한 엄청난 기회로, 그러나 요점은 잘 찍혔다 나는 한 가지 더 후속 사상을 추가 할 것이다

즉 감독되지 않은 학습 종종 매우 성공적이지 않은 것으로 나타났습니다 하지만 문제의 일부가 그 일의 대부분이라고 생각합니다 감독되지 않은 표현을 배우려고 노력했다 감독 교육을 실시합니다 당신이 배운 표현에 대해, 감독 된 예제의 인터리빙 예제보다는 매 1000 번째 감독되지 않은 예제 당신은 감독 된 예를 던집니다

나는 그것이 더 잘할 수 있다고 생각한다 네가 시작하면 나는 생각한다 당신이 관심을 갖고있는 수천 가지 작업, 당신은 감독되지 않은 알고리즘을 가지고 있습니다 사실을 이용할 수있는 나는 이제이 감독 된 일들을 알고있다 이것들이 내가주의해야 할 것들이다

내가 가진 감독되지 않는 데이터에서 그들은이 천 가지 일을 개선 할 것이기 때문에 이 하나의 과제가 아니라, 그 방법일지도 모른다 실제로 우리는 무 감독 학습을 얻을 수 있습니다 오늘날보다 잘 작동합니다 나는 그 일을하는 방법에 대한 구체적인 아이디어가 없다 하지만 거기에는 약속이 있다고 생각합니다

이것들이 정말로 중요한 것들이라고 말하면서 당신이 노출되는 데이터를 집어들 수 있습니다 – 제가 지적 할 다른 한가지는 새로운 벤치 마크에서도 근거가있는 시각적 인 QA 종류의 것들, 우리가 너의 벅차를 위해 가장 큰 탕을 본 곳 멀티 태스킹 학습에서, 실제로 실제 작업을 수행 한 일부 학생들 청중에있다 비전과 언어를 결합 할 때입니다 우리는 의학적 측면에서 주로 해왔습니다 그러나 거기에서 당신은 매우 중요하지 않은 승강기를 얻습니다

독립적으로 수행하는 것보다 개별적으로 수행하는 것, 그러나 다시, 아직도 초기 나는 그 환상을 사랑한다 절대적으로 수천 개의 작업을 함께 수행해야합니다 우리는 지금 일종의 10 가지 작업을하고 있습니다 그리고 아직도 일종의기도를하고 있습니다

하지만 네, 정말 흥미로운 점입니다 하지만 그것은 당신의 벤치 마크이기 때문에 괜찮습니다 – 당신을 흰 스웨터에 넣자 – [Andre] 잠깐 – 물론이지

– [청중 회원] 고마워 제프, 네가 물어 보았던 많은 질문들 인간의 뇌와 인간의인지를 상기시켜주었습니다 당신이 구글을 돌리고있는 것처럼 들리네 거대한 뇌에 들어가는 것은 좋은 생각입니다

인간의 웨어웨어에서 우리가 가진 강력한 메커니즘 중 하나 익숙하지 않은 상황을 다루기위한 연관 회상입니다 새로운 정보로 뇌에 선물 할 때 그건 모르겠다 그것은 나를 위해 뭔가를 가져옵니다 청각 유사성, 시각적 유사성, 의미 론적 유사성 근본적인 연관 메커니즘이 있습니다

우리는 현재 가지고 있지 않다 기계 학습 병기고 제 질문은, 범용 기계 학습을 원한다면, 인간 수준의 정보에 열망하고, 우리는 연상 메모리의 문제를 해결할 필요가 없습니까? – 전제에 동의합니다 데이터에 노출 될 때 당신은 비슷한 것을 발견하고 이해할 수 있기를 원합니다 과거의 행동과 경험이 어땠는지, 그 비슷한 것들, 이 새로운 상황을 해결하는 데 도움이 될 수 있습니다

또는 예를 들어, 또는 예제 네가 할 수있는 방법 중 하나는 엄청난 용량의 모델을 가지고있다 매우 많은 양의 데이터에 노출 될 수 있습니다 관련 부분을 다시 불러올 수 있어야합니다 당신이 본 새로운 무언가와 비슷합니다

듣거나 읽습니다 – [Audience Member] 나는 우리가 가지고 있다고 생각하지 않는다 인간의 성능과 유사한 연관 알고리즘, 그저 임의의 유사성으로 사물을 회상 할 수 있습니다 – 글쎄, 나는 많은 표현들 그 일부 신경 네트워크 종류의 모델 실제로 배우고있다, 비슷한 수준의 정품 인증을받은 경우, 그 경험은 실제로 비슷하다 시스템이 노출 된 다른 시스템으로 – [청중 회원] 그것이 훈련의 결과입니까? – 예

– [Audience Member] 좋아요, 그래서 저는 사건에 대해 이야기하고 있습니다 훈련이없는 곳 나는 첫 번째로 제시된다 – 훈련이 없다는게 무슨 뜻이야? – [청중 회원] 나는 매일 정보를 접한다 내가 훈련받지 못했고, 아직 내 두뇌가 반응 할 수있다

관련 정보를 알려주십시오 일어난 감독 교육은 없었습니다 – 그 전에 있었어 평생 동안 경험 한 것, 감독받지 않고 감독하는 자, 그리고 내가 믿기에, 당신을 찾는 데 도움이됩니다 관련 정보는 무엇인가? 또는 유사한 종류의 경험 그것은 현재 상황에서 나를 도울 것입니다

– [Audience Member] 좋아, 나는 그것으로 논쟁하지 않을 것이다 – 다른데? 저기에 몇 줄이 있어요 마이크를 통과시킬 수 있습니까? – [청중 회원] 우리는 이해, 유연하게 물건을 이해합니다 적대적인 예를 볼 때마다 나는 항상 궁금해 파이프에서 우리가 고칠 수있는 누수가 얼마나되는지, 우리가 통계 시스템을 만들 수있는 것처럼 더 견고한 얼마나 많이 보여? 그리고 그것이 얼마나 문제가되는지 이 알고리즘이 처음에 실제로 얼마나 많은 것을 배웠습니까? 인간에게이 동물을 어떻게 분류 하는지를 보여주는 것처럼 보입니다

이상한 소음을 주입 할 방법이 없어요 인간이 그것을 분류하지 못하게하십시오 당신이 적대적인 예를 볼 때 나는 호기심이 많다 그게 당신이 학습의 관점에서 생각하게 만들죠 그리고 있다면, 특히 당신이 이야기 한 내용, 유연한 학습과 같습니다

다른 작업을 통해 배우려고 노력하고, 당신이 관련 있다고 생각한다면 이러한 종류의 적대적인 예들에 – 그래 나는 그 적의 예가 매력적이라고 ​​생각한다 그리고 그들은 일하기에 재미 있습니다 많은 사람들이있어

누가 재산에 대해 생각해 봤어? 그리고 문제는 정말로 깊다 그러나 나는 때때로 우리 자신을 얻는다 고 생각한다 조금 너무 인간화되어있다 적대적 사례에 대해 속지 내가 좋아하는 멋진 Google 종이가있었습니다

기본적으로 이미지를 사람들에게 보여주었습니다 자원이 제한되었습니다 그들은 매우 빨리 그들을 보여줄 것입니다 그들은 실제로 사람들을 속일 수 있음을 보여주었습니다 그런 종류의 자원이 제한된 환경에서 그들이 모델을 속일 때와 비슷하게, 비슷한 방식으로 그래서 때로는 혼란 스럽지만 당신은이 적대적인 예를 발견 할 수 있습니다

내 말은, 당신은 선형 모델을 위해 그것들을 만들 수 있다는 것입니다 나는 결코, 이것은 개인적인 테이크가 아니다 깊은 모델에 왜 그렇게 불안한 지 알았어요 당신이 경계 조건을 가질 것이라고 그들은 덜 매끄 럽습니다 그것은 L- 무한대 정규화입니다

단지 풍경을 매끄럽게 만들고 싶습니다 그 예가 있다는 사실 작은 섭동처럼 복잡한 풍경 속에서 그것을 바꾼다 그것은 언제나 고차원 적으로 존재할 것입니다 그래서 그것은 근본적인 교리에 의문을 제기하지 않습니다 그러나 그것은 정말로 흥미있는 길을 제공한다

이러한 문제들을 생각해보십시오 내 말은, 퍼시의이 분야에서의 일은 정말 좋아 John은 정말 멋진 작업도 많이하고 있습니다 그들이 어디에서 생각하려고하는지 네가 튼튼하다는 걸 실제로 증명하는 법 특정 유형의 섭동 그 섭동이 무엇인지 이해하십시오 모델을 변경하면 실제로 어떤 일이 벌어 질까요? 나는이 것들을 많이 모을 것 같아

하지만 나에게 명확하지 않다 멀티 태스킹 학습으로 인해 더 좋거나 나 빠지게됩니다 생각해 보면 흥미로운 방향입니다 나는 생각하지 않았다 전에 멀티 태스킹 적의 예, 너무 멋집니다

– 나는 단지 추가 할 것이다 인간은 적대적인 예에 ​​속지 않는다 우리는 18 년 이상을 가지고 있기 때문에 우리 시각 시스템의 훈련, 그리고 나는 생각한다, ImageNet에서 숙련 된 시스템에 관해 생각할 때, 백만 장의 JPEG 사진에 노출되었습니다 18 년 동안의 경험만큼이나 강력합니다 나는 크리스가 언급 한 논문을 생각한다

당신이 사물을 볼 시간이 아주 짧을 때, 이 신문은 당신이 기본적으로 속일 수 있음을 보여주었습니다 고양이라고 생각하는 것은 실제로 개입니다 그러나 그것에 대해 생각할 시간이 더 많이 주어지면, 너는 마치, 다시 보자 그리고이 종류의 가설을 취하는 종류, 그 가설이 의미하는 바를 평가하라 내가 이것을 이렇게 보았다면, 내 생각에 그건 처음 보는 것 이상의 일이다

귀하의 시각 시스템이 복용하고 있습니다 우리는 훨씬 더 많은 모델이 필요하다고 생각합니다 그럴듯한 해석을 제안하는 것에 대해 그들이 노출 된 데이터의 결과를 평가할 수 있습니다 그 다른 가설들 중 가능한 가설의 공간 탐구 실제로 결론을 내리기 위해서 이것이 무엇을 의미하는지 또는 어떤 행동이 의미가 있는지, 그런 종류의 일 내 생각에 우리가 그렇게한다면 훨씬 더 견고해질 것입니다

이런 종류의 예제 나 문제에 – 주요 쟁점 중 하나 규제, 윤리, 정책, 모델의 해석 가능성입니다 너 그렇게 생각해? 좀 더 유연하고 멀티 태스킹 된 모델을 사용한다면, 이것이 해석하기가 더 어려워 질 수 있으며, 해석하기 쉽고, 또는 반드시 그와 상관 관계가있는 것은 아닙니다 – 어느 쪽이든 될 수 있다고 생각합니다 우리가 한 것 같아

연구 분야 전체 모델을 더 해석하기 쉽게 만드는 데 진전을 보였습니다 지난 4 ~ 5 년 : 관심 메커니즘 같은 것들 또는 시각 시스템에서 볼 수 있고, 그라디언트 기반 및 다른 종류의 시각화 기술, 다소 도움이되었습니다 나는 궁극적으로 해석 가능성을 생각한다 당신은 당신이 대화를 할 수있는 시스템을 원합니다 알았어, 이거 생각해

왜 그렇게 생각하니? 그런 다음 조금 더 자세하게 들어갈 수 있습니다 왜 그 특정 부분에 대해 증거 이런 식으로 생각됩니다 그런 식으로, 내가 크리스 한테 물으면, 음, 너는 왜 생각하니? 그들은이 방을 색칠 했어? 그런 다음 – 몰라요 – 말해 너는 잘 모른다

(청중 웃음) 어쩌면 그것이 가볍고 밝아서 – – 그건 합리적으로 들리 네 – 네 – 우리는 거기에 갈 우리는 그것의 바닥에 도착했다 네가 가질 때, 인간은 실제로 해석 할 수있는 모든 것이 아닙니다

하지만 그들은이 재산을 가지고있다 너는 그들에게 질문 할 수있다 결국 그들은 일종의 밑바닥이됩니다 그리고, 글쎄, 나는 그게 그보다 낫다고 느꼈다 (청중 웃음) – 제프를 믿어요

그게 끝이야하지만 그래, 나는이 해석의 문제에 대해 생각한다 그건 정말 흥미롭고 매혹적인 질문입니다 규제는 내가 생각하기에, 사람들의 마음에 기쁘다 이러한 것들이 전개되고 있습니다

그들에 대해 생각하는 사람들이 많이 있습니다 스탠포드에는 훌륭한 AI 안전 그룹이 있습니다 이 질문에 대해 정말로 깊이 생각하고 있습니다 나는 그것에 대해 정말로 흥분합니다 내 추측에 의하면 이것이 왜 이렇게 될지 모르겠다

더 어려운 문제 이러한 유연한 시스템을 보유하고 있다면 사람들이 디버깅 루프를 통과하는 것을 보았을 때, 시도하고 이해하다 어떻게 그 오류를 바로 잡을 지, 나는이 풍부한 어휘에 대해 이야기하면서, 그들의 이해를 확인할 수있게되면서, 오, 나는 그것이 연설의 모든 부분을 가지고 있음을 이해한다 타이핑 권리가 있다는 것을 이해합니다 나는 그것이 질문의 종류가 무엇을 의미 하는지를 안다는 것을 이해한다 막연한 의미에서

나는 모든 것을 점검 할 수있다 그리고 그것은 훨씬 더 빠른 스펙을 제공합니다 대화 할 때, 확인하는 것과 같은 방법입니다 그것이 같은 기준 틀에 있다는 것, 누락 된 요소가 없다는 것입니다 모델이 생산할수록, 그것이 더 많은 정보를 나타내는 것처럼 보입니다

그리고 더 쉽게 만들 수 있습니다 그 대화에 가담해라 자, 이상한 것들이 거기에 숨어 ​​있습니까? 적대적인 예가 있습니까? 이 멀티 태스크를 공격하는거야? 나는 전혀 모른다 그러나 그것은 굉장하게 들린다 누군가 그것을 조사해야합니다

하지만 그래, 사람들이 실제로 어떻게 될지 전혀 모르겠다 이러한 것들을 효과적으로 규제하고, 제프가 말하는 방법을 제외하고 그들이 어디에서 왔는지, 너는 외부에서 증명하고있어 그것은 어떤 종류의 특성을 필요로한다는 것입니다 확률 적 구배 강하가있는 또 다른 것 효과적으로 실행은 컨트롤러입니다 컨트롤러는 기본적으로 같은 일을합니다

우리 비행기가 괜찮을 거라는 것을 증명합니다 우리는 그들 주위를 돌아 다니며 행복합니다 그래서 우리는 비슷한 종류의 인증을 개발할 수 있습니다 나는 그것이 잠재적으로 유망한 방향이라고 생각한다 – 너 중간에있어

– [Audience Member]이 상위 수준의 도서관, PyTorch와 TensorFlow와 같이, 내가 객관적으로 생각할 때, 지난 몇 년 동안 기계 학습 진도에, 단지 대중에게 더 높은 차원의 아이디어를 가져다주었습니다 그래서 그들은 신속하게 이러한 것들을 탐색 할 수 있습니다 조직의 장으로서의 당신의 입장에서 미래에 보일 위임장이있는 TensorFlow 50이 어떻게 보이는지 상상하는가요? 또는 무엇이 그것을 대체합니까? 내 말은,이 모델을 구축하기위한 인터페이스는 무엇일까요? 너의 의견으로는 몇 년 후인 것 같니? – 네, 알기가 어렵습니다 나는 생각한다

흥미로운 소프트웨어 엔지니어링 질문이 있습니다 우리가 모델을 훈련하려고한다면 주위에 그것은 많은 일을합니다 아마 너는 많은 사람들을 원할거야 해당 시스템을 구축하기 위해 협력하고, 오늘날 우리가 가진 것보다, 소수의 사람들이 하나의 모델에서 작업하는, 그리고 그들은 크게 격리되어있다 다른 사람들이 내리는 결정에서

나는 실제로 흥미로운 질문을하고 있었다 ML 시스템이 프로그래밍 언어에 더 가깝습니까? 10 년마다 패션을 바꾸는 경향이있는 또는 그들은 스크립팅 언어와 더 유사합니까? 패션을 2 ~ 3 년마다 바꿀 수도 있습니다 그들은 마치 후자와 더 비슷해 보입니다 사람들은 필드가 너무 빨리 움직이기 때문에 경향이 있습니다 사람들은 새로운 추상화를 상대적으로 빠르게 개발하고, 사물을 표현하는 새로운 방식, 나는 궁극적으로 생각한다

우리는 많은 소프트웨어 인프라 스트럭처로 끝날 것입니다 그리고 아마도 많은 다른 방법들 여러 종류의 계산 표현하기 같은 종류의 컴파일 인프라를 공유하는 그런 다음 계산의 종류를 매핑 할 수 있습니다 우리가 ML 알고리즘에 적용하고자하는 여러 종류의 하드웨어에, 그러나 나는 TensorFlow 5가 어떻게 생겼는지 알지 못합니다 – 언제 다운로드 할 수 있는지 알고 있니? (청중 웃음) – 2 장의 초기 릴리스가 있습니다 – 그래, 5

0 나는 이것이 훌륭한 질문이라고 생각한다 – 재 장전 해 – 네 (웃음) (청중 웃음) 그래, 흥미로운 질문 인 것 같아

제 마음에는 크게 두 가지 종류가 있습니다 그게 올거야 하나는 어떻게 할 것인가? Jeff는 여러 가지 좋은 점을 만들었습니다 이러한 모델에 대한 공동 작업, 이러한 모델 관리, 생산에 투입하고 모니터하고, 그리고 그것은 소프트웨어 도구의 성장을 야기 할 것입니다 그건 분명히 실종되었다

기계 학습을위한 APM 프레임 워크 지금은 존재하지 않습니다 그것은 분명히 더 많은 사람들이 그것을 실행, 그 일이 시작될거야 소프트웨어 개발이 많이 이루어질 것이라고 생각하십시오 나에게 덜 명확한 것은 모든 기계 학습은 어떻게됩니까? TensorFlow와 PyTorch는 훌륭하게 작동합니다 오늘 이용할 수있는 것들을 엄청나게 넓히고, 하지만 몇 가지가있다

그 종류의 외부에 앉아서, 그들이 흡수 될지 모르겠다 강화 학습, 거기에 진행되고있는 훌륭한 프레임 워크가 있습니다 스파이크가 그 지역으로 퍼지겠습니까? 보상 기능을 작성하는 것은 어렵고 힘든 작업입니다 거기에 완전히 다른가요? 소프트웨어 추상화? 있을 수있는 것처럼 보입니다 다른 도구가 필요할 것 같은데

그런 종류의 일 더 많은 관측 유형의 모델로 가면 우주에 관하여 비디오에서 다른 작업을 배우기 위해 노력하고있는 곳, 이것이 추상화라는 것은 분명합니다 너 실제로 묶고 싶어? 너무 낮은 수준입니까? Keras와 더 비슷하게 보이는 것입니까? 그것은 훨씬 더 높은 수준의 무언가입니까? AutoML이 훨씬 더 큰 규모로 작동하기 시작하면, 이 사람들은 TPU를 많이 태우고 있습니다 그건 뭐지? 데이터 포인트 및 백만 달러의 비용이 소요되는 서류 놀랍다

당신이 검색 할 수 있다고 상상한다면 이 많은 것을 통해, 이 인프라에 대한 필요성을 없애 줍니까? 어쩌면 TensorFlow가 어셈블러처럼 보일지도 모릅니다 저기에있어 그것은 사양입니다 그것은 당신이 원하는 무엇인가입니다 하지만 훨씬 더 높은 수준의 인터페이스가 있습니다

그 크고 빠른 생산성 향상이라고 생각합니다 인공 지능이 더 가능하다 기존 소프트웨어에 비해 어쩌면 그건 단지 희망이없고, 미친 낙관론 일 수도 있습니다 그러나 나는 그것이 5에있는 것을 대답하기가 어렵다고 생각합니다 나는 두 가지로 대답하는 것이 어렵다고 생각합니다

적어도 내 관점에서 (청중 웃음) 내 말은, 우리가 가진 하나의 좋은 추상화가 있다고 생각합니다 여기 제가 감독하는 학습 과제는 제가 걱정하는 것입니다, 그렇죠? 다른 것을 지정하지 마십시오 시스템이 알아 낸다 이 감독 학습 과제를 어떻게 효과적으로 작동하게 할 수 있습니까? 어떤 큰 시스템의 맥락에서

그래서, 저는이 대형 멀티 태스킹 시스템에서, 새로운 작업을 지정하는 방법 일 수도 있습니다 예제를 둘러 보는 경우 작업의 일부 표현에 기반하여, 또는 예제의 일부 표현, 또는 그 중 일부 조합, 네가 원하는 것은 모델의 다른 부분이다 다른 종류의 데이터에 적응할 수 있도록, 이 부분처럼 시각적 인 것들이 좋다 이게 좋은거야 이 특별한 종류의 언어 데이터가 있습니다

그것의 각 부분 자신의 종류의 작은 건축 검색을 실행 중일 수 있습니다 전송중인 데이터 스트림에 적응할 수 있습니다 그런 다음, 동시에 학습하고 있습니다 이 모델을 통해 어떤 부분을 찾아야하는지 너가 걱정하는이 특별한 일을 정말 잘한다 내 생각에, 아이디어를 결합하여 신경 아키텍처 검색 또는 다른 종류의 AutoML, 이 드문 드문, 전문가와 같은 모델, 들어가기에 꽤 흥미로운 방향 일 수 있습니다

– 내가 정말 좋아하는 한 마디로 외쳐라 Uber의이 새로운 시스템 Ludwig입니다, 그것은 매우 서늘하고, 매우 선언적이며, 그리고 그들은이 생각에서 움직이고 있습니다 아키텍처를 지정하는 방법 훨씬 더 높은 수준의 것들 그냥 유형에 대한 기본 어댑터를 줘 그들을 함께 꿰매십시오 내가 그렇게 재미 있다고 생각하는 이유는, 차별화 된 것처럼 사람들이 어떤 종류의 프로그래밍 도구를 사용하는지, 고급 사용자 대 스크립터, 대 Accel과 모든 길 아래로

내가 생각하는 이유가 없어 이러한 것들이 널리 퍼져 있다면 나는 그들이 개인적으로 희망하기 때문에, 그런 식으로 차별하지 않는다 어쩌면 당신은 거기에 최고의 이미지 모델을 가지고 있지 않을 것입니다 예산을 기꺼이 쓰지 않을거야 신경 아키텍처 검색을 통해이를 구체화하려면 하지만 당신은 즉각적인 작업을 끝낼 수 있습니다

당신이 나중에 그것을 다룰지를 결정하십시오 나에게 분명하지 않다 다시, 프로그래밍 언어입니까? 스크립팅 언어입니까? 그것이 나에게도 분명하지 않다 근본적으로 다른 캠프로 파편화되지 않으면 이들 각각을 수행 할 수 있습니다 왜 그렇게 모 놀리식이 될지 모르겠다

그것은 컴퓨터 과학에서 이전에는 발생하지 않았지만, 내 마음에 – 당신이 공유 한 일부 논문에서, 신경 아키텍처 검색에서 배운 아키텍처 실제로 인간 공학 아키텍처를 능가했다 미래를 상상합니까? 전체 아키텍처 또는 전체 시스템 그 자체이기 때문에 AI 시스템 자체 AI에 의해 전적으로 설계되었으며, 아니면 우리가 실제로 인간 공학자가 필요하다고 생각합니까? 이것이 무엇인가를 보장하는 매개 변수를 설정하는 것 우리가 볼 때 우리는 해석하고 조작 할 수 있습니까? – 나는 지금까지 일어난 일이 이런 종류의 정신 학습 접근법에서 검색 공간을 만들기 위해서는 인간의 전문성이 정말로 필요합니다 충분히 크고 그것의 흥미로운 부분을 가지고, 실질적으로 검색 할 수있을만큼 작습니다 그것은 10에서 30까지를 의미하지만 10에서 60까지를 의미하지는 않습니다

검색 공간을 확보하는 데 실제로 많은 예술이 있습니다 그것은 바로 크기가 맞는 것입니다 그러나 이런 종류의 접근법의 이점은, 기계가 훨씬 낫다 반복 된 실험을 할 때 관찰로부터 배우기 이전 50 회 실험 중 또는 적어도 그들은 그것에 훨씬 빠르다 그 50에 기초하여, 다음 50 번 실험을하고 싶습니다

문제를 RL의 정렬로 정의 할 수 있다면, 또는 진화론 적 스타일 알고리즘, 시스템은 20,000 회의 실험을 실행할 수 있습니다 며칠 만에, 그리고 그것은 꽤 어렵습니다 심지어 최고의 대학원 학생들도 그렇게 할 수 있습니다 (청중 웃음 소리) 특히 그것이 50의 많은주기라면 – 뒷쪽으로

– [청중 회원] 저요? 그래, 나는 의무적 인 역사적인 코멘트를 써야 해 전학은 훌륭한 학문 주제입니다 그러나 그것은 1900 년대 초반부터 연구되어 왔습니다 심리학자들은 오랫동안 그것을보고있었습니다 교육 심리학과인지 심리학 모두에서 인간에게 전이의 좋은 이론이 있습니다

그리고 계산 모델이있었습니다 데이터에 잘 맞습니다 기본 이론은 전문 기술 일련의 지식 요소, 그 다른 일들 그 다른 지식 요소들에 의존하고, 전송 중에 무슨 일이 일어나고 있는지 당신은 하나의 과제를 배우고, 당신은 그 지식 요소를 습득해야합니다 그리고 나서 당신은 약간의 중복을 가질 수있는 새로운 과제에 도달하게됩니다 이제는 새로운 것을 배워야합니다

그것은 당신에게 아주 솔직한 방법을 제공합니다 제약 된 추론을 다룰 때, 너 지식 요소들에 접근하고 싶어서 야 관련성이 있습니다 이제 인간 학습에서 전이의 전산 모델 규칙 기반, 이것이 지식 요소가되는 부분입니다 또는 구조적 유추, 일종의 사례 중심이지만 풍부한 표현이 있습니다

그러나 그렇게 할 필요는 없습니다 신경망에 관한 것은 없습니다 그 말은 당신이 같은 게임을 할 수 없다는 말입니다 너는 그물의 부분을 가지고있다 어떤 작업에 대해서는 충분히 관련성이 있으며 다른 작업에는 적합하지 않은 경우, 사람들이 그것에 대해 어떻게 이야기하는지는 아닙니다

나는 너희들이 그것에 대해 이야기하는 것을 듣지 않는다 – 오, 아니에요 – [청중 회원] 좋아, 그러나 언어는 확실히 나오지 않고 있습니다 우리는 흥분 속에, 우리가하지 않는다는 것을 확실히하고 싶습니다 학습 방법의 새로운 세대에 대해, 우리는 그러한 핵심 아이디어를 놓치지 않고, 그들은 정말 강력하기 때문에, 그리고 우리는 오래된 결과를 계속해서 보았습니다

그리고 말하자면, 좋아, 글쎄, 어떻게 우리가 같은 종류의 것을 얻을 수 있습니까? 이 새로운 프레임 워크에서 동일한 효과를 얻으려고합니까? 당신이 그런 식으로 생각한다고 말한 것을 기쁘게 생각합니다 그 용어로 일찍 말한 것을 다시 말해 줄 수 있습니까? – 그래 내가 요약하자 나는 심리학 문헌에 익숙하지 않다 인간 이전 학습

– [청중 회원] 내가 너에게 보낼거야 – – 그래, 좋을거야 (청중 웃음) 하지만 내 직감 새로운 무언가를 배우는 것이 필요할 때입니다 나는이 새로운 것을 본다 나는 이런 것들을하는 법을 알고있다 그것들은 제가 한 다른 일들과 매우 흡사하기 때문에, 그런 다음 알아야 할 몇 가지 사항이 있습니다

새롭고 실험을해야 할 수도 있습니다 또는 나는 많은 접근법을 시도 할 필요가있다 집단적으로 정리하자면, 나는 그 모든 것을 하나로 모으고, 이제 나는 새로운 것을 할 수 있습니다 – [청중 회원] 신경망의 요소 – 신경망의 지식 요소 서로 다른 전문 지식을 갖게 될 것입니다

다양한 전문 기술 센터, 당신이이 통로를 가질 수있게 해주는 다른 작업을위한 큰 모델을 통해, 그리고 – – [Audience Member] 당신은 원칙적으로 당신이 말할 수 있습니다 이 작업을 위해 당신은 서브 네트워크를 가질 수 있습니다, 다른 작업에는 다른 서브 네트워크가 있습니다 시간이 지남에 따라 모든 것을 구축하고 싶습니다 – 네 – 잘됐다

나는 네가 그렇게 말한 것을 듣지 않았다 우리는 같은 페이지에 나왔기 때문에 기쁩니다 – 조금 더 분명하게 말하겠습니다 몇 가지 작업이 있습니다 우리가 연구 그룹에서했던 것 제 생각에, 만약 당신이 그들을 합치면, 우리를이 방향으로 인도하십시오

하나는 전문가의 작업이 희박하게 섞여 있고, 기본적으로 당신은 전통적인 신경망을 가지고 있습니다 그리고 당신은 그 중간에 이식 할 수 있습니다 현재 수천 명의 전문가를 보유하고있는 당신이 생각할 수있는 2,000 명의 전문가 자신의 작은, 미니어처 신경 네트워크, 학습 된 라우팅 기능 이 특별한 예를 들어 보면, 이 전문가는 정말 잘 하네 이 예에서는 다른 전문가 저것에 진짜로 좋다 때때로 두 명의 전문가에게 보냅니다

그리고 그것은 당신에게 그라디언트 신호를줍니다 게이팅 기능을 훈련시키는 더 나은 종류의 물건으로가는 길을 배웁니다 실제로 언어 모델이나 번역 모델에서, 이 전문가들은 다양한 전문 지식을 개발합니다 다른 종류의 언어에 대해서 이 전문가는 정말 좋습니다

문맥이 날짜 또는 시간에 대해 이야기 할 때, 이건 정말 좋은거야 생물학 및 생명 공학 관련 언어, 그리고 이런 종류의 그 초기 연구에서, 그 모든 신경망은 정확히 같은 구조를 가지고있었습니다 그들의 구조를 바꾸지 않았다 신경 건축술 검색에서, 완전히 다른 프로젝트, 기본적으로 모델은 구조를 진화시킬 수 있습니다

그들이 해결하려고하는 문제를 기반으로 정확한 모델 구조를 찾을 수 있습니다 그것들은 잘 작동합니다 이제 각 전문가가 상상해보십시오 자체 아키텍처 검색 수행 우리는 동일한 작업의 예제뿐만 아니라 라우팅도하고 있습니다 그러나 많은 다른 종류의 예제들 잠재적으로 많은 다른 업무들로부터 그래서 우리는 지금 전문가가있다

비슷한 종류의 일을하는 법을 배웁니다 또는 비슷한 종류의 문맥 – 거기에 한 가지 의견을 말하고 싶습니다 두 작품 흥미롭고 관련이 있다고 생각합니다 하나는 사실입니다

그리고 그것들은 위대한 지적입니다 그리고 확실히 그들을 보내주십시오 한 무리의 일이있다 나는 그 중 일부가 끝났다고 생각한다 실제로 초기 작업은 DeepMind에서 이루어졌고, 그들이 실제로 어디에서 노력했는지, 그 모듈성 경계를 아주 명료하게 알아 낸다

이것의 작업입니다, 그리고 일단 당신이 그것을 배웠고 그것을 습득했다면, 이제 작업의 다음 단계로 넘어갈 수 있습니다 더 일찍 귀하의 설명에 거의 그대로 : 나는이 처음 네 가지를 마스터했고, 그리고 지금 나는 다섯 번째 요소를 사용합니까? 나는 그 중 두 가지를 사용해야 만 할 것입니다 내가 어떻게 그것을 추론하고 그것을 할 수 있습니까? 그들은 확실히 장난감 문제의 종류 였고, 그러나 나는 그 특별한 일의 라인이 매혹적이라는 것을 알았다 어쩌면 자신의 동기가 무엇인지 모를 수도 있습니다 당신이 묘사 한 것에서 아마 거의 직접 나온 것입니다

내가 말할 수있는 다른 비트는, 당신이 생각할 때, 내가이 시스템들, 이러한 멀티 태스킹 시스템은 구축 및 배치되며, 그들은 실제로 모델을 따른다 그것은 엔지니어 측에서 일어나고 있습니다 그것은 모델 자체 내부에서 아직 일어나지 않고있다 그러나 성취 된 과제들이있다 이제 우리는 이것을 어떻게하는지 압니다

우리는 텍스트의 일부분을 이해하는 방법을 안다 우리는 타이핑 작업을 수행하는 방법을 알고 있습니다 우리는 그것들을 결합하고 싶습니다 그리고 그것은, 지금, 최소한 내가 본 접근법입니다 전문가 코더에게 남겨두고 모델을 선택하게하고, 타이핑을하는 작업

내가 할 일을 선택하게 해줘 그것은 품사 인식기입니다 스포츠에 대해 알고있는 부분을 제안하겠습니다 또는 음악, 또는 그것이 무엇이든간에, 또는 생명 공학, 나는 그들을 함께 꿰맬거야 다음을 결합하는 것은 매우 흥미 롭습니다

제프가 설명하는 것과 하지만 모듈성이 부족하다고 생각합니다 많은 컴퓨터 과학자들이 첫 번째 원칙을 고집합니다 우리가 모든 것을 합치면, 처음부터 모든 것을 배우고, 우리가했던 일을 떠나는 것 같아 적어도 우리 자신의 경험에서, 가장 강력한 학습 방법 중 하나입니다 나는 사람들이 그것에 대해 연구하고 있다고 생각한다

우리는 지금 어떻게 작동시키는 지 모릅니다 어쩌면이 포인터가 거기에있는 방법 일 수 있습니다 그 라인을 따라, 우리는 기술이 있다고 생각합니다 우리는 매우 큰 모델을 가지고 그것을 옮길 수 있습니다 훨씬 더 계산 효율적인 모델로 증류와 같은 것들 기본적으로 그 큰 모델을 사용할 수있게해라

더 작은 모델을위한 교사로서, 이 풍부한 그라디언트를 얻었 기 때문에 큰 모델에서, 수천 비트의 정보를 얻을 수있는 작은 모델에 대한 그라디언트로 흐르는, 적은 수의 매개 변수로 실제로 훨씬 더 정확해질 수 있습니다 감독 교육을 통해 얻는 것보다 작은 모델 작은 모델 그 자체의 나는이 매우 큰 시스템에서, 당신은 일종의 메타 레벨 컨트롤러가 필요합니다 어디에서 결정을 내릴지 결정합니다 모델에 용량을 추가하려면, 학습 속도를 늦추는 것은 어디에서 의미가 있습니까? 왜냐하면 그건별로 변하지 않는 것 같아 모델의이 부분에서

증류는 기술 일 수있다 이로써 당신은 효과적으로 모델의 더 큰 부분, 그것을 증류해라, 그리고 지금 당신은 약간의 기억을 풀었습니다 이제 다른 방식으로 용량을 추가하는 데 사용할 수 있습니다 – 블랙 재킷 – [잠재 고객 회원] 사실 질문이 있습니다

제프와 크리스에게 기본적으로 기계 학습 모델을 배포하는 측면에서 많은 노력과 성공적인 이야기가 있었던 것처럼 스마트 폰과 같은 에지 장치에서 추론을 할 때, 스마트 홈처럼, 그러나 노력이 덜한 것 같다 가장자리에서 훈련을하기에는 아직 빠릅니다 기본적으로, 당신의 관점과 경험에서, 가장 강력한 인센티브는 무엇인가? 또는 가장 유용한 응용 프로그램 가장자리 장치에 훈련을 위해, 가장 큰 장애물은 무엇입니까? 너희들 생각하고있어 당신은 그것이 번성하기에 적절한시기라고 생각합니까? 또는 자율 주행을위한 20 년 전과 비슷합니까? – 네가 몇 가지 일을하고 있다고 생각해

구글과 다른 사람들이 우리 연구실에서 나오고, 버지니아 스미스 (CMU 교수) 세계의 연합 학습 측면에서 많은 노력을 기울이고 있습니다 그 (것)들을 훈련하는 것을 시도하고있다 전반적으로, 그 결과, 적어도 내가 그 떼를 이해함에 따라, 성능상의 이유로하지 마십시오 그들은 프라이버시에 의해 동기를 부여받는 다른 이유들로 그것을합니다 사실, 그들은 더 많은 양의 데이터를 보낼 수 있습니다

그러나 그것은 더 높은 수준의 관심사에 의해 동기 부여됩니다 나는 그것이 오늘날 의심 할 여지없이 벌어지고 있다고 생각합니다 나는 당신이 얼마나 멀리 밀어 낼 수 있는지에 대한 질문을 생각합니다 어떤 알고리즘이 있는지, 어떤 종류의 풀링을 할 수 있는지, 나는 그것들이 정말로 잘 익은 흥미로운 연구 분야라고 생각한다 네가 뭘 생각하는지 모르겠다

– 네, 다른 건, 제 생각에, 네, 확실히 사생활 보호를 위해 페더레이션 학습과 같은 일을하는 것이 많은 의미를가집니다 사실, 우리는 오픈 소스, 어제 또는 그 전날처럼, 우리를 가능하게하는 많은 도구들, 같은 연합 학습 시스템을 사용하는 다른 사람들 우리는 내부적으로 사용하고 있습니다 예를 들어 안드로이드 키보드 모델을 배우기 위해, 우리가 분명히 보낼 수없는 곳 사람들이하고있는 키 입력 모델을 교육하기위한 중앙 위치로 그러나 당신은 아직도 좋은 예측 경험을 원한다 단어의 첫 번째 부분을 입력 할 때 그것을 합리적인 방법으로 완료해야합니다 Federated Learning은이를위한 훌륭한 접근 방법입니다

나는 현재 가장자리 시스템의 용량을 생각한다 구축 할 수있는 데이터 센터 시스템보다 훨씬 저렴합니다 교육 리소스 측면에서, 비록 당신이 많은 전화를 가지고 있더라도, 정말 함께 추가하기가 어렵습니다 당신이 얻는 대역폭의 이분법 때문에 거기 가장자리 훈련에서 나는 기회가있을 것이라고 생각한다

적응, 당신이 가장자리에서 약간의 훈련을하는 곳 귀하의 현재 상황에 적응하십시오 지금까지 사람들은 그 일을별로하지 않았다 그러나 그것은 장소일지도 모른다 특히 에지 장치 점점 더 많은 ML 가속기를 얻습니다 다음 몇 년 안에, 상한 전화 및 중간 전화 모두 맛이나 기타의 ML 가속기가있을거야

그래서 이런 종류의 것들에 대해 더 많은 계산을 할 것입니다 – 여기, 그리고 두 번째 질문도 할 수 있습니다 그래서 우리는 그것을 얻을 수 있습니다 그래, 다른 누구야, 알았어 그 다음에는 거기에 갈거야

– 가장 가까운 이웃 – 그래서 물어보고 싶다 너희들이 언급 한 것에 대해 조금 이야기 초기에 너는 어려움에 대해 이야기했다 기계 학습 작업을위한 특수 하드웨어 작성 사람들이하는 일이 그렇게 빨리 변하기 때문에 2 년 제품주기가 있습니다

내가 물어보고 싶은 질문은 소프트웨어를 구축 할 수있는 기회는 무엇이라고 생각하십니까? ML 훈련과 추론을 실제로 향상 시키는가? 당신이 언급 한 한가지는 드문 드문 교육이었습니다 그것은 하나의 예입니다 마음에 떠오르는 또 다른 일은 비동기 그래디언트 (mumbles) 업데이트 또는 기존 컴퓨터, 캐시 일관성과 같은 것들 기본적으로 훈련의 임무를 가속화하기 위해, 또한, 또는 다른 풍미에, 어쩌면 도메인 특정 언어 하드웨어에 더 가깝게 말합니다 기본적으로 일반적인 질문은 어떤 종류의 소프트웨어 개선이 가능합니까? 개선 할 기회가 있다고 생각하십니까? 반드시 하드웨어의 개선이 필요하지 않습니까? – 내 말은, 내가 가장 큰 약속이라고 생각해 새로운 종류의 훈련 알고리즘에있다

또는 최적화 알고리즘 근본적으로 속도를 높일 수있다 집합 적으로 모델을 훈련시키는 방식 고정밀 도로 우리가 그렇게 할 수 있다면, 2 차 방법, K-FAC 등이 유망한 것입니다 나는 그들이 지금까지 거대한 영향력을 행사하지 않았다고 생각한다 그러나 그들은 미래에 있을지도 모른다 나는 사람들이보고 이해하고 있다고 생각한다

보다 이론적 인면 이 엄청나게 높은 차원의 비 볼록 함수, 그래서 우리는 많은 진전을 이룰 수 있습니다 최적화를위한 더 나은 알고리즘을 제안함으로써 또는 완전히 근본적으로 다른 기계 학습 모델의 종류 완전히 다른 방식으로 훈련되었습니다 가능한 것 같다 당신에게 10 또는 100의 요인을 줄지도 모릅니다 이런 종류의 것들을 예측하기는 어렵습니다

– 나는 두 가지를 추측한다 우리는 비동기식 작업에 대해 초기 작업을 수행했습니다 그리고 나서, 사람들이 그것을 사용하고있는 곳 NVIDIA와 매우 흡사합니다 기본적으로 업데이트를 지연시킴으로써 그들은 1,000 배 덜 자주 의사 소통 할 수있었습니다 알고리즘을 수정하여 그것은 운동량 보정이라고 불리며, 그것은 포스트 의사, Ioannis, 나의 것의, 누가 지금 밀라에 있어요, 캐나다의 심화 학습 기관 중 하나

저 물건, 이러한 종류의 알고리즘을 조정할 수있는 기회가 있습니다 책임있게 만들어라 하드웨어 스택 아래까지, 그것은 매우 흥미 진진한 작업 라인입니다 당신이보기 시작할 때 왜 더 높은 순서의 방법을 사용하지 않는가? 2 차 법, 많은 사람들이 다양하게 해왔다 이러한 것들에 대한 다른 2 차 방법, 그리고 그들은,별로, 붙 잡지 않았다

그들은 전에 표준이었고, 그리고 나서 그들은 붙 잡지 않았다 우리가 정말로 이해하지 못하기 때문에 그 부분이 있습니다 이 함수들이 어떻게 동작하는지에 대한 손실 표면 근사치를 만들 정도로 충분합니다 누구나 할 수있는 일 우리는 정밀도가 낮은 물건을 잔뜩 만들었지 만, 압축 모델에 대한 교육, 그런 것들은 당신에게 엄청난 규모를줍니다 오늘, 다양한 다른 체제에서

지금 ImageNet에서 최고의 숫자입니다 우리 논문 중 하나에 집어 들었다 저 정밀 / 혼합 정밀 교육, 이 ImageNet in Minutes 종이였습니다 그들은 그 한계를 극복하기 위해 몇 가지 트릭을 사용했습니다 소프트웨어로 할 수있는 일은 많지만 실제로는 어렵습니다

정말 완전한 스택 최적화 접근법을 취합니다 모든 방법으로 소프트웨어에서 맨 아래로 이동하려면, 당신이 그들을 사용할 때 그들은 조금 부서지기 쉽습니다 견고성이라는 근본적인 질문이 있습니다 내가 연결하고 싶은 한가지, 그리고 이것은 이론으로 괴상한 내 색깔을 보여줄 것입니다 최근 논문들이 많이 있니? 어떤 확률적인 그래디언트 강하를 설명하는 실제로 이러한 많은 ResNet 모델에서 수행하고 있습니다

제이슨 리의 논문은 특히, 우리가 독서 그룹에서 독서 중이었던 것입니다 5 개 또는 10 개의 컬렉션이 있습니다 신흥 이론적 인 그림이 있습니다 비록 이들 기능이 비 볼록 (non-convex) 이봐, 그들은 이런 것들을 생산하고 있을지도 모른다 정말 큰 임의의 기능을 커널처럼 보이는, 그게 말이된다면

중요한 부분은 실제로 몇 가지 이론적 이해가있을 수 있습니다 이 알고리즘이하는 일 중 우리가 가지고있는 압정은 우리는 좋은 탄도가 있다는 것을 압니다 알고리즘을 빠르게 수정할 수 있습니까? 그 궤적과 일치하는 종류? 이 결과 중 일부는 말하지 않습니다 그것은 어떤 상황에서도 수렴 할 것입니다 그러나이 결과는 슈퍼 – 슈퍼 – 흥미 진진한, 그들이 가능하다고 제안했기 때문에 정말 기계 학습 사이트를 극적으로 압축합니다

나는 때때로 깊은 학습에서 생각한다 이러한 성공 경험적 측면에 너무 무겁게 비중을 두었습니다 일부 오래된 최적화 더 고전적이고 이론적 인 것들 경험적으로 배제 된 것, 마치 그것을 실행하고, 그것을하고, 무슨 일이 일어나는지 보자 하지만 나는있을거야 이론에 대한 약간의 스윙

그게 전제 조건이 될지도 몰라 다음 소프트웨어 버전의 잠금을 해제합니다 나는 무슨 일이 일어날 지 매우 낙관적이다 피어 소프트웨어 측면 및 압축 된 메모리 부족 교육 다음 몇 년 동안, 이러한 최근 결과를 기반으로합니다 – 비동기를 만듭시다

그게 꽤 흥미로운 것 같아 우리가 처음 시작했을 때 구글의 신경망에 대한 많은 연구, 실제로 가속기를 배치하지 않았습니다 우리의 데이터 센터에서 우리는 많은 컴퓨터를 가지고있었습니다 실용적으로 만들기 위해서 그래서 우리는 아주 큰 모델을 대규모로 훈련시킬 수 있었고, 우리는 실제로 개발하고 사용했습니다

비동기 기술의 무리 중앙 집중 형 매개 변수 서버가있는 많은 복제본, 그리고 그라디언트는 모두 부실하고 날아 다니고있었습니다 실제로 작동하지만 이해하기 어렵습니다 이 큰 분산 시스템에서 그라데이션이 지연되고 항상 반복 가능하지는 않습니다 왜냐하면 매 라운드마다 다소 차이가 있기 때문입니다

그래서 우리는 실제로 대규모로 옮겼습니다 가속기 기반 슈퍼 컴퓨터 정말 고속 네트워크가있는 본질적으로 동기식 교육을 사용하여 그것은 훨씬 더 이해할 수 있습니다 알고리즘 관점에서 너는 이미 충분한 문제가있다 ML 모델에서 무슨 일이 일어나고 있는지 이해하기 당신이 비동기도 던지지 않으면

동기식 방법을 사용할 수 있으면 좋습니다 나는 우리가 훈련시키고 자하는 모델 중 일부는 생각한다 규모에있다 비동기 메소드로 돌아 가야합니다 내가 설명하는 시스템, 이러한 많은 다른 전문가들과 함께, 나는 큰 규모가 될 것 같아 가능하지 않을거야

그것을 완전히 동 기적으로 수행하십시오 수백만 가지 예제가 필요할 것입니다 다양한 방법으로 시스템을 비행하다 비동기 적으로 비트와 조각을 업데이트하는 것입니다 – 거기도 하나있어

그 게임을 할 수있는 레벨이 많이 있습니다 비동기가되는 것 그 논문들의 요점은, 호그와일드! 종이와 그 뒤에 오는 다른 종이들, 기본적으로 말하기 위해, 세상에, 이건 고전적인 시스템처럼 보이지 않아 그들은 이것이 좋은 생각이라고 말하는 것이 아니 었습니다 내가 그 종이에 적어 본 적이 없다고 생각합니다

나는 이것이 단지 재미 있다고 말했고 때로는 효과가있다 오, 세상에, 사람들이 그것을 사용하는 것으로 판명, 그것은 큰 놀라움이었다 우리는 그것을 호그 워드라고 부르지 않았다! 우리는 사람들이 그것을 사용할 것이라고 생각했기 때문에 (청중 웃음) 그러나 진지한, 거기에있는 근본적인 결과, 우리가 이해할 수 있다고 이 궤도가 어떻게 수정되는지, 그것은 재미있는 일종의, 그 알고리즘의 변화 하드웨어에서 수행 할 수있는 작업의 변경 사항을 수정하십시오 우리가 잠시 동안 실험실에서 물건을 몇 개 만들었을 때, 국립 연구소, 그리고 당신은 그 시간에 스케일 업하려고했습니다

나는 그것이 어쨌든 15 또는 50 페타 플롭스라고 생각합니다 나는 종이에있는 번호를 잊어 버렸다 인텔 직원들과 네가 그렇게했을 때, 네가 될 수있을 때까지 너는 동기식이었다 도대체 왜 너는 아니야? 네가 동기식으로 갈 수 있다면 무슨 일이 있었는지 이해하고 있습니까? 마지막에는 약간의 비동기가있었습니다

그것이 당신이 그것을 할 수있는 한가지 방법입니다 당신은 알고리즘의 내장에서 실제로 그것을 재생할 수 있습니다 그리고 하드웨어가 제작되고 설계되는 방식 다른 장소 일 수도 있습니다 좀 더 관리하기 쉬운 곳입니다

1 시간 지연되는 그라디언트가 아닙니다 그것은 2 클럭 사이클만큼 지연되는 그라디언트입니다 우리는 이론적 인 이해를위한 조금 나는 모든 작업 라인에 대해 흥미로운 점을 생각한다 꼭 좋은 생각 인 것은 아닙니다

그러나 그것은 근본적으로 다른 트레이드 오프 집합이있다 이 시스템에서 잠재적으로 열 수있는 그것은 단지 훌륭합니다 그냥 괴상한 방식으로 압축 할 수 있습니다 그리고 그들은 여전히 ​​옳은 일을합니다 이들은 단지 그것을 이해하고 시도하는 도구 일뿐입니다

나는 소프트웨어 혁신 측면, 다음 몇 년 동안, 아직도 많은 행동이있는 곳이 될 것입니다 이 하드웨어 측면은 매우 분명하기 때문입니다 이 한계들 중 일부를 치는 것입니다 하드웨어가 더 빨리 갈 수있을 때마다, 모두 자동으로 빠르게 진행됩니다 더 빠른 하드웨어가 있다면 사람들은 그것을 사용할 것입니다

그래서 거기에 혁신이 많이 있습니다 – 시간이 다 되었으니이 질문을 빨리 해보 죠 그리고 우리는 우리의 결론적 인 의견으로 이동할 수 있습니다 – [청중 회원]이 멀티 태스킹 아이디어에 대해 더 깊이 생각해보십시오 로봇 작업에는 두 가지 유형의 로봇 작업이 있습니다

하나는– – 마이크 좀 잡아 – [잠재 고객 회원] 게임을 할 곳, 당신은 무한한 양의 데이터를 가지고 있습니다 당신은 멋진 알고리즘을 훈련시킬 수 있습니다 실제 로봇도있다 이 엄청난 양의 데이터가없는 곳에 당신은 더 전통적인 방식에 의존 할 필요가 있습니다

지각 + 통제 접근법 여기에 언급 된 멀티 태스크 프레임 워크가 보이십니까? 이 로봇 작업에 사용되는 이유는 게임에 대한 모든 시뮬레이터 경험, 현실 세계에서 게임 레벨 로봇의 종류? – 네 그럼요 내 로봇 공학 연구 그룹이라고 생각해 다른 종류의 많은 추력을보고있다 로봇 연구

하나는 실제 로봇 자기 경험에서 배울 수 있습니다 특히, 당신이 많은 로봇을 가지고있을 때, 그들은 그들의 경험을 쌓을 수 있고, 모델을 학습하여 학습 할 수 있습니다 단순한 로봇의 경험 이상으로, 그러나 집합 적으로 당신은 일을하는 20 대의 로봇을 얻습니다 그리고 그들은 모두 미묘하게 다릅니다 너는 실제로, 그런 다음, 물건을 배울 수있다

좀 더 일반적입니다 그 로봇의 특별한 조인트 견고성보다 정확히 또는 무엇이든 그런 다음 많은 작업을하고 있습니다 시뮬레이션 결과를 실제 로봇으로 전송할 때, 시뮬레이터를 실제로 가져가는 방법을 배우고, 그것은 완전하지 못한 표현이다 현실 세계의 물리학을 연구하고 그 작업을하십시오

우리는 시위를 통해 배우고 있습니다 인간은 예를 들어, 5 ~ 6 개의 짧은 비디오 클립을 제공하십시오 인간이 서로 다른 종류의 컵과 머그잔에 붓고, 로봇은 그 비디오 클립을 입력으로 사용할 수 있으며, 그리고 나서 강화 학습을하십시오 약 15 건의 시련과 15 분의 경험으로 그것은 실제로 붓는 것을 배울 수있다 4 살 인간의 수준에서 일종의, 8 살짜리 인간 수준이 아닙니다

(Chris chuckles) (청중 웃음 소리) 그래서, 그것은 고무적입니다 나는이 모든 것들을 생각한다 너는 능력을 원할거야 로봇 원시의 전체 무리를 가지고, 이걸 집어 들고, 저기로 옮기고, 거기에 넣고, 너는 그때 함께 꿰맬 수있다 보다 복잡한 로봇 동작을 구축 할 수 있습니다

무겁게 멀티 태스킹 학습을하는 시스템처럼 들립니다 그리고 이런 종류의, 어쩌면 간단한 작업을 함께 배우는 것조차 더 복잡한 작업으로 너가 할 수 있고 싶 는다 무언가이다 로봇과 다른 많은 것들에서 – 좋아요이 주제에 대한 마지막 생각이 있다면, 당신이 그걸 포함시킬 수 있다면 하나 또는 두 개의 큰 영향을주는 문제는 무엇입니까? 사람들이 변화를 원한다면 집중할 수있다 우리는 이러한보다 유연한 ML 시스템을 향해 나아갔습니다

– 계속 해봐 – 먼저와 주셔서 감사합니다 호르헤와 다른 사람들이 이것을 세웠습니다 나는 이것이 많은 재미이었다고 생각한다 나는 무엇을 기대해야하는지 몰랐다

그러나 이것은 꽤 차가웠다 다음 세대는 무엇이 될 것인가에 관해서 이러한 종류의 시스템 중, 내가 말하는 방향에 대해서 생각해 데모와 시뮬레이터를 움직이는 것, 이 멀티 태스킹 시스템에있어서 정말 흥미로운 부분입니다 내가 계속 연구실에서 말하고있는 것, 나는 모든 학생들이 내가 농담한다고 생각한다 NFL 영화를보고 Madden을 연기 할 수 있기를 바랍니다

이것은 나의 꿈, 이것을 할 수 있습니다 나는 우리가 그 일을하는 데 몇 년이나 걸렸을 것으로 생각한다 필요하기 때문에 보상 기능을 자동으로 수립 할 수 있으며, 이동하고 일부 IRL 스타일의 기술을 사용합니다 거기에있는 것들을 잔뜩합니다 제 생각에는 이러한 차세대 시스템 이 훨씬 더 부유 한 환경에서 나올 것입니다

나는 학계에서 무슨 일이 일어나고 있는지 생각해 그 일이 일어 났고, 학계에서 더 이상 일어나지 않는 것은 사람들은 감독 된 사건에 집중하고있었습니다 단일 감독 벤치 마크 이제 당신은 GLUE와 같은 위대한 것들을 볼 수 있습니다 당신은 decaNLP와 같은 것들을 보았습니다 당신이 실제로 추론과 맞서도록 강요합니다

현실 세계에서 더 큰 범위에서 나는 그것이 어딘가있을만한 곳이라고 생각한다 정말로 흥미로운 진보가 많이 있습니다 글루는 단지 매우 재미있는 것입니다, 내 학생들이 불평하고 있지만 나에 대해 그들이 지금 당장 그렇게하도록 만들고있어 (청중 웃음) 그러나 나는 그것이 아주 멋진 것 같아요

고맙게도, 당신은 NLP를보고 있습니다, 및 시력 및 기타 분야 모든 데이터를 모으기 시작한다 정말 흥분되는 일을하도록 강요합니다 근거가있는 추론은 그 정맥에있다 너의 매든 예가 훨씬 더 인상적이라고 생각해 너가 다른 방향으로 가면

– 어 – 허, (웃음) 실제로 NFL에서 뛰는 군 예 예 (모두 웃음) 좋은 생각이야 – 그 중 하나가 이 무겁게 멀티 태스킹 방향으로 밀어 넣으면 톤과 톤이있다

정말 흥미로운 기계 연구 질문을 학습, 분산 시스템 질문, 소프트웨어 엔지니어링 질문 그러한 시스템을 어떻게 지정합니까? 우리는 어떻게 많은 사람들이 함께 일할 수 있습니까? 우리는 흥미로운 문제들을 어떻게 해결할 것인가? 우리가 어떻게 배울 수 있는지 이 큰 구성 요소 바다를 통해? 새 구성 요소는 어떻게 추가합니까? 모델에 용량을 추가하는 것이 의미가있는 방법은 무엇입니까? 더 이상 필요하지 않은 용량을 제거 하시겠습니까? 우리는 어떻게 새로운 일을 시작합니까? 어떻게 우리가 함께 꿰맬까요? 어떤 종류의 개인적인 것들 우리는 어떻게해야할지 이미 알고있다 보다 복잡한 종류의 프로그램이나 알고리즘으로 더 복잡한 작업을 해결하기 위해? 그런 종류의 일을 할 수 있다고 생각합니다 우리가 정말로 원하는 것처럼 보인다 새로운 일을 할 수 있어야한다

그것을 해결하는 시스템을 가질 수 있어야합니다 자동적으로 또는 약간의 인간지도로, 새로운 문제를 해결하기 위해 – 고맙습니다 이 토론에서 우리는 많은 기회를 확인했습니다 또한 소프트웨어, 하드웨어, 이론 전반에 걸쳐 몇 가지 문제를 제기합니다 우리가 훌륭한 위치에있는 학생으로서 이러한 생각을 할 수 있어야한다

우리가하고있는 일에 그들을 주입 시켜라 매일 매일 박사 과정 학생들을 많이 방문한다는 것도 알고 있습니다 잘하면 그 생각을하게 될거야 당신이 할 수있는 연구의 유형에 대해서 일단 당신이 박사 과정을 시작하면

Jeff Dean과 Chris Re에게 정말 감사드립니다 오늘 우리와 함께 시간을 보낸다 이 토론에 공헌하고, 그리고 다가오는 것에 대해 너희 모두에게 감사해라 또한 생각과 질문을 공유하십시오 모든 스태프와 교수님 들께도 감사드립니다

누가이 행사를 가능하게하기 위해 함께 왔습니까? 나는 너희들이 내가 한 것처럼 많이 즐기기를 바란다 고맙습니다 (청중의 박수) 우리는 또한 귀하의 의견을 듣고 싶습니다 Bitly 링크가 설정되어 있습니다 bit

ly/aisalon 로그인하여 의견을 보내주십시오 고맙습니다

The Power of Swift for Machine Learning (TensorFlow Meets)

텐서플로우 만남 안녕하세요, TensorFlow 만남에 오신 걸 환영합니다 크리스 래트너와 대화를 나누게 되어 정말 기쁘게 생각합니다 크리스, 모든 사람들에게 화제가 되고 있는 언어인 Swift의 개발자라고 들었습니다 네, 제가 상당한 노력을 기울여온 것인데요 특히 다양한 컴파일러와 도구에 상당한 노력을 들였고 LLVM 컴파일러에 공을 들여 작업했습니다 Swift는 정말 새롭고 멋진 언어죠 한편으로는 멋진 괴짜스러움이 있지만 그 부분이 아주 마음에 들고 사용하기 쉽게 고안되었죠 맞습니다, 상당한 열정을 갖고 제작을 하신 것 같군요 이 분야에 첫걸음을 들이는 신입 개발자들에게도 상당히 사용하기 쉬운 언어인 듯합니다 네, 맞습니다 편리함을 제공하는 것이 가장 궁극적인 목표이고 편리함을 제공하기 위에서는 상당히 많은 시스템 공학이 요구됩니다 하지만 그만한 가치가 있고 대단한 도전이기도 하죠 TensorFlow에 맞춘 Swift의 사용에 대해 얘기해보자면 이건 마치 저도 이미 사용해봤고 이것저것 살펴보고 있는데요 Keras 레이어 같은 것들 역시 상당히 사용이 간단하더군요 API를 어떻게 고안하셨는지 말씀해주실 수 있는지요? 물론이죠 언어로서 Swift는 Python과 많은 유사점을 가지고 있고 여러 API를 이용할 때 최대한 비슷함을 느끼게 만들려고 하는데요 왜냐하면 사용자들이 하나의 기술 체계를 배웠으면 하고 어떠한 불편함 없이 원하는 대로 사용하길 바라기 때문이죠 또 다른 한편으로 Swift는 Python이 지니지 못한 역량과 장점을 가지고 있고 훨씬 더 새롭죠 그런 이점을 취하고 싶었고 유사하지만 더 강력한 것을 만들어내고 싶었습니다 그렇군요, 멋집니다 한 가지 현재 개발자들에게 명확하거나 이해가 어려운 부분은 구별이 가능한 코드인데요 그렇군요 굉장히 강력한 언어인 것은 알지만 이 부분에 대해 조금 더 자세하게 설명해주실 수 있을까요? 그럼요, 물론이죠 이 부분이 TensorFlow 용 Swift의 큰 차이점이겠군요 제품에 필수적 요소라고 들었습니다 네, 저희가 진행하는 모든 작업에 필수적입니다 기계 학습 모형을 떠올려보시면 순방향 함수를 정의할 때 이런 방식으로 모형을 정의하고 구성하시겠지만 연습을 거치셔야겠죠 연습 시 최종적으로 필요한 부분이 모형을 통해 지나가는 함숫값의 기울기 계산과 그 함수 값들의 손해에 대한 기여 방식이겠죠 해당 과정은 미적분을 통해 계산되고 미적분은 연쇄 법칙이라고 하는 기본 원칙을 가지고 있습니다 연쇄 법칙이란 매우 오랫동안 잘 알려져 있던 것인데요 구별 가능한 프로그래밍은 언어 내에서 이 과정을 자동적으로 계산해주며 이용 가능한 분야가 매우 광범위한 것이 장점입니다 새로운 작업을 할 수도 있고 새로운 유형의 개념을 실험하고 연구할 수도 있습니다 또는 어떤 일정 수준에 대해 고민하고 싶지 않다면 다른 사람의 라이브러리에 덧씌워 그냥 제작하셔도 됩니다 그렇군요, 확률적 기울기 강하라든지 최적화 도구 같은 것 말이군요 네, 바로 그런 식으로 작동이 됩니다 이 부분에서 제가 정말 좋아하고 흥미롭게 여겼던 점은 코드가 구별 가능하기 때문에 라이브러리를 그냥 신뢰하는 것이 아니라 자신만의 것을 만들거나 최소한 어떻게 돌아가는지는 알 수 있다는 겁니다 맞습니다, 모든 부분이 개방적일 수 있도록 이를 구성하는 원칙으로 다시 되돌아가는 겁니다 그렇게 함으로써 다시 살펴볼 수도 있고 원하는 대로 제작하고 수정할 수도 있습니다 마음껏 사용할 수 있도록 모든 것이 준비되어있습니다 그렇군요, 또 하나 Swift에 대해 정말 마음에 들었던 것은 특히 TensorFlow를 이용할 때 곧바로 접속하여 Keras 내에 레이어를 형성하고 연습할 수 있다는 점인데요 그 정도만 있어도 만족스럽지만 보이지 않는 곳에서 어떻게 돌아가는지 정말 확인할 수 있다는 겁니다 학창시절에 배웠던 미적분을 거의 잊어버린 – 저 같은 사람들에게 말이죠 – 저도 그렇습니다 하지만 미적분학을 다시 복습해서 수정과 최적화를 하고 싶다면 완벽한 해결책이겠군요 맞습니다, 어떠한 경계도 없습니다 영감이 이끄는 대로 어디든 갈 수 있죠 연구자들에 대해 제가 알아낸 점은 인공적인 경계를 꺼린다는 점입니다 연구자들은 "Python에서 작업을 하고 더 많은 작업을 위해 C++로 바꿔야지" 같은 말을 하길 싫어합니다 지속적으로 작업을 수행할 수 있다면 방해 없는 지속적 경험을 통해 더 많은 것들을 실용적으로 행할 수 있습니다 보다 자연스럽고 간단하기 떄문에 이러한 장벽들을 무너뜨릴 수 있죠 디버깅도 더욱 신뢰할 수 있겠군요? 장벽을 통과하여 변경된 것들에 대해 생각하지 않아도 되기 때문에 말이죠 네, 일부 상황에서 디버거를 변경하지 않아도 되니까요 좋습니다, 이것과 관련해서 한 가지 더 얘기해보겠습니다 또 한 가지 인상깊었던 것은 대담에 나오셨을 때 말씀하셨던 정보 처리 상호 운용인데요 Python 작업을 끌어오거나 다른 작업을 끌어올 수 있다고 하셨죠 조금 더 자세하게 설명해주시겠어요? 네, Swift는 아주 자연스럽게 C언어로 구동되는데요 구동 방식은 클라이언트 컴파일러를 곧바로 Swift로 끌어와서 컴파일러의 아주 낮은 단계에서 상호 운용하는 겁니다 반면에 Python은 굉장히 역동적인 언어입니다 현재 Swift는 저희는 Swift 내에 새로운 역동적인 언어를 시행해서 이를 직접적으로 Python 런타임으로 이어지게 만들었습니다 Python이나 Swift를 사용할 때 Python의 그럴듯한 아류작을 사용하는 것이 아닌 Swift 내에 직접적으로 실제 Python을 사용하시는 겁니다 제가 정말 좋아하는 부분 중 하나는 Python 사전이나 Python 대상의 Swift 사전을 사용하기 때문에 아마도 세계에서 가장 진보적인 Python 용 타이핑 시스템을 제공한다는 것입니다 원하는 수준의 Python을 선택할 수 있죠 아주 자연스럽고 적절한 구성이 이루어집니다 정말 대단하군요 이제 강좌를 듣는 많은 사람들이 iOS 개발을 통해 Swift를 알게 되겠군요 맞습니다 이제는 TensorFlow와 단순한 iOS 개발 이상으로 향하고 있죠 어디서부터 시작하면 가장 좋을지 안내해주실 수 있을까요? 네, Swift는 교차 사용이 가능한 언어이며 많은 iOS 개발자들이 사용하고 있으며 서버에서도 인기가 정말 좋죠 때문에 많은 사람들이 Linux 서버를 만들고 있죠 정말 좋은 현상입니다 시작하실 때 가장 쉬운 방법은 GitHub

com/TensorFlow /Swift에 방문하시는 겁니다 랜딩 페이지가 잘 되어 있고 모든 정보가 제공되며 커뮤니티에 가입할 수도 있습니다 셀 수 없이 많은 정보들이 제공되고 있습니다 정말 멋진 점 중에 하나는 모든 데모를 Colab에서 이용하실 수 있고 모든 장치에서 사용이 가능합니다 Chromebook을 포함해서 어디서든 가능합니다 좋네요, 그리고 fastAI 사람들과 트레이닝 코스에 노력을 하고 계신 걸로 알고 있습니다 Swift에 익숙해지고 싶다면 그쪽으로 가도 되겠군요 맞습니다, 시작한 지 얼마 되지 않았지만 정말 신납니다 조금 걱정이 되는 것도 사실입니다 하지만 아주 좋은 성과를 얻을 거라고 자신합니다 제레미 하워드와 함께 작업하고 싶습니다 그러실 겁니다, 오늘 아침에 만났는데 정말 대단한 분이시죠 – 정말 열정적이죠 – 맞습니다 정말 감사합니다, 크리스 씨 언제나처럼 정말 좋은 시간이었고 영감을 주는 시간이었습니다 이번 TensorFlow 만남을 시청해주신 분들께 감사드립니다 저에게 질문이 있거나 크리스에게 질문이 있으시다면 아래에 댓글로 남겨주시면 됩니다 이번 화에서 나누었던 모든 것들에 대한 링크도 참고하실 수 있도록 아래에 남겨놓겠습니다 – 좋네요 – 다시 한번 감사드립니다, 크리스 씨

2018 Mercedes-Benz S-Class | Epitome of Luxury? | S350 First Drive Review | ZigWheels

차이 한 잔, 게으른 운전자, 졸린 승객,이 모든 것들이 이것을 테스트합니다 facelifted하게 된 메르세데스 s – 학급

지금 호화스러운 리무진은 새로운 디젤 마음을 가지고있다 그것은 녹색 임무를 띠고 있습니다 이것은 S 350 d 다 그리고 그것은 완전히 새로운 인라인을 얻는다 ba6 배출 기준을 충족시킬 수있는 6 기통 디젤 엔진과 정말 멋지다 그것이 메르세데스가 소프트웨어를 주문에 따라 만들어야했던 연료를 위해 BS 위에서 움직일 수있는 일부 엔진과 배기 시스템을 조금씩 작동하지만 당신이 유럽에서 볼 것 인 것처럼 배출은 주식이다

그것은 당신이 가지고있는 것을 의미한다 디젤 미립자 필터, 당신은 선택적 촉매 컨버터와 물론 광고 파란색 탱크뿐만 아니라 당신이 여기를 볼 수 있습니다 파란이 열립니다 노즐을 통해 배출구로 분무되는 액체로 윗부분을 위로 향하게합니다 그것을 정리할 때마다 약 25 리터를 청소하고 15,000 지속됩니다 킬로미터 그래서 당신이 얻는 것은 연료로 BS에서 돌아가는 디젤 s-class입니다

그러나 배출량면에서 BS 6 수준의 청결도를 제공합니다 그리고 나는 배출이 실제로 멀리에서 꿰매어지는 그 팁에 의해 어리석게하게되지 않는다 여기의 뒤와 정말로 어떤 디젤 연기도 그런 것에 관해 이야기하지 않는다 그것은 녹색이 아닌 순수하게 구역질이 나는 새로운 것의 명물 인라인 6 기통 엔진은 모든 것의 세련미입니다 십자가 주변에서 총격을 당했고, 엔진이 켜져있었습니다

그것은 부드럽고 조용합니다 그리고 우리는 조금했습니다 이전에 실험을 해보니 얼마나 좋은지 알 수 있습니다 그것은 실제로 매우 매끄 럽습니다 그리고 나서 우리는 안으로 이사했고 그것은 조용한 것으로 판명되었습니다

stansky뿐만 아니라 너무 비록 당신이 갈 때라도,이 엔진은 아주 조용합니다 8 기둥이나 그 아래의 도로 주변의 바람은 더 분명합니다 엔진 자체보다 발을 내리고 어딘가에 부딪 힐 때뿐입니다

약 3,000rpm의 속도로 오두막 내부에 무인 항공기가 조금 있습니다 그렇지 않으면이 시간은 조용한 이제는 모든 것이 부드럽고 조용하지만 지루하다고 생각하지 않습니다 이것은 인도의 메르세데스에서 가장 강력한 디젤 엔진입니다 그것은 힘의 286의 PS와 제비 뽑기 인 비트는 힘의 고체의 600 뉴턴 미터를 만든다 나가는 엔진보다 이것은 어디 에나 구멍을 뚫는 디젤입니다 다단계 터보 차저는 귀하의 광고가 무엇이든지간에 중간 범위에서 2,000 rpm 이하로 강해지 고 회전 범위의 꼭대기 끝은 4 년 반으로 돌아 간다

천 rpm이지만 그 펀치 전체에 걸쳐 당신이 S를 기대할 때의 S350은 당신이 무엇을 던질지라도 편안함을 느낍니다 도시 또는 고속도로이든 그것의 신용의 일부이든간에 기어 박스에 가야합니다이 9 단 변속기는 부드럽고 신속합니다 그들은 있어야한다 기록의 경우 0에서 100까지 1 초 더 빠릅니다

중요하게 오, 예, 항상이 세대와 함께 여기에 호화로운 있습니다 이 말은 분명히 여기서 뻗어나 가면서 여전히 스트레칭을 할 수 있다는 것을 의미합니다 더 나아가 이것은 나를 위해 충분하다 그녀는 심지어 멋진 작은 발판을 가지고있다 앞면에서 선을 칠 수 있지만 내가 아직도 싫어하는 것은 서스펜션 설정이 너무 부드럽기 때문에 편안함을 느낄 수 있습니다

이 위아래로 물결 모양의 움직임과 우리 도로가 완벽하지는 않습니다 당신은 스포츠에 넣을 수있는 해결 방법이 있습니다 방법 이것은 탄력성을 줄이고 부서진 도로에서 여전히 사용할 수 있습니다 18 인치 림은 이전보다 작은 크기이지만 더 큰 타이어를 얻을 수 있습니다

바른 품질로 지금은 명품의 무릎에 앉아 더 많은 것을 얻을 수 있습니다 고급차의 정의 인 s-class와 같은 자동차, 덱이 번들로 제공됩니다 표준에서 내부에서는 s 클래스가 주변 환경에 대해 64 색을 얻습니다 조명 및 모든 종류의 조합을 기내에서 더 많이 사용할 수 있습니다

중요한 것은 운전자와 센터 콘솔을위한 전시는 지금 하나 다 이 LED 패널은 선명하게 보이며 드라이버를위한 세 가지 레이아웃이 있습니다 선실 안에있는 클러스터에는 휴대 전화 용 무선 충전 패드가 있습니다 헤드 라이트가 춤을 추는 것을 알 수 있습니다 네, 그들은 스타터에서 전조등은 이전보다 더 밝고 똑똑한 모든 LED 장치입니다

DRL의 세 요소는 모두 LED입니다 이 3 개의 막대 레이아웃은 다음과 같습니다 특별하게 s 종류 및 그릴을 위해 보류하는 것은 특별하다 이 미묘한 크롬 그릴은 이전에 마이바흐를 위해 예약되었고 검은 색 뒤에 숨어있었습니다 그릴에 플라스틱 패널은 많은 기술입니다 많은 자율 주행 기술이 S에서 업데이트되었습니다

당신이 사용 할지도 모르지만 사용할 수있는 것이 하나 있습니다 그건 더 세련된 Park Assist 시스템입니다 뭐가 바뀌 었어 그래서 우리는 주차 장소를 찾았습니다 화면이 나를 반대로 참여하도록 요청하고 있습니다

정말로 차가운 일부 손은 페달로부터 떨어져서 떨어진다, 그 자체가있는 그 steering 이전에는 그렇게하지 않은 멋진 부분이 아닙니다 예 이번에는 나 자신이 만든 장비를 바꿀 필요가 없다는 것을 알아 두십시오 다시 말해서 우리는 앞으로 나아갈 것입니다 이제는 저없이 제 뒤로 갈 것입니다 여기 기어 리더를 만져 보니 누군가가 걷고있는 것을 볼 수 있습니다

뒤를 지나쳤습니다 차가 멈췄습니다 많은 보스가있었습니다 좋습니다 이것은 특히 비싼 다른 것이있을 때 당신이 알고있는 약간 무서운 것입니다

주변에 차가 있지만 예 끝난! 괴짜가되어서 s-class가 가지고 싶어하는 약간의 실망이 있습니다 마술 신체 통제 그러나 앞 좌석이 얻지 않는 더 실제적인 메모에 관해 알아 듣지 마라 메모리 설정과 그게 전부지만 그 중 아무도는 새로운 디젤 엔진을 장착 한 s- 클래스의 훌륭함 이 새로운 엔진 오직 s- 클래스를 만난다는 것은 숭고한 표준이지만, 전체적으로 그것들을 제기한다

새로운 높은 아주 간단하게 경이로운