Deep learning nails correlation. Causation is another matter. | Gary Marcus

말하고 싶은 오래된 농담 통계학자가 있는데, 그것은 당신의 어휘 크기가 손의 크기와 관련이 있습니다 그리고 사실입니다

전체 인구를 가로 질러 가면 모든 사람의 손 크기와 모든 사람의 어휘를 측정하고, 평균적으로 손이 큰 사람들은 어휘력이 더 큽니다 그러나 그것은 더 큰 손을 가짐으로써 반대로 더 큰 어휘를 제공한다는 것을 의미합니까? 공부하고 책을 읽는데 음 아니

그것은 성인이 아이들보다 더 많은 단어를 알고 경향이 있으며 더 큰 경향이 있음을 의미합니다 소유 무언가로 인해 단어를 배우고 손을 키우게됩니다 정말 같은 것은 아닙니다 따라서 인과 관계는 손을 키우면 실제로 어휘를 키우게 될 것입니다

그러나 그것은 없습니다 우리는 상관 관계가 있습니다 딥 러닝은 상관 관계보다 더 환상적입니다 그러나 첫 번째 근사치가 그 일을하고 있습니다 상관 관계입니다

인과 관계를 나타내는 방법은 없습니다 우리가 딥 러닝 시스템을 요청하고 싶다면 더 큰 손을 키우는 것은 더 큰 어휘? 딥 러닝 시스템은 여기에 여러 가지 관찰이 있다고 말할 수 있습니다 그들은 분명히 상관이있는 것 같습니다 그러나 손이 자라는 원인은 모든 종류의 신진 대사 과정이라고 말할 수 없습니다 어휘력을 증가시키는 원인은 모든 종류의 학습 경험입니다

따라서 인과 관계가 있는지에 대한 질문조차 할 방법이 없습니다 당신의 손 크기와 어휘 사이 그것들은 서로 관련되어 있다는 것을 알 수 있습니다 그리고 그것은 어떤 목적으로도 좋을 수 있습니다 가장 큰 어휘를 가진 사람들을 골라 내려면 유용 할거야

메카니즘이 무엇인지 알고 싶다면 왜 이런 것들이 서로 관련이 있는지, 그리고 한 사람이 다른 사람을 유발하는지 여부-아마도 알고 싶은 딥 러닝 당신의 도구가 아닙니다

From The Brain To AI (Neural Networks | What Is Deep Learning | Deep Learning Basics)

이 시리즈의 마지막 비디오에서 깊은 차이점을 논의 학습 및 기계 학습, 방법 및 방법 딥 러닝 분야는 공식적으로 태어나고 주류 인기 이것의 초점 비디오는 인공 신경에있을 것입니다 더 구체적으로-네트워크 구조

독수리, 전투기 동안 이 두 별개의 실체는 모두 수행 동일한 작업, 비행, 그들이 달성하는 방식 매우 다릅니다 전투기 매우 전문적이고 공학적입니다 매우 구체적인 기계 작업과 그 작업을 극도로 실행 잘 독수리, 생물 시스템 확실히 훨씬 더 복잡합니다 다양한 방법으로 가능 일반화 된 작업 이 비유는 차이점과 많은 유사점 우리의 두뇌와 딥 러닝 시스템

그들은 둘 다 임무를 수행 할 수 있지만 패턴 인식의 두뇌는 매우 복잡한 일반 시스템 다양한 작업을 수행 할 수 있습니다 딥 러닝 시스템은 설계되었지만 매우 구체적인 작업에서 탁월합니다 에 딥 러닝을 더 잘 이해하고 이 비유와 인라인 유지 비행, 기본으로 돌아가 봅시다 에 대한 한 시스템의 기본 원칙 이해하기가 훨씬 쉽다 더 높은 수준의 이해 그 응용 프로그램 및 기능 상기 시스템 우리가 비디오에서 논의했듯이 과거에 딥 러닝은 연결 분야, 부족 목표가있는 머신 러닝 뇌를 디지털 방식으로 재구성합니다

이제 우리가 반드시해야하는 두뇌를 디지털 방식으로 재구성 먼저 가장 간단한 디지털 재구성 뇌의 구성 요소, 뉴런 이것은 뉴런의 예술적 표현, 다극 뉴런이 정확해야합니다 있다 뉴런의 세 가지 주요 구성 요소 : 1) 소마, 이것은 '뇌'* 메타 *입니다 정보 처리 센터를 말하십시오 세포체로 구성된 뉴런의 그리고 핵 2) 축색 제, 이것은 길다 전달하는 뉴런의 꼬리 세포체와의 정보

3) 수상 돌기, 이것들은 뉴런에서 분기 팔 다른 뉴런에 연결하십시오 우리가 논의한대로 Neuromorphic에 대한 이전 비디오에서 계산에 따르면 뇌는 천억이 넘습니다 100 조 이상의 시냅스를 가진 뉴런 시냅스와 연결 다른 뉴런 우리가 생각한다면 극도로 감소하는 관점, 우리 두뇌를 하나로 간주 할 수 있습니다 거대한 신경망 점점 더 많은 것을 알지 못합니다! 따라서 왜 연결 주의자들은 시도에 너무 단단합니다 뇌를 재구성하고 긴급 속성이 등장합니다! 이제 물러서서 개별 뉴런, 이것은 우리 중 하나입니다 뉴런의 첫 사진 안으로 그려지다 19 세기 후반 스페인의 해부학자에 의해 산티아고 라몬이 카할 그는 소개 될 수있는 얼룩을 사용했습니다 조직에 현미경을 사용하여 그가 본 것을 그립니다

이제 당신은 여기에 무엇을 볼 우리가 방금 논의한 것은 세포체, 긴 꼬리와 수상 돌기 서로 이제이 그림을 뒤집어 봅시다 거꾸로하고 추상적으로 매핑 오른쪽에있는 뉴런의 구성 요소 측면 먼저 우리는 소마를 원으로 표시 한 다음 긴 줄이 오는 축삭 뉴런에서 마지막으로 여러 줄로 표현되는 수상 돌기 뉴런으로 연결됩니다 보시다시피 여기, 우리는 기본적인 방법을 목격하고 있습니다 딥 러닝 신경의 구조 89 00 : 02 : 52,670-> 00 : 02 : 56,360 그물이되었습니다! 에 대한 토론을 시작하려면 뉴런이 작동하는 방식으로 수상 돌기는 입력으로 간주 우리의 뉴런에 몸에서 수상 돌기 그들의 전기 활동을 찾으십시오 끝 그것이 다른 것에서 오는지 여부 뉴런, 감각 또는 다른 활동 그 신호를 세포체로 보내십시오

그만큼 그런 다음 soma는 이러한 신호를 받아 시작합니다 그들을 축적하고 특정 신호 임계 값, 축삭은 활성화, 시스템의 출력 본질적으로 매우 간단한 방법으로 뉴런의 정보 처리는 그냥 물건을 추가하십시오 그리고 그것을 바탕으로 하나 수상 돌기 활동을 축삭 활동의 수준 다시 말해, 더 많은 수상 돌기 더 자주 그들은 축삭이 얼마나 자주 활성화되었습니다 이제 우리는 기능의 추상적 이해 뉴런의 시스템에 더 추가합시다 신경망을 형성하기 시작합니다

같이 앞에서 언급 한 바와 같이 뉴런을 시냅스라고합니다 수상 돌기, 하나의 입력 뉴런은 축삭에 붙어 있습니다 다른 사람의 출력 라몬으로 돌아 가기 카잘의 첫 번째 뉴런 그림 당신은 그가 보고이 작은 것을 볼 수 있습니다 수상 돌기의 마비 여기가 다른 뉴런의 축색 돌기는 현재 뉴런의 수상 돌기 측면에서 우리의 추상적 인 그림의 우리는 이 연결을 원형으로 나타냅니다 마디 축색 돌기는 수상 돌기에 연결될 수 있습니다

강하게, 약하게 또는 그 사이의 어떤 것 지금, 우리는의 크기를 사용합니다 연결 노드를 나타내는 연결 강도, 연결 입력이 얼마나 활발한가 뉴런 연결은 출력 뉴런 수상 돌기 우리는 또한 이 연결 강도에 값을 할당하십시오 0과 1 사이, 1은 매우 강하고 0에 가까워지고 있습니다 앞으로 확장 될이 가치 비디오 참조 연결 무게로 보시다시피 우리는 더 많은 뉴런을 추가하기 시작합니다 많은 다른 입력으로 흥미로운 뉴런은 수상 돌기에 연결될 수 있습니다 각각 하나의 출력 뉴런 연결 강도가 다릅니다

이제 연결되지 않은 모든 것을 제거합시다 수상 돌기 및 또한 노드를 제거 우리는 연결을 나타내야했다 강도, 단순히 두께를 보여 무게를 나타내는 선의 그 연결 이제 뒤집어 가로로 다이어그램을 보면 현대 딥 러닝의 시작 신경망 아키텍처 이후 이 비디오의 시작, 우리는 우리에서 갔다 수조의 엄청나게 복잡한 뇌 연결과 미묘한 운영과 상호 연결성 신경망을 이해하기 간단 모델 우리 시스템은 여기 바로 그 모델입니다 그

뇌에서 신경으로 네트워크는 매우 축소 과정입니다 그리고 사이의 진정한 관계 생물학적 시스템과 신경 네트워크 은유적이고 영감을줍니다 우리의 두뇌, 제한된 이해 우리는 그들 중 엄청나게 복잡하다 수조 개의 연결과 많은 다른 유형의 뉴런 및 기타 병행하여 작동하지 않는 조직 그냥 같은 인접 레이어에 연결 신경망 주제에 다시 돌아와 우리가 사용하는 용어 이 네트워크를 설명하십시오, 그것은 사실입니다 그들은 여전히 ​​매우 유용합니다 큰 표현을 도출 마지막에 언급 한 데이터 양 이 시리즈의 비디오 그리고 지금 우리는 이것들의 구조가 어떻게 보 였는지 네트워크가 개발되었습니다 이 표현은 층

출력 노드를 생각하는 방법 그들이 노드의 합이라는 것입니다 그들을 강하게 활성화시키는 가장 강한 무게의 연결 예를 들어 5 개의 입력이 있다고 가정 해 봅시다 문자를 정의하는 노드 : A, B, C, D 그리고 E이 경우 출력 노드는 ACE에 의해 정의됩니다 여기 있습니다 저급에서 목격 표현, 개별 문자 높은 수준의 표현 단어를 포괄하고 계속 가면 에, 문장 등-이 단순한 예는 자연어의 기초이다 가공

편지를 넘어서 방법론은 모든 유형의 이미지의 픽셀 값에서 입력 오디오의 이미지 인식 연설을위한 연설의 빈도 더 복잡하고 추상적 인 인식 영양 정보와 같은 입력 의료 병력은 예를 들어 암의 가능성 지금 우리가 앞서 기 전에 더 높은 수준의 예측으로 확대 더 복잡한 초록의 능력 딥 러닝 시스템의 응용 이 다음 동영상 세트에서 시리즈, 우리는 포괄적 인 과정을 거칠 것입니다 예를 들어, 많은 새로운 것을 소개합니다 직관적 인 방법으로 용어와 개념 노드 네트워크의 이해를 돕기 위해 작업 그러나 이것이 당신이 가지고 있다는 것을 의미하지는 않습니다 더 배우기를 기다립니다! 원한다면 딥 러닝에 대해 더 배우고 실제로 현장에 대해 배우는 것을 의미합니다 이러한 인공 학습 알고리즘 뇌에서 영감을 얻어 기초 빌딩 블록 퍼셉트론, 멀티 레이어 확장 네트워크, 다른 유형의 네트워크 컨볼 루션 네트워크, 재발과 같은 네트워크와 훨씬 더 많은 다음 화려한

org는 당신이 갈 곳입니다! 안에 자동화를 통한 세계 알고리즘이 점차 대체 될 것입니다 더 많은 직업, 그것은 개인으로서 우리에게 달려 있습니다 우리의 뇌를 날카롭게 유지하고 여러 분야에 대한 창의적인 솔루션 문제와 화려한 플랫폼입니다 그렇게 할 수 있습니다 예를 들어 매일 매일 도전이 있습니다 다양한 코스를 다룰 수 있습니다 STEM 도메인 이러한 도전은 그들이 그리는 방식으로 제작 당신은 다음 새로운 것을 배울 수 있도록 직관적 인 개념 설명 특이점을 지원하려면 번영과 더 많은 것을 배우십시오 Brilliant, brilliant

org/로 이동하십시오 특이! 또한 처음 200 그 링크에가는 사람들은 20 %를 얻을 것입니다 연간 보험료 할인 혜택! 이 시점에서 비디오는 결론, 감사합니다 그것을 볼 시간을내어! 만약 너라면 그것을 즐겼다, 나를지지하는 것을 고려해라 Patreon 또는 YouTube 회원 자격 유지 이 도전이 커지고 있습니다! 우리를 확인 자세한 내용은 웹 사이트를 참조하십시오 더 많은 콘텐츠를 구독 한 입 크기에 대한 우리의 페이스 북 페이지 내용의 덩어리 안쿠 르였습니다 당신은 특이점을보고있다 번영과 곧 다시 ll겠습니다! [음악]

Deep learning with ML.NET: Image Classification | ML.NET [8 of 8]

>>이 비디오에서 우리는 살펴볼 것입니다 딥 러닝 지원 이미지 분류 모델을 작성하여 MLNET ML

NET을 통한 딥 러닝으로 개발자는 기계 학습을 통해 소리, 비전, 텍스트, 자연어 처리 및 그 이상인 NLP 이제 딥 러닝을 사용하여 소리를 분류하거나 이해할 수 있습니다 음악을 분류하고 음악이나 음악 노트를 예측할 수 있습니다 당신은 비전을 이해할 수 있습니다 이미지를 분류하거나 물체를 감지 할 수 있습니다 온라인 카탈로그를 작성하려는 경우 재고 관리가 훨씬 쉬워졌습니다 텍스트도 이해할 수 있습니다 시맨틱을 할 수 있습니다

또는 분석하거나 엔티티 인식을 수행 할 수 있습니다 감정 분석을하거나 또는 가격 예측을 할 수 있습니다 문서를 분류하거나 기계도 배울 수 있습니다 딥 러닝은 큰 세트를 열었습니다 이전에는 불가능했던 시나리오 이미지 분류는 딥 러닝의 매우 인기있는 예입니다 간단히 말해 이미지 분류는 이미지를 하나 이상의 범주로 분류 할 수 있습니다 이 예에서 우리가하고있는 것은 분류하는 것입니다

이미지 여부에 이미지 꽃이고 우리는 꽃의 종류를 분류하고 있습니다 데이지인지, 장미인지, 튤립인지 딥 러닝으로 모델을 구축하는 방법은 훈련 데이터 인 입력 데이터가 있습니다 폴더에 레이블이 붙은 이미지가 많이 있습니다 우리는이 모든 이미지를 먹입니다 커스텀 모델을 훈련시키는 훈련 과정으로 당신을 위해 당신이 예측하는 데 사용할 수있는 특정 이미지가 속한 꽃의 카테고리 우리가 어떻게 할 수 있는지에 대한 예를 보자 이미지 분류를위한 사용자 정의 모델을 빌드하십시오 이것은 내가 할 콘솔 응용 프로그램입니다 이 머신 러닝 모델 또는이 딥 러닝 모델을 구축하십시오

여기에있는 것은 내가있는 데이터 세트입니다 가서 무리를 캡처 꽃 이미지와 각 꽃 유형으로 분류했습니다 여기에 데이지 폴더가 있습니다 데이지 꽃의 모든 사진 다음은 민들레 사진이 모두 포함 된 민들레 사진입니다 폴더 사진은 다음과 같습니다

모든 장미 그림이있는 장미 이 예제에서 우리가하려고하는 것은 이 데이터 세트에서 모델을 학습시킵니다 그래서 그것은 무엇의 모든 특성을 이해할 것입니다 이 꽃을 데이지 꽃으로 만들고 다음에 훈련 된 모델을 사용하겠습니다 꽃 유형이 무엇인지 예측하기위한 완전히 새로운 데이터 ML

NET 여정에서 배웠 듯이 첫 번째 단계는 ML 컨텍스트를 만드는 것입니다 따라서 컨텍스트를 만들 수 있습니다 두 번째 단계는 이미지를로드하는 것입니다 여기에 모든 이미지를로드합니다 방금이 꽃 사진 폴더에서 보여 드렸습니다

다음 단계는 선택하는 것입니다 알고리즘과 라벨 지정 열 또는 예측할 열입니다 이 경우 내가하고있는 일은 레이블 키는 기본적으로 이미지 경로입니다 또는 폴더 이름과 내가 갈 모델 선택하는 것은 공명 모델입니다 이 경우에 저는 내가 사용하는 곳에서 편입 학습 이 사전 구축 모델 나만의 시나리오를위한 모델을 만드는 생태계

이 파이프 라인을 정의하면 계속해서 전화 할 수있어 이 모델을 훈련시킬 피트니스 모델을 평가할 수 있습니다 메트릭을 인쇄하여 모델의 정확도는 어떻습니까? 마지막 단계는 모델을 시도하는 것입니다 예측 엔진을 만든 다음 내가 이미지 중 하나에 예측 함수를 호출 이미지에 예측 폴더가 있습니다 계속해서이 앱을 실행 한 다음 모델이 어떻게 작동하는지 봅시다 훈련되고 테스트 데이터 세트에서 어떻게 수행됩니까? 계속해서이 응용 프로그램을 시작하겠습니다 훈련 과정에서 어떤 일이 벌어지고 있는지 이 프로그램은 모든 이미지를 촬영하고 있으며 에서 모든 기능 추출 모든 이미지가 실행되면 프로세스 종료시 분류 알고리즘 이 모든 이미지를 여러 범주 중 하나로 분류하십시오 지금까지 일어난 일은 지금 훈련 과정은 마무리하고 출력 메트릭을 얻습니다

여기서 모델의 정확도는 유용한 가이드와 함께 83 % 하나에 가까울수록 더 좋습니다 여기 보이는 것은 일부 이미지에서 모델이 실행 된 것입니다 이 경우 모델도 실행되었습니다 장미처럼 보이는이 희귀 한 꽃 사진입니다 그런 다음 모델의 출력 또는 예측은 신뢰 수준 또는 정확도 수준 장미의 62 %

우리가 여기서 찾은 것은 사용할 프로그램 심상 학습은 이미지 분류 모델을 훈련시킵니다 이것으로 MLNET 시리즈를 마칩니다 나는 당신이 많은 것을 배우기를 바랍니다 기계 학습 및 흥분 앱에서 기계 학습을 사용하십시오 다른 시리즈를 확인하십시오 C #

NET, ASPNET 등

Deploying Deep Learning Models to the Edge | Data Center to the Edge | Episode 6 | Intel Software

안녕하세요 저는 메가 나 라오입니다

이것은 데이터 센터의 AI입니다 Edge 비디오 시리즈 이 에피소드에서는 심층 신경망을 배포하는 방법을 보여줍니다 가장자리 장치로 인텔 아키텍처 기반 CPU라면 통합 그래픽, 인텔 신경 컴퓨팅 상태 또는 FPGA 인텔 배포판을 소개합니다 OpenVINO 툴킷 및 Python 워크 플로우 가장자리에 응용 프로그램을 배포합니다 마지막으로 툴킷의 기능을 소개합니다 2 세대의 고정밀 추론 Intel Xeon 확장 가능 프로세서

내용을 자세히 살펴 봅시다 이 장에서 다룹니다 배포 프로세스에 대한 입력 고정 된 그래프 인 열차 모델입니다 우리는 인텔의 기능을 소개하여 시작 OpenVINO 툴킷 배포 해결되는 두 가지 주요 구성 요소 최신 최적화 및 추론 엔진입니다 Model Optimizer는 하드웨어 불가지론 적 중간 표현 파일

추론 엔진은 이러한 중간체를 도구 및 대상에 표현 파일 대상은 Intel 아키텍처 기반의 CPU이며 통합 그래픽 또는 신경 계산 상태 제공된 MKDLN, CLDLN 또는 Movidius 플러그인을 사용하십시오 그 추론 엔진 툴킷은 C ++ 및 Python을 모두 지원합니다 이 과정은 기본 워크 플로를 보여줍니다 런타임에 유추 할 파이썬 애플리케이션의 마지막으로이 과정에서는 인텔 배포판 사용 방법을 보여줍니다

모든 변형 양자화를 수행하는 OpenVINO 툴킷 부동 소수점 32 비트 모델을 n 번째로 변환 낮은 정밀도 추론을위한 8 개 최소 손실에서 더 나은 추론 속도를 제공합니다 정확성 데이터 센터에서 Edge까지 AI를 시청 해 주셔서 감사합니다 등록 할 링크를 확인하십시오 강의와 공책을 완성 할 수 있습니다 이 과정의 리소스에 나열되어 있습니다 다음 에피소드에서 나와 함께 방법에 대해 자세히 알아보십시오

선택 과목 수료증을 취득 할 수 있습니다

SAS Demo | Deep Learning with Python (DLPy) and SAS Viya for Computer Vision

안녕하세요, 저는 Susan Kahler이고 인공 지능과 기계 학습에 대한 책임이 있습니다 SAS에서

이 비디오에서는 SAS Deep Learning Python API 또는 DLPy에 대해 간략하게 설명합니다 이 시리즈는 DLPy가 지원하는 최신 컴퓨터 비전 모델에 중점을 둘 것입니다 DLPy를 통해 Python에 익숙한 데이터 과학자는 딥 러닝을 활용할 수 있습니다 SAS Viya의 컴퓨터 비전 기능 설명의 링크를 사용하여 주제로 직접 이동하십시오

첫 번째 섹션에서는 DLPy와 함께 Functional API를 활용하여 빌드하는 방법을 살펴 봅니다 ResNet 모델을 포함한 기능 추출을위한 복잡한 모델 다음으로 축구를 추적하기 위해 U-Net 모델을 사용하여 이미지 세분화를 수행하는 방법을 살펴 보겠습니다 선수 그런 다음 DLPY가 VGG16을 백본으로 사용하여 Faster R-CNN을 사용하여 객체 감지를 지원하는 방법을 살펴 보겠습니다 회로망

스위칭 기어, DLPy가 어떻게 MobileNet 및 ShuffleNet을 지원하고 성능을 비교하는지 살펴 보겠습니다 ResNet50 모델이있는 모델 중 하나입니다 마지막으로 훈련과 추론 모두에서 멀티 태스킹 학습이 수행되는 방법을 살펴 보겠습니다 제품 권장 사항에 대해서는 소매 도메인에서 추론을 위해 Python 용 이벤트 스트림 처리 패키지 인 SAS ESPPy를 사용합니다 DLPy에는 Python 3 이상 및 SAS Viya 34가 필요합니다

또한 Analytics 전송을위한 SAS 스크립팅 래퍼 또는 SWAT 패키지가 필요합니다 DLPy는 python-dlpy 디렉토리의 SAS 소프트웨어 용 GitHub에서 사용할 수 있습니다 이 비디오에 실린 Jupyter 노트북도 해당 위치에 있습니다 DLPy의 최신 컴퓨터 비전 기능에 대해 배우고 즐기시기 바랍니다 스스로를 위해

안녕하세요, 저는 SAS의 데이터 과학자 인 Wenyu이며 딥 러닝과 컴퓨터에 중점을 둡니다 비전 API 이 비디오에서는 고급 Python API, Python을 사용한 SAS Deep Learning 또는 (DLPy) 이 비디오의 목적은 SAS에서 기능적 API를 활용하는 방법을 보여주는 것입니다 복잡한 모델을 만들기위한 DLPy 보다 유연한 방법을 제공하기 때문에 Functional API에 중점을두고 있습니다

Keras Functional API와 매우 유사한 복잡한 모델을 구현하십시오 Sequential API는 공유 모델을 만들 수 없다는 점에서 제한적입니다 레이어 또는 여러 입력 또는 출력이 있습니다 입력 및 출력이 여러 개인 모델이 Functional API를 사용하는 좋은 예입니다 간단한 6 단계로 SAS DLPy를 사용하여 모델을 생성 해 봅시다

텐서를 반환하는 Input ()에 의해 두 개의 텐서 (회색조 이미지와 RGB 이미지)를 정의합니다 목적 그런 다음 그레이 스케일 이미지가 두 개의 컨볼 루션 브랜치에 공급됩니다 이 모델에는 또 다른 입력 컬러 이미지가 있습니다 그런 다음 이미지의 특징을 추출하기 위해 컨벌루션 연산이 사용됩니다

세 개의 텐서가 연결되고 OutputLayer_1에서 분류를 계산하는 데 사용됩니다 손실 또한 모델은 OutputLayer_2를 통해 감독됩니다 그런 다음 정의 된 입력 텐서 및 출력 텐서를 Model () 함수에 전달합니다 마지막으로 compile ()을 호출하여 네트워크를 컴파일합니다

여기서는 모델의 요약과 네트워크 그래프를 보여줍니다 레이어 연결 이 다음 모델에서는 ResNet 유사 모델을 작성하는 방법을 고려하십시오 이 작업에서는 돌고래 또는 기린을 포함하는지 여부에 따라 이미지를 분류합니다 먼저 각각의 직후에 배치 정규화를 채택하는 회선 블록을 정의합니다

회선 다음으로, 나머지 블록 내에서 바로 가기 연결을 사용하여 입력 기능을 연결합니다 컨볼 루션의 출력에 4 개의 누적 잔차 블록이 있으며 네트워크는 전체 평균 풀링으로 끝납니다 다음은 순차적으로 누적 된 4 개의 잔차 블록과 전역 평균을 보여주는 모델의 그래프입니다 풀링

모델이 빌드되면 ImageTable API에 의해 데이터가로드되고 모델을 학습 할 수 있습니다 순차적 인 모델처럼 SAS DLPy API를 사용하면 사전 훈련 된 여러 출력 모델을보다 쉽게 ​​정의 할 수 있습니다 기능 추출기로서의 백본 다음 경우에는 가중치와 함께 ResNet18 모델을로드합니다 다음으로로드 된 모델을 기능 모델로 변환하고 원래 작업 계층을 삭제합니다 이를 위해 to_functional_model ()을 사용하고 stop_layers를 지정합니다

그래프 이동을 중지하는 레이어 즉, stop_layers와 stop_layers가 뒤에 오는 모든 레이어가 제거됩니다 기능적 모델 그런 다음 OutputLayer와 Keypoints Layer라는 두 가지 새로운 작업 계층을 추가합니다 그래프 하단에서 새로 추가 된 두 개의 레이어를 볼 수 있습니다

이 비디오에서는 DLPy를 사용하여 여러 입력 및 출력을 가진 모델을 만든 다음 ResNet과 유사한 모델이며 마지막으로 순차 모델을 기능 모델로 변환했습니다 시청 해주셔서 감사합니다 안녕하세요, 저는 Maggie Du이고 SAS의 기계 학습 개발자이며 딥 러닝 및 컴퓨터 비전 API 이 비디오에서는 DLPy라고하는 SAS 고급 딥 러닝 Python API를 사용하여 게임에서 축구 선수를 추적하는 이미지 분할 문제를 해결하는 방법을 보여줍니다 각 플레이어에 대한 통계를 제공합니다

코치에 의한 경기 후 분석과 같은 여러 목적으로 통계를 사용할 수 있습니다 팬들에게 증강 게임 시청 경험을 제공합니다 이미지 분할은 이미지를 의미 적으로 의미있는 부분으로 분할하려고 시도합니다 각 부분을 사전 정의 된 레이블 중 하나로 분류합니다 따라서 픽셀 수준에서 이미지를 이해하는 새로운 방법입니다

예를 들어이 이미지에는 개, 고양이 및 배경의 세 가지 클래스가 있습니다 따라서 우리는 각 픽셀에 어떤 클래스가 속하는지를 나타내는 특정 색상을 부여합니다 전반적으로 각 객체의 정확한 경계를 얻을 수 있습니다 시작하자 필요한 모듈을로드 한 후 데이터 세트를로드하려고합니다

우리는 축구 경기의 이미지를 예로 들어 170 이미지가 포함 된 모두 256 * 256으로 조정되었습니다 다음은 원시 이미지와 해당 주석의 시각화입니다 이미지에는 축구 선수, 축구 공 및 배경의 세 가지 다른 객체가 있습니다 따라서 주석 이미지에는 세 가지 색상이 포함됩니다 그런 다음 데이터 세트를 학습 데이터, 유효성 검사 데이터 및 테스트 데이터로 무작위로 나눕니다

다음으로 SAS DLPy를 사용하여 U-Net 모델을 구축하려고합니다 이 대칭 모델은 인코딩과 디코딩의 두 부분으로 볼 수 있습니다 기능 크기가 가장 작은 레이어 인 병목 현상 레이어로 분할됩니다 인코딩 부분에서 풀링 레이어를 사용하여 다운 샘플링을 수행하여 기능을 추출합니다 디코딩에서 입력 컨볼 루션 레이어를 사용하여 입력 이미지에서 업 샘플링 학습 된 정보를 재구성하는 부분

또한 텐서를 직접 결합하는 4 개의 연결 레이어를 모델에 추가했습니다 두 개의 다른 레이어에서 이전의 특정 정보를 쉽게 상속받을 수 있습니다 층 SAS DLPy는 사전 정의 된 U-Net 모델을로드하는 기능을 제공합니다 인코딩을위한 4 개의 풀링 계층 및 디코딩을위한 4 개의 전치 컨볼 루션 계층

축구 경기 데이터 모델에는 3 천 4 백만 개가 넘는 매개 변수가 포함되어 있습니다 SAS DLPy API를 사용하여 계층별로 고유 한 U-Net 모델을 만들 수도 있습니다 병목 현상 레이어의 크기 및 컨볼 루션 수와 같은 기능을 쉽게 결정할 수 있습니다 두 풀링 레이어 사이에 원하는 레이어 아키텍처가 구축되면 교육 데이터를 사용하여 모델을 교육하고 유효성을 검사 할 수 있습니다 검증 데이터 사용

교육이 완료된 후 테스트 데이터를 사용하여 모델의 성능을 테스트 할 수 있습니다 새로운 이미지를 수행합니다 스코어링 메트릭을 확인하거나 예측을 직접 시각화 할 수 있습니다 이 예에서 잘못된 분류 비율은 056 %로 65,536 픽셀 중 약 360 픽셀 만 잘못 레이블이 지정됩니다 두 번째 방법은 간단합니다

여기에 원시 이미지, 주석 및 예측을 나란히 놓고 모델의 성능을 확인하기 위해 모든 것을 쉽게 비교할 수 있습니다 첫 번째 열에는 원시 이미지가 표시되고 가운데 열에는 실제 이미지가 표시됩니다 세 번째 열의 이미지는 예측에서 얻습니다 마지막 두 열 사이에는 약간의 차이 만 있습니다 이는 U-Net 모델을 의미합니다

이 데이터에 매우 효과적이었습니다 이 비디오에서는 SAS DLPy를 사용하여 이미지 세분화 모델을 신속하게 구축하고 이 모델에 대한 교육 및 스코어링 방법 SAS DLPy에는 훨씬 더 많은 기능이 포함되어 있으므로 향후 사용 사례 시청 해주셔서 감사합니다! 안녕하세요, 제 이름은 Xindian Long이고 컴퓨터 비전을위한 딥 러닝 알고리즘을 개발합니다 YOLO, Faster R-CNN, Mask R-CNN 등 SAS Deep Learning for Python (또는 DLPy)은 고급 Python과 함께 제공됩니다 사용자가 이러한 기능을 사용할 수 있도록하는 API

현재 그림 1과 같이 주로 물체 감지 방법에는 두 가지 유형이 있습니다 첫 번째 방법은 단일 단계 방법입니다 이 유형의 방법에서 경계 상자 지역화 및 객체 분류는 하나에서 수행됩니다 단계 YOLO, SSD와 같은 알고리즘이이 범주에 속합니다

두 번째 방법은 다단계 방법입니다 여기에는 두 가지 단계가 있습니다 첫 번째 단계에서 지역 제안 네트워크는 관심있는 직사각형 지역을 찾는 것입니다 객체를 포함 할 가능성이 높은 (또는 ROI) 두 번째 단계에서는 추가 회귀 및 분류를 수행하여 실제로 해당 지역에 개체가 있으며, 그렇다면 범주와 정확한 위치 그리고 모양입니다 Faster R-CNN, R-FCN과 같은 알고리즘이이 범주에 속합니다

첫 번째 범주의 알고리즘은 일반적으로 두 번째 범주의 알고리즘보다 빠릅니다 예를 들어 실시간 성능이 필요한 응용 프로그램이있는 경우 YOLO는 아마도 좋은 선택 Faster R-CNN과 같은 두 번째 범주의 알고리즘은 일반적으로 더 정확합니다 “Faster R-CNN”이라는 이름이 언급 된 다른 알고리즘보다 더 빠르게 실행되는 것은 아닙니다 이리

R-CNN 및 Fast R-CNN 알고리즘보다 이전 버전보다 훨씬 빠릅니다 그림 2는 앵커 박스의 중요한 개념을 보여줍니다 그들은 객체에 사용됩니다 YOLO와 Faster R-CNN의 탐지 알고리즘 이 개념을 이해하는 것이 매우 중요합니다 앵커 상자는 이미지의 여러 위치에있는 추상 상자이며 일반적으로 그리드 패턴

사전 정의 된 모양으로 사전 설정된 개수의 경계 상자를 예측하는 데 사용됩니다 각 위치에서 앵커 상자는 예측 된 위치의 초기 값으로 사용됩니다 모양에 따라 개체 크기 / 모양에 대한 사전 지식이 포함되어 있습니다 그림 2의 이미지에서이 한 위치에 많은 앵커 박스가 있음을 알 수 있습니다 상자마다 모양이 다른 물체를 감지합니다

예를 들어이 이미지에서 빨간색 앵커 상자는 사람을 감지하는 상자입니다 물론 최종적으로 감지 된 물체 모양은 원래 물체와 약간 다를 수 있습니다 알고리즘이 최적화하기 때문에 앵커 박스의 모양 그림 3은 Faster R-CNN 네트워크 아키텍처를 보여줍니다 DLPy를 사용하면 계층별로 구축 할 필요가 없습니다 알고리즘 이해를 돕기 위해 그것에 대해 이야기하고 있습니다

그것의 첫 번째 부분은 백본 네트워크입니다 백본 네트워크에는 일반적으로 많은 회선 레이어와 풀링 레이어가 포함되어 있습니다 입력 이미지에서 기능 맵을 추출합니다 널리 사용되는 백본 네트워크에는 VGG16, ShuffleNet 또는 ResNet 등이 있습니다 응용 프로그램 및 요구 사항에 따라 선택할 수 있습니다

지역 제안 네트워크는 백본 네트워크를 따릅니다 지역 제안 네트워크는 많은 제안 된 관심 지역을 출력합니다 개체를 포함 할 가능성이 높은 창입니다 지역 제안 네트워크는 지역 이전에 두 개의 특수한 컨볼 루션 레이어로 구성됩니다 제안서 계층

지역 제안서 레이어에 대해 사용자가 지정해야하는 중요한 매개 변수는 앵커 박스는 제안 될 수있는 형태의 범위를 대략 결정합니다 그 후에는 ROI 풀링 레이어입니다 관심 영역을 백본 네트워크 출력 인 페더 맵에 매핑합니다 창 내부의 픽셀 값을 추출하고 다른 크기의 하위 이미지를 형성합니다 ROI 풀링 레이어는 모든 하위 이미지의 크기를 같은 크기로 조정합니다

이것은 기능 맵의 모든 채널에 대해 수행됩니다 따라서 각 ROI마다 3D 데이터 배열을 얻습니다이를 텐서라고합니다 ROI 풀링 레이어의 출력에는 제안 된 각 영역마다 하나씩 많은 텐서가 포함됩니다 관심의

네트워크의 마지막 부분은 각 텐서와 ROI에서 독립적으로 작동하며 하나를 만듭니다 각 ROI에 대한 결정 세트 먼저, 두 개의 완전 연결된 레이어가 있으며 분류간에 공유됩니다 그리고 경계 상자 회귀 그런 다음 분류 헤더와 경계 상자 회귀 헤더가 있으며 각 헤더 앞에 하나의 완전히 연결된 레이어로 각각

우리 시스템에서 분류 헤더와 바운딩 박스 회귀 헤더는 모두 FastRCNN 계층에서 구현됩니다 빠른 R-CNN 네트워크 아키텍처에 대한 간략한 소개와 알고리즘의 방법 공장 이제 노트북을 볼 수 있습니다 먼저 CAS 서버에 연결합니다 조치 세트를로드하십시오

그리고 CAS 라이브러리를 빌드하십시오 그런 다음 DLPy 함수를 호출하여 앞에서 설명한 모델 아키텍처를 빌드해야합니다 Faster_RCNN 그런 다음 데이터 세트를로드하고 훈련 세트와 데이터 세트로 분할합니다 여기서 데이터 셋과 라벨을 그래픽으로 시각화하고 이미지와 경계를 볼 수 있습니다 상자 및 레이블

네트워크 교육을 위해 사전 훈련 된 가중치를로드하고 대상 열을 정의한 다음 가중치를 계속 최적화하려면 fit 함수를 호출하십시오 그런 다음 predict 함수를 호출하여 객체 위치와 범주를 예측할 수 있습니다 마지막으로 탐지 결과를 시각화 할 수 있습니다 이미지에서 감지 된 개체 주위에 상자가 그려져 있음을 알 수 있습니다 객체 카테고리 자신감뿐만 아니라 보여줍니다

이미지에서 감지 된 양을보십시오 이것이 데모의 끝입니다 DLPy와이 예제를 사용해보십시오 시청 해주셔서 감사합니다! 안녕하세요, Guixian Lin입니다 저는 SAS의 컴퓨터 비전 딥 러닝 개발자입니다

여기에 DLPy로 알려진 SAS 고급 딥 러닝 Python API를 사용하여 가벼우면서도 강력한 컨볼 루션 뉴럴 네트워크를 쉽게 구축하고 훈련 할 수 있습니다 이미지 분류 문제에 대한 (또는 CNN) 이 예에서는 의류를 분류합니다 VGG16 및 ResNet50과 같은 인기있는 CNN은 이미지 분류에 널리 사용되었습니다 뛰어난 정확성을위한 작업 그러나 자원이 제한된 모바일 및 에지 장치의 경우 이러한 CNN은 종종 너무 유용하게 큰

얼굴 인식 및 자율 주행 차와 같은 실시간 애플리케이션에는 충분히 빠르지 않습니다 다음으로 세 가지 효율적인 CNN 인 MobilenetV1, ShufflenetV1 및 MobileNetV2를 소개합니다 이 인기 CNN보다 훨씬 작지만 정확도는 비슷합니다 CNN의 핵심 구성 요소는 컨볼 루션 레이어라는 것을 알고 있습니다 효율적인 MobileNet 및 ShuffleNet의 기본 아이디어는 표준 컨볼 루션을 대체하는 것입니다

가벼운 컨볼 루션 그림 21은 표준 컨벌루션과 깊이 분리형의 차이점을 보여줍니다 깊이 컨벌루션과 포인트 컨벌루션으로 구성된 컨벌루션 맨 윗줄에서 각 블록은 컨벌루션 필터를 나타내며 총 c2 필터가 있습니다

각 컨볼 루션 필터는 공간 정보를 필터링하고 채널 정보를 결합합니다 한 번의 단계로 입력 기능 이를 위해서는 각 컨볼 루션 필터의 깊이가 입력 피처의 깊이와 일치해야합니다 여기서 깊이는 c1입니다 레이어가 깊어 질수록 피처 맵의 깊이가 더 커지는 경우가 종종 있습니다

이러한 인기있는 CNN이 매우 큰 이유입니다 두 번째 행은 깊이 컨벌루션이 공간 정보를 채널별로 필터링 함을 보여줍니다 즉, 각 깊이 방향 컨볼 루션의 깊이는 레이어의 깊이에 관계없이 항상 1입니다 입니다 깊이 컨볼 루션은 입력 채널 만 필터링하므로 출력을 결합해야합니다

유용한 기능을 생성하는 기능 이것은 커널과의 표준 컨볼 루션 인 포인트 컨벌루션으로 수행 할 수 있습니다 1 회 1 회 표준 컨벌루션을 깊이 컨벌루션으로 교체 한 다음 점별 컨볼 루션에서 유사한 방식으로 피쳐와 패턴을 추출 할 수 있지만 모델 크기는 극적으로 감소했습니다 그림 22는 그룹 컨볼 루션을 설명합니다

채널을 여러 그룹으로 나누고 각각의 표준 컨볼 루션을 적용합니다 그룹 예를 들어 g 개의 그룹이있는 경우 모델 크기를 1 / g의 차수로 줄일 수 있습니다 그림 23은 MobileNetV1, ResNet50, ShuffleNetV1 및 MobileNetV2의 빌딩 블록을 보여줍니다

MobileNetV1의 경우 아키텍처는 VGG와 유사합니다 VGG의 표준 컨벌루션을 경량 깊이 컨볼 루션으로 대체합니다 포인트 컨벌루션이 뒤 따른다 ResNet은 종종 ResNet 블록으로 인해 VGG보다 성능이 우수하기 때문에 ShuffleNetV1 MobileNetV2는이 아이디어를 빌 렸습니다 둘 다 ResNet 블록의 표준 컨벌루션을 깊이 컨벌루션으로 대체하여 모델 크기

ShuffleNetV1은 포인트 컨벌루션을 그룹 컨볼 루션으로 대체하여 모델 크기 이제 경량 컨볼 루션이 더 작은 모델을 빌드하는 데 유용하다는 것을 이해합니다 및 ShuffleNet 다음으로 의류 소매 제품 데이터에 대한 성능을 보여 드리겠습니다 먼저 데이터 세트를로드하고 일부 이미지를 표시합니다

여기에는 6 개의 수업이 있으며 약 2,100 개의 이미지가 있습니다 다음으로, 우리는 훈련과 평가를 위해 무작위로 데이터를 훈련과 테스트로 나누었습니다 다른 CNN SAS DLPy는 다양한 사전 구축 네트워크 아키텍처를 제공합니다 매우 효과적입니다

여기서는 CNN을 구축하는 데 사용할 것입니다 MobileNetV1 아키텍처의 경우 다음과 같은 기본 매개 변수를 지정합니다 클래스 수 입력 이미지를 정규화하기위한 오프셋 및 스케일로 분류 될 수있다 또한 임의 뒤집기와 자르기를 사용하여 입력 이미지를 보강합니다 MobileNetV1 모델에는 축소 매개 변수 인 alpha가있어 출력 채널 수 옵티 마이저를 설정 한 후 모델을 학습 할 준비가되었습니다

훈련 로그는 많은 유용한 정보를 알려줍니다 여기에서 모델 매개 변수의 수가 8 백만임을 알 수 있습니다 대상에는 6 개의 클래스가 있습니다 훈련 손실과 오류로 반복 기록을 그릴 수 있습니다

16 오류 후 훈련 오류가 감소하고 수렴 함을 보여줍니다 최종 교육 오류는 약 54 %입니다 다음으로 테스트 데이터에서 모델 성능을 평가합니다 MobileNetV1 모델의 오류율은 5

3 %입니다 그거 좋네! 올바른 예측과 잘못된 예측을 통해 모델을 확인함으로써, 모델이 패턴을 배우고 합리적인 예측을한다는 것을 알 수 있습니다 다음으로 비슷한 단계를 따라 다른 CNN (ShuffleNetV1, MobileNetV2, 및 ResNet50 자세한 내용은 노트북을 참조하십시오 이 모델의 테스트 오류는 다음과 같이 요약됩니다

탁자 이 3 가지 경량 모델은 일반 모델보다 매개 변수가 훨씬 적습니다 ResNet50은이 소매 데이터의 정확성을 향상시킵니다 이 비디오에서 SAS DLPy를 사용하면 이러한 작은 크기를 빠르게 구축하고 훈련 할 수 있습니다 그러나 효율적인 CNN

앞으로의 작업에 이러한 모델을 적용 해 볼 수 있기를 바랍니다 시청 해주셔서 감사합니다! 안녕하세요 제 이름은 웨인 톰슨입니다 저는 SAS의 데이터 과학자이며 딥 러닝과 함께 일할 수있는 특권이 있습니다 R & D 팀 컴퓨터 용 Python 및 DLPy 및 SAS Viya를 사용한 딥 러닝을위한 비디오 시리즈입니다

전망 이 특정 비디오에서는 패션에 태그를 지정하기 위해 멀티 태스킹 딥 러닝 모델을 훈련하고 싶습니다 품목 이제 기계 학습에서 종종 이미지를 가져 와서 레이블을 지정하고 단일 이미지를 만듭니다 옷의 종류를 분류하는 것과 같이지도 학습을 통해 하나의 작업을 분류합니다 드레스인가요? 티셔츠인가요? 벨트인가요? 그리고 색상과 같은 다른 의미 속성이 있고 입력 데이터에 레이블을 지정하면 색상을 분류하기 위해 회선 신경망과 같은 다른 것을 훈련하십시오

종종 고려해야 할 장점과 장점 중 하나는 단일 모델을 훈련시키는 것입니다 이 두 가지 과제를 동시에 동시에 배우는 것입니다 이를 유용한 정보를 활용하는 패러다임 인 멀티 태스킹 학습이라고합니다 전체적인 일반화를 향상시키기 위해 여러 관련 작업에서 즉, 모델이 더 잘 맞는 경향이 있습니다 한 작업에 대한 정보가 다른 작업을 예측하는 데 신뢰성을 부여 할 수 있기 때문에 좋습니다

단일 모델이 있으므로 두 모델을 사용하는 것보다 배포가 훨씬 쉽습니다 또는 더 많은 모델 따라서보다 쉽게 ​​관리하고 생산할 수 있습니다 시작하기 전에 멀티 태스킹 학습은 매우 강력합니다 자율 주행 차와 같은 많은 응용 분야에 사용됩니다

영어로 된 문서 모음이 있다고 가정 해 봅시다 프랑스어, 독일어 및 이탈리아어로 번역하고 싶습니다 거기에는 동시에 훈련하는 세 가지 작업이 있습니다 이제이 예에서는 이미 CAS 세션을 시작했습니다 DLPy를로드했으며 CAS 서버에 연결했습니다

가장 먼저 보여 드리고 싶은 것은 디스크에서 이미지를로드하고로드하는 방법입니다 이 예제에서는 하위 디렉토리에서 읽은 후 레이블을 재귀 적으로 가져옵니다 따라서 실제로 디스크에서 데이터를로드하여 메모리로 읽어들입니다 서브 디렉토리에서 레이블을 당기십시오 다음으로하는 일은 간단한 빈도 수이며 데이터가 상당히 균형을 이루고 있음을 알 수 있습니다 모든 작업에서 332 개에서 386 개의 관측치가 있습니다

이런 종류의 균형을 가질 필요는 없으며 분명히 콜스 나 메이 시즈, 우리는 더 많은 관측을 할 것이지만 이것은 간단한 데모입니다 이제 멀티 태스킹 딥 러닝을 수행하는 데있어 가장 까다로운 부분 중 하나는 작업 레이블 자체 이제 내가하고있는 첫 번째 일은 Pandas 데이터 프레임을 사용하고 getDummies를 단순히 이진 지표를 만듭니다 딥 러닝 패키지에는 정말 강력한 것이 있습니다 SAS 함수 컴파일러입니다

이를 사용하여 자신의 손실 함수를 찾을 수 있습니다 여기에서는 계산 된 vars를 사용하여 조건부로 추가 작업을 조건부로 정의하고 있습니다 여성, 의복의 조화는 무엇이며, 나는 그것을 다른 사람들과 다시 합류합니다 데이터 여기 간단한 머리를보고 몇 가지 관찰 만 살펴보면 이제 9 개의 총 작업이 동시에 진행되고 있음을 알 수 있습니다

여자를위한 것이 든 아니든 자, 여기에 이미지를 보여 드리는 예가 있습니다 그들이 어떻게 생겼는지 딥 러닝의 많은 머신 러닝 문제와 마찬가지로 데이터 크기도 조정합니다 200×200으로 설정하고 CAS 서버의 모든 작업자 노드에서 데이터를 섞습니다 여기서 20 %의 샘플을 작성하고 있음을 명심하십시오 이것은 홀드 아웃 데이터 세트 테스트이며, 나머지 80 %의 데이터를 사용하여 학습합니다

에 모델 이제이 시점에서 직접 비순환 그래픽 인 기본 아키텍처를 정의하겠습니다 네트워크를 위해 그리고 DL Plot을 사용하여이를 수행하고 있습니다 입력 레이어, 컨볼 루션 레이어, 배치 규범 풀링 및 밀집 레이어가 있습니다

그러나이 네트워크 플롯을 보면 기본적으로 하나의 아키텍처가 있음을 알 수 있습니다 그리고 그 아키텍처는 우리가 시도하는 모든 결과 작업과 공유됩니다 예측하십시오 모든 작업에 대해 동일한 네트워크를 가질 필요는 없습니다 이것은 기본 예이며 여기에서 실제로 잘 작동합니다 예측하려는 각 작업에 대해 서로 다른 네트워크 아키텍처를 가질 수 있습니다

아키텍처를 정의한 후 모델을 학습하려고합니다 이 예에서는 운동량과 같은 매우 기본적인 최적화 방법을 사용하고 있습니다 60 개의 EPICS를하고 있는데 훈련 옵션을 정의하고 싶습니다 이제 partition이 0 인 곳을 사용하고 있습니다 그것은 훈련 데이터의 80 % 만 가져올 것입니다

모델 무게 등 나중에 득점을 할 수 있습니다 GPU에서도 이것을 훈련하고 있습니다 딥 러닝의 곱셈 특성으로 인해 네트워크를 더 빨리 훈련시킬 수 있습니다 모델과 더 빠른 실험

다양한 최적화 방법을 시도해보고 궁극적으로 최상의 모델을 얻을 수 있습니다 더 빨리 여기에 약간의 출력이 있지만, 내가 시도한 것은 이것을 이것에 요약합니다 반복 플롯 우리가 60 번의 EPICS를했다는 것을 기억하십시오 약 13 ~ 14 개의 EPICS 어딘가에서 쇠퇴와 상실과 시대를보고 있습니다

모델이 실제로 안정화 된 것 같습니다 나는 실제로 그것을 자랑스럽게 생각합니다 좋아 보인다 테스트 데이터와 비교하여 먼저 확인하겠습니다 이 모델은 훈련을 위해 개발되었습니다 이제 데이터의 20 %를 부분 집합 화하겠습니다

훈련에서 절약 한 모델 가중치를 사용하여 해당 데이터의 점수를 매길 것입니다 그리고 여기서 볼 수 있듯이 모든 작업에 대해 평균 제곱 오차가 매우 낮습니다 좀 더 세분화되고 실제로 혼동 행렬과 같은 것을보고 모델이 테스트 데이터에 얼마나 잘 맞는지 그런데이 예측값 p_는 테스트 데이터에 대한 예측값을 나타냅니다 내가 훈련 한 모델에 나는 판다에서 약간의 일을한다 파이썬을 DLPy와 똑바로 혼합하는 것이 좋습니다

그리고 9 가지 작업 각각에 대한 분류 행렬 인 혼동 행렬을 얻습니다 행은 실제 값을 나타내고 열은 예상 값을 나타냅니다 벗어난 대각선에서, 우리가 잘못한 곳입니다 여기에 검은 색은 4 개, 파란색은 4 개, 빨간색은 1 개, 우리는 다른 수업을 살펴보고 정말 잘하고 있습니다 마지막으로, SAS에서 딥 러닝의 비밀 소스 조각 중 하나는 ASTORE

여기에서 실제로 모델을 이진 파일에 저장하여 배치 스코어링을 수행 할 수 있습니다 스트리밍 분석을 사용하여 점수를 매기거나 다른 모델과의 작업을 위해 모델을 ONNX로 가져 오기 PyTorch 및 TensorFlow와 같은 패키지 여기에이 작업을 완료하고 모델을 저장했으며 다음 비디오에서는 실제로 스트리밍 분석을 사용하여이 모델의 점수를 매기는 방법을 살펴 보겠습니다 결론적으로, 멀티 태스킹 딥 러닝은 실제로 여러 개를보고 예측할 수있게합니다 동시에 작업

DLPy를 사용하면 간단합니다 다음 비디오에서 to기를 기대합니다 Python 및 SAS Viya Computer Vision Series를 사용한 딥 러닝에 오신 것을 환영합니다 제 이름은 웨인 톰슨입니다 저는 SAS의 데이터 과학자이며 SAS Deep과 함께 일합니다

학습 R & D 팀 이 비디오에서는 DLPy의 자매 인 ESPPy를 사용하여 멀티 태스킹을하고 싶습니다 딥 러닝 모델 이제 이미 멀티 태스킹 딥 러닝 모델을 훈련했습니다 이미지를 모아서 9 가지 작업을 예측하고 동시에 수행 할 수있는 모델을 개발했습니다

이 예제에서하고 싶은 것은 ESPPy를 사용하는 것입니다 또한 SAS 이벤트 스트림 처리 창에 연결할 수 있습니다 프로젝트를 구축하고 창과 상호 작용하며 모델을 배포합니다 SAS Event Stream Processing은 정말 멋집니다 여기에는 클러스터링에서 시계열 분석에 이르는 여러 스트리밍 작업이 포함됩니다

감정 분석 또는 공동 필터링과 같은 작업도 수행 할 수 있습니다 하지만이 데모에서는 이미지 처리 창과 온라인 창을 사용하겠습니다 딥 러닝 멀티 태스킹 모델을 배포 할 수 있습니다 이제 가장 먼저해야 할 일은 실제로 프로젝트를 만드는 것입니다 이 멀티 태스크를 호출하고 실제로이 셀을 실행하겠습니다

그리고 다음으로하고 싶은 것은 프로세스 흐름이나 관로 실제로 이미지를 읽으려면 소스 창이 필요합니다 우리가 일부 교육에서했던 것처럼 모델을 훈련 할 때마다 일반적으로 이미지 따라서 점수를 매길 때 20에서 20으로 크기를 조정하고 이미지 처리를 사용하겠습니다 그렇게하는 창

다음은 모델을 가져와야한다는 것입니다 모델을 학습하고 ASTORE로 저장 했으므로 모델 리더가 있습니다 그것을 읽을 수있는 창 그리고 실시간으로 점수를 생성하는 득점 창이 있습니다 그리고 보면, 프로젝트는 다음과 같습니다

나는 데이터를 읽고 이미지를 표준화하고 점수를 생성합니다 그런 다음 실제로 프로젝트를로드하고 몇 개의 출력 테이블을 설정하겠습니다 여기에 쓸 것입니다 이제 첫 번째 노트북을 사용하여 실제로 노트북을 정의하기 때문에 별도의 노트북이 있습니다 ESP 프로젝트

이 책에서는 간단히 게시하고 점수 매기기 프로세스를 시작하겠습니다 그래서 저는 팔고이 모든 것을 실행합니다 실제로 모델의 점수를 매 깁니다 다시 여기로 돌아가서 이제 이벤트 스트림 처리 엔진을 사용하겠습니다 득점

실제로 예측 확률과 함께 태그가 지정되고 라벨이 지정된 이미지가 표시되는 것을 볼 수 있습니다 작동하는 예제를 제공하는 작은 세트입니다 수면 시간은 03입니다 이벤트 스트림 처리 엔진은 실제로 초당 최대 50 프레임을 수행 할 수 있습니다

시원한 이 데모에서는 이미 멀티 태스킹 학습을 위해 개발 된 모델을 검색을 용이하게하기 위해 스트리밍 분석을 사용하여 배포 할 수있었습니다 콜이나 메이시 같은 사람 교육용 DLPy와 함께 ESPPy를 사용하면 실제로 쉽게 수행 할 수 있습니다

SAS Demo | Deep Learning with Python (DLPy) and SAS Viya for Computer Vision

안녕하세요, 저는 Susan Kahler이고 인공 지능과 기계 학습에 대한 책임이 있습니다 SAS에서

이 비디오에서는 SAS Deep Learning Python API 또는 DLPy에 대해 간략하게 설명합니다 이 시리즈는 DLPy가 지원하는 최신 컴퓨터 비전 모델에 중점을 둘 것입니다 DLPy를 통해 Python에 익숙한 데이터 과학자는 딥 러닝을 활용할 수 있습니다 SAS Viya의 컴퓨터 비전 기능 설명의 링크를 사용하여 주제로 직접 이동하십시오

첫 번째 섹션에서는 DLPy와 함께 Functional API를 활용하여 빌드하는 방법을 살펴 봅니다 ResNet 모델을 포함한 기능 추출을위한 복잡한 모델 다음으로 축구를 추적하기 위해 U-Net 모델을 사용하여 이미지 세분화를 수행하는 방법을 볼 수 있습니다 선수 그런 다음 DLPY가 VGG16을 백본으로 사용하여 Faster R-CNN을 사용하여 객체 감지를 지원하는 방법을 살펴 보겠습니다 회로망

스위칭 기어, DLPy가 어떻게 MobileNet 및 ShuffleNet을 지원하고 성능을 비교하는지 살펴 보겠습니다 ResNet50 모델이있는 모델 중 하나입니다 마지막으로 훈련과 추론 모두에서 멀티 태스킹 학습이 수행되는 방법을 살펴 보겠습니다 제품 권장 사항에 대해서는 소매 도메인에서 추론을 위해 Python 용 이벤트 스트림 처리 패키지 인 SAS ESPPy를 사용합니다 DLPy에는 Python 3 이상 및 SAS Viya 34가 필요합니다

또한 Analytics 전송을위한 SAS 스크립팅 래퍼 또는 SWAT 패키지가 필요합니다 DLPy는 python-dlpy 디렉토리의 SAS 소프트웨어 용 GitHub에서 사용할 수 있습니다 이 비디오에 실린 Jupyter 노트북도 해당 위치에 있습니다 DLPy의 최신 컴퓨터 비전 기능에 대해 배우고 즐기시기 바랍니다 스스로를 위해

안녕하세요, 저는 SAS의 데이터 과학자 인 Wenyu이며 딥 러닝과 컴퓨터에 중점을 둡니다 비전 API 이 비디오에서는 고급 Python API, Python을 사용한 SAS Deep Learning 또는 (DLPy) 이 비디오의 목적은 SAS에서 기능적 API를 활용하는 방법을 보여주는 것입니다 복잡한 모델을 만들기위한 DLPy 보다 유연한 방법을 제공하기 때문에 Functional API에 중점을두고 있습니다

Keras Functional API와 매우 유사한 복잡한 모델을 구현하십시오 Sequential API는 공유 모델을 만들 수 없다는 점에서 제한적입니다 레이어 또는 여러 입력 또는 출력이 있습니다 입력 및 출력이 여러 개인 모델이 Functional API를 사용하는 좋은 예입니다 간단한 6 단계로 SAS DLPy를 사용하여 모델을 생성 해 봅시다

텐서를 반환하는 Input ()에 의해 두 개의 텐서 (회색조 이미지와 RGB 이미지)를 정의합니다 목적 그런 다음 그레이 스케일 이미지가 두 개의 컨볼 루션 브랜치에 공급됩니다 이 모델에는 또 다른 입력 컬러 이미지가 있습니다 그런 다음 이미지의 특징을 추출하기 위해 컨벌루션 연산이 사용됩니다

세 개의 텐서가 연결되고 OutputLayer_1에서 분류를 계산하는 데 사용됩니다 손실 또한 모델은 OutputLayer_2를 통해 감독됩니다 그런 다음 정의 된 입력 텐서 및 출력 텐서를 Model () 함수에 전달합니다 마지막으로 compile ()을 호출하여 네트워크를 컴파일합니다

여기서는 모델의 요약과 네트워크 그래프를 보여줍니다 레이어 연결 이 다음 모델에서는 ResNet 유사 모델을 작성하는 방법을 고려하십시오 이 작업에서는 돌고래 또는 기린을 포함하는지 여부에 따라 이미지를 분류합니다 먼저 각각의 직후에 배치 정규화를 채택하는 회선 블록을 정의합니다

회선 다음으로, 나머지 블록 내에서 바로 가기 연결을 사용하여 입력 기능을 연결합니다 컨볼 루션의 출력에 4 개의 누적 잔차 블록이 있으며 네트워크는 전체 평균 풀링으로 끝납니다 다음은 4 개의 잔차 블록이 순차적으로 누적되고 전체 평균이 표시되는 모델의 그래프입니다 풀링

모델이 빌드되면 ImageTable API에 의해 데이터가로드되고 모델을 학습 할 수 있습니다 순차적 인 모델처럼 SAS DLPy API를 사용하면 사전 훈련 된 여러 출력 모델을보다 쉽게 ​​정의 할 수 있습니다 기능 추출기로서의 백본 다음 경우에는 가중치와 함께 ResNet18 모델을로드합니다 다음으로로드 된 모델을 기능 모델로 변환하고 원래 작업 계층을 삭제합니다 이를 위해 to_functional_model ()을 사용하고 stop_layers를 지정합니다

그래프 이동을 중지하는 레이어 즉, stop_layers와 stop_layers가 뒤에 오는 모든 레이어가 제거됩니다 기능적 모델 그런 다음 OutputLayer와 Keypoints Layer라는 두 가지 새로운 작업 계층을 추가합니다 그래프 하단에서 새로 추가 된 두 개의 레이어를 볼 수 있습니다

이 비디오에서는 DLPy를 사용하여 여러 입력 및 출력을 가진 모델을 만든 다음 ResNet과 유사한 모델이며 마지막으로 순차 모델을 기능 모델로 변환했습니다 시청 해 주셔서 감사합니다 안녕하세요, 저는 Maggie Du이고 SAS의 기계 학습 개발자이며 딥 러닝 및 컴퓨터 비전 API 이 비디오에서는 DLPy라고하는 SAS 고급 딥 러닝 Python API를 사용하여 게임에서 축구 선수를 추적하는 이미지 분할 문제를 해결하는 방법을 보여줍니다 각 플레이어에 대한 통계를 제공합니다

코치에 의한 경기 후 분석과 같은 여러 목적으로 통계를 사용할 수 있습니다 팬들에게 증강 게임 시청 경험을 제공합니다 이미지 분할은 이미지를 의미 적으로 의미있는 부분으로 분할하려고 시도합니다 각 부분을 사전 정의 된 레이블 중 하나로 분류합니다 따라서 픽셀 수준에서 이미지를 이해하는 새로운 방법입니다

예를 들어이 이미지에는 개, 고양이 및 배경의 세 가지 클래스가 있습니다 따라서 우리는 각 픽셀에 어떤 클래스가 속하는지를 나타내는 특정 색상을 부여합니다 전반적으로 각 객체의 정확한 경계를 얻을 수 있습니다 시작하자 필요한 모듈을로드 한 후 데이터 세트를로드하려고합니다

우리는 축구 경기의 이미지를 예로 들어 170 이미지가 포함 된 모두 256 * 256으로 조정되었습니다 다음은 원시 이미지와 해당 주석의 시각화입니다 이미지에는 축구 선수, 축구 공 및 배경의 세 가지 다른 객체가 있습니다 따라서 주석 이미지에는 세 가지 색상이 포함됩니다 그런 다음 데이터 세트를 학습 데이터, 유효성 검사 데이터 및 테스트 데이터로 무작위로 나눕니다

다음으로 SAS DLPy를 사용하여 U-Net 모델을 구축하려고합니다 이 대칭 모델은 인코딩과 디코딩의 두 부분으로 볼 수 있습니다 기능 크기가 가장 작은 레이어 인 병목 현상 레이어로 분할됩니다 인코딩 부분에서 풀링 레이어를 사용하여 다운 샘플링을 수행하여 기능을 추출합니다 디코딩에서 입력 컨볼 루션 레이어를 사용하여 입력 이미지에서 업 샘플링 학습 된 정보를 재구성하는 부분

또한 텐서를 직접 결합하는 4 개의 연결 레이어를 모델에 추가했습니다 두 개의 다른 레이어에서 이전의 특정 정보를 쉽게 상속받을 수 있습니다 층 SAS DLPy는 사전 정의 된 U-Net 모델을로드하는 기능을 제공합니다 인코딩을위한 4 개의 풀링 계층 및 디코딩을위한 4 개의 전치 컨볼 루션 계층

축구 경기 데이터 모델에는 3 천 4 백만 개가 넘는 매개 변수가 포함되어 있습니다 SAS DLPy API를 사용하여 계층별로 고유 한 U-Net 모델을 만들 수도 있습니다 병목 현상 레이어의 크기 및 컨볼 루션 수와 같은 기능을 쉽게 결정할 수 있습니다 두 풀링 레이어 사이에 원하는 레이어 아키텍처가 구축되면 교육 데이터를 사용하여 모델을 교육하고 유효성을 검사 할 수 있습니다 검증 데이터 사용

교육이 완료된 후 테스트 데이터를 사용하여 모델의 성능을 테스트 할 수 있습니다 새로운 이미지를 수행합니다 스코어링 메트릭을 확인하거나 예측을 직접 시각화 할 수 있습니다 이 예에서 잘못된 분류 비율은 056 %로 65,536 픽셀 중 약 360 픽셀 만 잘못 레이블이 지정됩니다 두 번째 방법은 간단합니다

여기에 원시 이미지, 주석 및 예측을 나란히 놓고 모델의 성능을 확인하기 위해 모든 것을 쉽게 비교할 수 있습니다 첫 번째 열에는 원시 이미지가 표시되고 가운데 열에는 실제 이미지가 표시됩니다 세 번째 열의 이미지는 예측에서 얻습니다 마지막 두 열 사이에는 약간의 차이 만 있습니다 이는 U-Net 모델을 의미합니다

이 데이터에 매우 효과적이었습니다 이 비디오에서는 SAS DLPy를 사용하여 이미지 세분화 모델을 신속하게 구축하고 이 모델에 대한 교육 및 스코어링 방법 SAS DLPy에는 훨씬 더 많은 기능이 포함되어 있으므로 향후 사용 사례 시청 해 주셔서 감사합니다! 안녕하세요, 제 이름은 Xindian Long이고 컴퓨터 비전을위한 딥 러닝 알고리즘을 개발합니다 YOLO, Faster R-CNN, Mask R-CNN 등 SAS Deep Learning for Python (또는 DLPy)은 고급 Python과 함께 제공됩니다 사용자가 이러한 기능을 사용할 수 있도록하는 API

현재 그림 1과 같이 주로 물체 감지 방법에는 두 가지 유형이 있습니다 첫 번째 방법은 단일 단계 방법입니다 이 유형의 방법에서 경계 상자 지역화 및 객체 분류는 하나에서 수행됩니다 단계 YOLO, SSD와 같은 알고리즘이이 범주에 속합니다

두 번째 방법은 다단계 방법입니다 여기에는 두 가지 단계가 있습니다 첫 번째 단계에서 지역 제안 네트워크는 관심있는 직사각형 지역을 찾는 것입니다 객체를 포함 할 가능성이 높은 (또는 ROI) 두 번째 단계에서는 추가 회귀 및 분류를 수행하여 실제로 해당 지역에 개체가 있으며, 그렇다면 범주와 정확한 위치 그리고 모양입니다 Faster R-CNN, R-FCN과 같은 알고리즘이이 범주에 속합니다

첫 번째 범주의 알고리즘은 일반적으로 두 번째 범주의 알고리즘보다 빠릅니다 예를 들어 실시간 성능이 필요한 응용 프로그램이있는 경우 YOLO는 아마도 좋은 선택 Faster R-CNN과 같은 두 번째 범주의 알고리즘은 일반적으로 더 정확합니다 “Faster R-CNN”이라는 이름이 언급 된 다른 알고리즘보다 더 빠르게 실행되는 것은 아닙니다 이리

R-CNN 및 Fast R-CNN 알고리즘보다 이전 버전보다 훨씬 빠릅니다 그림 2는 앵커 박스의 중요한 개념을 보여줍니다 그들은 객체에 사용됩니다 YOLO와 Faster R-CNN의 탐지 알고리즘 이 개념을 이해하는 것이 매우 중요합니다 앵커 상자는 이미지의 여러 위치에있는 추상 상자이며 일반적으로 그리드 패턴

사전 정의 된 모양으로 사전 설정된 개수의 경계 상자를 예측하는 데 사용됩니다 각 위치에서 앵커 상자는 예측 된 위치의 초기 값으로 사용됩니다 모양에 따라 개체 크기 / 모양에 대한 사전 지식이 포함되어 있습니다 그림 2의 이미지에서이 한 위치에 많은 앵커 박스가 있음을 알 수 있습니다 상자마다 모양이 다른 물체를 감지합니다

예를 들어이 이미지에서 빨간색 앵커 상자는 사람을 감지하는 상자입니다 물론 최종적으로 감지 된 물체 모양은 원래 물체와 약간 다를 수 있습니다 알고리즘이 최적화하기 때문에 앵커 박스의 모양 그림 3은 Faster R-CNN 네트워크 아키텍처를 보여줍니다 DLPy를 사용하면 계층별로 구축 할 필요가 없습니다 알고리즘 이해를 돕기 위해 그것에 대해 이야기하고 있습니다

그것의 첫 번째 부분은 백본 네트워크입니다 백본 네트워크에는 일반적으로 많은 회선 레이어와 풀링 레이어가 포함되어 있습니다 입력 이미지에서 기능 맵을 추출합니다 널리 사용되는 백본 네트워크에는 VGG16, ShuffleNet 또는 ResNet 등이 있습니다 응용 프로그램 및 요구 사항에 따라 선택할 수 있습니다

지역 제안 네트워크는 백본 네트워크를 따릅니다 지역 제안 네트워크는 많은 제안 된 관심 지역을 출력합니다 개체를 포함 할 가능성이 높은 창입니다 지역 제안 네트워크는 지역 이전에 두 개의 특수한 컨볼 루션 레이어로 구성됩니다 제안서 계층

지역 제안서 레이어에 대해 사용자가 지정해야하는 중요한 매개 변수는 앵커 박스는 제안 될 수있는 형태의 범위를 대략 결정합니다 그 후에는 ROI 풀링 레이어입니다 관심 영역을 백본 네트워크 출력 인 페더 맵에 매핑합니다 창 내부의 픽셀 값을 추출하고 다른 크기의 하위 이미지를 형성합니다 ROI 풀링 레이어는 모든 하위 이미지의 크기를 같은 크기로 조정합니다

이것은 기능 맵의 모든 채널에 대해 수행됩니다 따라서 각 ROI마다 3D 데이터 배열을 얻습니다이를 텐서라고합니다 ROI 풀링 레이어의 출력에는 제안 된 각 영역마다 하나씩 많은 텐서가 포함됩니다 관심의

네트워크의 마지막 부분은 각 텐서와 ROI에서 독립적으로 작동하며 하나를 만듭니다 각 ROI에 대한 결정 세트 먼저, 두 개의 완전 연결된 레이어가 있으며 분류간에 공유됩니다 그리고 경계 상자 회귀 그런 다음 분류 헤더와 경계 상자 회귀 헤더가 있으며 각 헤더 앞에 하나의 완전히 연결된 레이어로 각각

우리 시스템에서 분류 헤더와 바운딩 박스 회귀 헤더는 모두 FastRCNN 계층에서 구현됩니다 빠른 R-CNN 네트워크 아키텍처에 대한 간략한 소개와 알고리즘의 방법 공장 이제 노트북을 볼 수 있습니다 먼저 CAS 서버에 연결합니다 조치 세트를로드하십시오

그리고 CAS 라이브러리를 빌드하십시오 그런 다음 DLPy 함수를 호출하여 앞에서 설명한 모델 아키텍처를 빌드해야합니다 Faster_RCNN 그런 다음 데이터 세트를로드하고 훈련 세트와 데이터 세트로 분할합니다 여기서 데이터 셋과 라벨을 그래픽으로 시각화하고 이미지와 경계를 볼 수 있습니다 상자 및 레이블

네트워크 교육을 위해 사전 훈련 된 가중치를로드하고 대상 열을 정의한 다음 가중치를 계속 최적화하려면 fit 함수를 호출하십시오 그런 다음 predict 함수를 호출하여 객체 위치와 범주를 예측할 수 있습니다 마지막으로 탐지 결과를 시각화 할 수 있습니다 이미지에서 감지 된 개체 주위에 상자가 그려져 있음을 알 수 있습니다 객체 카테고리 자신감뿐만 아니라 보여줍니다

이미지에서 감지 된 양을보십시오 이것이 데모의 끝입니다 DLPy와이 예제를 사용해보십시오 시청 해 주셔서 감사합니다! 안녕하세요, Guixian Lin입니다 저는 SAS의 컴퓨터 비전 딥 러닝 개발자입니다

여기에 DLPy로 알려진 SAS 고급 딥 러닝 Python API를 사용하여 가벼우면서도 강력한 컨볼 루션 뉴럴 네트워크를 쉽게 구축하고 훈련 할 수 있습니다 이미지 분류 문제에 대한 (또는 CNN) 이 예에서는 의류를 분류합니다 VGG16 및 ResNet50과 같은 인기있는 CNN은 이미지 분류에 널리 사용되었습니다 뛰어난 정확성을위한 작업 그러나 자원이 제한된 모바일 및 에지 장치의 경우 이러한 CNN은 종종 너무 유용하게 큰

얼굴 인식 및 자율 주행 차와 같은 실시간 애플리케이션에는 충분히 빠르지 않습니다 다음으로 세 가지 효율적인 CNN 인 MobilenetV1, ShufflenetV1 및 MobileNetV2를 소개합니다 이 인기 CNN보다 훨씬 작지만 정확도는 비슷합니다 CNN의 핵심 구성 요소는 컨볼 루션 레이어라는 것을 알고 있습니다 효율적인 MobileNet 및 ShuffleNet의 기본 아이디어는 표준 컨볼 루션을 대체하는 것입니다

가벼운 컨볼 루션 그림 21은 표준 컨벌루션과 깊이 분리형의 차이점을 보여줍니다 깊이 컨벌루션과 포인트 컨벌루션으로 구성된 컨벌루션 맨 윗줄에서 각 블록은 컨벌루션 필터를 나타내며 총 c2 필터가 있습니다

각 컨볼 루션 필터는 공간 정보를 필터링하고 채널 정보를 결합합니다 한 번의 단계로 입력 기능 이를 위해서는 각 컨볼 루션 필터의 깊이가 입력 피처의 깊이와 일치해야합니다 여기서 깊이는 c1입니다 레이어가 깊어 질수록 피쳐 맵의 깊이가 더 커지는 경우가 종종 있습니다

이러한 인기있는 CNN이 매우 큰 이유입니다 두 번째 행은 깊이 컨벌루션이 공간 정보를 채널별로 필터링 함을 보여줍니다 즉, 각 깊이 방향 컨볼 루션의 깊이는 레이어의 깊이에 관계없이 항상 1입니다 입니다 깊이 컨볼 루션은 입력 채널 만 필터링하므로 출력을 결합해야합니다

유용한 기능을 생성하는 기능 이것은 커널과의 표준 컨볼 루션 인 포인트 컨벌루션으로 수행 할 수 있습니다 1 회 1 회 표준 컨벌루션을 깊이 컨벌루션으로 교체 한 다음 점별 컨볼 루션에서 유사한 방식으로 피쳐와 패턴을 추출 할 수 있지만 모델 크기는 극적으로 감소했습니다 그림 22는 그룹 컨볼 루션을 설명합니다

채널을 여러 그룹으로 나누고 각각의 표준 컨볼 루션을 적용합니다 그룹 예를 들어 g 개의 그룹이있는 경우 모델 크기를 1 / g의 차수로 줄일 수 있습니다 그림 23은 MobileNetV1, ResNet50, ShuffleNetV1 및 MobileNetV2의 빌딩 블록을 보여줍니다

MobileNetV1의 경우 아키텍처는 VGG와 유사합니다 VGG의 표준 컨벌루션을 경량 깊이 컨볼 루션으로 대체합니다 포인트 컨벌루션이 뒤 따른다 ResNet은 종종 ResNet 블록으로 인해 VGG보다 성능이 우수하기 때문에 ShuffleNetV1 MobileNetV2는이 아이디어를 빌 렸습니다 둘 다 ResNet 블록의 표준 컨벌루션을 깊이 컨벌루션으로 대체하여 모델 크기

ShuffleNetV1은 포인트 컨벌루션을 그룹 컨볼 루션으로 대체하여 모델 크기 이제 경량 컨볼 루션이 더 작은 모델을 빌드하는 데 유용하다는 것을 이해합니다 및 ShuffleNet 다음으로 의류 소매 제품 데이터에 대한 성능을 보여 드리겠습니다 먼저 데이터 세트를로드하고 일부 이미지를 표시합니다

여기에는 6 개의 수업이 있으며 약 2,100 개의 이미지가 있습니다 다음으로, 우리는 훈련과 평가를 위해 무작위로 데이터를 훈련과 테스트로 나누었습니다 다른 CNN SAS DLPy는 다양한 사전 구축 네트워크 아키텍처를 제공합니다 매우 효과적입니다

여기서는 CNN을 구축하는 데 사용할 것입니다 MobileNetV1 아키텍처의 경우 다음과 같은 기본 매개 변수를 지정합니다 클래스 수 입력 이미지를 정규화하기위한 오프셋 및 스케일로 분류 될 수있다 또한 임의 뒤집기와 자르기를 사용하여 입력 이미지를 보강합니다 MobileNetV1 모델에는 축소 매개 변수 인 alpha가있어 출력 채널 수 옵티 마이저를 설정 한 후 모델을 학습 할 준비가되었습니다

훈련 로그는 많은 유용한 정보를 알려줍니다 여기에서 모델 매개 변수의 수가 8 백만임을 알 수 있습니다 대상에는 6 개의 클래스가 있습니다 훈련 손실과 오류로 반복 기록을 그릴 수 있습니다

16 오류 후 훈련 오류가 감소하고 수렴 함을 보여줍니다 최종 교육 오류는 약 54 %입니다 다음으로 테스트 데이터에서 모델 성능을 평가합니다 MobileNetV1 모델의 오류율은 5

3 %입니다 좋아요! 올바른 예측과 잘못된 예측을 통해 모델을 확인함으로써, 모델이 패턴을 배우고 합리적인 예측을한다는 것을 알 수 있습니다 다음으로 비슷한 단계를 따라 다른 CNN (ShuffleNetV1, MobileNetV2, 및 ResNet50 자세한 내용은 노트북을 참조하십시오 이 모델의 테스트 오류는 다음과 같이 요약됩니다

탁자 이 3 가지 경량 모델은 일반 모델보다 매개 변수가 훨씬 적습니다 ResNet50은이 소매 데이터의 정확성을 향상시킵니다 이 비디오에서 SAS DLPy를 사용하면 이러한 작은 크기를 빠르게 구축하고 훈련 할 수 있습니다 그러나 효율적인 CNN

앞으로의 작업에 이러한 모델을 적용 해 볼 수 있기를 바랍니다 시청 해 주셔서 감사합니다! 안녕하세요 제 이름은 웨인 톰슨입니다 저는 SAS의 데이터 과학자이며 딥 러닝과 함께 일할 수있는 특권이 있습니다 R & D 팀 컴퓨터 용 Python 및 DLPy 및 SAS Viya를 사용한 딥 러닝을위한 비디오 시리즈입니다

시력 이 특정 비디오에서는 패션에 태그를 지정하기 위해 멀티 태스킹 딥 러닝 모델을 훈련하고 싶습니다 품목 이제 기계 학습에서 종종 이미지를 가져 와서 레이블을 지정하고 단일 이미지를 만듭니다 옷의 종류를 분류하는 것과 같이지도 학습을 통해 하나의 작업을 분류합니다 드레스인가요? 티셔츠인가요? 벨트인가요? 그리고 색상과 같은 다른 의미 속성이 있고 입력 데이터에 레이블을 지정하면 색상을 분류하기 위해 회선 신경망과 같은 다른 것을 훈련하십시오

종종 고려해야 할 장점과 장점 중 하나는 단일 모델을 훈련시키는 것입니다 이 두 가지 과제를 동시에 동시에 배우는 것입니다 이를 유용한 정보를 활용하는 패러다임 인 멀티 태스킹 학습이라고합니다 전체적인 일반화를 향상시키기 위해 여러 관련 작업에서 즉, 모델이 더 잘 맞는 경향이 있습니다 한 작업에 대한 정보가 다른 작업을 예측하는 데 신뢰성을 부여 할 수 있기 때문에 좋습니다

단일 모델이 있으므로 두 모델을 사용하는 것보다 배포가 훨씬 쉽습니다 또는 더 많은 모델 따라서보다 쉽게 ​​관리하고 생산할 수 있습니다 시작하기 전에 멀티 태스킹 학습은 매우 강력합니다 자율 주행 차와 같은 많은 응용 분야에 사용됩니다

영어로 된 문서 모음이 있다고 가정 해 봅시다 프랑스어, 독일어 및 이탈리아어로 번역하고 싶습니다 거기에는 동시에 훈련하는 세 가지 작업이 있습니다 이제이 예에서는 이미 CAS 세션을 시작했습니다 DLPy를로드했으며 CAS 서버에 연결했습니다

가장 먼저 보여 드리고 싶은 것은 디스크에서 이미지를로드하고로드하는 방법입니다 이 예제에서는 하위 디렉토리에서 읽은 후 레이블을 재귀 적으로 가져옵니다 따라서 실제로 디스크에서 데이터를로드하여 메모리로 읽어들입니다 서브 디렉토리에서 레이블을 당기십시오 다음으로하는 일은 간단한 빈도 수이며 데이터가 상당히 균형을 이루고 있음을 알 수 있습니다 모든 작업에서 332 개에서 386 개의 관측치가 있습니다

이런 종류의 균형을 가질 필요는 없으며 분명히 콜스 나 메이 시즈, 우리는 더 많은 관측을 할 것이지만 이것은 간단한 데모입니다 이제 멀티 태스킹 딥 러닝을 수행하는 데있어 가장 까다로운 부분 중 하나는 작업 레이블 자체 이제 내가하고있는 첫 번째 일은 Pandas 데이터 프레임을 사용하고 getDummies를 단순히 이진 지표를 만듭니다 딥 러닝 패키지에는 정말 강력한 것이 있습니다 SAS 함수 컴파일러입니다

이를 사용하여 자신의 손실 함수를 찾을 수 있습니다 여기에서는 계산 된 vars를 사용하여 조건부로 추가 작업을 조건부로 정의하고 있습니다 여성, 의복의 조화는 무엇이며, 나는 그것을 다른 사람들과 다시 합류합니다 데이터 여기 간단한 머리를보고 몇 가지 관찰 만 살펴보면 이제 9 개의 총 작업이 동시에 진행되고 있음을 알 수 있습니다

여자를위한 것이 든 아니든 자, 여기에 이미지를 보여 드리는 예가 있습니다 그들이 어떻게 생겼는지 딥 러닝의 많은 머신 러닝 문제와 마찬가지로 데이터 크기도 조정합니다 200×200으로 설정하고 CAS 서버의 모든 작업자 노드에서 데이터를 섞습니다 여기서 20 %의 샘플을 작성하고 있음을 명심하십시오 이것은 홀드 아웃 데이터 세트 테스트이며, 나머지 80 %의 데이터를 사용하여 학습합니다

에 모델 이제이 시점에서 직접 비순환 그래픽 인 기본 아키텍처를 정의하겠습니다 네트워크를 위해 그리고 DL Plot을 사용하여이를 수행하고 있습니다 입력 레이어, 컨볼 루션 레이어, 배치 규범 풀링 및 밀집 레이어가 있습니다

그러나이 네트워크 플롯을 보면 기본적으로 하나의 아키텍처가 있음을 알 수 있습니다 그리고 그 아키텍처는 우리가 시도하는 모든 결과 작업과 공유됩니다 예측하십시오 모든 작업에 대해 동일한 네트워크를 가질 필요는 없습니다 이것은 기본 예이며 여기에서 실제로 잘 작동합니다 예측하려는 각 작업에 대해 서로 다른 네트워크 아키텍처를 가질 수 있습니다

아키텍처를 정의한 후 모델을 학습하려고합니다 이 예에서는 운동량과 같은 매우 기본적인 최적화 방법을 사용하고 있습니다 60 개의 EPICS를하고 있는데 훈련 옵션을 정의하고 싶습니다 이제 partition이 0 인 곳을 사용하고 있습니다 그것은 훈련 데이터의 80 % 만 가져올 것입니다

모델 무게 등 나중에 득점을 할 수 있습니다 GPU에서도 이것을 훈련하고 있습니다 딥 러닝의 곱셈 특성으로 인해 네트워크를 더 빨리 훈련시킬 수 있습니다 모델과 더 빠른 실험

다양한 최적화 방법을 시도해보고 궁극적으로 최상의 모델을 얻을 수 있습니다 더 빠르게 여기에 약간의 출력이 있지만, 내가 시도한 것은 이것을 이것에 요약합니다 반복 플롯 우리가 60 번의 EPICS를했다는 것을 기억하십시오 약 13 ~ 14 개의 EPICS 어딘가에서 쇠퇴와 상실과 시대를보고 있습니다

모델이 실제로 안정화 된 것 같습니다 나는 실제로 그것을 자랑스럽게 생각합니다 좋아 보인다 테스트 데이터와 비교하여 먼저 확인하겠습니다 이 모델은 훈련을 위해 개발되었습니다 이제 데이터의 20 %를 부분 집합 화하겠습니다

훈련에서 절약 한 모델 가중치를 사용하여 해당 데이터의 점수를 매길 것입니다 그리고 여기서 볼 수 있듯이 모든 작업에 대해 평균 제곱 오차가 매우 낮습니다 좀 더 세분화되고 실제로 혼동 행렬과 같은 것을보고 모델이 테스트 데이터에 얼마나 잘 맞는지 그런데이 예측값 p_는 테스트 데이터에 대한 예측값을 나타냅니다 내가 훈련 한 모델에 나는 판다에서 약간의 일을한다 파이썬을 DLPy와 똑바로 혼합하는 것이 좋습니다

그리고 9 가지 작업 각각에 대한 분류 행렬 인 혼동 행렬을 얻습니다 행은 실제 값을 나타내고 열은 예상 값을 나타냅니다 벗어난 대각선에서, 우리가 잘못한 곳입니다 여기에 검은 색은 4 개, 파란색은 4 개, 빨간색은 1 개, 우리는 다른 수업을 살펴보고 정말 잘하고 있습니다 마지막으로, SAS에서 딥 러닝의 비밀 소스 조각 중 하나는 ASTORE

여기에서 실제로 모델을 이진 파일에 저장하여 배치 스코어링을 수행 할 수 있습니다 스트리밍 분석을 사용하여 점수를 매기거나 다른 모델과의 작업을 위해 모델을 ONNX로 가져 오기 PyTorch 및 TensorFlow와 같은 패키지 여기에이 작업을 완료하고 모델을 저장했으며 다음 비디오에서는 실제로 스트리밍 분석을 사용하여이 모델의 점수를 매기는 방법을 살펴 보겠습니다 결론적으로, 멀티 태스킹 딥 러닝은 실제로 여러 개를보고 예측할 수있게합니다 동시에 작업

DLPy를 사용하면 간단합니다 다음 비디오에서 to기를 기대합니다 Python 및 SAS Viya Computer Vision Series를 사용한 딥 러닝에 오신 것을 환영합니다 제 이름은 웨인 톰슨입니다 저는 SAS의 데이터 과학자이며 SAS Deep과 함께 일합니다

학습 R & D 팀 이 비디오에서는 DLPy의 자매 인 ESPPy를 사용하여 멀티 태스킹을하고 싶습니다 딥 러닝 모델 이제 이미 멀티 태스킹 딥 러닝 모델을 훈련했습니다 이미지를 모아서 9 가지 작업을 예측하고 동시에 수행 할 수있는 모델을 개발했습니다

이 예제에서하고 싶은 것은 ESPPy를 사용하는 것입니다 또한 SAS 이벤트 스트림 처리 창에 연결할 수 있습니다 프로젝트를 구축하고 창과 상호 작용하며 모델을 배포합니다 SAS Event Stream Processing은 정말 멋집니다 여기에는 클러스터링에서 시계열 분석에 이르는 여러 스트리밍 작업이 포함됩니다

감정 분석 또는 공동 필터링과 같은 작업도 수행 할 수 있습니다 하지만이 데모에서는 이미지 처리 창과 온라인 창을 사용하겠습니다 딥 러닝 멀티 태스킹 모델을 배포 할 수 있습니다 이제 가장 먼저해야 할 일은 실제로 프로젝트를 만드는 것입니다 이 멀티 태스크를 호출하고 실제로이 셀을 실행하겠습니다

그리고 다음으로하고 싶은 것은 프로세스 흐름이나 관로 실제로 이미지를 읽으려면 소스 창이 필요합니다 우리가 일부 교육에서했던 것처럼 모델을 훈련 할 때마다 일반적으로 이미지 따라서 점수를 매길 때 20에서 20으로 크기를 조정하고 이미지 처리를 사용하겠습니다 그렇게하는 창

다음은 모델을 가져와야한다는 것입니다 모델을 학습하고 ASTORE로 저장 했으므로 모델 리더가 있습니다 그것을 읽을 수있는 창 그리고 실시간으로 점수를 생성하는 득점 창이 있습니다 그리고 보면, 프로젝트는 다음과 같습니다

나는 데이터를 읽고 이미지를 표준화하고 점수를 생성합니다 그런 다음 실제로 프로젝트를로드하고 몇 개의 출력 테이블을 설정하겠습니다 여기에 쓸 것입니다 이제 첫 번째 노트북을 사용하여 실제로 노트북을 정의하기 때문에 별도의 노트북이 있습니다 ESP 프로젝트

이 책에서는 간단히 게시하고 점수 매기기 프로세스를 시작하겠습니다 그래서 저는 팔고이 모든 것을 실행합니다 실제로 모델의 점수를 매 깁니다 다시 여기로 돌아가서 이제 이벤트 스트림 처리 엔진을 사용하겠습니다 득점

실제로 예측 확률과 함께 태그가 지정되고 라벨이 지정된 이미지가 표시되는 것을 볼 수 있습니다 작동하는 예제를 제공하는 작은 세트입니다 수면 시간은 03입니다 이벤트 스트림 처리 엔진은 실제로 초당 최대 50 프레임을 수행 할 수 있습니다

시원한 이 데모에서는 이미 멀티 태스킹 학습을 위해 개발 된 모델을 검색을 용이하게하기 위해 스트리밍 분석을 사용하여 배포 할 수있었습니다 콜이나 메이시 같은 사람 교육용 DLPy와 함께 ESPPy를 사용하면 실제로 쉽게 수행 할 수 있습니다

AI Institute "Geometry of Deep Learning" 2019 [Workshop] Day 2 | Session 2

[음악] >> 다음은 CMU의 Nina입니다 데이터 중심 알고리즘 설계에 대해 이야기합니다 여기 있습니다, 니나 >> 멋지다

그래서 나는 사용에 대해 이야기 할 것입니다 데이터 중심 또는 자동 알고리즘 설계를위한 기계 학습 특히 최근에 이에 대한 확실한 보증에 대해 데이터 중심 알고리즘 설계의 매우 흥미로운 영역이라고 생각합니다 대화에서 나는 집중적 인 문제에 초점을 맞출 것이다 분리 된 구조에서도 마찬가지입니다 이산 구조에 대한 조합 알고리즘 제가 생각하는 방식은 기계 학습 및 학습 이론 사용 컴퓨팅 및 알고리즘 설계 이론에 영향을 미치기 위해 희망적으로, 해당 응용 분야

매우 높은 수준의 동기 부여로 시작하겠습니다 이 작업 라인을 위해 알고리즘을 설계하고 분석하는 고전적인 방법 조합 문제에 대한 부과 우리가 설계 한 알고리즘 주어진 문제는 해결하는 데 사용됩니다 문제의 더 나쁜 사례 알고리즘에 전혀 정보가 전혀 없습니다 이 기본 프레임 워크에서 우리가 추구하는 성능 보장 우리 알고리즘은 알고리즘이 해결에도 성공 최악의 경우 근본적인 알고리즘 문제 이 고전적인 틀 안에서 우리는 쉬운 몇 가지 문제가 있다는 것을 알고 있습니다 예를 들어 우리가 걱정한다면 러닝 타임은 우리의 주요 성과 측정입니다

우리는 우리가 가르치는 문제가 있다는 것을 알고 있습니다 우리가 가지고있는 기본 학부 알고리즘 과정 출력이 보장되는 최적 다항식 시간 알고리즘 최적의 솔루션 최악의 경우에도 다항식 시간 그래서 쉬운 몇 가지 문제가 있습니다 클래식 프레임 워크 내에서 그러나 클래식 프레임 워크 내 대부분의 문제는 우리는 그러한 강력한 성능을 보장하지 않습니다 따라서 어려운 문제의 예는 다음과 같습니다 클러스터링 문제, 파티셔닝 문제, 실제로 부분 집합 선택 문제 대부분의 조합 문제는 고전적인 틀 안에서 어렵다 한 가지 흥미로운 접근법 실제로 이러한 어려운 문제에 일반적으로 사용되는 특히 우리가 해결해야 할 경우 근본적인 알고리즘 문제의 한 인스턴스 만이 아니라 그러나 우리가 반복적으로 해결해야하는 경우 기본 알고리즘 문제의 인스턴스

한 가지 흥미로운 접근법이 이 어려운 문제를 해결하는 연습은 사용하는 것입니다 머신 러닝 및 인스턴스 배우기 위해 주어진 영역 우리의 인스턴스 유형에서만 잘 작동하는 알고리즘 물론 이것은 매우 자연스러운 아이디어입니다 실제로는 주어진 유형의 조합 문제에 대해 다른 설정에서 다른 방법이 더 좋습니다 종종 우리가 선택할 수있는 많은 방법이 있습니다 그래서 사용하려고 매우 자연 스럽습니다 머신 러닝 및 인스턴스 우리의 특정 영역에서 배우는 문제 우리의 인스턴스 유형에서만 잘 작동하는 알고리즘

실제로이 접근 방식은 AI 커뮤니티를 포함한 많은 응용 커뮤니티, 에릭 호 비츠가 실제로 이것에 대해 초기 작업을 한 것처럼 또한 전산 생물학 공동체에서 AI 기반 메커니즘 설계 커뮤니티 머신 러닝을 사용한다는 아이디어는 알고리즘을 배우는 데 널리 사용되었습니다 다양한 응용 커뮤니티에서 실제로 몇 가지 획기적인 이러한 영역은이 접근 방식에서 비롯되었습니다 하지만 놀랍게도 기본적으로 아주 최근까지 우리는이 접근법에 대해 공식적으로 거의 알지 못했습니다 오늘 대화에서 최근에 진행 한 작업을 조사하려고합니다 우리는 내 학생들과 공동 작업자와 함께 공식적인 보증을 제공하기 위해 이 데이터 중심 알고리즘 선택

>> 공식 또는 집단 또는 둘 다에 대한 공식 보증? >> 그래서 논의하겠습니다 당연하지, 우리는 분포 학습 형식화를 사용하거나 온라인 학습 공식화와 실제 의미 보증은 특정 공식화에 따라 달라집니다 몇 가지 사례 연구에 대해 언급하겠습니다 또한 힌트를 드리겠습니다 에 의해 발생하는 더 일반적인 원칙의 최악의 종류 이 문제들에 대해 생각하고 더 넓게 특정한 경우를 넘어서 적용 가능합니다 또한 많은 사람들이 여기 청중에는 AI와 기계 학습이 있습니다

나는 분명히 지적하고 싶습니다 이것은 매우 뜨거운 주제와 관련이 있습니다 요즘처럼 응용 기계 학습에서 하이퍼 파라미터 튜닝, 자동 ML, 메타 학습 물론이 주제는 그러한 주제 등과 관련이 있습니다 그러나 우리의 설정에 대해 생각하십시오 조합 설정에 있고 또한 우리는 많은 것에 반대되는 입증 가능한 보증 이러한 주제와 더 많은 내용은 보증없이 ML을 적용합니다

이것은 개괄적 인 개요입니다 이 구조로 제 이야기는 다음과 같습니다 : 우리가 어떻게 생각할 수 있는지 설명하겠습니다 데이터 중심 알고리즘 설계 또는 선택 분포 또는 통계 학습 문제로 몇 가지 사례 연구를 언급하고 이 맥락에서 발생하는 일반적인 샘플 복잡성 이론 얘기 할 시간이 없다고 생각합니다 온라인 학습 공식이지만 기쁘다 해당 공식의 세부 사항에 대해 오프라인으로 이야기하십시오 데이터 중심 알고리즘 설계부터 시작하겠습니다 분포 학습 문제로

그러나 구체적으로하기 전에 예를 들어 보겠습니다 데이터 중심의 접근 방식으로 해결할 수있는 문제 이것은 우리 모두에게 매우 친숙한 문제입니다 뉴스 기사와 같은 일련의 개체가 제공되는 클러스터링 웹 페이지 검색 결과 어떻게 든 그것들을 우리가 할 수있는 것처럼 자연적인 그룹으로 묶습니다 내가 지적하고 싶은 것은 문제의 완벽한 예 우리는 반복적으로 해결해야합니다 주어진 클러스터링 문제의 인스턴스 예를 들어 인터넷 검색을하고 있고 뉴스 기사를 클러스터링하기 위해 클러스터링을 사용한 다음, 물론 매일 뉴스 기사를 모아서 실제로 하루에 여러 번

이것은 완벽한 예입니다 반복적으로 해결해야 할 문제 데이터 중심의 접근 방식으로 넘어갈 수 있습니다 공식적으로 어떤 유형의 클러스터링 기술을 사용하고 있습니까? 목표 기반 클러스터링 기준을 사용할 수 있습니다 K- 평균 목적과 같은 특정 목적 함수를 선택 K- 중앙 목표 또는 중심 목표 주어진 입력 데이터 세트에서 최적화하십시오 그래서 이것은 당신이 사용할 수있는 하나의 공식입니다 물론 우리 모두는 예를 들어 모든 구체적인 목표는 K- 평균 최적화, K- 중앙 최적화, NP-hard도 마찬가지입니다

따라서 데이터 중심 접근 방식을 사용하는 것이 좋습니다 데이터 유형에 적합한 알고리즘을 배우고 보편적으로 효율적인 알고리즘이 없기 때문에 최악의 인스턴스에서 작동합니다 객관적인 클러스터링은 데이터 중심 접근 방식의 적절한 적용 하지만 생각해 보면 더 많은 머신 러닝 공식 숨겨진 진실이 있다고 가정 우리는 그것에 가까워 지려고 노력하고 있습니다 비지도 학습 또는지면 진실 버전의 일치 클러스터링 문제도 이 데이터 중심 접근 방식에 적합합니다 이 두 가지 제형 중 하나 데이터 중심 알고리즘 설계로 캐스팅 할 수 있습니다 이제이 예에서는 이제 우리는 어떻게 생각할 수 있는지 설명 할 수 있습니다 분포 학습 문제로서의 알고리즘 선택에 대해 물론 이것은 매우 친숙 할 것입니다 머신 러닝 사람들에게 청중에서 사람들을 배우는 기계

매우 자연 스럽습니다 우리가하는 일은 우리는 해결하고자하는 알고리즘 문제를 해결합니다 시설 위치 또는 클러스터링 또는 좋아하는 조합 문제 그런 다음 큰 가족을 고칩니다 우리의 문제에 대한 알고리즘 과이 될 수 있습니다 가족의 경우에 매개 변수화 됨 다양한 모듈이있을 수 있기 때문에 알고리즘 가족의 알고리즘은 조정해야 할 노브가있는 다양한 모듈

이 알고리즘 계열을 선택합니다 우리는 그것이 잘 작동한다는 것을 알고 있기 때문에 연습하거나 아마도 당신이 가지고 있기 때문에 믿을만한 분석 이유 데이터 유형에 좋을 수도 있습니다 그리고 우리가하는 일은 도메인에서 발생하는 문제의 전형적인 예는 기술적으로 우리는 전형적인 사례의 샘플을 의 일반적인 인스턴스에 대한 IID 샘플입니다 일부 기본 분포 우리의 사례와 이 전형적인 인스턴스 샘플을 사용하여 우리가 희망하거나 새로운 알고리즘 새로운 인스턴스에 대해 잘 알고 있음 동일한 기본 소스에서옵니다 그건 그렇고, 나는이 그림 목록을 사용하고 있습니다 그러나 희망적으로, 그것은 매우 분명합니다

예를 들어 내가 말하고 있다면 시설 위치 이러한 전형적인 사례는 무엇입니까? 첫 번째 샘플은 입력 그래프입니다 두 번째 샘플은 두 번째 입력 그래프입니다 또는 클러스터링을 수행하는 경우 클러스터링 알고리즘을 배우려고하면 클러스터 문서를 말하면 우리의 전형적인 사례는 무엇입니까? 첫 번째 인스턴스는 첫 번째 문서 집합이 될 수 있습니다 두 번째 인스턴스는 두 번째 문서 세트입니다 게다가 라벨이 없을 수도 있습니다

우리가하려고한다면 K- 평균과 같은 객관적인 클러스터링 클러스터링 또는 그들은 당신이 진실을 일치 시키려고한다면 예를 들어 문서를 IID로 클러스터링하고 문서를 클러스터링합니다 훈련 실례를 바탕으로 실제 수업 환경을 설정해야합니다 기본적으로 전형적인 사례, 우리가하고 싶은 일, 우리는 잘 작동하는 알고리즘을 생각해 내고 싶습니다 우리가 잘 수행한다는 것을 증명할 수 있다는 오는 새로운 무작위 인스턴스 동일한 기본 분포에서 훈련 세트로 전형적인 인스턴스의 물론 이제 우리는 통계 학습 이론 이 프레임 워크의 샘플 복잡성 질문 얼마나 큰지를 분석하는 의미 일반적인 인스턴스 집합은 보장하기위한 것입니다

그러나 우리가 잘하는 알고리즘을 넣으면 일반적인 인스턴스의 훈련 세트를 통해 이 알고리즘은 새로운 인스턴스에서도 잘 작동합니다 같은 출처에서 나온 것입니다 그러나 당신은 훈련 세트를 본 적이 없습니다 물론, 우리는 또한 통계 학습 이론에서 이러한 샘플 복잡성 결과를 분석하기 위해 예를 들어 균일 한 수렴과 복잡한 결과 당신이 이해할 수 있어야하는 것은 본질적인 차원 또는 본질적인 복잡성 의 가족에 의해 유도 된 기능 클래스의 알고리즘과 성능 측정 우리가해야 할 일은 절대 치수를 분석하거나 이 유도 된 기능 클래스의 복잡성 물론, 그것은 핵심 수량입니다 일반적인 균일 한 수렴 범위입니다 이 새로운 도메인에서 흥미로운 점은 학습 이론의 관점에서 흥미 롭습니다

이 설정에 나타나는 기능은 일단 알고리즘 학습을 시작하면 우리의 가설 공간은 알고리즘의 공간입니다 이제 우리는 매우 흥미로운 구조를 얻습니다 특히 알고리즘을 배우고 있기 때문에 조합 문제의 경우 본질적으로 해당 알고리즘에는 조합 모듈이 있습니다 매개 변수를 약간 변경하면 매우 다른 결과물을 얻을 수 있습니다 따라서 해당 비용 함수는 급격한 불연속성을 갖습니다

그래서 개념을 분석하려고 시도하는 것이 흥미 롭습니다 이 시나리오의 차원 그래서 그것이 외부에 있습니다 이러한 문제는 모든 고전적인 통계 학습 이론 이 양식의 몇 가지 예를 볼 수 있습니다 다음은 특정 유형의 기능입니다

우리가 살펴본 다양한 응용 프로그램에 나타납니다 시원한 실제로이 생각은 알고리즘 설계 또는 배급 학습 문제는 실제로 팀 러프 가든 (Tim Roughgarden)과 그의 전 학생이 작성한 논문에서 ITCS와 SICOMP에 논문이 실린 Rishi Gupta 거기서 그는보기 알고리즘 선택에서 모델을 제안했습니다 배급 학습 문제로 재분석 된 매개 변수화 된 가족 부분 집합 선택 문제에 대한 탐욕스러운 알고리즘 배낭 문제처럼 그 작업을 참조하십시오 실제로, 나는 종이가 매혹적인 것을 발견했다

아무도 그런 종이를 쓰지 않아서 놀랐어요 아주 자연 스럽기 때문에 그리고 그것은 또한 매우 강력하다고 생각합니다 저의 학생들과 공동 작업자들은 그래서 우리는 그것을 추적하고 분석했습니다 다양한 조합 문제에 대한 새로운 알고리즘 클래스 나는 단지 그들 중 일부를 빠르게 언급 할 것이고 그들 중 몇 가지에 대해 자세히 알아보십시오 예를 들어, 주제에 관한 첫 번째 논문에서 클러스터링 문제와 관련하여 매개 변수화 된 연결 절차를 살펴 보았습니다

클러스터링 다음에 일부는 고정 된 유형의 후 처리에 대해 말합니다 또한 [들리지 않음]의 클러스터링을 위해 우리는 무한 가족을 보았다 로이드의 방법 특히 Lloyd의 방법 중 일부를 매개 변수화했습니다 로이드의 방법을 초기화하는 법을 배웁니다 더 최근에는 일부 동료들과 CMU의 컴퓨터 생물학에서 매개 변수화 된 동적 프로그래밍 절차를 살펴 보았습니다 정렬 문제 해결 서열 정렬과 같은 전산 생물학

이것들은 우리가 살펴본 몇 가지 유형의 계산 문제입니다 우리는 또한 원본 논문을 보았습니다 매우 다른 유형의 알고리즘 예를 들어, 해결하려는 경우 다음과 같이 쓸 수있는 파티션 문제 Max-Cut과 같은 정수 이차 프로그램 우리는 가족을 보았다 알고리즘 또는 반정의 프로그래밍 감소 반올림 된 반올림으로 다시 모든 유형의 인스턴스가 얼마나 둥근 지 알아 봅니다

그런 다음 지금까지 설명한 모든 예에서 실제로 의도적으로 우리의 질문으로 돌아가서 우리가 보는 알고리즘 다항식 시간과 시간 설계 배우려고 노력하는 알고리즘입니다 Max-Cut의 가치가 좋은 것처럼 좋은 솔루션 품질 또는 문서를 클러스터링하거나 시퀀스를 잘 정렬 할 수 있습니다 하지만 우리는 또한 예를 들어, 우리는 혼합 정수 프로그램을 통해 해결하는 것을 보았습니다 유형의 분기 및 바운드 인공 지능과 OR을 사용하는 동안 기술 이 어셈블리의 알고리즘은 문제를 해결하기 위해 최적이지만 그들은 걸릴 수 있습니다 그의 오랜 시간을 최적화하려고 노력하고 있습니다 따라서 알고리즘의 솔루션 품질은 실행 시간입니다

우리는 또한 매우 관련된 기술도 보았다 의 맥락에서 나타나는 다중 구매자, 다중 항목 시나리오를위한 자동화 된 메커니즘 설계 다시, 우리는 여기서 어셈블리를 보았습니다 매개 변수화 된 VCG 경매와 같은 메커니즘 긍정적 인 가격 등 여기서는 수익을 최적화하고 있습니다 따라서 수익, 그의 절차 범위의 솔루션 품질

이 모든 것을 살펴본 결과, 몇 가지 일반적인 패턴이 등장 그에 대해 조금 말씀 드리겠습니다 하지만 그렇게하기 전에 구체적이고 생각할 구체적인 예를 명심하십시오 그리고 당신에게 가족의 간단한 예를 제공하기 위해 클러스터링 문제에 대한 매개 변수화 된 알고리즘 따라서 데이터 중심 접근 방식을 사용하려면 클러스터링 문제의 경우 가장 먼저하고 싶은 일은 당연히 내려 놓는 것입니다 알고리즘 계열 여기, 간단한 가족입니다 우리가 살펴본 알고리즘은 연습을 사용하는 동안 또한 좋은 기사 속성이 있기 때문에 데이터는 안정적인 유형의 인스턴스와 같이 매우 좋습니다 [들리지 않음]에서 알려짐 이러한 경우를 넘어서서 계산한다면, [들리지 않음]

따라서 수식의 균형은 다음과 같이 매우 간단합니다 두 단계가 있습니다 각 요소에는 두 단계가 있습니다 먼저 상향식 연결 절차를 사용하여 데이터를 생성하기 위해 계층 구조에 연결하는 욕심 많은 절차 클러스터 트리를 만든 다음 이 세 가지에 대한 고정 후 처리 예를 들어, 동적 프로그래밍을 위해 최고의 K- 평균 군집 추출 마지막 K- 머지로 클러스터 된 인덱스를 출력 할 수도 있습니다 또는 계층 구조를 사용자와 사용자가 볼 수 있습니다

물론, 그냥 생각 나게하기 위해 상향식 응집 결합 절차는 무엇을 의미합니까? 그래서 우리가하는 일은 그들 만의 작은 클러스터에서 시작하는 것입니다 두 개의 '가장 가까운'클러스터를 반복적으로 병합하겠습니다 물론, 다른 정의 가장 가까운 알고리즘은 다른 알고리즘으로 이어집니다 예를 들어 다음은 '가장 가까운'에 대한 다른 정의입니다 다른 알고리즘으로 이어지는 점의 하위 집합 사이

여기에 예가 있습니다 우리의 고전적인 알고리즘 기본 알고리즘 머신 러닝 과정에서 단일 연결, 정의 하시겠습니까 두 부분 집합 A와 B 사이의 거리 두 하위 집합의 점 사이의 최소 거리가됩니다 여기서는 기준점 사이의 거리가 고정되어 있다고 가정합니다 그래서 우리는이 엔티티를 정의하여 포인트 간의 갱신 거리 및 대응하는 부분 집합 그러나 또 다른 고전적인 알고리즘, 완벽한 연결, 두 부분 집합 사이의 거리를 사이의 최대 거리 해당 하위 집합의 포인트 이제 무한한 가족이 등장한다고 상상할 수도 있습니다 우리가 원할 수도 있기 때문에 연결 절차 이 기본 기준을 보간합니다

예를 들어 여기에 가족의 예가 있습니다 그러나 우리의 일을 살펴보기 위해 알파 가중치 연결이라고합니다 지금은 매개 변수 알파가 있지만 희망이 있습니다 데이터를 조정하고 거리를 정의합니다 두 하위 집합 A와 B 사이 1에서 알파를 뺀 거리 단일 결합과 알파 시간 완전한 연결에 의해 주어진 거리 이것이 알파 가중치 링크의 구체적인 예입니다

가족은 매개 변수화 된 가족의 구체적인 예입니다 조합 문제 클러스터링을위한 알고리즘 이제 우리는 무엇을 이해하기 시작할 수 있다고 생각합니다 이 알고리즘 군의 2 차원은 그건 그렇고, 2 차원은 무엇입니까? 가장 자연스러운 확장 일뿐입니다 실제 유효한 함수에 대한 VC 차원 나는 그것을 정확하게 정의하지 않을 것이다 그러나 이것이 당신이 알아야 할 전부입니다 이 특정 알고리즘 제품군의 경우 나는 당신에 대해 빨리 보여줄 것입니다 절대 치수는 log n뿐입니다

또는 n은 내가 해결해야 할 입력 인스턴스의 포인트 차원이 log n이므로 실제로 당신은 또한 보여줄 수 있지만 실제로 당신이 세트 S 또는 트레이닝 세트의 전형적인 예 클러스터링 문제의 전형적인 사례 우리는 최고의 알고리즘을 찾을 수 있습니다 다항식 시간에이 가족 다른 말로하면 기계 학습 이론 원자에서 그냥 ERM을 해결하십시오 다항식 시간을 효율적으로 이 간단한 군집 절차입니다 이 조합 문제 중 하나에서 여기서의 도전은 실제로 이 조합 유형의 출력으로 인해 언급했듯이 알파를 약간 변경 한 경우, 이것은 의사 결정의 초기에 변화로 이어질 수 있습니다 그런 다음 눈덩이를 만들어 생산할 수있는 연결 절차 나중에 훨씬 더 큰 변화

다시 말해, 약간 변경하면 알파 당신은 완전히 다른 출력을 얻을 수 있습니다 이건 정말 어려움이지만 우리가 보여줄 수있는 것은 이것이 너무 자주 일어나지 않는다는 것입니다 이제 이것은 치수 경계로 이동합니다 특히, 우리가 보여줄 수있는 것은 암시하는 주요 사실 의사 차원은 n의 로그 만입니다 또는 n은 상한이다 입력 인스턴스의 포인트 수 따라서 그 효과는 다음과 같습니다

기본적으로 해당 비용 함수는 부분적으로 일정합니다 그래서 그것은 무엇을 의미합니까? 주어진 알파 값에 대해 연동 알고리즘으로 알파를 실행하면 일련의 결정과 우리는 특정 연계 트리를 만듭니다 물론 알파를 바꾸면 나는 다른 나무를 얻을 것입니다 그러나 여기에서 알파를 0에서 1로 바꾸면 n 포인트의 클러스터링 인스턴스를 수정하면 그런 다음 매개 변수 Alpha를 0에서 1로 변경합니다 또는 최대 n 번째 여덟 번째 스위칭 지점 트리는 인스턴스 변경을 생성합니다

물론 이것은 다음을 의미하지 않습니다 상단의 비용 함수가 무엇이든 k에 대한 근거 진실의 예는 상수 등을 의미합니다 여기에서 해당 비용 함수는 조각 단위입니다 n에서 8까지의 상수 어느 것이 좋을까요? n은 2 차원에 암시 적입니다 엔

빨리 줄게 이 단계가 어떻게 입증되는지에 대한 높은 수준의 아이디어 이 특정 경우에는 전혀 어렵지 않습니다 핵심 아이디어는 다음과 같습니다 따라서 클러스터링 인스턴스를 수정하면 알파를 고치고 싶다고 해봅시다 연계 절차를위한 마일 단위 매개 변수는 어느 것입니까? 알고리즘의 어느 시점에서, 알고리즘은 Blob N_1을 병합해야하는지 결정해야합니다

N_2 또는 Blob과 N_3 및 N_4를 병합해야합니다 권리? 이제 결정은 여덟 가지 점에 달려 있습니다 내가 P & Q로 표시하면 N_1과 N_2에서 가장 먼 지점 그들은 완전한 연결과 P- 프라임에 의해 주어진 거리를 줄 것이고 Q- 프라임은 N_1과 N_2에서 가장 가까운 지점입니다 내가 R과 S로 표시되면 N_3과 N_4 및 R- 프라임에서 가장 먼 지점, S- 프라임은 N_3과 N_4에서 가장 가까운 지점입니다 처음 두 블롭 N_1과 N_2의 병합 여부에 대한 결정 N_3 및 N_4와 비교 이 두 수량 중 어느 것에 따라 달라집니다

알파와 P와 Q 사이의 거리를 곱한 값 +1 사이의 거리에 알파를 1 곱한 값 R 사이의 P- 프라임 및 Q- 프라임 또는 알파 시간 거리 그리고 S + 거리에 1을 뺀 알파 곱하기 R- 프라임과 S- 프라임 사이의 간격이 더 작고 커집니다 당신이 그것에 대해 중요한 지점으로 생각하면 [들리지 않음] 또는 알고리즘 스위치는 여기 평등이있는 순간에요 권리? 다른 말로하면, 중요한 요점은 실제로 이 같은 선형 평등의 뿌리에서 평등이라는 아이디어는 요점으로 주어집니다 그러나 물론 나는 그러한 선형 평등의 여덟 내가 가지고 있기 때문에 내려 놓을 수있는 n 포인트 중 8 [들리지 않음]의 수입니다 이것은 기본적으로 그것을 증명합니다

높은 수준에서 그것을 증명하기위한 핵심 아이디어입니다 알파를 고치면이 특정 간단한 연결 패밀리에 대해 인스턴스를 수정하면 클러스터링 인스턴스 및 알파 변경, 생산 된 8 번째 클러스터링 트리에만 n을 가져올 수 있습니다 10 분이 지났습니다 잘 됐네요 저건 완벽 해 좋은

이 구조적 결과가 나오면 의사 차원 경계를 즉시 증명할 수 있습니다 이것이 내가 당신에게 보여준 것입니다 인스턴스를 수정하면 어떻게 되나요? 알파가 당신에게 해당 cos 함수이지만 물론 당신이 걱정하지 않은 계산 된 의사 차원 의 행동에 대해서만 지정된 인스턴스의 알고리즘 패밀리 그러나 당신은 얼마나 많은 인스턴스에 관심이 있습니다 [들리지 않음] 산산조각 낼 수 있습니까? 우리는 실제로 얼마나 많은 인스턴스를 기하 급수적 인 행동을 취 하시겠습니까? [들리지 않음] 그들이 걱정하고 있습니다 이제는 어떻게되는지 생각해야합니다 m 개의 인스턴스와 클러스터링 인스턴스 내가 이전 경계에서 즉각적인 효과를 알고있는 것은 그러나 내가 m을 가지고 있다면 알파가 달라지면 인스턴스 클러스터링, 나는 여덟 패턴의 거듭 제곱에 m 곱하기 n을 얻을 수 있습니다

n 포인트 및 클러스터링 인스턴스의 경우 그리고 나는 단지 의사 차원 정의를 대략적으로 사용합니다 의사 차원이 무엇인지 계산하고 의사 치수가 최대 m이기 때문에 기하 급수적 인 패턴을 얻을 수 있습니다 가장 큰 m을 풀기 만하면됩니다 기하 급수적 인 패턴을 보호하고 달성합니다 즉, 여기서이 불평등을 해결해야합니다

각 2에서 m까지 가장 큰 m은 상한은 m 곱하기 n을 여덟 번째 n으로 제한한다 따라서 이것들은 즉시 의사 치수는 단지 로그입니다 엔 이 간단한 예를 들어 보자 그건 그렇고 나는 이것을 슬라이드에 가지고 있지 않습니다 실제로 무언가를 얻도록 요청할 수 있습니다

이 보간을 수행하기 위해 실제로는 가능하다는 것이 밝혀졌습니다 그래서 나는 실험의 주인을 가졌습니다 [들리지 않음]에서도 우리는 [들리지 않음]의 부분 집합을 실제로 튜닝하여 조금 얻을 수 있습니다 여기에있는 매개 변수 alpha 3 %와 같은 알파 가중치 연결 그리 많지는 않지만 여전히 3 %를 얻습니다 [들리지 않음] [들리지 않음] 예제를 많이 얻으면 얻을 수 있습니다

하지만 여기 또 다른 가족이 있습니다 클러스터링은 실제로 많은 것을 얻습니다 실제로 거기에 가기 전에 죄송합니다 방금 보여 드렸 기 때문에 끝내겠습니다 이 알파 계열의 의사 차원 연결 절차는 log n만이 log n의 큰 O입니다 실제로 당신은 또한 그것을 보여줄 수 있습니다 실제로 n의 큰 [들리지 않음] n

중 하나 저의 이전 학생들은 저역을 보여주었습니다 또한 구현할 수도 있습니다 당신은 또한 해결할 수 있습니다 다항식 시간의 해당 ERM 문제 만약 내가 당신에게 인스턴스를 주면 찾을 수있는 일반적인 인스턴스 다항식 시간에서 가족의 최고의 알파 비효율적 인 방법 바스티유 다항식 시간 [들리지 않음] 모든 입력 인스턴스가 주어지면 해당 인스턴스의 해당 알파 간격을 계산합니다 당신은 모든 대응을 가지고 모든 중요한 포인트의 연합 샘플보다 평균적으로 최고입니다

그것은 당신이 그것을보다 효율적으로 만들 수 있습니다 작동 학생 피드백 및 실험 중 하나 인 [들리지 않음] 앞에서 언급했듯이 예를 들어 [들리지 않음]에서이 작업을 수행하면 3 % 개선 단일 또는 완전한 연결을 통해 또한 우리가 더 잘할 수있는 [들리지 않음]도 있습니다 괜찮아 하지만 여기에도 실제로 그리고 이것은 내가 말하지 않는 방식이지만 이것은 나를 위해 이해하려고 시도하는 아주 모범이었습니다 이 공간은 어떻습니까 [들리지 않음] 데이터 분석 학습 이론 관점에서 디자인 그러나 우리는 또한 재미를 위해서 실험을했습니다

나는 그것을 옹호하지 않습니다 제목에 사용하여 다른 클래스를 데이터화하는 기술 그러나 실제로 다른 가족 아니면 조금 더 잘할 수도 있습니다 실험적이며 실제로는 실험적으로 관심있는 이론적으로 겨울 인 것은 알파 만 튜닝하지 않는 경우 연결 절차를 조정할뿐 아니라 하지만 거리 기능도 조정하고 있습니다 특히 특정 유형의 데이터의 경우 매우 다른 유형의 거리 정보가있을 수 있습니다 예를 들어 자막 이미지가 있다면 일부 거리 기능을 사용할 수 있습니다 이미지의 픽셀 정보를 기반으로 하지만 당신은 또한 자막에 따라 매우 다른 거리 기능, 그리고 당신은 그것들을 혼합하려고 할 수 있습니다 또는 마찬가지로 손으로 쓴 숫자의 경우 메타 학습에 사용되는 클래식 Omniglot 데이터 세트의 경우 픽셀 정보가 모두 있습니다

스트로크 데이터도 있습니다 문자 작성 방법에 대해 그래서 이것은 매우 무료 유형을 제공 할 수 있습니다 거리 정보 이제 우리는 무한 가족을 내려 놓을 수 있습니다 미터법 또는 거리 함수 무엇을 보간합니까? 이제는 이것들은 현재 두 개의 기본 거리 함수 d0과 d1을 말합니다 이제 튜닝도 시도 할 수 있습니다 이 베타 매개 변수는 거리 함수와 관련이 있습니다 예를 들어, 구체적으로 말하자면 내가 지금 얻을 수 있다면 알파-베타 가중 연결 절차의 가족, 또는 Alpha 매개 변수를 사용합니다 연결 기준을 보간하기 위해 하나의 완전한 연계 거리 매개 변수를 조정하기 위해 매개 변수 베타를 사용합니다

두 개의 고정 기본 거리 함수 사이의 보간 점 쌍 사이 이 Alpha-Beta 가중 연결이라고하겠습니다 다시 분석해 볼 수 있습니다 이 알고리즘 계열의 두 가지 차원은 무엇입니까 물론 최고의 알고리즘을 찾으려고 노력하십시오 데이터 유형에 따라 제품군에서 자세한 내용은 여기로 가지 않겠습니다 우리가 여전히 여기에 보여줄 수 있기 때문에 다시 밝혀졌습니다 이 절차 군의 의사 차원은 알파-베타 가중 연결 절차는 log n입니다

지금 구조 결과는 여전히 간단합니다 그러나 더 좋고 더 복잡합니다 그것을 의사 차원으로 증명하기 위해 이 알파 베타 가중 연결 로그 n, 당신이 보여 주어야 할 것은 다시 이중 기능의 구조에 관한 것 매개 변수가 Alpha-Beta 인 인스턴스를 수정합니다 분할 할 수 있음을 보여줄 수 있습니다 다수의 선형 및 2 차 방정식 인 경우 매개 변수 공간 같은 지역의 두 매개 변수에 대해 동일한 클러스터 트리가 생성됩니다

이걸 가지고 다시 할 수 있으면 이것의 위의 의사 차원의 인수 몇 분 더 있습니까? >> 둘 >> 둘 괜찮아 여기에서 세부 사항을 건너 뛰겠습니다 하지만 봐야 해 이 사실을 포함하는 문제의 구조에

그러나 실제로 다음 단계로 넘어 가기 전에 이 튜닝 알파와 베타에 대해 언급하고 싶습니다 실제로 실제 데이터에 영향을 미쳤습니다 예를 들어 실험이 Omniglot에있는 경우 요즘 메타 학습에 사용되는 고전적인 데이터 세트입니다 여기 보간하면 주어진 거리 함수 사이 에서 얻은 기능에 의해 MNIST의 관련 데이터 세트에 CNN 포함 MNIST에서는 CNN 임베딩에 의한 거리 기능, 컨볼 루션 뉴럴 네트워크 임베딩, 수작업으로 설계된 거리 기능 스트로크 정보를 사용하는 실제로 크게 개선 할 수 있습니다 정확도가 약 9 % 향상되었습니다 여기에 차이가 있습니다

거리 기능이 매우 무료임을 보여줍니다 연구를 위해 이러한 실험을 수행했을 수도 있습니다 단어를 사용할 수 있도록 여기 어딘가에 딥 러닝 CNN 임베딩을 사용하고 있기 때문입니다 나는 실제로 반 입방체이지만 시원합니다 실제로 실제로 개선되는 것을 보는 것이 좋습니다

나는 그것에 만족했다 이제 높은 수준의 이야기로 돌아가서 내가 언급했듯이 다른 많은 유형의 문제를 살펴보고 예를 들어, 파티션 문제 정수 2 차 프로그램으로 작성 될 수 있습니다 여기서는 매개 변수화 된 동일한 결과 절차를 살펴 보겠습니다 반정의 프로그래밍 이완을 줄이거 나 무작위 반올림, 그리고 이것은 세부 사항으로 가지 않고 매개 변수화 된 반올림입니다 여기서 관찰해야 할 요점은 의사 차원 경계를 증명하고 인스턴스를 수정하고 다를 경우 기본 [들리지 않는] 패밀리의 매개 변수 해당 기능은 조각 단위 구조입니다

특히, 여기에는 부분적으로 이차가 있습니다 우리는 단지 n 조각입니다 그것이 여기서 일어나는 일입니다 메커니즘 설계시 관련 구조화가 나타납니다 예를 들어 보시면 완성 된 가격 체계를 갖추기 위해 다중 구매자 다중 항목 시나리오가있는 경우 이제 우리는 각 게시 가격은 각 항목에 설정할 수 있습니다

여기서 다시 발생하는 것은 해당하는 인스턴스 또는 세트를 수정하면 입찰자 및 항목의 하위 집합에 대한 더 나은 가치 가격을 달리하면 해당 수익 함수 각 부분마다 선형으로 매개 변수 공간의 조각이 제공됩니다 선형 분리기의 교차로 이것이 핵심 결정자입니다 작동하는 의사 치수 본딩을 예측하는 데 사용합니다

이 [들리지 않음]에 동기 더 일반적인 정리를 알아 내려고 노력하십시오 문제의 구조를 필요한 것에서 분리하다 통계적 의사 차원 균형을 얻기 위해 여기 추상화가 있습니다 우리가 정말로 관심을 가지는 것은 함수 클래스의 의사 차원을 계산합니다 Alpha에 의해 매개 변수화되거나 알파는 문제의 인스턴스를 가지고 다운 2 클래스 세트를 클러스터링한다고 말합니다 그래서 이것은 의사 차원을 결합시키는 시간입니다

그런 함수 클래스 이것이 무엇을 증명하는지 아십니까? 우리는 이중 클래스 기능의 구조를 이용합니다 이제 듀얼 클래스 기능 문제의 인스턴스에 의해 매개 변수화됩니다 가능한 매개 변수 값을 입력으로 사용합니다 우리가이 모든 영역에서 보여준 것은 이러한 이중 기능은 부분적으로 구성됩니다

우리가 조각으로 구성된 것은 듀얼의 모든 기능은 다음과 같습니다 기본적으로 파티션 할 수 있습니다 함수를 사용하여 매개 변수 공간 잘 동작하는 함수 클래스 F 여기와 같은 각 종 안에있는 해당 비용 함수는 다른 함수 클래스에서 오는 함수 G 자본 G 우리가 보여줄 수있는 것은 기본적으로 당신은 두 차원을 버릴 수 있습니다 정말 신경 쓰는 원래의 기능, Alpha가 함수로 매개 변수화 한 함수 이 이중 기능의 장점에 대해 좋은 점은이 두 가지 기능이 부분적으로 구성되어 있다는 것입니다 여기서 부분은 함수 클래스 F의 함수로 정의됩니다 이 쪽은 함수 클래스의 함수 G G

의사 차원에 본드를 넣을 수 있습니다 내가 걱정하기 때문에 최종 기능의 의 친절 함의 기능이다 이 함수 클래스는 F입니다 G 경계 함수 F에서의 함수 비즈니스 내부의 기능이 훌륭합니다 나타나는 하나의 [들리지 않음] 여기 실제로 VC 치수가 아닙니다 VC 차원을 분류하는 함수 그 기능 클래스의 이중 그 이유가 있습니다 그들은 오픈 라인을 통과하기 시작할 수 없습니다

0 분 남았다 고 생각합니다 그냥 언급하고 싶습니다 하지만 지금까지 분배 학습에 대해 이야기했습니다 온라인 학습에 대한 질문을 할 수도 있습니다 알고리즘은 실제로 온라인 학습 문제라고 생각합니다

그들이 당신에게 주어지지 않은 인스턴스 똑바로하지만 하나씩옵니다 후회하지 않으려 고합니다 이미 언급했듯이 이제 불연속성이 있어야합니다 여기 많은 사람들이 온라인에 있다고 생각합니다 청중의 학습 전문가, 불연속을 공유하면 후회를 달성하는 것은 불가능합니다 그래서 우리는 종이를 제 학생들과 실제로 18 세 였고 후속 논문이었습니다 또는 충분한 조건을 식별 한 번 후회하지 않고 조각 별 Lipschitz 기능에 대한 온라인 학습 그리고 최소한 상태 유지를 보여주세요 이 알고리즘 중 다수 구성 또는 온라인 알고리즘 선택 문제 다시, 나는 이것에 대해 오프라인으로 이야기해야한다

조건은 바로 이러한 조각 별 Lipschitz 기능, 분산 만 대략, 우리는 단지 불연속을 요구합니다 해당 비용 함수는하지 않습니다 분산 된 곳에 너무 집중하십시오 그 주위에 공식적인 정의를 넣을 수 있습니다 다시 한 번 오프라인으로 이야기하게되어 기쁩니다 그러나 나는 요약해서 생각한다 저는 이것이 매우 흥미로운 연구 분야라고 생각합니다

학습 문제로서의 알고리즘 설계에 대해 배급 학습 문제, 통계 또는 온라인 학습 문제 강력한 공식 보증을 제공 할 수 있습니다 또한 학습 이론의 관점에서 내가 생각하는 설정을 발생시키는 구조 매우 흥미롭고 도움 우리는 학습 이론의 한계를 넘어서고 항상 매우 흥미 롭습니다 감사합니다 나는 우리가 N에서 5까지의 하한을 가지고 있다고 생각합니다 >> 우리는 그것을 논의했습니다 >> 그래서 우리는 토론합니다

우리가 알고있는 하한은 N에서 5까지입니다 인스턴스를 보여 주거나 N을 다섯째, 당신은 내재 된 불연속성을 가질 수 있습니다 예 우리는 모른다 N은 5에서 N은 8에서 8 사이에 틈이 있습니다 지금, 그 말의 실험 중 하나 내 죄는 현실 세계 야 N을 다섯 번째로 얻지 못할 것입니다

거리는 매우 복잡합니다 우리가 시도한 모든 것에 그것은 N에서 선형입니다 그래서 당신이 보완 설정에 대한 파라미터를 조정할 수도 있습니다 >> 나는 그것이 당신의 모델에 뭔가 있다고 생각합니다 내가 확신하기 때문에 내 접근 방식에서 N 제곱이 선입니다

>> 그것에 대해 이야기합시다 >> 알겠습니다 다음에는 MIT의 Constantinos가 있습니다 >> 그래서 기계 학습 바이어스와 사용법에 대해 이야기하겠습니다 바이어스를 줄이기 위해 잘린 통계 이 대화의 동기는 종종 데이터 과학 문제에서 데이터 세트로 작업하며 종종 데이터 세트마다 수집합니다 선택 편견이 있습니다 데이터를 수집 할 때 훈련하는 데 사용하는 훈련 세트 테스트 세트와 다른 모델

모델이 진행되는 조건 미래에, 특히 치우친 데이터 세트에 대한 교육 예측에 편견이 생길 것입니다 대화의 목표는 영역을 나타내는 검열 및 절단 통계 하려는 통계에서 절단 된 또는 검열 된 샘플의 추정 잘린 샘플은 샘플이 외부로 떨어지는 상황 관찰 창은 그렇지 않다 관찰되었고 그들의 수 또한 알려지지 않았다 검열은 당신을 의미합니다 최소한의 수 관측 창을 벗어나는 데이터 수 물론 이것은 여러 가지 이유로 발생할 수 있습니다 이러한 유형의 현상

아마도 당신의 측정 장치 측정 대역 밖에서 포화 상태가됩니다 그들이 포화되면 판독 값이 잘못되어 신뢰할 수 없습니다 이것이 검열의 경우입니다 몇 개의 측정 값이 있는지 알고 있습니다 신뢰할 수 있고 몇 개가 아닌지 알고 있습니다 실험 설계가 잘못되었거나 윤리적 또는 기타 법적 고려 사항이있는 상황 추론에 일부 데이터 포인트를 사용하지 마십시오

그래서 몇 가지를 드리겠습니다 보여주는 동기 부여 예제 데이터에 치우침이 있으면 무엇이 잘못 될 수 있습니다 첫 번째는 50 년대 이후 계량 경제학에서 잘 논의 된 질문, 관련이 있습니다 사람들의 소득에 대한 IQ 교육 및 교육 50 년대와 60 년대의 몇몇 작품들은 데이터를 수집하여이 모델과 당신이 생각하는 것이 옳은 일을했습니다 그래서 그들은 수입이있는 가족을 조사했습니다 빈곤 수준의 15 배입니다

공변량이 IQ에 해당하는 데이터를 수집했습니다 훈련, 교육 및 개인의 다른 많은 기능, 예를 들어, 노동 조합에 속하는 등 반응 변수는 그 개인과 그들은 모델을 맞추려고 노력했습니다 특히 그들은 선형 모델을 데이터에 맞추려고 노력했습니다 중요한 것으로 보이는 문제는 임계 값입니다 소득이있는 가족에게 데이터 수집 실제로 임계 값 아래의 한 지점입니다

편견을 도입하다 수입과 수입에 중요하다고 생각되는 기능 특히 나중의 결과는 예를 들어 교육 이외에도 직업 훈련과 IQ는 실제로 이전 작업이 발견 된 수입 대부분 교육은 수입에 중요합니다 괜찮아 따라서 고려하지 않은 이전 작업 임계 값이 잘못된 결론을 내렸다 수입에 중요한 것이 무엇인지 문제를 더 본질적으로 느끼기 위해 여기 다른 예가 있습니다 IQ 대 소득 대신에 높이의 중요성을 이해하려고 노력한다고 상상해보십시오 좋은 농구 선수이고 나는 게으르다 전체 인구를 조사하는 대신 내 데이터 수집 물론 어렵습니다 대신 NBA 데이터를 다운로드하기로 결정했습니다

그래서 가능합니다 NBA 데이터에 모델을 맞추려고하면 높이가 실제로는 농구 경기와 중립적이거나 심지어 부정적인 상관 관계가 있습니다 그러나 그 잘못된 결론 내가 게으르고 사실에서 온 NBA 데이터를 전체 인구 조사에 반대 내가 갖고 싶은 정신적 그림 내가 슬라이드를 진행하는 동안 이것입니다; 예를 들어, 바닐라 선형 회귀에서 우리는 세상이 선 주위의 섭동이라고 가정합니다 그러나 데이터를 가져 와서 임계 값을 설정하면 이것이 Y의 농구 성과이고 X의 높이라고 말하십시오 세계가 선형 일 수 있습니다 선의 섭동

하지만 내가 가고 상상 특히 NBA 데이터를 다운로드하여 나는 오직 임계 값을 초과하는 농구 성능이 우수합니다 이제 해당 데이터를 한 줄에 맞추려고하면 이 라인은 훨씬 더 그럴듯 해 보인다 이 데이터 세트에 대해이 행보다 >> XY 높이입니다 내가 X_i와 독립적입니까? 이것이 추가 노이즈인지 생각합니까? >> 말해봐 그러나 이것은 단지 예일뿐입니다 그러나 우리의 표준은 최소 제곱 회귀 분석은 반응 변수가있는 세계 Theta에 X를 곱한 값에 가우스 잡음과 같은 제로 평균 잡음이 있습니다

>> 그것이 일어나면 안됩니다 당신이 선택한 한 추가 소음 X는 패턴에 관계없이 패턴과 무관합니다 기다리십시오 그러나 Y를 통해 데이터를 선택해야합니다 >>이 상수를 통과하려면 평균 높이 이것으로 구성 그는 이것을 Y와 함께 사용하고 있습니다

그러나 그는 당신에게 X를 알려줍니다 그것을 선택하면 Y를 찾을 수 있습니다 >> 네 그래서 당신은 내가 경우 어떻게 될지 묻는거야 X 변수를 기준으로 자르시겠습니까? >> 네 >> 다음 슬라이드에서 예를 들어 보겠습니다 여기서 나는 Y 잘림에 대해 이야기하고 있습니다 X 잘림도 있습니다

그것은 또한 중요한 문제입니다 나는 잠시 후에 그것에 도달 할 것이다 그러나 Y 잘림에 관한 한 우리는 내가 길을 믿는다는 것을 여기서 본다 내가 믿는 라인 턴은 이 데이터 포인트가 없어야하기 때문입니다 이것은 짧은 사람입니다 소음 때문에 좋은 농구 선수

그래서 그는 그것을 NBA로 만들고 짧은 남자는 좋은 농구 선수라고 믿습니다 그러나 그것은 소음의 결과였습니다 그 사람이 내 데이터 세트에 들어가도록 만들었습니다 X 잘림으로 와서 잘 논의 된 현상이 관찰 됨 최근에 성별 분류기를 사용하면 훈련 된 성별 분류기 인터넷 데이터는 성별 예측에 정말 좋습니다 기본적으로 가벼운 피부 톤의 사람들, 그들은 매우 나쁠 수 있습니다 데이터 세트에별로 표현되지 않은 사람들에게 특히 Microsoft의 여러 성별 분류기, 페이스 북 등은 정말 나빴어요 또는 암흑과 여성의 성별 예측에서 꽤 나쁘다

왜 이런 일이 발생했는지에 대한 설명은 인터넷 데이터는 훨씬 남성이며 코카서스 사람, 더 가벼우 며 피부색이 강한 사람들과 이런 이유로 데이터 세트를 켤 때 다른 사람들에게 덜주의하십시오 당신이 가서 테스트 할 때 특정 하위 인구의 성별 분류기 당신은 실제로 그것을 미리 얻을 수 있습니다 그것은 당신이 일부 잘림이있는 예입니다 X 공변량 일부 하위 인구에 충분히주의를 기울이지 않도록합니다 내가하고 싶은 것은보고 싶어 잘린 통계의 아이디어를 사용하는 방법 이런 종류의 편견이 예측에 들어 가지 못하도록 싸워라 바이어스 데이터 세트를 학습 할 때 일부 모델의 맛을 내고 싶습니다 여러 공동 작업자와 함께 한 작업입니다 나는 세 가지 문제를 중심으로 할 것입니다

절단 및 Y 변수와 관련이 있으며 X 변수의 또 다른 잘림 그리고 세번째는 감독되지 않은 학습 환경 1 번 문제는 다음 시나리오를 고려하십시오 상황을 포착해야합니다 IQ 대 수입 및 키 대 농구 성능 공장이 내 교육 데이터를 생성하는 것은 다음 데이터 팩토리입니다 >> 성별 분류 예에 대해 질문 할 수 있습니까? >> 네 >> 그래서 가능합니다 주요 문제는 잘리지 않는다는 것입니다

테스트 데이터 세트 일 수도 있기 때문입니다 당신이하고있는 시점까지, 이것은 잘하고 있습니다 훈련과 아마도 훈련 그리고 둘 다 일부 수업에서 대표가 부족합니다 >> 클래스 조건 레이어가 아닙니다 >> 네 훈련 데이터가 세트는 테스트 데이터 세트를 나타냅니다

그럼 잘하고 있어요 예측자를 편향시키는 잘림이 없습니다 >> 아니요 손실 기능에 포함되지 않음을 의미합니다 공정성의 측면 작은 인구도 잘 대표되어야합니다 >> 네, 잘림 문제가 아닙니다

그래 자르기와 관련된 첫 번째 문제는 y 축은 훈련 세트를 가정합니다 다음 데이터 팩토리에서 생성됩니다 먼저, 기본 x의 모집단에서 x를 샘플링합니다 그러면 x마다 응답이 계산됩니다 응답은 파라 메트릭 기능과 노이즈입니다

노이즈는 모수 분포에서 나올 수도 있습니다 이 시점까지 이것은 고전 감독입니다 IID 데이터가있는 학습 상황 교육 분포는 테스트 배포 및 수명이 좋습니다 여기서 다른 점은 당신이 볼 때 y와 너 훈련 세트에 포함할지 여부를 결정합니다 그래서 당신은 y를 봅니다

예를 들어 이 남자가 좋은 농구 선수인지 아닌지 그가 좋은 농구 선수라면 당신은 그를 NBA 데이터에 넣었습니다 그렇지 않으면 해당 샘플을 휴지통에 버립니다 이 시나리오에서는이 잘림 Phi를 알고 있다고 가정합니다 그리고 확률적일 수 있습니다 내가 모르는 것은 D를 모른다는 것입니다

인간을 샘플링하는 기본 분포 나는 인간과 관련된 메커니즘을 모른다 좋은 농구 선수를 보유하고 나는 소음 모델을 모른다 그러나 나는 파이 때문에 알고 있습니다 어떤 의미에서는 제어합니다 그래서 다운로드를 선택했습니다 NBA 데이터 또는 IQ vs 적립 예 나는 가서 집중하기로 결정했다 그 특정 이웃과 내 설문 조사를 수행합니다 모델이 캡처되는지 확인하려면 잘린 선형 회귀 시나리오 이 경우 모델이 정렬됩니다

소음은 가우시안입니다 내 잘림은 결정적입니다 숨기는 임계 값입니다 y가 특정 임계 값 미만인 데이터 이 공장에서 생산 한 훈련 데이터에 대한 목표는 목표는 기본 태아를 회복하는 것입니다 메커니즘을 결정하는 기본 매개 변수 Gouleakis에 대한 결과는 Tzamos, Zampetakis 및 Rao와 함께 Ilyas가 여기에있었습니다 Rao, Ilyas 및 Zampetakis는 두 종류입니다

따라서 일반적인 프레임 워크입니다 이러한 종류의 시나리오에서 모델을 학습합니다 또한 이것은 일반적인 SGD 기반 프레임 워크입니다 GPU로 배송하여 Thetas를 복구 할 수 있습니다 이제 일반적인 프레임 워크는 잘린 선형 회귀 또는 잘린 프로 빗 또는 로지스틱 회귀 설정 그것은 당신에게 완벽한 보증을 제공합니다 기본 매개 변수의 복구에 대해

따라서 둘 중 하나에 사용할 수있는 프레임 워크입니다 엔드 투 엔드 보증을받을 수있는 올바르게 작동하는 설정, 또는 임의의 설정에서 사용할 수 있습니다 SGD 기반 프레임 워크이지만 실행할 수 있습니다 물론 여기 신경망이 있다면 당신은 엔드-투-엔드 보증을 잃을 것입니다 하지만 최소한 알고리즘을 실행할 수 있습니다 결과를 이전 작업과 비교하십시오 계량 경제학 통계에는 잘린 또는 검열 된 회귀에 대한 통계 선형 또는 프로 빗 및 로지스틱

이 작업의 기술 병목 현상은 두 가지입니다 이 기술적 인 문제는 높은 치수 설정에서 발생합니다 첫 번째는 알고리즘입니다 사용자가 비효율적이며 중요한 것은 수렴 률 이 방법은 차원에 나쁜 의존성을 가지고 있습니다 당신은 루트 n 요금보다 이것을 얻을 최대한의 가능성을 기대하고 그러나 비율의 의존성 차원이 잘 이해되지 않았습니다 우리가 얻는 것은 최적의 요금을 얻는 것입니다

즉, 잘리지 않은 회귀와 동일한 비율입니다 효율적인 알고리즘을 얻습니다 우리는 임의의 절단 세트를 허용합니다 임계 값일 필요는 없습니다 기본적으로 측정 가능한 세트가 될 수 있습니다

>> 임계 값 기능에 대한 의존성은 무엇입니까? 잘림 기능에? 뭔가가 필요합니다 >> 선택 기능은 Phi 기능은 측정 가능한 기능이 될 수 있습니다 이 요금을 받으려면 두 가지가 필요합니다 하나는 표준입니다 선형 회귀가 필요합니다 경험적 공분산 행렬 소비세의 최소값에는 하한값이 있습니다

이것이 선형 회귀에 필요한 표준입니다 잘린 회귀에 필요한 추가 가정은 임계 값은 기본적으로 데이터를 삭제하지 않습니다 평균 사이처럼 일정하지 않은 확률 임계 값에 의해 제거됩니다 1 % 정도만 있다면 훈련 세트로 만들 확률이 평균입니다 이 보증을받습니다 그래서 나는 개괄적 인 기법을 설명하고 싶었습니다

이들은 일종의 대표입니다 네 >> 그래서 당신은 가정 여기서 무엇을위한 행동이 잘 릴까요? 당신은 여기에 n을 받고 있기 때문에 >> N은 숫자입니다 >> 잘 렸습니다

>> N은 성공적인 데이터 포인트 수입니다 그 동네에서 몇 명이 조사를했는지 >> 그러나 그것은 유일하게 들리지 않는 것 같습니다 결과는 소스 또는 이 Epsilon에 대한 의존성 >> Epsilon은 무엇입니까? >> 미안 그들은 단지 분수의 확률입니다 평균 데이터 포인트 일 확률 >> 네 우리는 추정하다 상수이며 표기 순서대로되어 있습니다 네

모든 데이터 포인트에 1 % 확률 관찰 창으로 만들고 충분하면 약한 조건을 얻을 수 있습니다 그러나 각 사이에는 훈련 세트로 만들 확률이 높습니다 >> 그것은 당신이 y를보기 전과 같은 상태를 의미합니다 만드는 기회가 있습니까? >> 맞습니다 네

여기이 그림을 보면 내 임계 값이 여기 있다고 나는 모든 x가 그것을 만들 확률이 높기를 원합니다 예를 들어, 여기에서 1 % 확률로 만들 수 있습니다 모든 x에는 필요하지 않지만 평균 x에는 필요합니다 >> Phi는 실제로 그 부분을 잘라낼 수 없습니다 미친 기능이 아닙니다

사용중인 임계 값 기능입니다 >> 내가 말했듯이, 그것은 측정 가능한 기능 일 수는 있지만, >> 무조건 작동하는이 속성이 있어야합니다 >> 네 >> 그러나 유효한 절단 기능은 예를 들어 가운데 행의 모든 ​​점을 제거하십시오 >> 맞습니다 수입이 줄어드는 동네를보십시오

이제 저는 보통 인간이 필요합니다 그 동네에 살 확률이 적당합니다 권리 기술에 대해 알아 보겠습니다 이 작업 라인에서 무슨 일이 일어나고 있는지를 나타냅니다 훈련 세트 제작 방식에 대한이 모델이 있습니다 최대한의 가능성을 원합니다 훈련 세트의 밀도가 얼마인지 묻고 싶습니다

훈련 세트의 밀도는 xy입니다 밀도는 여기서 샘플링해야하는 것과 같습니다 이제 관심을 제한하겠습니다 매우 기본적인 선형 회귀 모델로 선이 있습니다 가우스 법선 01이 있습니다 훈련 세트의 밀도는이 밀도입니다 가우스 밀도 곱하기 y가 잘리지 않을 확률

이 밀도를 어렵게 만드는 것은 표준화해야한다는 것입니다 정규화 z가 있습니다 파티션 기능도 있습니다 그러나 내 훈련 세트의 밀도는 이 세 가지 구성 요소와 정규화 기능 내가하고 싶은 것은하고 싶다 이 모형에서 모집단 로그 우도

이 매우 간단한 설정에서 복구하려면 세타 만 복구하고 싶습니다 따라서 로그 우도, 모집단 로그 우도는 진정한 모델 세타 스타에 대한 기대 대수의 진정한 세타 별을 가진이 밀도, 이 사람들은 파티션 함수의 로그를 뺀 것입니다 이제 파티션 기능은 세타에 따라 다릅니다 여기 스타 세타에 따라 다릅니다 자, 명백한 문제는 먼저 여기에 가능성을 우리는 D를 모른다

우리는 분포 D를 모른다 하지만 그렇게해도 우리는 계산해야 할 것입니다 이 파티션 기능은 어렵고 어렵습니다 그러나 여기서 구원의 은총은 비록 당신이 가능성을 계산할 수없고 그래디언트를 계산할 수 없습니다 여전히 확률 적 그라디언트를 얻을 수 있습니다 여전히 임의의 변수를 얻을 수 있습니다 그의 기대는 이 기능은 필요없이 D를 알고 파티션 기능을 계산하지 않아도됩니다

특히, 그래디언트가 이 인구 로그 가능성 함수 ~의 차이가되다 두 가지 기대와 정확히 같은 평등입니다 그리고보기가 어렵지 않습니다 이 로그 우도의 기울기 두 가지 기대치의 차이입니다 한 가지 기대는 이 표현의 진정한 모델, 세타 스타 다른 기대는 그래디언트를 계산하려고하는 세타

특히 그라디언트의 권한을 얻으려면 그래도 그라디언트는 내가 모르는 사람을 제거합니다 이 남자의 그래디언트는 저에게이 용어를줍니다 주장은 어렵지 않습니다 세타에 대한이 사람의 기울기가 z는 세타에 의존하고 이 기대입니다 보기 어렵지 않고 매우 그라디언트의 표준 파티션 함수는 예상입니다

특히 모든 것은 두 가지 기대치의 차이입니다 한 가지 기대는 실제 모델의 샘플에 대한이 변수 그리고 다른 기대는 동일한 기능이지만 샘플에서 특정 세타에 대한 모델 그라디언트를 계산하는 곳 그래 확률 론적 경사 하강을하고 싶습니다 이 관찰을 사용합니다 >>이 기차는 이것은 진정한 [들리지 않음]에서 온다 [들리지 않는] 세타 열차는 xy 부모의 분포 이렇게 내림차순 실제로 d의 x를 사용해야합니다

>> 아니요, 실제 샘플이 있습니까? 그래서 나는 중 하나를 선택할 수 있습니다 내 훈련 샘플은 이미이 모델의 샘플입니다 그러나 p 세타 열차는 세타 스타의 기능입니다 옳은 나는 그것이 진실이라고 본다 괜찮아

죄송합니다 이것이 진실입니다 이것이 가짜와 나는 그 가짜를 시뮬레이션해야합니다 그래 이 다른 용어를 얻으려면 네

>> 그러나이 시뮬레이션은 성공적이어야합니다 잘리지 않는 잘림 때문에 그래서 나는 매우 조심해야 확률 적 그라디언트 하강을하고 있습니다 세타 스타와 아주 멀리 떨어져있는 세타에 가면 모든 것이 가능합니다 거부 샘플링을 수행하여이 모델을 시뮬레이션하겠습니다 다음을 선택하고 실행하겠습니다

내 모델을 통해 그런 다음 성공적으로 볼 수 있습니다 관찰 창으로 만듭니다 해당 프로세스가 계속해서 실패하면 해당 샘플을 시뮬레이션 할 수 없습니다 그래서 나는 더 나은 확인 내 확률 적 그라디언트가 우주에서 너무 멀리 방황하지 않고 거부 샘플링이 성공합니다 필요한 또 다른 것은 볼록성이 강해야한다는 것입니다 가능성을 작게하면 나는 또한 내가 주장 할 수 있습니다 매개 변수 거리에서 배웠습니다 우연의 가치 만이 아닙니다 이런 종류의 종합적인 결과를 얻는 데 필요한 구성 요소 하지만 거기에 신경망이 있다면 당신은 항상 할 수 있습니다 에 의해 확률 적 하강 하강 이 매우 간단한 아이디어를 활용하십시오

이 결과를 건너 뛰고 NBA 데이터 예제를 보여 드리겠습니다 2000 년 이후의 NBA 데이터입니다 이것은 농구 선수의 키입니다 2 미터 정도 가우시안이 정말 좋습니다 이들은이 플레이어가 득점 한 게임당 점수입니다

이 데이터에 대해 선형 회귀를 수행하면 나는 그것이 옳은 일이라고 주장하지 않습니다 그러나 만약 당신이 선형 회귀를한다면 게임당 포인트 수를 높이기 위해 이 감소하는 음의 경사 곡선을 얻습니다 여기 제가 할 멋진 테스트가 있습니다 따라서이 데이터를 더자를 것입니다 그래서 나는 선수를 볼 것입니다 게임당 최소 8 점을 얻습니다

이 데이터입니다 자 이제 절단에서 잘립니다 그래서 내가 순진하고 선을 맞추려고하면이 선을 얻습니다 내가 한 사실을 고려하지 않으면 게임당 8 점 이상 잘림 양의 경사 곡선을 얻습니다 최소 제곱 법을 사용하면 그러나 내가 고려하면 8 점에서 잘렸다는 사실은 부정적으로 줄을 바꾸겠다

이것은 생각의 이점입니다 사실에 대해 데이터에서 이미 일부 잘림이 발생했습니다 이것은 확실히 당신이 할 줄이 아닙니다 이것이 데이터 세트라고 생각하면 적합합니다 하지만이 데이터 세트가 다른 데이터 세트를 잘라서 생성 한 이 라인은 이제 의미가 있습니다 이것이 최대 가능성입니다 시간이 얼마 남지 않았습니다 하지만 다른 유형의 잘림 통계에 대해 설명하겠습니다

성별 예측 이야기에 더 잘 맞는 문제 1 분 남았 어? >> 네 >> 내 타이머에 따르면 이 설정에서 내가하고있는 일은 세계가 다음과 같이 생산된다고 가정하십시오 기본 분포 D가 있습니다 이미지와 라벨을 샘플링합니다 그러나 알려지지 않은 메커니즘이 이미지를보고 결정합니다

포함 여부 내 훈련 세트에서 그 이미지와 레이블 특히, 예를 들어 나에게 알려지지 않은이 파이가 경주를보고 피부톤 등 그 사람의 결정에 따라 인터넷에 해당 이미지를 게시할지 여부 훈련을 위해 나에게 줘 이와 같은 필터 데이터가 주어지면 그리고 그것은 우리가 가정하는 여분의 것입니다 내가 관심있는 테스트 인 큰 테스트 세트가 주어졌다 편견이있는 훈련 세트가 있습니다

또한 바이어스되지 않은 테스트 세트가 있습니다 그러나 테스트 세트에는 모든 종류의 사람들의 이미지가 있습니다 이들은 실제로 라벨링에 관심이있는 이미지입니다 편향되고 레이블이 지정된 데이터 세트를 제공한다고 생각합니다 그리고 편견이 있지만 레이블이없는 테스트 세트를 제공하고 있습니다

내가하고 싶은 것은 하는 성별 분류기 편견없는 분포에서 >> [들리지 않음]이 경우 왜 중요하지 않아야 하는가 [알아들을 수 없는]? >> 당신은 일종의 중요한 [들리지 않음]을해야합니다 문제는 이제 기준을 모른다는 것입니다 적의 결정에 따라 데이터 세트에 이미지를 포함할지 여부 이 경우 당신은 필터링을 모른다 >> 가정이 [들리지 않음]? >> 절차 가정은 당신이 주어진다는 것입니다 레이블이 지정되고 편향된 데이터 세트, 레이블이 지정되지 않은 및 바이어스되지 않은 테스트 세트 그래서 당신은 배워야합니다 이 필터링 절차를 기반으로하여 그 가능성을 바탕으로 우리가 제안하는 최대 가능성 설정은 그리고 그것은 몇 가지 대안입니다 다른 도메인 적응 접근법

여기에 한 가지 예가 있습니다 그와 함께 마무리하겠습니다 여기에서 우리는 다음 실험을했습니다 이미지도 찍었고 아주 좋은 성별 분류기 성별 분류 기가 실패한 이미지를 살펴 보았습니다 이것들은 하드 메일 이미지입니다

그래서 이것은 정말 좋은 성별 분류 기가 실패하는 곳입니다 성공적인 남성 이미지입니다 이것들은 실패한 딱딱한 여성 이미지입니다 이것들은 실패하지 않는 쉬운 여성 이미지입니다 그래서 우리는 아주 좋은 성별 분류기를 사용했습니다

우리는 그것이 실패한 곳을 살펴 보았습니다 그리고 실패하지 않는 곳 우리는 주로 데이터 세트를 만들었습니다 하드 이미지를 포함하고 쉬운 이미지가 거의 없습니다 우리는 이것을 성별 분류기로 설정 한 훈련으로 제공합니다

이제 순진한 경우 해당 바이어스 데이터 세트를 학습하면 남성과 여성의 역할이 천천히, 반대로 바뀌어 당신은 무작위 추측에서 시작 천천히 악화되고 편향되지 않은 데이터 세트가 더 나쁩니다 뒤집힌 세계를 배우기 때문입니다 절단이 가능하다는 점을 고려하면 [들리지 않음]에서 복구 할 수 있습니다 그래서 이것은 제가 말하고 싶은 또 다른 것입니다 밀도를 배우는 비지도 학습 문제

>> 이것을 가지고 죄송합니다 따라서 이것은 편향되지 않은 데이터 세트에서 정확성의 가능성입니다 >> 맞습니다 예 >> 당신은 여전히 ​​[들리지 않음]에 비해 매우 나쁜 일을하고 있습니다

[들리지 않음]에서 55 %가 정확합니다 >> 네 우리는 천천히 개선되고 있습니다 >> 어쩌면 당신은 그것을 얻을 수 있습니다 >> 아직 포화되지 않았습니다 예

결과가 있습니다 비지도 학습, 학습 밀도 다시, 우리가 얻는 것은 학습을위한 최적의 요금 함수로서의 가우시안 및 지수 패밀리 데이터의 차원 그러나 요약하자면, 학습자가 제가 제시 한 사례를 연구하면서 센서 사용 방법 더 이상 사용되지 않는 통계로 들어가는 편견 제거 트레이닝 세트가 대표적이지 않기 때문에 알고리즘의 조건 앞으로 만날 것입니다 강건한 것을 배울 수있는 방법 사실 데이터 세트를 얻는 방법에 대한 선택 편견? 우리는 다시 신경망에 작동하는 일반적인 프레임 워크를 가지고 있습니다 SCD를 기반으로합니다 그러나 엔드-투-엔드 보증을 받으려면 통계에서 몇 가지 오래된 문제에 대한 정보를 제공 할 수 있습니다

특히, 잘린 선형 회귀 프로 빗 물류 및 가우시안 학습은 가우시안을 잘랐습니다 그게 다야 고맙습니다 >> 알겠습니다 암시? 슬라이드로 돌아갈 수 있습니까 당신은 Y에 의해 잘린 농구를 어디에? >> [들리지 않음] 그림이 기억납니다 네

>> 우리가 전에 본 훨씬 간단한 알고리즘이 있기 때문입니다 >> 네 어느 것입니까? >> [들리지 않음] >> 잘린 선형 회귀는 오래된 문제입니다 해결되지 않은 통계에서 >> [들리지 않음]은 엡실론이 대칭이라는 것입니다

그리고 나는 반영하고 싶습니다 당신의 걱정되는 추정치보다 낮은 점수 >> 작동하지 않습니다 왜냐하면 그들 모두를 반영 할 수는 없습니다 당신은 어디에 선을 모른다 >> 아니요 모두 반영하지 마십시오

>> 당신이 줄을 알고 있다면 >> [들리지 않음] 반영 간단 해 >> 라인이 어디에 있는지 알고 있다면 작동합니다 그러나 당신은 선이 어디에 있는지 모른다 >> 아니오, [들리지 않음]

>> 우리는 좋은가요? >> 알겠습니다 다음 단계는 스탠포드의 Tengyu Ma가 있습니다 >> 내 말 들려? 이 작동합니까? 괜찮아 그래서 얘기 할게요 초기의 큰 학습률의 정규화 효과에 대해 Yuanzhi Li와의 공동 작업입니다 누가 스탠포드에 아직 기술적으로 있다고 생각하지만 그는 직업을 위해 CMU에갑니다 스탠포드의 학생 인 콜린 웨이 저는 Tengyu Ma입니다

정규화에 대해 이야기하겠습니다 그러나 원래 동기 이 프로젝트의 가장 빠른 알고리즘에 관한 것입니다 2 년 전에는 1 년 동안 Facebook에 가입하기로 결정했습니다 나는 내가 원하는 것을 생각하고 있었다 딥 러닝을 위해 경험적으로 더 빠른 알고리즘을 설계하십시오 아마 3 년 전에 우리는 [들리지 않음]과 다른 많은 협력자들과 이론적으로 다른 것을 원했다 볼록하지 않은 문제에 대한 빠른 알고리즘

나는 깊은 모델을 위해 이것들 중 일부를 시도해야한다고 생각하고있었습니다 그런 다음 조금 시도했지만 작동하지 않았습니다 그리고 나는 우리 모두가 흥미롭게도 더 빠른 훈련을 원한다면 그렇게 어렵지 않습니다 그래서 당신이해야 할 일은 사용하는 것입니다 학습률이 낮고 매우 쉽습니다 따라서 이것은 더 빠른 훈련을 제공합니다

그러나 테스트 정확도는 그렇지 않을 것입니다 큰 학습 속도만큼이나 좋습니다 여기 2 년 전에 제가 만든 음모가 있습니다 형식을 변경할 수 없어서 더 이상 Facebook 클러스터에 액세스 할 수 있습니다 이것을 전달하겠습니다

주황색은 훈련이고 초기 학습 속도가 001 인 알고리즘의 테스트 이 경우 001은 작은 것으로 간주됩니다 녹색은 초기 연간 비율이 01 인 알고리즘의 곡선 이것은 큰 학습률로 간주됩니다

훈련 측면에서 볼 수 있습니다 점선은 훈련 곡선이고 훈련 성과는 많이 작은 학습률 하나에 더 좋습니다 그러나 주황색 테스트 성능이 시작될 때 학습률이 낮을수록 좋습니다 수렴 후 하루가 끝나면 어떻게 든 녹색이 주황색을 이깁니다 더 오래 실행하면 당신은 주황색이 따라 올 수 있다는 것을 결코 보지 못합니다 어떻게 든 본질적으로 큰 학습률로 여기에 무슨 일이 일어나고 있습니다

큰 학습 속도는 우리가 하루가 끝나면 규칙적으로 우리는 더 나은 테스트 정확도를 가지고 있습니다 따라서 테스트 정확도를 얼마나 빠르게 수렴하는지에 대한 것이 아닙니다 이것은 실제로 최종 정확도에 관한 것입니다 학습률이 높을수록 훨씬 좋습니다 학습 속도가 작은 것보다 조금 낫습니다

여기에는 1 % 만 개선되었습니다 다른 쪽의 데이터와 설정에 따라 다릅니다 여기서 개선은 단지 1 %에 불과합니다 우리는 모든 데이터를 사용하고 있기 때문에 아키텍처 및 정규화와 같은 따라서 많은 개선을 기대할 수는 없습니다 그러나 예를 들어 논증이 없다면 격차가 매우 크다는 것을 알 수 있습니다

어떤 의미에서 우리가 볼 수 있기 때문에 이것은 정말 좋은 알고리즘이 정규화 될 수 있기 때문에 새로운 현상이 발생합니다 [들리지 않음]에 대해 이야기 한 것 같습니다 그것과 많은 다른 사람들에 대해 이야기했다 정규화 효과 알고리즘 정말 신나 네요 새로운 연구 방향이 많이 열립니다 그러나 반면에 걱정은 적어도 병목 현상은 우리는 정규화 효과를 이해하지 못한다 알고리즘의 최적화 알고리즘으로 디자인하는 방법을 모릅니다

더 빠르게 실행되는 더 나은 최적화 알고리즘을 찾을 수 있습니다 하지만 정규화를 이해하지 못하면 결과는 내가 그것을 실행하는 것입니다 실제 데이터 세트와 일반화는 좋지 않습니다 레온과 얘기 했어요 페이스 북의 어느 시점에서 이것에 대해 레온이 말 했어요 실제로 그들은 아마도 20 년 전에 이것을 시도했고 2 차 알고리즘이 더 빠르게 변경 될 수 있음을 발견했습니다 그러나 일반화는 크지 않습니다 아마 이것은 아마도 많은 논문들이보고 한 것처럼 나 자신에 의해 만들어졌습니다

나는 그 신문을 읽는 데 시간이 오래 걸렸다 그래서 내가 스스로를 발견했습니다 그러나 실제로 그들은이 효과를 훨씬 더 일찍보고합니다 그래서 우리의 주요 질문 이 대화에서 부분적으로 답변을 시도 할 수 있습니다 초기 학습 속도가 큰 이유가 일반화에 도움이되는 이유 이걸 이해하면 향후 최적화를 통해 설계 할 수 있습니다

생각해 보면 그렇게 간단하지 않습니다 중요한 것은 여기에 초기 학습 속도가 어떻게 든 있습니다 초기 학습 속도가 달라지기 때문에 이 분석은 다소 역사에 민감해야합니다 따라서 알고리즘 분석은 알고리즘의 시작 단계에서 일어나는 일에 대해 이것은 찾기가 쉽지 않다는 것을 의미합니다 이러한 현상을 볼 수있는 간단한 설정입니다

예를 들어 선형 모델로 작업하는 경우 선형 모델은 우리는 거의 확실하다고 생각합니다 선형 모델에는이 속성이 없습니다 우선, 정규화를 사용하면 이는 볼록한 문제입니다 따라서 어떤 알고리즘을 사용했는지는 중요하지 않습니다 따라서 정규화 효과가 없습니다 정규화가 없으면 사용중인 법률에 따라 물류 법을 사용한다면 그의 곡선 대 논문이 그것의 반복이 전통에 의존하지 않았다는 것을 보여주었습니다

최종 학습률에만 의존합니다 대략 제곱 법이 법칙이라면 나는 같은 일이 일어난다 고 생각합니다 여기 모든 것이 볼록하기 때문에 우리는 반복을 이해하고 매우 확신합니다 그런 현상이 없다고 초기 학습 속도에 대해 종종 최종 학습 속도가 중요합니다 때로는 초기화가 약간 중요합니다 초기화하는 경우 데이터에 대한 직교 부분 공간 거기서 아무것도 바꾸지 않을 것입니다

그래서 초기화가 약간 중요합니다 또한이 문제를 연구하기위한 또 다른 어려움은 당신은 단지 할 수 없습니다 같은 이유로 제한 행동에 대해 이야기하고 중요한 것은 끝이 아니기 때문에 그래서 당신은 어떤 학습 속도를 사용합니다 따라서 우리는 T를 무한대로 취할 수 없으며 확률 론적 과정의 제한적인 행동 연구 NTK도 여기서 실제로 도움이되지 않습니다 NTK가 꽤 많기 때문에 커널 공간에서 볼록 최적화 된 선형 모델 첫 번째 범주에 속합니다

우리가 여기서하는 일은 장난감 데이터 배포 이 장난감 데이터 배포를위한 두 개의 신경망의 경우 우리는 실제로이 현상을 보여줍니다 발생하는 이유는 SGD는 다양한 패턴을 배웁니다 학습 속도 일정이 다른 여러 가지 순서로 따라서 선형 요율표가 중요한 것은 다른 순서로 다른 패턴을 배우고 다른 것들이 다르기 때문에 우리는이 결과를 볼 수 있습니다 마지막에 다른 일반화 성능 우리가 말하는 패턴의 유형은 무엇입니까? 우선, 나는 단지 생각 할거야 이론적으로 이것을 분석 할 수있는 데이터 분포 하지만 처음에는 더 큰 그림을 드리겠습니다 우리가 이미 어떤 종류의 건축을하려고하는지 우리는 두 가지 패턴을 만들 것입니다 첫 번째 단계 패턴은 우리는 일반화하기는 쉽지만 맞추기 쉬운 패턴이라고 부릅니다 예를 들어이 설정에서 선형으로 분류 가능한 패턴으로 생각할 수 있습니다

따라서 선형 모델 만 필요하므로 적합합니다 이러한 데이터에 적합한 매우 간단한 아키텍처 하지만 같은 치수 번호가 필요합니다 일반화 할 데이터 포인트 이것이 우리가 일반화하기 쉽지만 맞추기 쉬운 것입니다 다른 유형의 패턴 비교는 일반화하기 쉽고 적합하지 않은 패턴입니다 우리는이 구체적인 예제를 여러분이있는 곳에서 사용할 것입니다 예를 들어 클러스터 데이터입니다

제가 말했듯이 데이터 포인트는 세 그룹으로 묶여 있습니다 이 세 그룹이 배웁니다 이것들은 긍정적 인 예이며 중간에 있습니다 부정적인 예가 있습니다 이 경우 분리 할 선형 구분 기호를 사용할 수 없습니다 세 군집이 동맹하기 때문에 선형 분류 기가 없습니다

그래서 우리는 당신이 필요하기 때문에 맞추기가 어렵다고 말합니다 그러한 데이터에 적합하도록 적어도 2 계층 네트워크 그러나 그것들은 매우 밀집되어 있기 때문에 실제로 일반화는 쉽습니다 2 계층 네트워크가 필요하더라도 당신이해야 할 유일한 것은 세 가지 요점을 거의 암기하기 위해 클러스터의 세 중심 기본적으로 세 가지 예를 보면 완벽하게 일반화 할 수 있습니다

따라서 복잡한 모델이지만 일반화 할 샘플은 거의 없습니다 이것들은 우리가 이야기 할 두 가지 유형의 패턴입니다 우리는 학습 순서를 보여줄 것입니다 그런 문제에 분포는 다른 유형의 패턴을 가지고 있습니다 그래서 여기에 방법이 있습니다 패턴이 혼합 된 장난감 분포를 구성합니까? 따라서 데이터 포인트에는 좌표의 두 가지 하위 집합이 있습니다 좌표의 첫 번째 부분 집합을 x1이라고합니다

차원이 d이고 좌표의 두 번째 하위 집합도 치수입니다 디 우리는 세 가지 유형의 예제를 구성 할 것입니다 이 데이터 세트는 이기종입니다 따라서 첫 번째 유형의 예제는 질량의 20 %입니다 이 예제의 20 %는 x1, 0 형식입니다

두 번째 특허는 존재하고 우리는 첫 번째 패턴 만 가지고 상기 제 1 패턴은 상기 제 1 패턴으로부터 생성되며, 선형 적으로 분류 가능한 패턴 타입 2 예제는 또한 질량의 20 %를가집니다 그들은 첫 번째 패턴이 없을 것입니다 첫 번째 좌표 세트에서 그리고 두 번째 좌표 세트는 후반 패턴 클러스터링되었지만 선형으로 분리 할 수없는 패턴 세 번째 유형의 예 나머지는 두 가지 패턴이 있습니다 그래서 우리가 걱정하는 이유 이 이기종 데이터 세트를 사용하면 학습 순서가 차이를 만드는 것을 볼 수 있습니다 두 알고리즘을 비교해 보겠습니다

첫 번째 알고리즘은 첫 번째 유형의 먼저 패턴을 만든 다음 두 번째 패턴을 배웁니다 기본적으로 먼저 패턴 1을 배우고 패턴 1을 어떻게 배우나요? 기본적으로 1 번 예제를 입력하고 3 예제는 x1을 모두 가지고 있습니다 패턴 1을 배우기 위해 모두 사용할 수 있습니다 질문? >> 패턴 1은 선형으로 만 분류 할 수 있어야합니다 또는 클러스터가 잘 구성되지 않은 고 분산을 원하십니까? >> 타입 I의 경우, 우리는 그것들이 높은 분산을 원합니다

정확한 구성에 대해 이야기하겠습니다 기본적으로이 두 가지를 절반 가우시안으로 최소한 일반화 할 샘플 수를 요구합니다 >> X와 원의 의미는 무엇입니까? >> X는 양수 샘플입니다 원은 음성 샘플입니다 >> X1에도 라벨이 포함되어 있습니까? [들리지 않음]과 함께 제공되는 [들리지 않음] 외부 레이블

>> 네 이와 관련된 레이블이 있습니다 다음 슬라이드에서는 더 정확할 것 같습니다 여기에 아주 빨리 설명하기 위해 제 X1은 패턴 1에서 생성되었습니다 나는이 배포판에서 X1과 레이블을 함께 결합한다는 것을 의미합니다 >> 라벨이 X1 안에 있거나 [들리지 않음]입니까? >> 레이블은 기술적으로 표기법으로 X1 외부에 있습니다

네 >> X1 내부? >> 외부 >> 외부 >> 네 기술적으로 패턴 1에서 생성 된 X1, Y를 작성해야합니다 >> 알겠습니다

>> 네 >> 세 번째 유형으로 말할 때 X1에서 X3까지 두 개의 레이블이 있습니까? >> 하나의 레이블이 있고 연결되어 있습니다 따라서 X1과 X2는 동일한 레이블에서 생성됩니다 >> 알겠습니다 >> 레이블에 나열한 다음 X1 및 X2를 생성 할 수 있습니다 다음 슬라이드에서 더 명확해질 것입니다

괜찮아 학습 순서로 돌아갑니다 따라서 이기종 데이터 집합이 있다면 패턴을 먼저 배우고 싶다면 그러면 무슨 일이 일어나는지 사용해야합니다 패턴 1을 가진 모든 예제는 패턴 1을 학습합니다 기본적으로 Type을 사용합니다 I 및 Type III 데이터가있는 곳 X1에 있고 가장 적합한 선형을 찾습니다 패턴 2를 배울 수 있습니다

패턴 2를 배울 때 우리는 단지 나머지를 사용합니다 패턴 2 만있는 예제의 20 % 따라서 알고리즘 2의 순서는 다릅니다 여러분이하는 일은 먼저 패턴 2를 배우는 것입니다 최고의 비선형 피팅을 찾는 곳 패턴 2를 가진 모든 예에 패턴 2가있는 예는 무엇입니까? 유형 II 및 유형 III 예제는 패턴 2를 갖습니다 그런 다음 나머지를 배웁니다 이제 남은 예제의 20 % 만 남았습니다

모든 유형 II 및 유형 III 예가 이미 완벽하게 맞습니다 따라서 예제의 20 % 만 있습니다 왼쪽 이들은 유형 I 데이터입니다 기본적으로 차이점은 학습 패턴 1과 관련하여 여기 첫 번째 알고리즘에서 우리는 80 %를 사용합니다 패턴이 1 인 데이터의 두 번째 경우에는 데이터의 20 % 60 %의 나머지 패턴 2를 배우는 데 사용되었으며 정확하게 맞습니다 더 이상 사용할 수 없습니다

이 비율이 작을수록 [들리지 않음]이 발생합니다 당신은 거기에 볼 수 있습니다 일반화 측면에서 차이가있다 여기서 일반화는 데이터의 80 %를 사용하고 있기 때문에 더 좋습니다 그리고 여기서 일반화는 더 나빠질 것입니다 데이터의 20 % 만 사용하고 있기 때문입니다 여기서는 학습 패턴 1에 대해서만 이야기하고 있습니다 학습 패턴 2는 항상 좋습니다 패턴 2는 배우기 쉽기 때문입니다

패턴 2를 배우려면 세 가지 예만 있으면됩니다 그래서 그것은 질문에서 벗어났습니다 따라서 두 예제 모두 패턴 2를 매우 잘 배울 수 있습니다 기본적으로 제가 보여 주려고하는 것은 이 큰 학습 속도 플러스 어닐링은 알고리즘 1을 수행 할 것입니다 정확히이 두 가지를 할 것입니다

전체적으로 작은 학습 속도는 알고리즘 2를 수행합니다 그래서 알고리즘 1과 알고리즘 2가 작은 학습 속도와 큰 학습 속도 일반화 성능에 차이가있을 수 있습니다 패턴 1의 일반화 성능이 다릅니다 그것들은 다른 수의 예에서 배운 것이기 때문입니다 지금까지 질문 있나요? 따라서 이것은 단지 높은 수준의 계획입니다

어떻게하는지 좀 더 말해 줄게 우리는 이것을 정확하게 구성하고 증명했습니다 또한, 우리가 온전한 지 여부를 확인합니다 여기에서 분석과 관련하여 역사에 의존하는 우리는 물류 손실을 사용하기 때문에 그렇게합니다 기본적으로 일어나는 일은 큰 학습 속도와 어닐링을 사용하면 먼저 패턴 1을 배우고 이제이 데이터를 모두 사용한 후 물류 손실을 사용하고 있기 때문에 샘플이 적합하면 자신감 때문에 너무 높고 그래디언트가 너무 작아서 다른 용도로는 절대 사용할 수 없습니다 적어도 오랫동안 당신은 사용할 수 없습니다 자신감이 돌아 오지 않는 한 그래서 당신이 몇 가지 예를 배운 후 물류 손실을 잘하면 더 이상 사용할 수 없습니다

그래서 여기에 패턴 1을 배우면 사용할 수 있습니다 패턴을 배우는 예제들 여기서도 마찬가지입니다 이것이 역사의 의존성에서 비롯된 것입니다 >> [들리지 않음] 의존성, [들리지 않음] 수정 가능 이 예제의 문제 당신은 일정한 학습 속도를 가질 수 있습니다 탈락 또는 그와 비슷한 것 >> 물론입니다

우리는 몇 가지 완화 전략을 가지고 있습니다 [들리지 않음]에 매우 가깝습니다 그래서 나는 대화가 끝날 때 완화 전략에 대해 이야기하고 이것은 인공적인 실제 데이터 셋을 보여주는 실험입니다 이런 현상도 볼 수 있습니다 인공 인공 데이터 세트 용 우리가 증명할 수있는 것은 장난감 케이스입니다

여기 좀 더 현실적인 경우입니다 여전히 또 다른 실제 데이터 세트입니다 하지만 좀 더 현실적입니다 데이터 셋을 생성하는 방법은 다음과 같습니다 아이디어는 우리는 실제 데이터 세트에서 이 쉬운 패턴과 어려운 패턴이 있습니다

이 두 가지 패턴을 좋아하지만 찾을 수 없었습니다 적어도 우리는 아직 그것들을 찾는 방법을 모른다 우리가 한 일은 기존 이미지의 모든 패턴에서 그것들은 타입 I 패턴이고 우리는 타입 II 패턴을 주입합니다 일반화하기 쉽지만 적합하지 않은 패턴 우리는 어떻게합니까? 그래서 기본적으로, 이 워터 마크를 CIFAR 이미지의 중간에 추가하면 이것은 타입 II 패턴입니다

기본적으로 모든 클래스에는 정확히 두 개의 패치가 있습니다 이 두 패치는 해당 클래스와 정확히 연관되어 있습니다 두 패턴을 보면 그들이 어떤 클래스인지 정확히 그리고 당신은 방금 주사 해당 클래스의 모든 이미지에 대한 두 패턴 중 하나입니다 기본적으로 두 가지 패턴이 있습니다 각 클래스 I에 대해 V와 VI 프라임 클래스 I 예제의 VI 소수

우리는 같은 타입 I을 사용합니다 유형 II 및 유형 III 구성 예제의 20 %에는 패치가 없습니다 예제의 20 %에는 패치 만 있습니다 따라서 실제 이미지조차 없습니다

중간에 패치 일뿐입니다 배경이없고 60 %의 예제가 혼합되어 있습니다 이제 데이터 세트가 있고 실험을 실행할 수 있습니다 큰 학습 속도와 작은 학습 속도로 우리가 어떤 종류의 패턴을 배우고 있는지보십시오 >> 20 %는 단지 [들리지 않음]입니다 >> [들리지 않음]에서 나는 단지 깨끗한 이미지를 생각합니다

네 이제 우리는이 큰 열거 형과 작은 열거 형을 실행합니다 이 [들리지 않음]의 예를보고 싶습니다 먼저 패치를 배우 든 실제 이미지를 먼저 배우 든 이 경우 패턴이 무엇인지 알기 때문에 이러한 패턴의 학습 순서는 무엇인지 조사 할 수 있습니다 나는 녹색을 무시하도록 요청할 것입니다 이것이 실제로 완화 전략입니다

파란색과 빨간색에 중점을 두겠습니다 따라서 파란색은 큰 열거 형 어닐링입니다 이것이 우리가 에포크를 어닐링하는 지점입니다 30과 초록색은 전체적으로 더 작은 열거 형입니다 나는 녹색을 무시하도록 요구할 것입니다 빨간색은 전체적으로 작은 열거 형입니다 깨끗한 정확성을 볼 때 깨끗한 예, 파란색의 정확도

큰 열거 형과 어닐링 전체적으로 좋은 정확성을 얻습니다 그러나 깨끗한 정확성 작은 열거 형이 아닙니다 큰 열거 형의 깨끗한 정확도만큼 좋습니다 이것은 우리의 설명에 따릅니다 이것은 당신이 사용하지 않기 때문입니다 깨끗한 패턴을 배우기에 충분한 샘플 열거가 작은 패턴 1 더 유익한 정보 일 수도 있습니다 패치 정확도를 보면 여기에서 우리가 의미하는 것은 분류기에 패치하고 정확성을 확인하십시오

이것이 여러분이 배우는 양을 측정하는 것입니다 패턴 2를 얼마나 사용하고 있습니까? 패치, 분류합니다 이제 이것은 매우 분명합니다 당신이 작은 열거 할 때 그래서 패치를 매우 빠르게 배워야합니다 패턴 2는 매우 배웁니다

다섯 시대에 아주 빨리 그러나 큰 열거 형을 사용하면 패턴 2와 [들리지 않음]을 배우지 않을 것입니다 기본적으로 큰 열거 형으로 당신은 단지 무시하지 않을 것입니다 당신이 중간에 패치 어쨌든 이것이 가짜 연습임을 감지하십시오 >> 정확한 정확성에 대한 정의는 정확히 무엇입니까? >> 임의의 깨끗한 예제에 모델을 적용하기 만하면됩니다 >> [들리지 않음]없이

>> 수정없이 >> 동일한 무조건 배포입니다 >> 네 동일한 무조건 분포 >> 알겠습니다 패치 정확도 워터 마크를 포함하고 있습니다 >> 패치 정확도는 방금 압출 된 것입니다

우리는 워터 마크와 배경이 없습니다 배경이 0으로 설정되었습니다 >> 워터 마크 만 있습니다 >> 네 >> 그것은 흰색이거나 다른 이미지와 비교됩니다 >> 예, 예 >> 알겠습니다 >> 네 그래도 여전히 올바르게 분류 할 수 있다면 기본적으로 패치를 배우고 있음을 제안합니다

실제로 이미지가 제공되지 않기 때문에 당신은 패치 만 제공됩니다 >> 당신은 그것을 모든 흰색 이미지 또는 다른 것과 비교하고 있습니다 >> 어떤 이미지가 제로 정확도를 제공합니까? >> 맞아 그러나 나는 그렇게 말하고 있습니다 패치에는 한 가지 유형의 이미지 만 표시됩니다 (들리지 않음) >> 한 가지 유형의 이미지 만 있습니다

>> 알겠습니다 >> 기본적으로 20 개의 이미지가 있습니다 모든 수업마다 10 개의 수업이 있으며 모든 수업에는 2 개의 이미지가 있습니다 이 20 개의 이미지 만 가지고 있으며 정확도가 무엇인지 살펴보십시오 큰 열거 형으로 무시해야합니다

패치는 기본적으로 작은 열거 형으로, 당신은하지 않을거야 또는 당신은 패치를 매우 빠르게 배울 것입니다 >> 왜 각 수업마다 두 개의 패치가 있습니까? 클래스 당 하나의 패치 만 있으면 [들리지 않음] >> 그렇다면 선형으로 분류 할 수 있다고 생각합니다 패치가 필요합니다 대칭 위치이므로 패치는 선형으로 분리 할 수 ​​없습니다 이것은 또한 우리의 건설에도 있습니다

나는 우리가 하나의 패치를 시도했지만 작동하지 않았다고 생각합니다 마지막으로 배운 것은 패치와 학습 패치에는 이미 깨끗한 이미지가 일반화되어 있습니다 올바른 곡선으로 패치를 매우 일찍 배우고 그러나 당신은 두 번째 패턴을 잘 배우지 못합니다 괜찮아 아마 10 분 정도 걸렸을 것 같아 10 분 미만 >> 6 분 미만

>> 6 분 괜찮아 그럼 아마도 나는 아주 빨리 갈 것이다 사실 여기서 너무 많이 말하지는 않습니다 기본적으로 이것은 정확한 구성입니다

그래서 여기에 올바른 표기법을 사용하고 있습니다 나는 x1, y를 생성 할 것입니다 분포 p와 분포 p 패턴 1은 선형으로 분리 가능 약간의 마진을 가진 가우시안의 절반입니다 정확한 [들리지 않음]은 중요하지 않을 것입니다 타입 2는 다음과 같은 두 번째 패턴에서 생성됩니다

그래서 우리는 그것들을 선형으로 분리 할 수 ​​없도록 구성합니다 방향면에서 클러스터가 있습니다 타입 3은 기본적으로 생성하는 방법을 찾는 것입니다 기본적으로 몇 개의 레이블을 사용하여 x1, y는 p이고 x2, y는 Q임을 알 수 있습니다 기본적으로 조건부 레이블 및 생성 조건부 분포에서 나온 XYS X2 데이터 조건부 레이블 그래서 이것들은 [들리지 않는] 개선 된 정리입니다

중요한 것은 이것은 거의 분류 할 수 없습니다 그래서 우리는이 두 클러스터를 선형으로 분류 할 수 없도록 레이블을 1로 지정하십시오 따라서 정리 정리를 생략 할 것입니다 진술은 내가 당신에게 말한 것입니다 난 그냥 조금 더 만들었습니다 공식적이지만 여전히 공식적이지 않은 깔개 밑의 모든 것을 쓸어 버리기 때문입니다

중요한 것은 우리가 어떤 아키텍처를 사용하려고합니다 정확히 표준 아키텍처가 아닙니다 이것이 우리가 그것을 증명할 수있는 유일한 경우이기 때문입니다 따라서 X1과 X2에서 독립적으로 작동하려면이 아키텍처가 필요합니다 어떤 식 으로든 알고리즘은 가우스 잡음으로 분석합니다 그래서 소음이납니다 잠시 후에 이야기하겠습니다

그런 다음 알고리즘을 증명할 수 있습니다 하나의 큰 열거 형과 매체 캔 작동 및 알고리즘 2가 작동하지 않습니다 많은 시간이 걸리지 않았습니다 여기서 자세히 설명하지 않겠습니다 기본적인 직관에 대해 조금 이야기하고 싶습니다 내가 생각하기 때문에 조금 아마도 여기서 가장 흥미로운 것입니다 우리가 작은 분석에서 우리가하는 일은 기본적으로 이것이 NTK라고 말하는 것입니다

NTK를 사용하면 수렴을 분석 할 수 있습니다 변환기가 얼마나 빠른지 알고 있습니다 우리는 NTK를 조금 더 연구해야합니다 우리가 배우는 패턴을 정확히 특성화합니다 흥미로운 것은 큰 열거 형에 관한 것입니다 왜 큰 열거로 배우지 않을 것입니까? 열거가 큰 패턴 2와 그 이유는 다음과 같습니다

큰 열거 형을 사용하면 소음이 매우 커서 그래디언트에서 같은 양의 노이즈가 있다고 가정합니다 큰 열거 형에 해당 반복적으로 많은 양의 노이즈가 효과적으로 발생합니다 그것은 파도가 많이 변한다는 것을 의미합니다 파도가 많이 바뀌고 소음이 크면 모델을 살펴보면 두 번째 유형의 패턴 또는이 클러스터 패턴 실제로, 당신의 모델은 할 수 없습니다 실제로 작동하는 강력한 도구입니다 실제로 모델은 동작 만 할 수 있습니다 노이즈가 클 때 선형 모델처럼

그 이유는 벡터 W가 있고 이 W는이 클러스터를 분리하지 않습니다 이 W가 이전 데이터 포인트와 같다고 가정 해 봅시다 W의 한쪽에 있습니다 즉, 활성화 패턴이라는 의미입니다 에 대해 모두 동일하게 될 것입니다 세 가지 유형의 예 또는 Z 및 세타 및 Z 및 Z + 세타 기본적으로 W 조옮김 X의 relu가 있지만 실제로 relu는 많은 작업을 수행하지 않습니다

relu는 항상 당신을 제공합니다 모든 패턴 2 예제에 대한 고정 부호 >> [들리지 않음] 다시 말하면 학습률의 선택을 잊어라 타임 스탬프의 처음 20 % 만주세요 패턴 2의 예 마지막 80 %에서 패턴 1의 예 그래서 당신은 무슨 말을하든 어떤 알고리즘이든 그렇게 할 것입니다

왜냐하면 >> 아뇨 >> 아니, 내 말은 이 경우 학습 속도는 실제로 중요하지 않습니다 >> 네 당신이 맞아요 이 경우 학습 속도는 중요하지 않습니다 하지만 우리는 알고리즘이 없다는 것을 증명할 수 없었습니다 모든 알고리즘이 나쁠 것입니다

우리는 단지 특정 알고리즘이 알고리즘이 있기 때문에 나쁘다 예제의 첫 번째 배치를 사용합니다 >> 모든 알고리즘을 말했을 때 나는 단지 학습률이 처음 20 % 만 줘도 도움이되지 않습니다 첫 번째 패턴 2와 패턴 1 >> 네 그러나 어려운 부분은 그렇습니다, 나는 동의하고 그것을 보여주기가 어렵지 않습니다 어려운 부분은 학습률 종류는 올바른 순서를 제공 할 수 있습니다 큰 알고리즘처럼 올바른 순서를 제공합니다

작은 알고리즘은 다른 순서를 제공합니다 이것이 기술적 인 어려움입니다 그래서 여기 기본적으로 큰 알고리즘을 사용하면 패턴 2를 배우지 않을 것입니다 알고리즘에서 패턴 2가 주어 지더라도 그 이유는 가중치가 너무 임의적이므로 비선형 함수로 동작하지 않도록합니다

기본적으로 뉴런은 항상 선형 함수와 같습니다 뉴런은 이와 같은 것을 만족시킵니다 이 두 점을보고 평균을 구합니다 실제로 중간 지점과 같습니다 따라서 항상 선형 함수가 있습니다

그래서 당신이 할 수없는 이유 이런 종류의 학습 패턴은 선형으로 분리 할 수 ​​없기 때문입니다 학습 속도에 근접한 경우에만 소음 수준을 줄이려고합니다 W를 볼 수 있도록 우리는 초평면을 만들 수 있습니다 이 예제 클러스터 사이에 있습니다 이 데이터 분포에 대해 비선형 모델을 가질 수 있습니다 이것이 바로 직관입니다 따라서 기술 직관을 건너 뛸 것입니다

당신이 관심이 있다면 아마도 기록 될 것 같아요 그래서 나는 추측하자 완화 전략에 대해 조금 더 이야기하십시오 따라서 우리의 이론에 따르면 학습 속도가 큰 경우 활성화 패턴에 많은 노이즈를 주입하고 일반화하기 쉬운 패턴을 배우지 못하게합니다 활성화 패턴에 노이즈가 많으면 선형 모델처럼 행동합니다 우리는 이것이 우리에게 도움이 될 수 있는지 보려고 노력했습니다

완화 전략 설계와 같은 자연 완화 전략은 사전 활성화시 노이즈를 추가하고 [들리지 않음] 부분과 같습니다 이제 녹색에 대해 이야기 할 수 있습니다 기본적으로 작은 학습 속도와 소음입니다 이제 우리는 학습률이 낮습니다 하지만 우리는 소음을 사용하여 [들리지 않는] 인공 패턴을 배우십시오

이제 노이즈가있는 녹색이 그렇지 않다는 것을 알 수 있습니다 작은 학습 속도로 인공 패턴을 배우십시오 나는 여기에 당신이 소음 수준을 알고 있다고 생각하면 배울 수 있습니다 좀 더 나은 정확도를 얻을 수 있도록 패턴 따라서 이것은 실제로 완화 전략입니다 또한 인공 패치없이 깨끗한 데이터로 시도했습니다 사실, 그것은 여전히 ​​개선에 도움이됩니다 학습률이 낮을 때의 정확도

기본적으로 여기에 실험이 있습니다 일부 WideResNet16이있는 CIFAR-10 그래서 나는 이것과 이것이 기준이라고 생각합니다 큰 학습 속도와 어닐링 이는 90 %이며 학습률은 84 %입니다 따라서 6 %의 차이가 있습니다 큰 학습 속도와 작은 학습 속도 사이 작은 학습 속도와 사전 활성화 노이즈를 사용하면 우리는 그 차이의 거의 대부분을 통해 그 차이를 회복 할 수 있습니다

그건 그렇고,이 숫자는 그렇게 높지 않습니다 여기에 데이터 제한이 없기 때문에 이 둘 사이의 간격이 6 %라는 것을 알 수 있습니다 데이터 제한이있을 수 있습니다 크고 작은 학습 속도의 격차 아마 2 % 또는 그와 비슷한 것입니다 그래서 빨리 마무리하는 것 같아요 그래서 주요 메시지 학습률이 높으면 일반화하기가 어렵습니다

맞추기 쉬운 패턴 및 작은 학습 속도 일반화하고 맞추기 어려운 패턴을 배웁니다 배우거나 배우는 모든 것 이러한 패턴은 로지스틱 손실과 관련이 있습니다 열린 질문은 실제 데이터에서 이러한 패턴을 어떻게 식별합니까? 우리는 아직 그것을하는 방법을 모른다 인공 패턴을 주입하려고합니다 그러나 실제 데이터에서 이러한 패턴을 식별하는 방법을 모릅니다

우리는 어떻게 결과를 더 많이 만들 수 있습니까? 우리가 고안 한 장난감 예제 대신 일반? 이 예제는 실제로 장난감입니다 어떤 식 으로든 우리는 그것을 증명하는 방법에 대한 아이디어를 가질 것입니다 마지막으로 마지막 슬라이드에서 적어도 일부를 공유해야합니다 알고리즘 정규화에 대한 개인적인 폭 넓은 전망 이 작품은 다소 더 넓은 범위의 알고리즘 정규화 적어도 어쩌면 나처럼 또는 우리는 더 강한 결과를 입증 할 수 없었습니다

하지만 이해하는 것 같아 알고리즘 정규화는 매우 이 장난감 예제에서도 우리가 도전하기 때문에 모든 것을 증명하기 위해 50 페이지 중 40 페이지를 사용해야합니다 또한이 장난감에 대해 명확하지 않습니다 알고리즘이 정규화하는 복잡한 측정 방법 정말 복잡합니다 어떤 의미에서는 나는 또한 적어도 우리를 끌어 들이고 싶습니다 다른 가능한 지름길을 생각하기 위해 이런 종류의 것들을 처리합니다 내가 비관적이라고 생각되는 것처럼 우리가 할 수 없었던 한 가지 측면에서 매우 큰 발전 가까운 장래에 알고리즘 정규화를 이해합니다 그러나 그것은 또 다른 경로 일 수 있습니다

약간의 속임수이지만 더 쉽습니다 우리가 할 수있는 명백한 조절기를 찾을 수 있다고 말할 수 있습니다 적어도 경험적으로 알고리즘 정규화를 가정하십시오 그래서 우리는 명시적인 조절기를 설계하고 실제 데이터 세트의 명시 적 조절기 당신이하지 않는 것을보고 희망 정규화하려면 알고리즘을 사용해야합니다 자, 이것들은 적어도 해결 이 조절기로 인해 최적화 문제가 더 빠른 알고리즘을 안전하게 설계 할 수 있습니다

나는 관심의 분리가 있습니다 난 신경 쓰면 돼 더 빠른 알고리즘이 있습니다 그러나 나는 여부에 대해 생각할 필요가 없습니다 내 정규화는 알고리즘에서 충분하거나 아닙니다 그런 다음 우리는 초기 예비 약속의 징후를 보았습니다 이 데이터 종속 정규화 중 일부를 사용합니다 그래서 이것들은 그렇지 않은 정규화입니다

매개 변수의 표준에만 의존합니다 네트워크의 다른 수량에 따라 다릅니다 예를 들어, 활성화 및 기타 사항 또한, 마지막으로하고 싶은 것은 일반적으로 나는 이질성이 의심 데이터 세트는 중요한 것입니다 그래서 우리는 여기서 볼 수 있습니다 흥미로운 현상이 발생합니다 이기종 데이터 세트가있을 때 또한, 나는 일반적으로 아마 데이터 집합에 이질성이있는 경우 실질적인 개선도 다소 쉽습니다

아마도 표준 데이터 세트 일 것 같습니다 모든 것이 멋지게 디자인되면 그래서 데이터 세트는 알고리즘 정규화에 맞게 이미 잘 조정되었습니다 그래서 여부를 확인하기가 매우 어렵습니다 명시 적 조절기는 정확도를 향상시킬 수 있습니다 예를 들어, 어떤 의미에서 불균형 할 때 우리는 명시적인 정규화가 실제로 실제 성능 측면에서 많은 도움이됩니다 이 논문은 매우 간단한 이론을 가지고 있습니다

이론처럼 수업에 대한 숙제 질문만큼 쉽습니다 그러나 경험적 성능은 많이 이전의 [들리지 않음] 부분보다 낫습니다 그게 내가하고 싶은 전부라고 생각합니다 고맙습니다

AI Institute "Geometry of Deep Learning" 2019 [Workshop] Day 1 | Session 3

>> 기조 연설을 위해 MSR에 Leon을 환영하게되어 기쁩니다 그는 소개가 필요 없습니다

몇 가지 주요 사항을 설명하겠습니다 나는 매우 행복했다 실제로 올해 튜링 상 수상자 신경망에 대한 레온의 기본 연구에 대해 90 년대 초에도 확률 적 그라디언트에 대한 대규모 학습에 대한 그의 연구 그는 항상 출발에 대한 깊은 통찰력을 가지고있었습니다 추론을 배우고 보간에서 외삽으로 그는 오늘 나에게 제목을 말해 구매 그의 기조 연설은 볼록성이 될 것입니다 그는 단지 볼록성에 대해 말해 줄 것입니다 더 이상 고민하지 않고 레온에게 가져 가라

>> 저를 초대 해주셔서 감사합니다 오늘 아침에 많은 것을 보았 기 때문에 사과하고 싶습니다 매우 세련된 대화와 방금 마무리했습니다 그래서 나는 그것이 있기를 바랍니다 내부의 무언가가 어리 석고 잘만되면 당신은 저에게 말할 것입니다 제목이 AI의 지오메트리 였기 때문에이 대화의 동기는 몇 년 전 지오메트리와 관련이 있다고 생각했습니다 2016 년과 17 년에 작성된 것 같습니다 >> 마이크 >> 마이크가 켜져 있지 않습니다

>> 마이크가 켜져 있지 않습니까? >> 작동합니다 >> 작동합니다 알았어요 우리는 출판 된 논문을 썼습니다 조금 애매하지만 남자 형제 때문에 모호하지 않아야 아이젠만 형제입니다 커널은 40 주년을 맞았습니다 지나가고 이해하려고하는 것에 대한 많은 기초 총의 토폴로지와 무슨 일이 일어나고 있는지, 우리는 매우 이상한 이론을 가지고있었습니다 단순하고 어쨌든 우리는 그 이름을 알아볼 수있을만큼 똑똑했습니다

"알라 카르 트 볼록"하지만 너무 많이 생각하지 않아서 단순하고 또한이 정리로 얻은 결과 때문에 나는 그것을 잘 찾지 못한다 지는 경계에 만족하지 않습니다 하지만 최근 몇 년 동안 신경 접선이있는 논문 및 관련 논문 신경망에서의 최적화 이 아이디어로 돌아갈 때마다 아주 간단하게 생각하기 때문입니다 적어도 그것은 내 직감을 말한다 여러분과 공유하고 싶습니다 이것이 유용한 도구인지 확인하십시오

무언가를 극도로 말하는 주장 새로운 것이지만 그것을 보는 흥미로운 방법입니다 요약하자면 문맥 최적화에 대해 이야기하겠습니다 물고 토론하다 근사 속성에 대해 말하는 것, 글로벌 최소화 및 매개 변수화 바이어스 세 번째 부분에서 그때 당신이 나에게 1 시간 슬롯을 준다는 것을 깨달았습니다 나는 무엇에 대해 이야기하려고합니다 처음부터 종이도 기하학이 또 다른 예를 제공합니다 매우 다르며 그 결과를 계속 사용할 수 있습니다 처음에는 아주 느리게 시작해야하는데 우리가 거의 증명할 수있을 정도로 간단합니다 한 가지를 제외한 모든 것이 중요합니다

배경; 저는 세련된 미터법 공간에서 일하고 있습니다 좋은 미터법 공간을 생각해보십시오 곡선은 단지 0,1이라고합시다 내 공간으로 연속하고 두 점을 연결하고 콤팩트하기를 원하기 때문에 감마 서브 트리 T라고 부릅니다 따라서 미터법 공간의 커브에는 많은 것이 있습니다

전 분야가 있습니다 메트릭 지오메트리를 사용하여 대부분 단축 할 것입니다 내가 정말로해야 할 유일한 것은 내가 필요하다는 것입니다 제한 속도 곡선은 실제로 Lipschitz를 거의 의미합니다 그것에 대한 많은 배경이 있습니다 상수 속도에 대해 말할 수 있기 때문에 커브와 일정한 측지선으로 이동합니다 이 모든 사업은 기본적으로 내가 만들면 곡선의 파라미터 T에서 약간의 움직임 미안하지만 난 그냥 할거야 두 점 사이의 거리가 너무 멀지 않다 크고 빨간 볼록도를 정의하겠습니다 곡선 군 C를 가정하고주었습니다

나는 그것이 무엇인지 압니다 그들에 대해 아무 말도 하지마 내 공간의 부분 집합은이 곡선 군과 볼록한 관계입니다 모든 쌍 x, y에 대해 하나씩 x를 연결하는 곡선이 있습니다 y로 완전히 연결되어 있습니다 기본적으로 나는 내 세트에 머무를 수 있고 다음 중 하나를 사용하여 x에서 y로 갈 수 있습니다 내 곡선과 나는 말한다 실제 함수는 모든 곡선에 대해 C에 대해 볼록합니다

곡선에 대한 F의 제한은 모든 DAB에 대해 볼록합니다 기본적으로 당신은 정상적인 볼록 함을 가지고 있습니다 첫 번째는 내 가족이 곡선은 유클리드 공간의 선분이며 이것은 정상적인 볼록 함입니다 두 번째는 비대칭입니다 나는이 볼록한 구조를 보았습니다 하나의 커브와 실제 함수는 모든 커브에서 볼록합니다

두 점을 연결하는 곡선이 여러 개인 경우 두 번째 정의가 더 까다 롭습니다 내가 유일하게하기 때문에 조금 약화시킬 수 있습니다 끝점 사이를 볼록하게 볼 수 있습니다 기본적으로 어떤 T에 대해서도 감마 T의 F는 감마 0의 F와 감마 1의 F의 혼합물 아래 그림과 같이 조금있을 수 있습니다 신경 쓰지 않을 것이고 결과는 매우 간단합니다

F가 커브 패밀리에 볼록한 효과 인 경우입니다 비용 함수 인 경우 곡선의 끝점에 대한 끝점 대류 효과 기본적으로 모든 레벨 세트는 C에 제한 속도 곡선 만 포함 된 경우 모든 지역 최소값은 세계적입니다 기본적으로 볼록성의 필수 속성은 원하는 모든 곡선이있는 설정에서 유지됩니다 말이 되나요? 이것의 증거는 매우 간단합니다 레벨 세트에 속하는 X와 Y를 입력하면 기본적으로 X의 F는 M보다 작습니다 Y의 F는 M보다 작습니다

F는 커브 패밀리에 대해 볼록한 관계이므로 안에 연결되어있는 커브가 있습니다 F F는 끝 점이 볼록하므로 나는 감마 T의 F가 1-Fx의 T + T보다 작다고 생각합니다 Y의 F와 T의 F와 Y의 F가 모두 M보다 크므로 감마 T가 내 레벨 세트에 속한다는 것을 의미합니다 따라서 레벨 세트는 연결되기 전에 경로로 연결됩니다 이제 지역 최소값에 대한 두 번째 부분입니다

나는 포인트가 있다면 로컬 최소값이라고 말했다 그런 공 공의 모든 포인트는 공의 중심보다 크거나 같습니다 모순에 의한 추론, Y가 있다고 가정 Y의 F가 X의 F보다 작도록 X를 Y에 연결하는 곡선을 만듭니다 속도가 제한되어 있어야합니다 속도가 제한되어 있기 때문에 이 속성은 Lipschitz 속성입니다 제한 속도이므로 2K 이상 엡실론을 사용하면 2K 이상의 감마 엡실론의 F가 더 큼 X의 F 인 감마 제로의 F보다 하지만 종말점 볼록성을 가지고 엄격한 불평등과 반대 불평등, 따라서 불가능합니다 그러므로 내 지역 최소의 모순은 위에있을 수 없습니다 F의 다른 지점에서의 가치 지금까지 매우 간단합니다

간단한 머신 러닝 예제를 보자 연속 기능인 X 일부 입력 공간에서 일부 출력 공간으로 부분 집합 X는 기능 군입니다 그것은 일부 세타에 의해 매개 변수화되었습니다 파라 메트릭을 쓰지 않았습니다

커널이나 물건을 갖고 싶어 손실 L을 보자 첫 번째 주장에서 볼록하고 이것은 내 모델의 출력입니다 훈련 예제, 그리고 f, 그래서 손실과 함께, 나는 2F를 가질 것입니다, 미안합니다 내 경험적 교차 함수는 f입니다 그래서 f 기본적으로 모든 기능에서 경험적 손실을 계산합니다

혼합물 만 나타내는 곡선을 만들겠습니다 함수 공간에서 직선 세그먼트 일뿐입니다 즉, 내가 지금 말할 것은 평면 볼록 인수로 얻을 수있는 것 나중에 살펴 보겠습니다 따라서 비용 함수 f는 내 곡선과 사소하게 볼록합니다

기본적으로 출력 공간에 커브를 그립니다 예를 들어 내 네트워크의 손실이 볼록하기 때문에 이것은 볼록하고 문제 없습니다 따라서 함수 군이 곡선에 대해 볼록한면이라면 정리가 적용되며 선형 모형에 적용됩니다 대포 모델의 경우에도 마찬가지입니다 그리고 공식 네트워크도 거의 마찬가지입니다

왜 거의? 내가 매우 풍부하게 패러미터를한다면 과도하게 매개 변수화 된 것이 여기에 적합하지 않다고 말해서는 안됩니다 풍부하게 매개 변수화 된 신경망 근사 특성이 좋습니다 글쎄, 당신은 내 선형 혼합물을 근사 할 수 있습니다 직선에 가까이 갈 수 있습니다 그러나 이것은 A를 증명하기에 충분하지 않습니다

B가 일반적으로 거의 A가 거의 B를 의미한다는 것을 의미하지는 않습니다 그것은 너무 좋을 것이고 이것은 커브가 유용 할 수있는 곳입니다 내 네트워크가 대략적으로 잘 될 수 있다는 것은 무엇을 의미합니까? 글쎄, 나는 단순화 할 것입니다 나는 F가 있다고 말할 것입니다 감마 세타 t

그래서 기능 혼합물에 가까운 내 가족 기본 2 차 거리 인 감마 t 기본적으로 F에서 G로가는 선을 정의합니다 기능 공간에서 내 두 기능 나는 시가를 정의하고 다른 시가 이후로 나는 그것을하는 가족의 기능을 가지고 있습니다 이 시가가 존재한다는 것을 증명하면 이것은 성가신 일입니다

할 수 없습니다 클릭 만하면됩니다 그렇게하는 페이지는 흥미롭지 않습니다 흥미로운 것은이 r 계수가 여기가 작아지면 네트워크가 커지고 근사치가 좋아집니다 그래서 나는 그것에 머물 것입니다 이제 커브 세트가 이러한 시가 모양 영역에 포함 된 모든 곡선

두 점이 있으면 시가를 그리고 이 안에있는 모든 커브는 내 커브 중 하나입니다 저는 행복합니다 이제 구성에 의해, f는 일련의 곡선에 대해 볼록하다 두 기능마다 시가 안에 곡선이 있어요 f에 속한다고 가정합니다 문제는 이 제품군과 관련하여 비용 함수 끝 점이 볼록합니까? 글쎄, 무슨 일이 일어나면 당신이 할 수있는 고정 도메인에 도메인을 바인딩 어쨌든 레벨 세트가 끝났다고 주장 매우 높은 엔드는 다른 주장과 같은 다른 주장도 있습니다

당신은 손실과 함께 일부 Lipschitz 가정을 만들 수 있음을 알 수 있습니다 기본적으로, 당신은 같은 것을 그것은 기능에 일어나고 있습니다 세타 t의 f가 f의 f보다 작다 혼합물과 약간의 quartic, 람다 t1 빼기 t 람다 Lipschitz의 제품입니다 상수와 내가 가진 L 이것을 적용하면 나는 이것을 얻습니다

부호가 잘못 되었기 때문에 강한 볼록성이 아닙니다 사실, 손실이 Mu라면 이 작업을 수행하는 대신 볼록하게 볼록하게 Mu를 추가 할 수 있습니다 t1에서 t를 빼고 Lambda가 Mu보다 작 으면 완료됩니다 그러나 그렇지 않습니다 볼록하지 않은 기능을 처리해야합니다

거의 볼록한 모양이며,들을 수 없습니다 여기의 두 번째 부분이 있습니다 내가 거의 볼록 최적화라고 부르는 정리 익숙한 곡선을 존중하기 위해 F가 볼록합니다 각 곡선에 대해 비용 함수 이와 같은 것을 만족 시키십시오 더 이상 빨간색으로 작동하지 않습니다

볼록한 검증 [들리지 않음] 지금 말할 수 있으면 증명하기가 매우 간단한 것입니다 m이 최소값보다 크면 f plus Lambda 함수의 에 등장하는 람다 그런 다음 레벨 세트가 연결됩니다 기본적으로 제한 속도, 구속 조건도있는 경우 그것은 어떤 지역 최소 세계 최소값보다 최대 감마입니다

왜 그렇게 되었습니까? 다시 매우 간단합니다 따라서 두 가지 점을 고려하십시오 레벨 설정에서 x와 y 그리고 값이 M보다 작은 것은 레벨 세트에서 az를 선택합니다 z의 f는 m에서 감마를 뺀 값보다 작습니다 아래에있는 az를 선택합니다 이제 두 개의 커브를 만들어 보겠습니다

x를 z에 연결하는 것, 또 하나의 z에서 y 사실, 그들은 같은 구조입니다 이 두 커브가 있다면 그런 다음 경로가 있고 경로가 연결되어 있습니다 이 그래프에서보다 쉽게 ​​볼 수 있다고 생각합니다 감마 제로가 x이고 감마 1이 z이면 m은 저의 레벨입니다

나는 그 선 아래에 있지 않을 것입니다 여기 빨간 곡선 아래에 있습니다 z가 x보다 충분히 낮 으면 빨간색 곡선이 모두 M 아래에 있는지 확인할 수 있습니다 따라서 x와 z 사이의 곡선은 전적으로 레벨 세트에 있습니다 마찬가지로 z에서 y까지의 곡선은 전적으로 레벨 세트에 있습니다

따라서 내가 가지고 있다는 결론에 내 레벨 세트에서 x와 y를 연결하는 경로를 찾았습니다 따라서 매우 짧습니다 예 >> 그래서이 시가를 가져 가서 이것의 모든 곡선으로 정의되는 함수 클래스 >> 내 커브 클래스는 시가의 모든 커브입니다

>> 그러나 각 열은 FT에 직접 대응합니다 그런 다음 [비가 청]에 다시 매핑하려면 어떻게해야합니까? >> 각 곡선이 해당합니다 아니요, 여러 개체가 있습니다 나는 가고있는 커브 패밀리를 가졌습니다 볼록한 개념을 원하는 방식으로 사용자 지정할 수 있습니다 사이에 선분이 아닌 내 곡선 군 두 기능은 두 기능 사이에있을 것입니다

시가에서 계속 유지되는 곡선 내 기능 군이 모델 인 것은 볼록합니다 이 곡선 중 하나가 가족 내부에 남아 있다고 말할 필요가 있습니다 내 가정 때문에 모델은 근사 특성이 우수합니다 시가 내용이 근사치 일 정도로 충분합니다 거기에 커브를 만들 수 있습니다

연속성에 대해 약간주의해야합니다 두 번째 부분은 비용 함수가 볼록한 것입니다 하나는 모든 곡선에 대한 제한이 볼록한 것입니다 따라서 특히 우리 가족의 곡선에 대한 볼록한 존중 이 볼록 함을 실제로 완화시킬 수 있습니다

엔드 포인트 볼록을 사용할 수 있습니다 나는 거의 볼록했다 말할 수있다 볼록 함은 계수 Lambda t1 빼기 t 그런 식으로 결함이 있으면 당신이 증명할 수있는 것은 레벨 세트가 연결되었습니다 Lambda를 최적으로 사용할 때까지 Lambda를 원하십니까? 예, Lambda를 원합니다 따라서 하강 알고리즘이 있다면 당신은 레벨 세트를 축소거야 하강 할 때마다 거기에 갈 것입니다 기억이 잘 나면 나는 더 큰 말했다 네트워크는 더 나은 근사치와 내 시가는 작습니다

네트워크가 커지면 이 Lambda는 더 작을 수 있고 더 작아서 전 세계 최소값으로갑니다 예 >> 다음 [들리지 않음] 증거에서 감마가 연결되어 있어야합니다 >> 예, 감마는 Lambda 여야합니다 마지막 순간에 방금 변경했기 때문에 대화에 감마가 너무 많았 기 때문입니다 여기이 감마는 람다 여야합니다

하지만이 감마 -t는 여전히 감마입니다 당신은 참조하십시오 그래서 저는 용어 문제가있었습니다 이 슬라이드는 좋지 않습니다 그러나 실제 아이디어는 여기에 있습니다

기본적으로 m 지점과 Lambda 지점은 m 이하 내가 볼록 결함과 같더라도 나는 그들을 연결 m 아래에 남아있을 수 있습니다 그런 점 하나면 충분합니다 우리가 지금 어디에 있는지 생각한다면 비교적 간단한 방법으로 신경망이 있다면 합리적인 가정을 가진 강력한 근사 특성, 괜찮은, 배달 된 세트는 원하는만큼 느리게 연결되고 CR을 원하는만큼 작게 얻을 수 있기 때문입니다 하강 알고리즘은 꽤 잘 작동합니다 지역 최소 또는 하단에 우리는 단지 시원합니다

그런 말을하는 최근 결과가 있다는 것을 의미합니다 그러나 훨씬 더 복잡합니다 그렇다면 이것으로부터 무엇을 이해할 수 있습니까? 제가 이것에 대해 이야기한다면 이 결과는 독립적입니다 친숙한 기능의 매개 변수화 이것은 중요하지 않습니다 정말로 중요한 것은 익숙한 기능이 충분히 가까이있을 수 있습니다

적절한 곡선으로 연결하거나 또는 적절한 곡선이 잘 될 수 있습니다 가족의 요소에 의해 추정됩니다 어느 쪽이 좋습니까 세타 공간에서 레벨 세트는 볼록하지 않을 수 있습니다 그들은 매우 기괴 할 수 있습니다 그러나 그들은 연결되어 있습니다

그들이 중심에 갈 때 일할 것입니다 그러나 학습 알고리즘은 Theta 공간에서 작동하기 때문에 암묵적인 편견이 무엇이든 학습 알고리즘에 있고 기본적으로 사물을 어떻게 매개 변수화하는지에 따라 그리고 세계 최소의 것들 초과 매개 변수화 된 모델로 반환됩니다 또는 일찍 할 때 어떤 솔루션이 반환되는지 그게 정말 달려있다 학습 알고리즘의 역학에 매개 변수 자체에 따라 다릅니다 어쨌든, 당신은 거의 전 세계적으로 갈 수 있다는 사실과 암묵적인 편견은 연결이 끊어졌습니다 혼합 곡선을 사용할 때 내가 지금까지 한 일입니다 어떤 곡선입니다 직선 또는 직선에 매우 가깝습니다

기본적으로 익숙한 기능이 충분한 근사 특성을 너무 밀접하게 그 기능 중 두 가지의 혼합을 나타내는 합리적인 학습 알고리즘 내 말은, 거리 물건, 결국 세계적으로 가장 가까운 곳을 찾을 것입니다 네트워크가 충분하다면 최근 결과가 많이 있습니다 실제로 베드로는 목록을주었습니다 그것들은 신경 용어와 일치합니다 신경 접선 [들리지 않음] 이 모든 최근 결과는 훌륭합니다

그들은 일반적으로 더 복잡합니다 이 일련의 논문에서 내가 아주 흥미로운 것을 발견 한 것은 프랜시스와 오 얄론 그가 주장하는 게으른 학습 신경 접선 접근이 있습니다 그가 게으른 학습이라고 부르는 것 해결책을 거치는 정권 그러나이 솔루션은 종종 그 솔루션을 일반화하지 않습니다 디커플링이 있기 때문에 이것을 볼 수 있습니다 매개 변수화와 볼록 속성의 볼록 속성 내가 가고 있다고 말할 수 있습니다 기본적으로 결과는 학습 알고리즘이 극복 할 가능성이 있음을 의미 매개 변수화 및 따르기 복잡한 수준을 설정하고 솔루션에 도달하십시오

그러나 이것이 좋은 아이디어는 아닙니다 특히, 당신이 많은 경우 소셜 공간이 큰 솔루션 과도하게 매개 변수화 된 네트워크에서 일반적입니다 그것은 또한 이상한 것과 연결된 매우 강한 모양, 학습 알고리즘은 특정 매개 변수화에 도달 할 수 있음 고려할 최소값보다 더 나은 최소값 당신은 단지 고려할 수 있었다 어떤 제약도없이 반대 의견을 제시합니다 이제 이것은 문제에 따라 결정될 것입니다 매개 변수화가 실제로 문제와 관련이 없는지 여부 따라서 우리가 가질 수 있습니다 대신 좋은 해결책을 제시 할 암묵적 편견 기본적으로 솔루션의 여전히 달성 가능합니다

특정 문제 여야합니다 또는 다른 곡선을 사용할 수 있습니다 다른 커브를 사용하는 것은 어떻습니까? 예 >> 우리가 다시 갈 수있는 곳이 있습니까? 자연스러운 그라디언트를 암시하는 것으로 생각하십니까? >> 자연스러운 그라디언트는 약간 다릅니다 당신이 고려하는 자연적인 그라디언트 매개 변수화 된 공간, [들리지 않는] 공간

그래서 당신은 밖을 보지 않습니다 여기서는 전체 공간에 지오메트리를 정의하지 않습니다 함수를 정의한 다음 모델의 하위 세트를 정의합니다 볼록 속성이있는 모델의 하위 세트를 원합니다 내 비용 함수는 일부 곡선에 대한 볼록 특성

어쨌든 바깥을 보면 파라 메트릭 모델을 사용하면 나에게 중요한 것은 매개 변수화가 아니라는 것입니다 그러나 실제로 친숙한 기능의 기하학 올바른 목표를 볼 때 네 >> [들리지 않음] 따라서 자연스러운 그라디언트를 연결할 수 있습니다 내 형상을 관련 시키면 자연 그라데이션을 정의하는 나머지 매니 폴드 커브 세트의 커브 지오메트리에 나는 그것이 연결이 될 것이라고 생각합니다

그것은 당신이 어떻게 움직일 수 있는지 알려줍니다 >> 네 그러나이 경우 첫 번째 재산이 있습니다 익숙한 기능의 볼록 함은 기본적으로 달성됩니다 당신은 단지 내부를보고 있기 때문에 두 번째는 문제를줍니다 여기 트릭은 둘 사이의 균형을 잡을 수 있다는 것입니다 내가 가족 때문에 문제가 생겼을 때 함수는 볼록한 것이 아니 었습니다

그들은 선을 근사 할 수있었습니다 "좋아, 더 많은 커브를하겠습니다 " 다른 부분을 가진 플레이어는 그래서 어려움을 한 손에서 정리 모형의 다른 손 기능의 볼록 함과 가족의 볼록 함 그래서 나는 언제 그것을 썼는지 몰랐습니다 하지만 그것은 매우 간단하지만 강력한 도구입니다

그러나 이것은 내가 지금 생각하는 것입니다 아마도 틀 렸습니다 나는 내가 틀렸다면 많은 사람들이 말해 줄 수 있다고 생각했습니다 그래서 그것은 저에게 기회를줍니다 실제로 논문에 무엇이 있는지 토론하십시오 이 논문에서 이것은 논문의 마지막 부분에있었습니다

내가 아주 좋아하지 않는 결과를 제공하기 위해 그 단점에 대해 이야기하겠습니다 하지만 흥미로운 부분이 있습니다 암시 적 모델에 관한 것입니다 GAN, VA 같은 것 또한 좋은 예입니다

내가가는 예가 매우 다른 종류의 곡선과 혼합을 사용하십시오 사실, 나는 그것이 작동하지 않는 혼합물을 보여줄 것입니다 암시 적 모델에 관심이있는 이유는 저는 단어의 중요한 속성을 찾고 싶습니다 있는 것보다는 특정 분포에 따라 다릅니다 변하지 않는 중요한 속성을 찾고 싶습니다 분포 변화에 특정 종류 또 다른 이야기입니다

하지만 기본적으로 엔지니어링 된 모델 대신 배포 보안을 통해 최근 모델과 매우 가깝거나 내부에 있으며 모든 거리를 사용할 수 있습니다 중요한 속성을 나타내는 매우 간단한 모델을 사용하고 싶습니다 그러나 데이터 배포가 현실적인지는 신경 쓰지 않습니다 그래서 사이의 거리 실제 분포와 모형의 분포 내가 최소화하려고하는 것은 정말 중요합니다 이 최대 가능성을 원한다면 좋은 도구가 아닙니다

간단한 모델이 무엇입니까? 몇 가지 관찰되거나 잠재 된 변수와 관련된 것 분포가 퇴화되고 저 차원 매니 폴드로지지됩니다 그것은 밀도가 없다는 것을 의미합니다 따라서 밀도 추정이 없습니다 그래서 그 해결 방법 사용하여 간단한 모델을 보강하는 것입니다 노이즈 모델과 노이즈 모델을 조정할 때까지 원하는 결과를 얻고이를 감독되지 않은 학습이라고합니다

그것은 실제로는 아니지만 나는하고 싶습니다 노이즈 모델을 추가 할 필요가 없는지 알고 하지만 재미있는 거리를 찾으십시오 올바른 속성이 있습니다 아직 찾지 못했습니다 그러나 몇 가지가 있습니다 암시 적 모델링은 관찰 된 데이터를 가지고 있다는 것입니다 분포 Q로 흐르는 나는 내가 알고있는 배포판을 가지고있다 매개 변수화 된 기능을 통해 앞으로 모수 분포를 만들기 위해

샘플을 얻을 수 있습니다 기본적으로 두 개의 샘플러가 있습니다 데이터 인 하나는 무제한 인 또 다른 하나입니다 Theta를 최적화하기 위해이 분포를 비교하고 싶습니다 좋은 점은 저 차원지지를 가질 수 있습니다

기본적으로 이것은 매우 좋습니다 매니 폴드 지지율이 낮은 분포를 나타냅니다 수학으로 쓸 수 있습니다 흥미로운 것은이 # 표기법입니다 운송 문헌에서 일반적입니다 G-Theta # Mu를 보시면 중 하나에 대한 푸시를 의미 함수 G-Theta를 통한 분포 Mu 많이 사용하겠습니다

그것은 퇴화 분포에 좋습니다 이제 분포를 비교하십시오 너무 똑똑해지기 전에 문헌에 무엇이 있는지보세요 분포를 비교하는 것에 관한 큰 문헌이 있습니다 기본적으로 강력한 토폴로지를 생성하는 것이 있습니다 총 변형과 같이 밀도가 필요한 쿨백-라이 블러

그것은 필요하기 때문에 거리가 아닙니다 밀도, 비대칭, 가능하면 무한 에 사용되었던 Jensen Shannon GAN의 첫 번째 버전 실제로 작동하지 않기 때문에 아무도 사용하지 마십시오 비대칭에는 밀도가 필요하지 않습니다 제곱근은 실제로 적절한 거리입니다 그러면 더 최근의 것들이 있습니다 Wasserstein-1이 있습니다

Wasserstein 거리는 모두가 알고 있거나 설명해야한다고 가정합니까? 시간이있어 설명 할 수있을 것 같습니다 그래서 저는 두 개의 분포 P와 Q를 가지고 있습니다 이것이 제가 WL, Peyre 소개에서 취한 그래프입니다 두 개의 분포 P와 Q, 그리고 나는 한계 P와 Q의 합동 분포를 구하고 공동 분포는 어디에서 보조금을 운송해야합니다 하나의 분포에서 두 번째 분포를 만들 확률 그래서 파이는 최소 이상입니다 모든 공동 배포 일부 비용 함수의 한계 P와 Q가 있습니다

운송비가 비싼 지 아닌지를 알려줍니다 이원성 정리로 최고야 모든 Lipschitz의 하나의 기능 X의 F 분포에 대한 기대 Y의 F의 두 번째 분포에 대한 마이너스 기대 항상 정의되어 있습니다 기본 공간의 측정법과 관련이 있습니다 밀도가 있거나 Lipschitz의 기능 중 하나 그것은 Wasserstein GAN에게 영감을주었습니다

거의 Kantorovich이지만 약간의 성공을 거두었습니다 때 나를 놀라게 한 또 하나 내가 처음 봤는데, 나는 무지하기 때문에 Diane Bouchacourt의 논문에서 그것이 Szekely의 에너지 거리입니다 네가있는 기괴한 일이야 기대하다 두 분포 지점 사이의 거리 두 번 곱하기 분포 차이 내부를 제거합니다 당신은 보여줄 수 있고 나는 그것을하지 않을 것입니다 이것은 동일하다 기본적으로 여기서 사용하는 거리와 또는 MMD 방법에서 사용하는 커널

최대 평균 불일치 MMD는 기본적으로 동일한 역할을합니다 다시, 당신은 Wasserstein과 에너지 거리를 모두 가지고 있습니다 MMD, 주 토폴로지를 정의하십시오 어쩌면 그들은 정말 의존 아래의 미터법 공간 분포 >> DiscoGAN의 경우 근사치 신경망과 함께이 최고 아니면 대포보다 더 똑똑한 일을합니까? >> 그들은 캐논보다 똑똑하지 않습니다

이제는 미터법을 MMD-GAN이라고하는 새로운 방법으로 작성했습니다 왜 대포로 똑똑한 일을하지만 또한 적대적인 용어로도 사용됩니다 사실, 그는이 정의를 벗어납니다 따라서 동일한 지오메트리를 갖지 않았습니다 이제 분배 공간에서 혼합물을 살펴 보겠습니다

P0, P1의 경우 최대 분포 Pt는 두 분포의 혼합물입니다 나는 배포판이 있다고 가정합니다 생성기에 의해 암시 적으로 정의됩니다 혼합물이 볼록하다고 생각합니다 아마도 볼록한 혼합물이라고하면 혼합물 세트에 대한 주요 볼록한 존중 그밖에

그것이 의미하는 바입니다 기본적으로 모든 혼합물에 대해 세타 T는 G-Theta T를 통해 Mu를 밀면 내 분포가 나옵니다 문제는 P0과 P1이 0이 아닌 여백을 가진 G-Theta 지원 T2 세타 T보다 불연속 또는 Theta에서 G-Theta 로의 불 연속적입니다 두 경우 모두 배우기가 매우 어려울 것입니다 불연속 기능을 배우는 것은 재미가 없기 때문에 최적화

증거는 간단합니다 두 개의 분포 P0을 취합시다 G-Theta 공급 장치가있는 P1 여기에 약간의 여백 Mu 모든 Epsilon 양성에 대해 그러나 Z의 G-θ 0은 작다 따라서 G- 쎄타 제로의 출력은 항상 P0의 공급 장치에 속합니다

G-Theta 제로를 통해 Mu를 앞으로 밀면 P0이 구현되기 때문입니다 모든 Epsilon, Z의 G-Theta Epsilon, Epsilon 확률로 P1의 공급원에 속합니다 작은 규모이지만 관리가 있다면 Z의 일부는 P0의 공급 P1의 P0 공급 즉 Z가 있으므로 Z의 G-θ 0과의 거리 Z의 G- 세타 엡실론이 우리의 4 명이 Epsilon 인 방법에 관계없이 U 따라서 이것은 본질적으로 확률 공간을 커브하는 혼합물, 이 두 분포 사이에 곡선을 만들고 싶습니다 당신은 어딘가에 끊을 연속성이 있습니다

연속 할 수 없습니다 그래서 이것은 혼합 곡선이 일치하지 않습니다 암시 적 모델의 기하학 전혀 다른 곡선이 필요합니다 변위 곡선으로 이동하는 동안

검색 시간으로 돌아가서 P0에서 P1까지의 운송 계획 한계가 P0 및 P1 인 공동 분포입니다 우리는 최적이라고합니다 DXY에 대한 DP의 기대 공동 분포에 대한 기대는 최소입니다 지수 P는 어설 션 P 거리 중 하나입니다 같은 그림이 여기에 있습니다 이제 유클리드의 경우 기본 공간이 아닌 경우 측지선을 따라야하는 것이 더 복잡합니다

간단한 사례를 살펴 보겠습니다 변위 곡선은 Pt를 정의 할 것입니다 최적의 운송 계획을 통해 혼합물을 추진하는 것 즉, 최적의 운송 계획을 세웁니다 배포부터 시작하여 이민자 권한을 갖겠습니다

P 음식 운송 계획을 따르면 저는 Q로갑니다하지만 교통 수단에서는 난 그냥 떨어 뜨릴거야 분수 T와 내가 어떤 분포를 얻었는지 보라 이제 P_0이 G_Theta_0이라고 가정 해 봅시다 [들리지 않음] G_Theta_0 및 P_1을 통해 mu를 앞으로 밀기 u G_Theta_1의 푸시 포워드 글쎄, 내가 둘 다 앞으로 밀면 공동 배포가 있습니다

그것이 교통 계획입니다 두 가지의 조합을 추진하면 이 운송 계획에 대한 변위 곡선이 있습니다 기본적으로 가족이 G_Theta 함수는 근사치가 충분히 강합니다 이것은 최적의 계획에 가깝습니다 그래서 실제로 필요했습니다 G_Theta_0을 원하는 것으로 가져갈 수 있기 때문입니다

>> 알겠습니다 >>이 최적의 변위는 u로 G_Theta_t에 가깝습니다 기본적으로 다시 한 번 경고를하면 복잡 할 수 있습니다 나는 여기에 지나치게 주장하고 싶지 않습니다 난 그냥 말할 때 G_Theta 제품군은 충분히 풍부하고 근사치입니다 변위 곡선이 패밀리 내부에있는 것이 당연합니다 기본적으로 변위 볼록성은 자연 명목 볼록 암시 적 모델에 의해 정의 된 배포 제품군

그러한 가족은 일반적으로 논쟁 때문에 혼합 볼록한 그들이 있다면 그것들을 쓸모 없게 만드는 불연속성이 없습니다 가족과 비교할 수 있습니다 파라 메트릭 밀도 함수로 정의됩니다 파라 메트릭 밀도 기능이 있으면 파라 메트릭 밀도 함수가 근사 특성이 높고 근사 할 수있는 기회 중첩 또는 혼합물이며 여기에서 무시됩니다 혼합 곡선의 경우 밀도를 추정 할 때 매우 자연 스럽습니다

그러나 암시 적 모델이 있으면 자연 곡선은 실제로 변위입니다 문제는 변위가 볼록한 비용 함수는 무엇입니까? 그것은 또 다른 쓰레기이기 때문입니다 우리는 암시 적 모델링을 알고 있습니다 몇 가지 사실을 알려 드리겠습니다 첫 번째는 Wasserstein과 MMD가 얼마나 다른지입니다

글쎄, 나는 강력한 토폴로지를 제쳐두고 또한 불연속 문제가 있기 때문입니다 Wasserstein 논문의 주제였습니다 나는 Wasserstein과 에너지 거리를 취합니다 이중 형식을 설명하면 매우 닫힙니다 다른 유일한 것은 sup [들리지 않음]입니다

Lipschitz_1 기능에서 하나의 Lipschitz 경계인 기능 Wasserstein과 MMD에 대한 [들리지 않음]에 내가 무지하기 때문에 [들리지 않음] 예, 정말 가깝습니다 나는 그것이 꽤 큰 차이라는 것을 발견했다 Lipschitz_1이 분명히 더 큽니다 RKHS로 많은 것을 근사 할 수 있기 때문이 아닙니다

RKHS Bohr은 Lipschitz_1 Bohr와 가깝습니다 어쨌든 측지학에 대해 토론 할 수 있습니다 분배 공간이 갖추어 진 경우 에너지 거리 또는 MMD 거리 가장 짧은 경로를 보여줄 수 있습니다 두 분포 사이의 혼합 곡선입니다 가장 짧은 길을 보지 않았다는 것만 빼고 거리를 최소화하면 최단 경로는 꽤 볼록성 측면에서 중요합니다 분포 공간이 Wasserstein_P와 같을 때 가장 짧은 경로는 변위 곡선입니다

Wasserstein_1에는 둘 다 있고 모든 종류가 있습니다 약간 변위되는 하이브리드 커브의 약간의 혼합물 공간의 다른 부분 또는 다른 반전 Wasserstein_1에는 많은 측지학이 있습니다 통계적 속성, 내가 사이에 예상 거리를 보면 종점에 대한 분포 Q 및이 경험적 근사치 에너지 거리는 그것은 n 이상에 있습니다

Wasserstein에게 그것은 n에 대한 차원이고 d에 대한 차원입니다 재앙입니다 이것은 Sanjeev가들을 수없는 좋은 예입니다 그의 영역에서 이것이 완전히 도달했습니다 완전히 희망이없는 것 같습니다

그러나 당신이 그것을 실행할 때 무슨 일이 일어나고 있습니까? 실제로 ED MMD는 치수가 작을 때 잘 작동합니다 이것이 [청취 불가] 논문에있는 내용입니다 [들리지 않는] 용지가 다릅니다 높은 차원에서 매우 빨리 붙습니다 Wasserstein 훈련은 꽤 잘 작동하는 것 같습니다 나는 그것이 매우 쉽고 매끄 럽거나 전부라고 말하지 않을 것입니다

그것은 정상적인 신경망뿐만 아니라 작동하지만 작동의 기울기입니다 예를 들어서 그것은 전형적인 침실입니다 이러한 모든 초기 이미지 혁신 문제에 사용됩니다 이것들이 예입니다 MMD 교육을 받으면 특정 신경망, 당신은 그 세대를 얻습니다 Wasserstein 거리로 훈련하면 이 네트워크를 얻을 수 있습니다

그게 왜 힌지가 가장 끔찍한 통계적 속성 작품을 훨씬 더 잘 생각할 수 있습니다 나는이 사진이 보면, 그것은 일종의 미인 대회입니다 그렇게 많이 말하지 않습니다 그러나 여전히 볼 수있는 일관된 효과입니다 그것의 많은 세트, 거기에 뭔가가 있습니다

어떻게 일이 잘못 될 수 있습니까? 괜찮아 이것은 예입니다 균일하고 매우 간단하며 완전히 구성되었습니다 그러나 그것은 그것을 보여주기 위해 만들어졌습니다 상황이있을 수 있습니다 지역 최소값과 Wasserstein_1과 같은 에너지 거리는 그렇지 않습니다 구성 예입니다

그렇게하도록 설계되었습니다 그러나 최소한, 그것은 당신이 얻을 수있는 개념 증명입니다 에너지 거리가있는 지역 최소 당신은 Wasserstein과 함께하지 않습니다 이제 저는 가족의 볼록함에 대해 이야기했습니다 거리 함수의 볼록함에 대해 [들리지 않음] 제가 최소화하려고하는 것은 DQ, P_Theta입니다

비용 함수 P를 DQ로 P, 그것은 볼록한가요? 변위 볼록합니까? 혼합 볼록은 일직선이므로 작동하기 쉽습니다 변위 볼록은 먼저해야하기 때문에 더 복잡합니다 이것은 일반적으로 미터법 공간에서는 사실이 아니라고 확신합니다 L1 거리를 갖춘 L2를 가져 가십시오 이것이 맨해튼입니다 거리를 제외하고는 거리의 이산화없이

측지선은 가장 간단한 방법으로 세로로 가로로 가로로 이동합니다 여기이 십자가는 L1입니다 L2에 L1 거리를 장착하면 볼록합니다 죄송합니다 세트와 관련하여 볼록합니다

측지선이며 L2의 L1 메트릭에 사용됩니다 그러나 두 볼록 세트의 교차점은 볼록하지 않아도 연결되지도 않습니다 또한 거리를 0으로 설정하면 여기이 두 곡선이 측지선이라는 것을 알 수 있습니다 파란색은 볼록하지만 거리를 0에 가깝고 빨간색은 그렇지 않습니다 따라서 기본적으로 제공되지 않습니다

알았어요 Wasserstein 거리 변위 볼록하지 않습니다 여기에 반례가 있습니다 원에서 균일 한 Q B는 중앙에서 회전하는 스틱에서 균일합니다

스틱의 길이는 LL입니다 PL과 Theta 사이에 Q의 플롯 Wasserstein을 표시하면 세타에 의존하지 않기 때문에 회전 비대칭은 L에만 의존하고 감소합니다 기본적으로 스틱이 클 때 Wasserstein 거리가 더 작습니다 실제로는 매우 직관적입니다 이제 스틱을 약간 돌리고 P1과 P0 사이의 변위 보간

여기에 PT가 있습니다 하지만이 PT는 곡선을 따르지 않습니다 그것은 직선을 따르고 있습니다 여기이 도트 도트 선은 직선입니다 즉, 회색 세그먼트는 P0 및 P1보다 약간 짧습니다

조금 짧기 때문에 Wasserstein 거리가 더 큽니다 여전히 희망이 있습니다 기본적으로 당신이 얻는 것, 희망은 당신이 쓸 수 있다는 것입니다 내가 싫어하는 정리 한계가 너무 심하기 때문에 그러나 그것은 심지어 볼록성을 위반하더라도 T의 용어로 묶을 수 있습니다 1 빼기 T 곱하기 이제 G_Theta를 늘려도 무언가가 줄어들지 않습니다

이것이 내가 싫어하는 이유입니다 고정 수량입니다 기능에 따라 다릅니다 증거가 아주 초보적인 접착제 그것은 약간 성가 시지만 실제로는 그리 어렵지 않습니다 그런 다음 거의 볼록한 최적화 정리를 적용 할 수 있습니다 보증이 있다고 결론 내립니다 Wasserstein을 사용하여 암시 적 모델 최적화 그 값이 전 세계 최소값에 가까운 지역 최소값 만 근방은 그다지 좋지 않습니다 내가 신경망에 가지고있는 것 나는 그것을 줄일 수 없기 때문에 근사 함수를 증가시킵니다

내가 대략적으로 근사하더라도 내 기능은 Wasserstein 거리와 관련하여 볼록했습니다 내 기능 군은 Wasserstein 거리를 정확히 고려하여 나는 여전히이 여분의 용어를 가질 것이다 어쨌든, 나는 이것과 거꾸로 있었다 보기 때문에 재미 있다고 생각합니다 중요한 것이있는 예 [들리지 않음]의 기하학 인 기계 학습 배급은 장비 될 수있다 혼합물과 매우 다른 곡선으로

때로는 암시 적 모델 때문에해야합니다 여전히 어떤 종류의 것을 얻을 수 있습니다 이러한 방식으로 볼록성 결과 및 최적화 결과 우리가 논문을 쓸 때 정말이 결과에 흥분했습니다 정리는 나에게 너무 단순하다 하지만 제 관찰은 이런 종류의 실제로 결과는 그렇게 간단하지 않습니다

그들은 문학에서 일반화하기가 훨씬 더 어렵습니다 시간이지나면서 내 마음이 바뀌었던 아마 실제로 생각 이 사소한 정리는 그렇게 나쁘지 않습니다 많은 어려운 결과를 아주 단순하게 만들기 때문입니다 그래서 내 결론은 혼합 곡선에 대한 볼록 함은 로 회귀 모형 최적화 강한 근사 특성 하강 알고리즘은 거의 전 세계 최소값을 산출합니다 이 속성은 정확한 매개 변수화와 무관합니다 암묵적인 편견에 대해서는 아무 것도 말하지 않습니다

매개 변수화와이를 가장 잘 활용하는 방법에 의해 유도됩니다 암시 적 생성 모델에서 변위 곡선에 대한 볼록 함이 더 보인다 혼합 곡선과 관련하여 볼록성보다 자연 스럽습니다 그것은 우리의 잠재력입니다 이미지에 대해 생각하십시오 이미지에서 이미지의 혼합은 쓰레기입니다

몰라 자연 지오메트리의 이미지에는 변위 지오메트리가 있습니다 따라서 사용 가능성이있을 수 있습니다 이상한 곡선과 증명 어떤 종류의 네트워크에 흥미로운 것들, 특히 이미지에서 잘 작동하는 모든 네트워크 그러나 나는 그것을하지 않았으며 어떻게 해야할지 모르겠다 그것 그게 다야

>> 질문 할 시간 >> 네 >> 부분적으로 이해하지 못했습니다 2 일반화에 대해 이야기하기 시작했을 때 나는 파트 1이 훈련에 관한 모든 것을 의미합니다 >> 아니요, 일반화에 대해서는 전혀 이야기하지 않았습니다 >> [들리지 않음]

>> 일반화에 대해서는 아무것도 없습니다 >> 당신은 어떤 점에서 그것이 >> 미안, 2 부 무슨 말인지 알 겠어 >> 맞아 >> 하강 알고리즘이 진행될 수 있도록하는 속성 거의 전 세계적으로 복잡한 속성으로 줄어 듭니다 매개 변수화에 의존하지 않습니다

그러나 매개 변수화는 하강 알고리즘은 다음과 같습니다 우리는 생체 공간에서 일하기 때문입니다 따라서 암묵적인 편견을 만듭니다 그들은 당신이 찾을 솔루션을 결정할 것입니다 일찍 멈 추면 그들은 당신이 멈출 곳을 결정할 것입니다 예를 들어, 솔루션 공간이 있으므로 레벨이 설정됩니다

제로 레벨이므로 연결합니다 그것은 데이터 공간에서 매우 기이합니다 결과에 따르면 해당 수준까지 나는 그들 중 하나에 갈 수 있도록 연결되어 있습니다 그것은 내가 좋은 것에 갈 것이라고 말하지 않습니다 반면에 익숙한 기능이 매개 변수화되는 방식 익숙한 기능이더라도 제로 행렬을 상당히 많이 바꾸고 있습니다

아주 잘 해결책에 도달 그것은 일반화 측면에서 우수합니다 >> 당신은 할 수 있습니다 >> 할 수 있습니다 만약 내가한다면, 이것은 매우 문제에 의존하는 것입니다 그것은 본질적으로 달려 있기 때문에 매개 변수 설정 방법에 대해 >> 커널 방식과 같은 시점에서 이것은 커널이 당신이 [들리지 않음]을 시도하는 것뿐만 아니라 일반화 할 것입니다 >> 아니, 당신은 그 증거를 설정했습니다

>> 알겠습니다 >> 종이를 Francis와 그의 학생의 게으른 학습지 그의 이름을 기억해야합니다 죄송 해요 >> [들리지 않음] >> 알겠습니다 그것이 얼음이나 사자 또는 이와 같은 것인지 확실하지 않습니다 >>이 학생은 [들리지 않음] 학생입니다

>> 알겠습니다 어쨌든 오늘이 논문을 가져 가면 그들은 경험적으로 당신이 따르는 해결책을 보여줍니다 탄젠트 채널은 작업 수에 비해 성능이 떨어지고 논쟁이 있습니다 그러나 그것은 끝입니다 시작 신문은 이런 종류의 게으른 학습은 많은 모델에 나타날 수 있습니다 특정 방식으로 스케일링을 변경할 때 그래서 그것은 희귀 속성이 아니라고 말합니다 일반화 보장 측면에서 많은 것을 제공하지 않습니다 이 솔루션은 매우 좋습니다

그것은 우리가 실제로 알고있는 것들과 상당히 일치합니다 커널 방식이 작동하면 솔루션을 제공합니다 그러나 실제로는 이미지에 대한 CNN뿐만 아니라 일반 좋은 이유 때문에 CNN은 이미지에 매우 적합합니다 >> 그러나 나는 단지 이해하려고 노력하고 있습니다 당신이 무슨 말을하는지 이해합니다 그러나 파트 1은 지금 당신이 말하는 것을 설명하지 않습니다

>> 1 부에서는 세계적으로 가장 가까운 곳으로가는 것은 기하학적 일뿐입니다 그것은 매개 변수화에 의존하지 않습니다 >> 아무 상관이 없습니다 >> 매개 변수화가 직교 관심사에 대한 영향 암묵적인 편견이 중요합니다 이것이 내가 말하는 것입니다

>> 알겠습니다 괜찮아 그 일 >> 내가 말하는 전부입니다 >> 녹음 중입니다 [들리지 않음] >> 내가 설립하려고 에 대한 복잡성 변위 코드 또는 추가 코드 하강 알고리즘으로 무언가를 할 수 있습니까? 문제는이 등급의 곡선에서 볼록합니다

>> 하나, 저는 전혀 몰라요 당신이 그것을하더라도 그것은하지 않습니다 올바른 솔루션으로 안내 할 것입니다 어쨌든 당신이 생각하는 사실은 동시에 매우 강력한 모델 용어 근사화 속성 및 동시에 매개 변수화 측면에서 매우 복잡하거나 유용한 것입니다 그것들을 모두 분리하는 것이 좋습니다 당신은 잘 말할 수 있습니다 이 강력한 모델로 해결책을 찾겠습니다 이제 매개 변수화 작업을 할 수 있습니다 내 문제에 적합하게 만들었습니다

이를 통해 학습 알고리즘의 역학을 바꾸고 있습니다 더 흥미로운 것들을 향해서 >> 매우 동의합니다 적어도 내가 이해하는 한 철학 그러나 레벨 세트가 연결되면 하강 알고리즘은 세계 최소는 직관적으로 매력적입니다 그러나 당신이 가지고 있다면 그것은 분명하지 않습니다 실행할 수있는 하강 알고리즘 연속 시간과 [들리지 않음] >> [들리지 않음]

C 만 내용이 속도 곡선을 제한하는 경우 f의 모든 지역 최소값은 세계적입니다 계속해서 전 세계 최소값을 찾으면 최대 [들리지 않음] 전역을 살펴보십시오 두 번째 부분은 바깥 쪽 가장 나는 그렇게하지 않았지만 같은 종류의 증거입니다 >> 맞아 그러나 세트가 될 수는 없었습니다

아마도 이것은 제한 속도 곡선에 의해 배제 될 것입니다 예를 들어, 물론 당신은 사용하는 지수입니다 당신은 할 수 없습니다 [들리지 않음] 알고리즘 다항식 [들리지 않음] >> 나는 다항식에 대해 말하지 않았습니다 합리적인 방법으로 강하하는 알고리즘이 있다면 당신이 말할 수있는 의미는 최소 지역을 찾을 것입니다, 그러면 새로운 세계를 찾을 것입니다 이것이 내가 의미하는 전부입니다

레벨 세트는 약한 가죽 끈 논쟁입니다 그러나 이것은 내가 추측하는 기하학이라고 생각합니다 예 >> 표면이 평평하다면 기본적으로 하위 수준 집합을 연결할 수있었습니다 그러나 당신은 여전히 ​​글로벌 최적으로 수렴하지 않습니다

>> 이것이 속도를 제한 한 이유입니다 경계 속도에서 일어나는 것은 실제로 그 속도입니다 기본적으로 현지 최소 금액을 취하면 기본적으로 X 지점을 중심으로 나는 내가있는 공간이있다 올라가거나 나는 평평한데 아래에 선을 그려야하는 점 이 평평한 지역의 중심 아래가이 평지에 있기 때문에 어느 시점에서 아래로 가야합니다 종점 볼록성과 모순됩니다 원한다면 아마 자랄 수 있습니다

x와 a1x가 있습니다 내 기능은 평평합니다 나는 아래에 있다고 가정합니다 따라서 x와 y와이 곡선은 속도를 경계로합니다 기본적으로 아래 어딘가에 키를 찾을 수 있습니다 기본적으로 함수의 값은 Gamma_t는이 선형 하강 라인보다 높아야합니다

기본적으로 그들은 선택됩니다 한계 속도는 매우 중요합니다 다른 경우에는 실제로 우리는 나중에 그것이 훨씬 더 단순하다는 것을 알고 있습니다 글쎄, 그것은 실제로 같은 것입니다 Lambda는 아래에 z 지점이 있습니다

당신은 레벨 M을 가지고 있습니다 당신은 x를 가지고 있습니다 여기 평평한 구역이 있고 z로 가고 싶습니다 z가 충분히 낮 으면 당신은 완전히 아래에 호를 가질 것입니다 그러나이를 위해서는 한계 속도가 필요합니다

t를 조금 움직일 때 당신은 큰 변위를하지 않습니다 기능 공간 또는 제한 속도 어 Where 어? 음, 그것은 평평한 지역입니다 한계 속도는 여기 생각합니다 지금 찾으려고하면 나는 그것을 잘못 찾을 것입니다 괜찮아

예 >> 네, 첫 번째 결과는 보편적 근사입니다 찾은 곡선이 연속적임을 어떻게 보장합니까? 모든 점에 대해 근사 기가 있기 때문에 그러나 아마도 별개의 일이 어려울 수도 있습니다 >> 내가 말했을 때 내가 보여줄 방법을 정확히 알고 있기 때문에 당신은 많은 포인트를 찾을 수 있습니다 연속성이없는 기능 아주 쉽습니다

당신은 밖에 갇혔습니다 내가 아직 몰라 죄송 해요 내가 있다고 말할 때 나는 단지 나를 깨달았다 우리가 아직 [들리지 않는] 연속성 문제 함수를 근사하기 위해 바인딩해야 할 수도 있습니다 및 또한 유도체

괜찮아 >> 더 이상 질문이 없으면 Leon에게 감사를 표합니다 >> 고맙습니다

Neural Networks and Deep Learning: Crash Course AI #3

안녕하세요, Jabril입니다 CrashCourse AI에 오신 것을 환영합니다! 지도 학습 과정에서 John Green-bot에게 퍼셉트론을 사용하여 배우도록 가르쳤습니다

하나의 뉴런을 모방하는 프로그램 그러나 우리의 뇌는 1 조 개의 뉴런으로 의사 결정을합니다 그들 사이에! 여러 퍼셉트론을 함께 연결하면 실제로 AI로 더 많은 것을 할 수 있습니다 인공 신경 네트워크라는 것을 만듭니다 신경망은 이미지 인식과 같은 특정 작업에 대해 다른 방법보다 낫습니다

그들의 성공 비결은 숨겨진 층이며, 수학적으로 매우 우아한 이 두 가지 이유 때문에 신경망이 가장 지배적 인 머신 러닝 중 하나 인 이유 오늘날 사용되는 기술 [INTRO] 얼마 전까지 만해도 AI의 큰 과제는 인식과 같은 실제 이미지 인식이었습니다 고양이의 개, 보트의 비행기의 차 우리가 매일 그렇게해도 컴퓨터에는 정말 어려운 일입니다

컴퓨터가 0과 1을 일치시키는 것과 같은 문자 비교를 잘하기 때문입니다 한 번에 컴퓨터는 픽셀을 일치시켜 이러한 이미지가 동일하다는 것을 쉽게 알 수 있습니다 그러나 AI 이전에는 컴퓨터에서 이러한 이미지가 같은 개라는 것을 알 수 없었습니다 서로 다른 이미지가 모두 개라고 말할 희망이 없었습니다

그래서 Fei-Fei Li라는 교수와 다른 머신 러닝 및 컴퓨터 비전 그룹 연구원들은 연구 커뮤니티가 이미지를 인식 할 수있는 AI를 개발하도록 돕고 싶었습니다 첫 번째 단계는 실제 사진으로 분류 된 거대한 공개 데이터 세트를 만드는 것이 었습니다 이렇게하면 전 세계의 컴퓨터 과학자들이 다른 알고리즘을 고안하고 테스트 할 수 있습니다 이 데이터 세트를 ImageNet이라고했습니다 3,300 만 개의 레이블이있는 이미지가 있으며 5,247 개의 중첩 된 명사 범주로 분류됩니다

예를 들어, "개"레이블은 "국내 동물"아래에 중첩되어 있으며 "동물" 데이터를 안정적으로 라벨링하는 데있어서 인간은 최고입니다 그러나 한 사람이이 라벨을 모두 수행 한 경우, 수면 또는 간식은 1 년 이상 걸릴 것입니다! 따라서 ImageNet은 크라우드 소싱을 사용하고 인터넷의 힘을 활용하여 저렴하게 보급했습니다 수천 명의 사람들 사이의 일 데이터가 완성되면 연구원들은 2010 년에 연례 경쟁을 시작하여 이미지 인식에 최고의 솔루션을 제공합니다

토론토 대학교 (University of Toronto)의 대학원생 인 Alex Krizhevsky를 입력하십시오 2012 년에 그는 비슷한 솔루션이지만 신경망을 ImageNet에 적용하기로 결정했습니다 과거에는 성공하지 못했습니다 AlexNet이라고하는 그의 신경망에는이를 차별화하는 몇 가지 혁신이있었습니다 그는 숨겨진 레이어를 많이 사용했는데 잠시 후에 도착할 것입니다

또한 신경망이 수행하는 모든 수학을 처리하기 위해 더 빠른 계산 하드웨어를 사용했습니다 AlexNet은 차기 최고의 접근 방식을 10 % 이상 능가했습니다 20 개의 이미지 중 3 개만 잘못되었습니다 학년으로 볼 때, B는 견고했고 다른 기술은 기음 2012 년 이후, 신경망 솔루션은 연간 경쟁을 극복했으며 결과는 계속 나아지고 있습니다

또한 AlexNet은 신경망에 대한 폭발적인 연구를 시작했습니다 이미지 인식 이상의 많은 것들에 적용됩니다 신경망이 이러한 분류 문제에 어떻게 사용될 수 있는지 이해하기 위해 먼저 아키텍처를 이해합니다 모든 신경망은 입력 레이어, 출력 레이어 및 사이에 숨겨진 레이어 여러 가지 배열이 있지만 클래식 다층 퍼셉트론을 사용합니다 예로서

입력 계층은 신경망이 숫자로 표현 된 데이터를 수신하는 곳입니다 각 입력 뉴런은 데이터의 일부 특성 인 단일 기능을 나타냅니다 이미 많은 숫자에 대해 이야기하고 있다면 기능은 간단합니다 도넛에 설탕 그램처럼 그러나 실제로는 거의 모든 것이 숫자로 변환 될 수 있습니다

소리는 음파의 진폭으로 표현 될 수 있습니다 따라서 각 기능에는 순간의 진폭을 나타내는 숫자가 있습니다 단락의 단어는 각 단어가 몇 번 나타나는지 나타낼 수 있습니다 따라서 각 기능은 한 단어의 빈도를 갖습니다 또는 강아지의 이미지에 라벨을 지정하려는 경우 각 지형지 물은 정보를 나타냅니다

약 픽셀 따라서 회색조 이미지의 경우 각 기능에는 픽셀의 밝기를 나타내는 숫자가 있습니다 입니다 그러나 컬러 이미지의 경우 각 픽셀을 빨간색의 양, 녹색과 파란색으로 결합되어 컴퓨터 화면의 모든 색상을 만들 수 있습니다 지형지 물에 데이터가 있으면 각 계층은 다음 계층의 모든 뉴런에 해당 번호를 보냅니다

숨겨진 레이어라고합니다 그런 다음 각 숨겨진 레이어 뉴런은 얻는 모든 숫자를 수학적으로 결합합니다 목표는 입력 데이터에 특정 구성 요소가 있는지 여부를 측정하는 것입니다 이미지 인식 문제의 경우 이러한 구성 요소는 중앙의 특정 색상, 곡선 일 수 있습니다 상단 또는 이미지에 눈, 귀 또는 털이 포함되어 있는지 여부

이전 에피소드의 간단한 퍼셉트론처럼 각각 예 또는 아니오로 대답하는 대신 숨겨진 레이어의 뉴런은 약간 더 복잡한 수학을 수행하고 숫자를 출력합니다 그런 다음 각 뉴런은 다음 레이어의 모든 뉴런에 번호를 보냅니다 다른 숨겨진 레이어 또는 출력 레이어 일 수 있습니다 출력 레이어는 최종 숨겨진 레이어 출력이 수학적으로 결합되는 곳입니다 문제에 대답하기 위해

이미지를 개로 라벨링하려고한다고 가정 해 보겠습니다 단일 답변을 나타내는 단일 출력 뉴런이있을 수 있습니다 이미지는 개의 이미지입니다 또는 아닙니다 그러나 많은 이미지에 라벨을 붙이는 등의 답변이 많을 경우 많은 출력 뉴런이 필요합니다 각 출력 뉴런은 각 레이블의 확률에 해당합니다 (예 : 개, 자동차, 스파게티 등

그리고 우리는 가장 높은 확률로 답을 선택할 수 있습니다 신경망, 그리고 실제로 모든 AI의 핵심은 수학입니다 그리고 나는 그것을 얻는다 신경망은 일종의 블랙 박스처럼 보이고 수학을하고 답을 내뱉습니다 중간 레이어는 숨겨진 레이어라고도합니다! 그러나 우리는 모범을 통해 일이 일어나고있는 요점을 이해할 수 있습니다

오 존 그린 봇? John Green-bot에게 훈련 된 신경망을 갖춘 프로그램을 제공합시다 회색조 사진에서 개를 인식합니다 이 사진을 먼저 보여 주면 모든 기능에 0과 1 사이의 숫자가 포함됩니다 한 픽셀의 밝기로 그리고이 정보를 숨겨진 레이어로 전달합니다 이제 하나의 숨겨진 레이어 뉴런에 초점을 맞추겠습니다

신경망이 이미 훈련되었으므로이 뉴런은 다음과 같은 수학 공식을 갖습니다 중앙의 특정 곡선과 같이 이미지의 특정 구성 요소를 찾습니다 코 상단의 곡선 이 뉴런이이 특정 모양과 반점에 초점을 둔다면 실제로 신경 쓰지 않을 것입니다 다른 곳에서 일어나고 있습니다 따라서 대부분의 피쳐의 픽셀 값에 0을 곱하거나 칭량합니다 0 여기에서 밝은 픽셀을 찾고 있기 때문에이 픽셀 값에 긍정적 인 무게

그러나이 곡선은 아래의 어두운 부분으로 정의됩니다 뉴런은이 픽셀 값에 음의 가중치를 곱합니다 이 숨겨진 뉴런은 입력 뉴런과 스 퀴시의 모든 가중치 픽셀 값을 추가합니다 결과는 0과 1 사이입니다 마지막 숫자는 기본적으로이 뉴런 사고의 추측을 나타냅니다

개 코라고 불리는 곡선이 이미지에 나타납니다 다른 숨겨진 뉴런은 다른 성분과 같은 다른 성분을 찾고 있습니다 이미지의 다른 부분에서 커브 또는 퍼지 텍스처 이러한 뉴런이 모두 추정치를 다음 숨겨진 레이어로 전달하면 해당 뉴런 더 복잡한 구성 요소를 찾도록 교육받을 수 있습니다 마찬가지로, 하나의 숨겨진 뉴런은 개 코가 될 수있는 모양이 있는지 확인할 수 있습니다

모피 텍스처를 찾은 이전 레이어의 데이터에는 신경 쓰지 않을 것입니다 따라서 0에 가까워 지거나 0에 가까워집니다 그러나“코의 꼭대기”와“하단을 찾은 뉴런에 대해 실제로 신경을 쓸 수 있습니다 코의 "와"콧 구멍 " 그것은 큰 양수로 가중치를 부여합니다

다시, 그것은 이전 레이어 뉴런의 모든 가중치를 합산합니다 값을 0에서 1 사이로 설정하고이 값을 다음 레이어로 전달하십시오 그것은 수학의 요지이지만 우리는 조금 단순화하고 있습니다 신경망은 실제로 "코"와 같은 아이디어를 이해하지 못한다는 것을 아는 것이 중요합니다 또는 "눈꺼풀" 각 뉴런은 주어진 데이터를 계산하고 특정 플래그를 지정합니다 빛과 어둠의 패턴

몇 개의 숨겨진 레이어가 추가되면 하나의 뉴런으로 출력 레이어에 도달합니다! 따라서 이전 레이어의 데이터를 한 번 더 가중 한 후 이 이미지가 개라면 출력 뉴런, 네트워크는 좋은 추정을해야합니다 즉, John Green-bot은 결정을 내려야합니다 John Green-bot : 출력 뉴런 값 : 093 이것이 개일 확률 : 93 %! John Green Bot 안녕하세요! 신경망이 하나의 이미지 만 처리하는 방법을 생각하면 왜 더 명확 해집니다 AI에는 빠른 컴퓨터가 필요합니다

앞에서 언급했듯이 컬러 이미지의 각 픽셀은 3 개의 숫자로 표시됩니다 빨강, 초록, 파랑이 많이 있습니다 따라서 1000 x 1000 픽셀 이미지를 처리하려면 작은 3 x 3 인치입니다 사진, 신경망은 3 백만 가지 기능을 볼 필요가 있습니다! AlexNet은이를 달성하기 위해 6 천만 개 이상의 뉴런이 필요했습니다 계산하는 데 많은 시간이 걸릴 수 있습니다

문제를 해결하기 위해 신경망을 설계 할 때 명심해야 할 사항입니다 사람들은 더 깊은 네트워크 인 더 깊은 네트워크를 사용하는 것에 정말 흥분합니다 숨겨진 레이어, 딥 러닝을 수행합니다 딥 네트워크는 입력 데이터를 더 복잡한 방식으로 결합하여 더 복잡한 구성 요소를 찾을 수 있습니다 까다로운 문제를 해결하십시오

그러나 숨겨진 계층이 많을수록 10 억 개의 계층과 같은 모든 네트워크를 만들 수는 없습니다 더 많은 수학은 우리가 더 빠른 컴퓨터가 필요하다는 것을 의미합니다 또한 네트워크가 깊어 질수록 네트워크가 제공하는 이유를 이해하기가 더 어려워집니다 그것이하는 대답 첫 번째 숨겨진 레이어의 각 뉴런은 입력 데이터의 특정 구성 요소를 찾고 있습니다 그러나 더 깊은 계층에서 이러한 구성 요소는 인간이 묘사하는 방식에서 더 추상적입니다

같은 데이터 자, 이것은 큰 일처럼 보이지는 않지만 신경망이 우리의 대출을 거부하는 데 사용된다면 예를 들어, 우리는 이유를 알고 싶습니다 어떤 기능이 차이를 만들어 냈습니까? 그들은 최종 답변을 어떻게 평가 했습니까? 많은 국가에서 이러한 종류의 결정이 왜 필요한지 이해할 수있는 법적 권리가 있습니다 만들어졌다 그리고 신경망은 우리 삶에 대한 점점 더 많은 결정을 내리는 데 사용되고 있습니다 예를 들어 대부분의 은행은 신경망을 사용하여 사기를 감지하고 방지합니다

자궁 경부암에 대한 Pap 테스트와 같은 많은 암 테스트는 신경망을 사용하여 현미경으로 세포의 이미지, 암의 위험이 있는지 여부를 결정합니다 신경망은 Alexa가 어떤 노래를 연주하고 싶은지 이해하고 Facebook에서 사진 태그를 제안하는 방법 이 모든 일이 어떻게 일어나는지 이해하는 것이 세상에서 인간이되는 데 정말로 중요합니다 지금, 당신은 당신의 자신의 신경 네트워크를 구축할지 여부 그래서 이것은 많은 큰 그림 자료 였지만, 우리가 John Green-bot에게 준 프로그램은 이미 개를 인식하도록 훈련되었습니다 뉴런은 이미 입력에 가중치를 부여하는 알고리즘을 가지고있었습니다

다음에는 신경망에서 사용되는 학습 과정에 대해 이야기하겠습니다 모든 뉴런에 적절한 가중치를 부여하고 왜 제대로 작동하기 위해 많은 데이터가 필요한지 Crash Course Ai는 PBS Digital Studios와 연계하여 제작됩니다 모든 크래시 코스를 모든 사람에게 무료로 제공하려면 영원히 참여하십시오 Patreon의 커뮤니티

신경망 뒤의 수학에 대해 더 자세히 알고 싶다면이 비디오를 확인하십시오 충돌 코스 통계에서 그들에 대해

Integrum Litera – Redefined Learning in AI | Data Science | Machine Learning | Deep learning

안녕하세요, 우리는 Integrum Litera입니다 우리의 이름에서 알 수 있듯이 우리는 가장 인기있는 일부를위한 포괄적 인 학습 솔루션입니다 오늘날 시장의 기술은 데이터 과학, 데이터와 같은 교육 및 학습을 제공합니다

분석, 기계 학습, 인공 지능, 딥 러닝, 신경망, 로봇 공학 및 자동화 기술 우리는 포괄적 인 훈련과 코칭을 통해 학생들에게 지식을 제공함으로써 힘을 실어줍니다 학생들이 학습을 적용하고 선택한 재능을 실현할 수 있도록합니다 시장에서 가방 스털링 유능한 직업 AICRA 인증을받은 Integrum Litera의 인공 지능 교육에 참여하십시오 (모두 로봇 공학 및 자동화를위한 인도 협의회)를 통해 꿈을 실현하도록 도와 드리겠습니다!