Crowdsource by Google: Building better products for everyone with machine learning

머신 러닝에 대해 들어 봤지만 무엇입니까? "기계 학습"은 컴퓨터가 몇 가지 예를보고 기술을 습득 할 수있게하는 기술입니다 규칙 세트 대신에

기계 학습을 통해 일상적인 작업을보다 쉽게 ​​수행 할 수 있습니다 좋아하는 사진 검색, 어떤 언어로든 사람과 대화하고 전 세계 어디든 가고 싶은 곳으로 정확하게 이동할 수 있습니다 기계는 어떻게 배우나요? 기계 학습에서 컴퓨터는 일련의 데이터를 통해 공통 패턴을 찾고 식별하고 학습합니다 예를 들어 컴퓨터에 많은 자동차 이미지를 보여 주면 어떤 그림에서든 자동차를 인식하는 방법을 배울 수 있습니다 우리가 보여주는 다양한 자동차 이미지는 더 잘 인식됩니다

따라서 Crowdsource 앱에 대한 귀하의 기여가 중요합니다 컴퓨터가 배울 수있는 정확한 예를 만들고 확인하는 데 도움이됩니다 이는 모든 사람에게 혜택을 줄 수있는 기능을 활성화합니다 이미지 레이블을 확인하면 Google 포토 및 Google 렌즈와 같은 앱이 사진을 분류하고 물체를 식별하는 데 도움이됩니다 문장의 정서에 라벨을 붙이면 Google지도 및 Google Play에서 사용자 언어로 리뷰를 구성하는 데 도움이됩니다

번역을 확인하면 Google Translate가 귀하의 언어로보다 정확한 번역을하도록 도와줍니다 덕분에 좋아하는 앱이 모두에게 도움이됩니다 전 세계 크라우드 소싱 커뮤니티의 일환으로 귀하의 국가 및 전 세계의 기고자들과 함께 수백만의 사례를 제공하고 있습니다 귀하의 답변은 수천 명의 다른 사용자의 답변과 결합되어“최상의”답변을 결정합니다이를“지상 진실”이라고합니다

실제 기술은 특정 기술을 습득 할 수있는 패턴을 찾는 기계 학습 모델에 적용됩니다 사진에서 자동차를 식별하는 방법 또는 한 언어에서 다른 언어로 번역하는 방법 등이 있습니다 기계가 배우는 것은 주어진 데이터에 의해 제한됩니다 세계의 작은 지역에서 온 이미지로 이미지 인식 알고리즘을 개발하면 세계의 해당 부분에서만 객체를 인식합니다 사진과 같은 앱이 모든 사람에게 잘 작동하려면 세계 각지의 이미지를 사용하여 기계를 훈련시켜야합니다

Crowdsource를 사용하면 교육 데이터에서 지역, 언어 및 의견을 나타냅니다 커뮤니티에 참여해 주셔서 감사합니다!

Building Mario Levels with Machine Learning | AI and Games

안녕하세요, 저는 Tommy Thompson입니다 AI와 게임입니다

인위적인 연구 및 응용 시리즈 비디오 게임에서 지능; 우리는 학문적 연구를보기 위해 버섯 왕국으로 돌아 왔습니다 슈퍼 마리오 브라더스에서 Nintendo의 영원한 프랜차이즈는 몇 번 자릅니다 이 채널에; 학술 대회에서 뛰던 마리오 AI 대회 2009 년과 2012 년 사이의 회의와 인공 지능 연구원이 더 나은 방법을 모색하는 방법 절차 생성을 위해 Mario 레벨 디자인을 캡슐화하고 모델링합니다 이 비디오에서 우리는 슈퍼 마리오에게 기계 학습을 적용하는 새롭고 지속적인 연구를보고 있습니다 레벨 생성

나는 그들이 생성하는 레벨의 종류,이 알고리즘이 어떻게 생성되는지, 마리오 수준을 구축하고이 연구 분야에서 여전히 앞서 나가고있는 기회에 대해 알아보십시오 새로운 슈퍼 마리오 메이커를 만나십시오 다양한 프로젝트와 시스템을 본격적으로 살펴보기 전에 기본 내가 말하는 것에 대한 이론과 현장에서 일어난 큰 변화 최근 몇 년 우리가 2014 년에 게시 한 원래의 Mario AI 비디오로 마음을 돌려 보내면, 나는 마리오 인공 지능 (Mario AI) 대회가 모든 사람들이 참여하는 몇 가지 연구를 도입 한 방법을 설명했다 좋아하는 배관공

봇 작성과 같은 경쟁에서 정한 과제 중 일부는 꽤 빨리 Robin Baumgarten의 A * 선수의 예의에 따라 극복되었고, 절차 적으로 마리오 레벨을 생성하는 것은 단지 시작에 불과했습니다 경쟁이 연구원에게 주어진다 Super Mario Bros에서 영감을 얻은 수준의 시스템을 만드는 것뿐만 아니라 게임을하는 사용자에 대한 간단한 원격 측정 데이터를 기반으로 사용자 정의 할 수 있습니다 다음 몇 년 동안 결과로 나오는 시스템은 용어면에서 꽤 다양했습니다

그들이 운영 한 방법과 그들이 만든 후속 단계에 대해 이 비디오가 집중되는 동안 Mario 레벨 디자인을 복제 한 최신 작품에 대해 배우고 싶다면 Mario의 플레이어 중심 PCG에 대한보다 조형적인 연구는 Noor Shaker 박사의 연구 그러나 가장 현대적인 연구 중 하나 인 전환은 플레이어의 원격 측정을 채택하는 건물 수준에서 벗어나고 대신 마리오 타이틀의 원본 디자인을 모방합니다 이 문제가 이제는이 초기 연구 프로젝트가 모두 자신의 설계 지식을 슈퍼 마리오 레벨은 실제로 무엇입니까 이제 이것 자체로 흥미로운 연구 영역입니다 : 플랫폼 화 수준을 만드는 것은 무엇입니까? 슈퍼 마리오 레벨? 그것은 학자들이 최근 몇 년간 함께해온 것입니다 내 두 번째 마리오 비디오에서 마리오 레벨 생성기에 필요한 뉘앙스를 더 잘 이해할 수 있습니다

그 영향을 미치는 전반적인 미학의 측면이 분명히 있지만 프로세스, 더 중요한 것은 논리와 구조 심지어 레이아웃입니다 가장 간단한 마리오 레벨 누군가에게 종이와 연필을주고 질문하면 당신에게 슈퍼 마리오 레벨을 스케치하기 위해서, 그들은 아마 그 점 때문에 여러면에서 다를 것입니다 사람들은 프랜차이즈에 대한 지식을 갖고 있지만 공통된 요소가 있음을 의심하지 않을 것입니다 그곳에 벽돌 블록, 어쩌면 블록, 파이프, goombas 및 koopa troopas 일 수도 있습니다 떨어지거나 죽을 수있는 구덩이가있을 수 있습니다

레벨 끝의 플래그 우리는 이러한 핵심 요소를 집단적으로 이해하고 있지만 종종 이러한 것들이 서로 연결되어 있어야하는 관계에 대한 친밀한 지식이 부족합니다 슈퍼 마리오 시리즈는 지속적으로 재미 있고 매력적인 프랜차이즈로 만들어줍니다 지옥, 닌텐도는이 개념에 대한 자신감이 너무 많아서 하나도 개발하지 못했습니다 하지만 Super Mario Maker의 두 가지 에디션을 통해 건물에 대한 상당히 유연한 도구를 제공합니다

너의 자신의 마리오 수준은 진짜 관심사없이 Nintendo 장치에 놀 것이다 그것은 주요 시리즈의 판매에 영향을 미칠 것입니다 그래서 이것을 AI 연구에 가져 와서, 슈퍼 마리오 레벨 생성 연구가 계속되었습니다 번성하고 그러나 최근 수년간 가장 큰 변화는 슈퍼 마리오를 이해하려는 노력입니다 레벨 디자인

이 문제를 해결하기 위해 최근의 연구는 연구원이 직접 마리오 수준의 디자인에 대한 자신의 해석을 주입합니다 마리오 레벨이 어떻게 구축되었는지를 지시하는 절대적이고 완전한 규칙 집합이 아닙니다 들어 올릴 수 있습니다 Mario Maker에서 그렇게 할 수있는 도구를 제공 받았을 때조차도 우리는 '마리오 방식'을 재현하려는 투쟁이지만, 우리는 종종 완전히 다른 것을합니다 나는 나중에 다시 돌아올 것이다

이제 기계 학습을 이용한 가장 최근의 연구 알고리즘이 레벨 자체를 학습하게함으로써이 문제를 피할 수있었습니다 우리가 탐색하려고하는 프로젝트의 일부에서 볼 수 있듯이, 각각의 경우 시스템 그것은 자신의 내부 모델을 구축 할 수 있도록 슈퍼 마리오 레벨을 먹이입니다 어떤 방식으로 이 데이터는 타일 그리드의 완전한 상징적 표현에서부터 독서에 이르기까지 다양합니다 YouTube 동영상을 보는 수준의 그래픽을 제공합니다 각각의 경우에 시스템 타일을 그룹화하는 방식, 타일을 사용하는 방식에 대한 논리를 유추합니다

특정 컨텍스트 및 경우에 따라 이러한 텍스처에 적용되어야하는 텍스처 그들 자신 이 프로세스를 통해 최근의 레벨 생성 시스템을보다 정확하게 해석 및 재현 슈퍼 마리오 레벨 디자인의 측면 하지만 내 조롱 거리는 충분 해 보세요 그래서 저는 최근 몇 년 동안 주목할만한 네 가지 연구를 탐구 할 것입니다 철저한 연구는 아니지만 연구원들이 취하고있는 길의 종류에 대한 아이디어를 제공합니다 그리고 진행되고있는 진행 상황 인공 지능 방법 및 기법의 범위로 나를 감싸주십시오

여기에 고용 된 사람들은 매우 다양합니다 각 시스템이하는 일을 빨리 요약하기 위해 최선을 다합니다 그리고 왜 이런 방식으로 그것에 대해 이해하는 것이 합리적인지 배우고 싶은 사람들을 위해 더 많은 관련 연구 논문을 동영상 설명에 모두 표시했습니다 당신의 시간에 정독하십시오! 먼저, 대학의 강사 인 Steve Dahlskog 박사의 연구를 살펴 보겠습니다

스웨덴의 말뫼 Steve의 작업은 디자인 패턴을 사용하여 Super Mario 게임을 평가하려고했습니다 게임에서 레벨이나 메 커닉의 레이아웃이나 구조에서 공통 요소를 식별합니다 그의 주장은 게임 요소가 어떻게 구성되는지에 대한 규칙을 세움으로써 AI 시스템 그 지식을 새로운 수준을 만드는 방법에 대한 지혜로운 결정을 내리는 수단으로 채택 할 수 있습니다 또는 심지어 게임

이 연구는 그를 지하 감옥의 절차 적 생성을 탐구하게했다 레벨뿐만 아니라 플레이어 경험 평가 시스템을 포함하지만 그의 연구의 많은 부분 – 특히 그의 박사의 초기 년 – 슈퍼 마리오 브라더스 주위를 중심으로 Dahlskog의 연구는 Julian Togelius의 감독하에 2012 년에 시작됩니다 원래의 슈퍼 마리오 브라더스 (Super Mario Bros)의 20 가지 육상 기반의 23 가지 고유 한 디자인 패턴, 수중 레벨과 성 레벨을 생략했습니다 이러한 패턴은 미시적 수준의 행동 omb 바스 (gomba) 나 틈새 (gaps)와 같은 사슬 (chain)이 레벨에서 거시 행동 (macro behavior) 파이프를 사용하여 여러 경로 또는 계단 길을 만드는 등의 추상화가 더 추상적입니다

사이에 간격이 있습니다 이 연구에 대해 더 자세히 알고 싶다면 두 번째 체크 아웃 2015 년 Mario에서 동영상을 통해 이러한 패턴 만 파악할 수 있음을 발견했습니다 계속되는 후속편에서 출발하지만, 시리즈에서 얼마나 많은 항목이 혁신적 이었는지의 핵심은 마리오 레벨 디자인 실제 게임 레벨을 반영하는 속성을 식별하는 수단으로 이러한 패턴을 사용하면, Dahlskog의 2013 년 발간 된 연구의 두 번째 단계는 진화 계산 레벨을 구축 한 다음 각 예제에서 발견 된 패턴의 수를 기반으로 평가합니다 이것은 레벨을 200 개의 수직 슬라이스로 분해 한 다음, 이러한 슬라이스는 서로 연결되며이 슬라이스의 서브 세트 내에서 어떤 패턴이 존재합니다

결과 출력은 고전적인 Mario 디자인 패턴 중 일부를 반영하는 레벨을 생성합니다 그러나 더 자연스러운 흐름을 만들기 위해 이러한 패턴의 속도를 존중하지 못했습니다 2014 년에는 두 가지 프로젝트가 진행되었습니다 하나는 레벨 평가를 재구성하여 기록하는 것입니다 서로 다른 마이크로 및 중간 레벨 패턴 – 레벨 증가 다양성 – 새로운 레벨 생성 프로세스 – 멀티 레벨 레벨 생성기 – 다양한 추상화 수준에서 레벨을 구축 : 매크로 패턴 레벨에서 시작한 다음 작업 meso와 micro에 이르기까지 이 공간에서의 그의 마지막 연구 기관은 Mark의 도움을 받아 2014 년에 출판되었습니다

Nelson – 기계 학습이 아니더라도 체크 아웃 할 가치가 있습니다 마르코프 모델을 구성하기 위해 연속 된 서브 시퀀스 또는 n- 그램의 수직 슬라이스 레벨 생성 프로세스의 마르코프 모델은 주어진 방향으로 현명한 접근 방식을 취합니다 확률에 기반한 결정 과정에서 후속 조치를 예측하도록 설계 후속 결과의 가장 일반적으로 발견되는 세로 조각 모음을 사용하여 마리오 레벨에서 화면에 표시된대로 사용하면 시스템은 하나 또는 더 많은 레벨, 마코프 모델을 구축 한 다음 유사한 레벨을 생성하려고 시도하십시오 그 안에 n 그램

여기에서 볼 수 있듯이 결과 레벨은 기존 마리오 레벨의 특정 디자인을 반영하지만 이전에는 사용할 수 없었던 방식으로 연결합니다 깊이 생각한 다음은 미국과 Adam Summerville의 작업으로 넘어갔습니다 2018 년 UC 산타 크루즈에서 박사 학위를 받았으며이 비디오를 발표 할 당시 조교수 캘리포니아 주 폴리 테크닉 대학교에서 Adam은 다양한 재미있는 연구에 참여해 왔습니다

대학원생으로서의 시간 동안 그는 마리오에게 두 가지 다른 접근법을 시도했다 기계 학습을 사용한 레벨 생성 우선 Shweta Philip과 Michael Mateas와 2015 년에 공유 한 프로젝트가 있습니다 Dahlskog의 최종 프로젝트와의 유사점은 Markov Chains, 결과를 확인하는 데 다른 접근 방식을 시도합니다 n-gram 수준의 한 요소 문제가 될 수있는 것은 결과 수준이 할 수 있는

그것은 의미있는 것을 생산하는 마르코프 체인의 자비에 있습니다 따라서 Summerville의 논문은 유사한 Markov Chain 접근법을 취하지 만, Markov Chain에 의한 검증은 Monte Carlo Tree Search를 사용하여 검증되었습니다 나는 Total War : Rome II의 전략적 외교 AI를 탐구 할 때 결정이 내려 질뿐만 아니라 특정 설계 변수에 맞춰 조정될 수 있습니다 시작하려면 Markov Chain은 Dahlskog의 작업과 비슷한 방식으로 생성됩니다 각 레벨의 수직 슬라이스를 검사하고, 견고하고 깨지기 쉬운 타일을 식별하고, 적, 파이프, 동전, 질문 블록 및 숨겨진 파워 업

일단 Markov Chain이 확립 된 레벨 생성 프로세스의 모든 단계는 MCTS 알고리즘을 검증하여 그것이 할 수있는 각각의 가능한 행동의 질 마크로프 체인에 현재 수직 슬라이서에 3 개의 일반적으로 사용 된 후속 조치가 MCTS에서 시스템은 가장 적합한 것으로 간주되는 시스템을 사용합니다 MCTS 평가 결과 수준을 보장 할뿐만 아니라 설계가 다양하기 때문에 다각적입니다 재생할 수 있지만 추가 메트릭에 의존하므로 사용자는 자신의 개인적인 이익 먼저 각 레벨은 Baumgarten 's 앞에서 언급 한 A * bot을 사용하여 레벨을 테스트합니다

봇 테스트하는 것 외에도 수준, 특정 수준 기능의 바람직 함을 나타내는 독립 매개 변수가 있습니다 틈, 적, 동전 및 파워 업의 수를 추가했습니다 이 손으로 조정할 수 있습니다 디자이너가 어떤 유형의 레벨이 만들어 졌는지에 대해 더 많은 통제력을 갖기 위해서는 항상 의존해야합니다 MCTS에 결과 수준을 지키기 위하여

Summerville의 두 번째 접근법은 재발 성 인공 신경의 변형을 사용하는 것이 었습니다 긴 단기 또는 LSTM 네트워크로 알려진 네트워크 LSTM 네트워크는 늦은 날짜까지 거슬러 올라갑니다 1990 년대로 그들은 메모리 구성 요소를 가지고 있다고 가정하면 데이터 시퀀스를 처리하기에 좋습니다 입력 데이터에 적용하여 새로운 정보를 읽을뿐만 아니라 이전 입력 사이클의 데이터를 기억하거나 잊어 버릴 수 있습니다 결과적으로 LSTM 네트워크는 종종 연속적인 데이터 시퀀스가 ​​주어지면 음성 및 비디오 인식 프로세스에 사용됩니다

Summerville은 2015 년 말에 LSTM을 원래 슈퍼 마리오 브라더스뿐만 아니라 슈퍼 일본어의 원래 릴리스에서 24 레벨 마리오 브라더스 2 – 종종 서부 시장에서 슈퍼 마리오 브라더스 (Super Mario Bros : The Lost Levels)라고 불 렸습니다 시스템의 다양한 구성이 실험을 통해 최적의 구성으로 해당 출력을 읽고 생성합니다 – snaking-path-depth로 알려져 있습니다 레벨을 생성 할 때 위로부터 아래로 방향을 바꾼 다음 다시 위로 올리거나 embeds 플레이어가 할 수있는 잠재적 인 경로를 반영하는 생성 된 레벨에 특수 문자 take와 레벨에 대해 생성하는 현재 열을 비교하여 시스템이 그것이 얼마나 노력하고 있는지에 대한 이해를 가지고 있어야한다 snake-path-depth 네트워크를 일정 수준의 신뢰 수준으로 훈련 한 후에는 이제 우리가 볼 수있는 것처럼 새로운 수준을 생성하는 임무가 주어집니다 이 레벨들은 평가된다

다양한 측정 항목에 대해 이러한 측정 기준은 – Summerville 자신이 말했듯 – 원래 마리오 게임에서 오는 수준의 신빙성을 평가하기위한 것입니다 유사한 속성을 공유하지만 그럼에도 불구하고 새로운 수준을 만들 수 있습니다 소설 평가는 레벨이 완료 가능한지 아닌지를 고려합니다 A * 구동 봇 -하지만 레벨의 빈 공간 비율, 레벨 – 플레이어가 실제로 도달 할 수있는 빈 공간, 흥미로운 수 타일 ​​배치, 레벨을 최적으로 재생하는 도약 횟수, 레벨이 얼마나 선형적이고 관대 한지를 측정합니다

조사 할 세 번째 연구는 Matthew Guzdial이이 시간에 비디오는 Georgia Tech University에서 박사 학위를 마치는 것에 가깝습니다 매튜의 작품은 틀림없이 이 동영상에서 논의 된 것 중 가장 유명한 것으로, Vice, Verge, Wired, Register and New Scientist 이것의 큰 이유 중 하나 마리오 레벨 데이터 캡처에 사용 된 참신 요소입니다 우리가 이미 본 것처럼, 각각 연구원이 마리오 레벨 정보를 다른 방식으로 입력하고 있습니다 Dahlskog 주석 수준 Summerville은 레벨에서 타일 데이터를 공급 받았다

그러나 Guzdial의 초기 레벨 정보뿐만 아니라 플레이어 탐색 방법에 대한 이해를 목표로하는 작업 실시간으로 이러한 수준 그래서 사람들이 게임을하는 것을 보면서 마리오 레벨을 배웁니다 YouTube에서! 그렇다면 마리오 레벨을 만드는 AI에서 YouTube 동영상을 시청하는 방법은 무엇입니까? 상세히 그의 감독관 인 마크 리들 (Mark Riedl)과 공동 저술 한 2016 년 논문에서 Guzdial의 프로젝트는 OpenCV – 오픈 소스 컴퓨터 비전 툴킷 – 주어진 playthrough의 각 프레임을 처리합니다 비디오 이 프로젝트는 두 가지 요소를 달성하는 것을 목표로합니다

비디오 푸티지를 긁어내는 것에서 레벨 레이아웃에 대해 배웠지 만 디자인을 나타내는 방법 게임 플레이 영상 내에 숨겨진 지식으로 목적을 위해 재생산 될 수 있습니다 수준 생성 레벨 레이아웃이 할 수있는 것을 배우기 위해, Guzdial이 '높은 상호 작용 영역'으로 분류하는 것을 분류합니다 – 수준의 한 부분 플레이어가 다른 플레이어와 비교하여 더 많은 시간을 보낸다 이것은 지역을 참조 할 수 있습니다 점프 퍼즐,지도 또는 질문 블록에 숨겨진 동전 및 숨겨진 아이템 등 파워 업으로

이러한 높은 상호 작용 영역은 분석 된 비디오 장면에서 식별됩니다 순서 내에서 스프라이트를 배치하는 방법을 이해해야합니다 이것은 더 쉽게 달성된다 슈퍼 마리오 브라더스 (Super Mario Bros)에는 시스템이 고려해야 할 102 개의 스프라이트 만 있습니다 콘텐츠의 차이를 평가하여 동영상을 수준별로 구분합니다 각 프레임의

그 결과 생성 된 상호 작용 영역은 분류되어 분류 될 수 있습니다 결과적으로 21 개의 클러스터가 생성되어 2 ~ 250 프레임의 비디오 세그먼트가 크기는 지하 또는 나무 꼭대기와 같은 흥미로운 특성을 가지고 있습니다 검은 색 화면을 유발하는 마리오의 죽음을 막기 위해 이 분석 프로세스는 플레이어가 죽지 않는 비디오 장면 만 사용합니다 두 번째 단계는 끌어온 클러스터를 기반으로하는 확률 모델을 작성하는 것입니다 비디오 데이터로부터 이 모델은 디자인 룰을 인코딩하여 다이어그램의 레벨 노드 – (L) – 클러스터에서 학습 된 데이터로 인해 다양한 방식으로 생성 될 수 있습니다 특정 스타일을 기반으로합니다 이를 위해서는 G 및 D 노드를 올바르게 교정해야합니다

그만큼 모델의 G 노드는 주어진 형상에 대한 모든 기하학적 정보를 나타냅니다 하나 이상의 스프라이트로 구성된 세계에서 나무 꼭대기 부분의 나무 껍질 시스템이 인식하고 다양한 것을 통해 일반화하는 것을 배우는 일반적인 모양입니다 다른 순열의 또한 모델의 D 노드가 있습니다 주어진 레벨 섹션에서 G 노드와 다른 모든 G 노드와의 관계 정보 이 객체가 서로 상대적으로 배치되는 방법에 대한 설계 지식을 기본적으로 인코딩합니다

그래서이 시스템은이 모든 비디오 정보를 효과적으로 포착하여 흥미로운 것을 파싱했습니다 특정 스프라이트를 사용하는 셰이프는 그 셰이프가 서로 어떻게 관련되는지를 배웠습니다 그만큼 이것의 흥미로운 부분은 마리오 레벨을 만드는 방법을 배우지 않고 있다는 것입니다 시스템은 마리오가 무엇인지를 정말로 이해합니다 대신 스프라이트가 어떻게 배치되는지 배우고있다

비디오 장면의 세그먼트에서 서로 상대적으로 일어난다 비디오 게임 모델이 준비되면 모양을 고려하여 레벨 세그먼트를 생성 할 수 있습니다 일반적으로 스프라이트뿐만 아니라 해당 세그먼트에 나타납니다 그들은 화면에 그려지 겠지만 화면상의 그들의 위치와 다른 사람들과의 관계 모양이 화면에 나타납니다

결과 레벨은 시스템에서 놀랍도록 정확합니다 그것은 비디오 영상에서만 학습합니다 이 프로젝트는 시작보다 길었습니다 게임의 비디오 장면이 어떻게 활용 될 수 있는지에 대한 다음 해에 탐구되는 작업 본문 레벨 디자인을 위해 스프라이트를 결합하는 방법을 이해하는 것뿐만 아니라 충돌, 점프 물리학 및 득점과 같은 실제적인 게임 내 행동을 되돌릴 수 있습니다 마지막으로, 가장 확실한 것은 최근 연구 인 Vanessa Volz 박사 : PhD 도르트문트 공과 대학교 (University of Dortmund)를 졸업하고이 비디오를 발표 할 당시 런던 퀸 메리 대학 (Queen Mary University) 연구원

Volz의 연구는 2018 년 GECCO에서 공동 저자와 함께 발표 한 논문으로 시작되었습니다 Jacob Schrum, Jialin Liu, Simon Lucas, Adam Smith, Sebstian Risi와 함께 간단히 말해 생성 적 적자 네트워크 (Generative adversarial networks) 또는 GAN으로 알려진 프로세스를 사용하여 레벨을 구축 할 수 있습니다 GAN 2014 년 이후 대중적으로 입증 된 감독되지 않은 학습 과정이지만 기존의 신경망 사이의 적대적인 학습에 관한 연구 1990 년대 초반 생성 적 적대적인 네트워크는 생성자와 판별 자로 알려진 두 개의 별개의 길쌈 신경 네트워크 생성기는 판별자가 평가하는 동안 주어진 문제에 대한 해답을 생성합니다

그들의 품질 이를 수행하기 위해 판별 자 (discriminator)는 특정 세트를 인식하는 것을 배우고 있습니다 생성기가 판별자를 속일 수있는 샘플을 생성하는 동안 데이터 세트의 샘플 그것이 무엇을 만들 었는지 생각하는 것은 진실입니다 시간이 지남에 따라 각 시스템은 discriminator가 인식하는 것이 더 나아지면서 각자의 작업에서 더 잘 수행됩니다 확실한 데이터를 생성하는 반면, 생성기는 판별자를 속여서 출력이 확실하고 보너스로 발전기의 출력이 향상됩니다

이러한 접근 방식은 가짜 인공 지능 이미지에서 상당한 개선을 가져 왔습니다 및 사진의 스타일 전송 게임에 가장 큰 영향을 끼친 것은 틀림없이 업 스케일 텍스처에 기계 학습을 사용하여 커뮤니티를 개조하는 최근 작업 Elder Scrolls : Morrowind, DOOM, Metroid Prime 및 Final Fantasy와 같은 게임을위한 4K 해상도 VII – 당신이 흥미를 가진다면 그 자체로 에피소드로 우리가 탐험 할 수 있습니다! 알려줘 아래로 코멘트에 그러나 그것을 Mario에게 가져 오면, Volz와 나머지와 동료 작가들은 어떻게 이런 일을하게 되었습니까? 마리오 레벨을 위해 달리기? 이렇게하려면 두 가지 단계로 나뉩니다 첫 번째 부분은 원하는 발전기 네트워크를 교육하는 것입니다

판별 기는 Summerville의 작품에서 사용 된 동일한 자료에서 나온 한 수준의 Super Mario Bros 발전기는 판별자를 어리석은 방법을 배우기 시작하도록 훈련받습니다 이 프로세스가 완료되면 생성기가 판별자를 속일 수있는 새로운 레벨을 생성 할 수 있으므로 학습 2 단계의 시작을 가능하게합니다 두 번째 단계는 공분산 (Covariance)으로 알려진 프로세스를 사용합니다 발전기를 더욱 교육시키기위한 매트릭스 적응 진화 전략 (Matrix Adaptation Evolution Strategy, 또는 CMA-ES) 번호와 같은 특정 디자인 속성을 반영하는 수준을 만들 수 있습니다

지상 타일과 적의 배치,하지만 또한 여부에 따라 평가 Baumgarten의 A * 봇은 생성 된 레벨과이를 수행하는 데 필요한 점프 수를 완료 할 수 있습니다 그런 다음 여기에있는 것과 같은 레벨이 생성되는 스 니펫을 기반으로합니다 체계, 그러나 점차적으로 어려운 세그먼트에서 주문했다 항상 그렇지는 않지만 완벽한 – 시스템에서 사용하는 인코딩이 올바르게 조정되어야합니다 이 시스템의 진정한 이점은 레벨이 매우 신속하게 생성 될 수 있다는 것입니다

이론적으로 플레이어의 중간에 새로운 레벨을 생성 할 수 있습니다 기존의 것들을 시도해보십시오! 이 발전기를 직접 시험해보고 싶다면 GitHub에서 코드를 사용할 수 있습니다 동영상 설명에서 링크를 찾을 수 있습니다 지난 7 년 동안 기계 학습 기술은 마리오 레벨을 절차 적으로 생성 할 수있는 실행 가능한 옵션이지만 현장에서 기존 작업의 많은 부분을 능가합니다 이것들에 대한 큰 잠재력이있다

유사한 2D 타일 기반 게임에 사용되는 기술이지만 고유 한 레벨 디자인 원칙 메가 맨의 규칙을 모방 한 레벨 생성기? 그 Guzdial의 것 작업이 이미 복제되기 시작했습니다 Metroidvania에이 이론을 확장하는 것은 어떨까요? 유형? 고려해야 할 상호 연결성 및 역 추적의 규칙이있는 곳 아마 심지어 젤다 던전의 전설일까요? 사실 Adam Summerville은 이미 그 공간에서 일하면서 우리는 미래를 볼 수 있습니다 그러나 그 외에도 또 다른 질문이 있습니다

어떤 다른 종류의 경험이있을 수 있습니까? 생성자는 Mario 템플릿을 사용하여 우리를 놀라게하고, 무언가로 플레이어에게 도전하게합니다 새롭고 흥미로운? 2016 년에 나는 대중적인 수준을 보는 종이를 선물했다 온라인 서비스에서 호스팅 된 WiiU의 원래 Super Mario Maker 지역 사회에서 투표했습니다 내가 찾은 것은 다양한 수준의 수준이었습니다 슈퍼 마리오 브라더스 (Super Mario Bros

)의 기본 템플릿으로 수식에 대한 혁신적인 새로운 아이디어를 시도해보십시오 이 비디오의 앞부분을 다시 보자 필자는 인간이 비슷한 것을 주었을 때 무엇을했는지에 대해 잘 알고 있었다 자신의 마리오 레벨 생성 도구, 내가 찾은 결과는 매력적이었습니다 Mario 레벨 디자인 원칙을 완전히 깨뜨린 독특하고 참신한 디자인의 그 기원을 초월하는 창의성 감각은 새로운 가능성을 제시합니다

Mario 레벨 생성에 대한 지속적인 투자를 통해 미래를 탐색 할 수 있습니다 이것은 절차 적 세대 연구의 세계에서 폐쇄 된 장과는 거리가 멀다 그리고 내가이 에피소드에 마무리 터치를하는 것처럼 충분히 재미있게, 새로운 Mario AI 프레임 워크의 향상된 버전이 공개되었으며 새로운 세대를위한 준비가되었습니다 연구원과 애호가가 사용할 수 있습니다! 이 프레임 워크는 Ahmed Khalifa에 의해 만들어지고 있습니다 – 현재 뉴욕 대학교의 박사 과정 후보자이며, 원래의 많은 것을 통합 할뿐만 아니라 기능은 2009 년부터 원래지만 AI 플레이어와 레벨 생성기가 내장되어 있으며, 이전 대회에서 생성 된 수천 개의 레벨을 포함하며 더 나은 지원을 목표로합니다 미래의 지속적인 연구

모든 그것과 그것도 원래의 마리오 예술을 사용하고있다! MarioAIorg에서 더 많은 것을 배우고 최신 버전을 다운로드하십시오 비디오 설명의 링크를 확인하십시오 슈퍼 마리오 레벨 세대에서이 비디오를 시청 해 주셔서 감사합니다 5 년 미만입니다

Mario 인공 지능 (AI) 대회에 게시 한 첫 번째 동영상 이후로 이 학문적 인 연구의이 대중적인 구석에 돌려 보내는 기회 줄 것을 잊지 마라 건방진 것 같고, 비디오 게임에서 AI 연구에 대한 새로운 탐구를 구독하십시오 달 Steve, Adam, Matthew에게 감사를드립니다

레벨 생성기에서 이미지를 제공했습니다 이 비디오에서 사용하는 것은 물론 기존 비디오 영상을이 용도로 채택한 Vanessa 삽화! 이 비디오는 patreon에 대한 나의 지지자들에 의해 투표 된 주제에 대해 말하도록했습니다 이 시리즈에서 그리고 지금 당신의 이름을 화면에 올려 놓으려면 AI로 넘어가십시오 게임 화면에 링크를 통해 설명 페이지에 지금 patreon 페이지

Building a sustainable, open source machine learning platform for everyone (TensorFlow Meets)

[음악 재생] LAURENCE MORONEY : 안녕하세요, 여러분, TensorFlow에 오신 것을 환영합니다 만나자

제 동료 인 Edd Wilder-James를 만나서 정말 기쁩니다 오늘 나와 함께 이제 Edd는 Mr Community와 TensorFlow입니다 모두 커뮤니티에 관한 것입니다

그래서 에드, 우리에게 조금 말할 수 있니? 네가 한 일에 대해서? EDD WILDER-JAMES : 그래, 물론 나는 훌륭한 직장이있다 나는 일종의 직장이다 전체 커뮤니티에 다가 가기 위해 TensorFlow에서 작업 그리고 TensorFlow에 관한 가장 놀라운 것들 중 하나 분명히 너무 많은 장소에서 사용되기 때문에 많은 지역에서 사용됩니다

그리고 TensorFlow가 계속해서 훌륭한 프로젝트가 되려면, 계속 성장해야한다 커뮤니티가 쉽게 그 일의 일부가 될 수 있도록 많은 유스 케이스가 있기 때문에 우리가 만들고있는 것입니다 핵심 팀에게 그들 모두를 지원하기 위해, 맞습니까? 지속 가능한 커뮤니티가되어야합니다 유스 케이스에 대한 TensorFlow 구축을 도울 수 있습니다 그들이 가지고있는, LAURENCE MORONEY : 음 ~ 흠

나는 놀랍다는 것은 우리가 지역 사회에 대한 헌신 그러나 지역 사회에 대한 헌신의 증거 우리는 당신이 그것에 종사하는 데 전적으로 종사하고 있습니다 그것은 당신의 역할과 같습니다, 맞죠? EDD WILDER-JAMES : 그렇습니다 그리고 그것은 엄청나게 재미있는 직업입니다 엔지니어링 팀이 도와 줄 수있는 종류의 도움 다른 부분을 수행함으로써 같은 방식으로 그룹을 처리하고 설계한다

API가 당신에게 도움이된다는 것입니다, 그렇죠? 제가 구조를 돕는 구조 중 일부는 사람들이 상호 작용하도록 돕습니다 LAURENCE MORONEY : 정말 흥미로운 비유입니다 나는 그렇게 생각하지 않았다 꽤 괜찮은데 이제 TensorFlow 개발자 포럼에서 여러분이 이야기를 나눴습니다

주변 지역 사회 그리고 정말로 뛰어 내렸던 한가지가있었습니다, 저에게, 당신이 슬라이드에 부제가 있다는 것이 었습니다 그 말은, 나는 생각한다 우리는 TensorFlow를 만들고있다 함께– EDD WILDER-JAMES : 그렇습니다

LAURENCE MORONEY : 그 라인을 따라 뭔가 그래서 우리에게 정말로 그것을 말해 줄 수 있니? 우리가 함께 TensorFlow를 건설하는 것을 의미합니다 커뮤니티와? 작년에 특히, 나는 생각한다 함께 일하는 데 도움이되는 두 가지가 있습니다 커뮤니티로서

첫 번째는 우리가 시작한 것입니다 디자인에 대한 주석 프로세스에 대한 RFC 요청 사용 변경 그래서 1 년 전, 우리는 그 시점에있었습니다 여기서 우리는 코드의 디자인 변경을 착륙 시켰습니다 또는 다른 누군가가 기부하기를 원한다면, 그들은 방금 큰 홍보물에 착륙했습니다

투명성이나 토론이 많지 않습니다 하지만 이제는 21 개 RFC를 게시했습니다 API에 대한 새로운 디자인이 앞에서 논의됩니다 대중의 시간 그리고 그것은 단지 토론이 아니기 때문에, 나중에, 문서에 액세스합니다

따라서 누군가 미래에 와서 이해할 수 있습니다 왜 우리가 이러한 선택을 했는가 LAURENCE MORONEY : 흥미 롭습니다 EDD WILDER-JAMES : 그것은 우리가 함께 구축 한 한 방법입니다 두 번째 방법은 우리가 확립 한 것입니다, 이제 6 개의 특별 이익 단체

그리고 이것들은 매우 정의 된 프로젝트 그룹입니다 그래서 그들은 새로운 네트워킹 프로토콜이나 방법 같은 것들에 대해 작업합니다 TensorFlow를 다른 데이터 소스에 연결합니다 그리고 이것들은 공동으로, 주로 커뮤니티 TensorFlow의 부품을 만들기 위해 인도했습니다 이제 우리는 표면적을 증가 시켰습니다

투명성과 의사 소통이 향상되었습니다 LAURENCE MORONEY : 와우, 좋은 물건 그래서 내가 항상 들었던 것들 중 하나 – 커뮤니티에 관해 이야기하는 것이 쉽습니다 커뮤니티를 구축하기가 어렵습니다 그리고 건물 공동체를 만드는 것들 중 하나 가능한 한 쉽게 참여하고 참여하는 것입니다

그리고 당신이 제비 뽑기와 제비 뽑기를하고있다라는 것을 알고있다 그 공간에서 위대한 일을했다 위대한 것들에 대해 조금이라도 이야기 해 주시겠습니까? 우리가 가진 것이 사람들을 도울 것입니다 이미 당신이 가진 것 이상으로 커뮤니티에 참여하는 것 공유 되었습니까? EDD WILDER-JAMES : 오, 글쎄, 노력하겠습니다 그래, 지금 많이있다

표면적이 훨씬 더 많습니다 그리고 그것은 정말로 표면적에 관한 것입니다, 그렇죠? TensorFlow와 같은 큰 프로젝트를 시작하면 어디에서 시작합니까? 견인력을 얻을 수있는 포인트는 어디에 있습니까? 그래서 우리는 분명히 6 가지가 진행되고 있다고 언급했습니다 코드 기반의 모듈성도 중요합니다 그리고 이것은 TensorFlow 20에서 우리가하는 일 중 하나입니다

더 모듈화 된 방식으로 이 모 놀리 식 코어는 적습니다 이제는 원하는 작업을 수행 할 수 있습니다 또는 그 뒤를 돌보는 개발자 그것은 훨씬 더 접근하기 쉽습니다 앞서 언급 한 6 가지 코드와 더불어, 우리는 이제 커뮤니티 문서 그룹을 가지고 있습니다

누가 증기를 얻고있다 LAURENCE MORONEY : 번역본을 보았습니다 그게 믿을만하지 않니? EDD WILDER-JAMES : 예, 훌륭합니다 LAURENCE MORONEY : – 지역 사회에서 나옵니다 EDD WILDER-JAMES : 지난 주 우리는 한국어와 러시아어를 올렸습니다

번역 그리고 우리 웹 사이트에 1 급 리소스를 두는 것은 최고입니다 그 지역 사회에 그리고 마지막으로, 테스트 그룹 TensorFlow 20의 경우 [INAUDIBLE] 페이지가 선두이고, 사람들에게 제때에 손을 내주고 있습니다

TensorFlow 20을 부수고 그것을 돕기 위해, 그 모든 중요한 용도를 충족하는지 확인하십시오 모두가 가진 사례 LAURENCE MORONEY : 바로 거기에 많이 있습니다 지역 사회에 기부금이 있습니까? 당신이 특히 당신에게 영감을 준 것을 보았습니다

너 정말 좋아? EDD WILDER-JAMES : 글쎄, 나는 특히 고무시키는 것이 무엇인지 생각해 나 모두가 함께하는 길이다 TensorFlow 20을 지원합니다 그리고 여러면에서 그것은 우리가하는 방식으로 2

0을 할 수있다 지역 사회 없이도 할 수 있습니다 내가 한 가지 예를 들어 보겠다 모든 주요 설계, 변경 사항은 RFC와상의했습니다 이제 우리는 많은 것들을 contrib에서 제외 시켰습니다

전에 존재하고 유지되고있는 지역 사회 단체들에 의해, 여섯 명 그 전에는 불가능했을 것입니다 또한, TensorFlow 20 테스트 그룹, 또한 많은 훌륭한 Google 개발자가 제공합니다 전문가는 실제로 API를 부숴 버리는 것입니다

작동하는지 확인하고 기능을 시연 할 수있는 예제 및 노트북 LAURENCE MORONEY : 나는 특히 TensorFlow 데이터 서비스와 마찬가지로, 사실 우리가 데이터 세트에 기여할 수 있다는 것 커뮤니티에서 데이터 세트 중 일부는 스탠포드 출신이 하나 있었는데 스탠포드 대학의 학부 200,000 개의 흉부 X 선 이미지를 데이터에 제공 한 사람 세트 다른 사람이 쉽게 사용할 수 있도록 에 훈련을 구축합니다 좋은 공동체 없이는 어떻게 할 수 있겠습니까? 나는 그것을 영감으로 생각한다

네, 정확히 요 그것은 우리의 태도에 대해서도 절반입니다 우리가 창조 한 것과 구조에 관한 것 또한 우리가 코드화하는 방법도 있습니다 로렌스 모닝 로니 : 맞아, 그럼, 기어를 바꿔 보자 1 초

이제 네가 무언가에 열심히 일한다는 것을 안다 TensorFlow World라고 불렀습니다 네 EDD WILDER-JAMES : 네 LAURENCE MORONEY : 그래서 위대한 이름입니다

[웃음] 그래서 그것에 관해 우리에게 조금 이야기 해 주시겠습니까? EDD WILDER-JAMES : 그래, 그럼 TensorFlow에 대한 흥미로운 것들 지금은 그렇게 널리 퍼져 있습니다 우리가하고 싶었던 것은 정말로 모두를 가능하게하는 이벤트를 만들자 생태계에서 함께 모여 그리고 그들이하는 일에 대해 이야기하기 분명히 Google은 훌륭한 TensorFlow를 지향합니다

이벤트 그러나 용량이 제한적입니다 그들은 꽤 짧습니다 TensorFlow의 핵심 요소가 많이 있습니다 팀 외부에 제시합니다

하지만 세상에는 너무 많은 것들이 있습니다 TensorFlow가 사용되는 곳은 어디입니까? 계속해서 우리에게 중요한 모든 사람들이 모여서 생태계를 키울 수 있습니다 LAURENCE MORONEY : 알겠습니다 내가 참조 EDD WILDER-JAMES : 글쎄, 내가 너에게 줄께

우리가 가질 수있는 것들에 대한 예입니다 그래서 그것은 단지 대화가 아닙니다 그러나 튜토리얼이있을 것입니다 LAURENCE MORONEY : 좋아 EDD WILDER-JAMES : 훈련이있을 것입니다

인터페이스를 제공하는 소프트웨어 공급 업체가있을 수 있습니다 TensorFlow와 함께 – 현실 세계에서, 사람들은 모든 데이터를 데이터베이스 및 클라우드 등에 보관합니다 장소 – 우리는 그들의 이야기에 대해 이야기하고 싶습니다 그들도 TensorFlow와 함께 작업합니다 그래서 그것은 모두에게 무언가가 될 것입니다

LAURENCE MORONEY : 제발 갈 수 있을까요? EDD WILDER-JAMES : 말씀 드리죠 네가 갈 수있는 좋은 방법을 말해 줄께 분명히, 우리는 모두가 와서 참석하도록하고 싶다 참석자로 하지만 지금 당장 우리는 열려있는 참여를 촉구합니다

LAURENCE MORONEY : 맞아 EDD WILDER-JAMES : 4 월 23 일까지 열려 있습니다 LAURENCE MORONEY : 좋아 EDD WILDER-JAMES : 그리고 당신은 웹 사이트에 갈 수 있습니다 URL은 매우 흥미롭게도 텐서 플로우입니다

세계 LAURENCE MORONEY : 좋아, 기억이 나는 것 같아 EDD WILDER-JAMES : 네, 맞습니다 실마리가 그 이름입니다 튜토리얼을 말하거나 전달하라는 제안서를 제출하십시오

그리고 우리는 그것들을 검토 할 것입니다 그리고 5 월 중순까지 일정이 정해집니다 LAURENCE MORONEY : TensorFlow World는 언제 어디에서? EDD WILDER-JAMES : 맞습니다 자체는 10 월 28 일부터 10 월 31 일까지입니다 산타 클라라에있을거야

LAURENCE MORONEY : 좋아요 그래서 할로윈이 있어요 EDD WILDER-JAMES : 할로윈이고 TensorFlow는 오렌지를 좋아합니다 그래서 나는 정신이 들었다 LAURENCE MORONEY : 바로 그거야

멋진 드레스 입니? [웃음] 글쎄, 고마워 아, 한가지 마지막 질문입니다 사람들이 지역 사회에 대해 더 알고 싶다면, 그들은 어디로 갈 수 있습니까? EDD WILDER-JAMES : 우리는 다시 한 URL 가장 좋은 생각입니다 따라서 tensorfloworg/community에 가면, TensorFlow 홈페이지로 가서 커뮤니티 레이블에서 모든 리소스를 이용할 수 있습니다

LAURENCE MORONEY : 굉장하고, 굉장합니다, 좋아, 좋아 정말 고마워 이 에피소드를 시청 해 주신 모든 분들께 감사드립니다 TensorFlow의 만남 Edd에게 질문이 있으시면 네가 나에게 궁금한 점이 있다면 아래 코멘트에 남겨주세요

그리고 오늘 우리가 토론 한 모든 링크, 나는 거기에 붙여 넣을거야 고마워요 [음악 재생]

Fundamentals of Machine Learning: Building a Go Machine Learning Program

마지막 강의에서 우리는 게임을하는 게임을 만들고 이야기를 나눴다 오늘 수색 수색의 기초에 관하여 우리는 알파가에 대해 말할거야

프로그램 및 그 파생어 마스터와 알파가 제로는 챔피언이 될 선수가된다 지난번부터 기억한다면 세계 에 대한 두 가지 큰 어려움이있었습니다 그래서 하나의 프로그램을 만들어라 체스 때 우리는이 가치를 구축 할 수있었습니다 우리에게 사용법을 가르쳐 준 손으로 인간의 지능이 얼마나 좋은지 말해주었습니다

각 보드 위치는 이동 중이었지만 할 일이 정말 어렵다는 것을 알았습니다 이 사람과 인간은 정말로 힘들어했습니다 그들이 인코딩 할 수있는 프로그램 작성 이것이 의미하는 바에 관한이 인간 지식 두 번째로 잘 놀아 라 문제는 체스에서 당신이 할 수있는 약 20 개의 움직임 주어진 시간 동안 그리고 거기에 가라 너가 할 수있는 300의 움직임 같이 무언가 어떤 주어진 시간에 만들어라

3 가지 움직임에 대한 특별한 생각 이동 시작시 각 플레이어마다 게임은 8 조 8 천억 포지션입니다 그것은 너무나 많은 놀이를해야하는 것입니다 이제 우리가 할 일은 이야기입니다 우리가이 문제를 어떻게 해결할 수 있는지 문제는 첫 번째가 그것을 깨닫는 것입니다 두 가지 주요 감독 학습이 있습니다

우리가 전에 말했던 프로브가 여기에있다 우리가 한 번씩 이사를 갈 수 있다는 것에 대해서 위치를 정하고 그것을 각 위치는 빈 검은 색 또는 흰색과 그래서 첫 번째 학습 문제는 우리가 이것을 취할 수있는 게시판 위치에 표시 할 수 있으며 가치가 있으므로이 위치는 여기에 있습니다 검정을위한 2 점 가치가있어서 좋다 그 아래의 위치는 검은 색이므로 한 점이 부정적입니다 이제 우리가 할 수있는 일은 인간의 부호화 된 가치 함수를 갖는 이 Donis는 6 점의 가치가 있으며 그 돌들이 작동하지 않는 곳 전혀 그 대신에 우리는 그것을 배울 것입니다 기계 학습 알고리즘을 사용하여 두 번째 통찰력 또한 우리가 알아야 할 것입니다

우리가 볼 필요가있는 움직임 우리가 보았을 때마다 가능한 이동은 너무 많아서 두 번째로 그것은 또한 사실입니다 이 보드 상태가되면 우리가 배우고 싶은 숫자의 목록 내가 할 일은 뭐니? 5 개의 포지션으로 플레이해야한다 이 나무를 가지 치기 위해 생각해 보라 너무 미치광이가 아니야 그래서 다시이 두 가지 주요 기계 학습 문제가 처음 보드 위치를 취하여 매핑하기 두 번째 값은 보드 위치와 매핑 그렇게 생각하는 방법에 대해 alphago 일하면서 기계 학습 문제 모든 것과 같은 목록을 다운로드 함 지난 30 경기에서 프로 게임 몇 년 동안 많은 게임이 열렸습니다

정말 높은 수준의 아마추어와 그런 다음 문자 그대로 감독자가되었습니다 학습 문제 그래서 어떤 보드를 배웁니다 위치는 플레이어가 더 많은 것을 의미했습니다 이길 수 있고이 보드 위치에있다 어떤 움직임이 인간 선수 일까? 그들이 배운 기계를 좋아하도록 게임하기 그 두 가지는 두 번째로 그들은이 가치를 증대 시켰습니까? 호출 된 기능 몬테카를로 트리 검색 때문에 나무 수색 전에 기억하십시오

아이디어는 앞으로 생각할 생각입니다 몇 가지 행동을했지만 지금은해야 할 일이 있습니다 어떤 시점에서 우리가 무리를 모방하려고하는 나무 무작위 게임과 우리는 내 확률이 무엇인지 상상해보십시오 이 보드 위치와 그때 주어진 우리는 가치 함수를 결합 할 것입니다 기계 학습 플러스에서 전문 알고리즘 몬테카를로 트리 우리에게 총 확률을 줄 수있는 검색 이기고 나서 다시 생각할 수 있습니다

이제 우리가 할 두 번째 일 우리는 컴퓨터 게임을 할거야 한꺼번에 이 프로세스는 다음과 같이 알려져 있습니다 우리가 얻는 강화 학습 컴퓨터가 백만 개의 게임을 플레이 어떻게 그 자체에 대한 업데이트가 필요합니다 오 이런 것들이 아마 될 것이라고 생각합니다 좋은 움직임 또는 이것들은 아마 가고있다

포지션을이기는 등 스스로를 많이 연주하는 것은 인간의 지식은 스스로를 업데이트한다 끝까지 놀기 인간 지식과 컴퓨터 지식과 사실이 절차는 알파를 이기기에 충분했다 이 4 대 1 모두에서 적어도 8 명 2016 년에 시작된 경기 두 종류의 주요 비판이있었습니다 원래의 알파가 프로그램의 이 인간 데이터베이스가 필요하다는 지식 그래서 그는이 전문가를 데려 갔다

go-go 선수들은 그들로부터 배웠다 그래서 많은 사람들이 그렇게하는 걸 묻고있었습니다 이 기술들은 단지 작동한다는 것을 의미합니다 우리가 사용할 수있는 전문가 시스템이있을 때 도메인이별로 없다는 것을 의미합니다 우리는 인간이있는 곳을 염려합니다

이것을 대답하기 위해 목숨을 바쳤다 당신이 묻는 특정 질문 내가 말하지 않은 두 번째 것 에 대한 내 주요 관심사였다 원래 alphago 알고리즘은 또한 이러한 손으로 코딩 된 기능을 정말 게임에 특히 중요합니다 트리 검색 절차를 만든다 제정하기가 어렵고 잃기가 어렵다

이 도메인 특유의 지식은 구체적으로 다루는 기능은 가난하기가 힘들어서 내 걱정거리는 잘 이러한 문제가 있습니다 진짜 단어 경우에는 존재하지만 우리가하지 않은 현실 세계의 많은 손으로 코드를 작성하는 방법을 알고있다 도메인 별 지식이므로 2017 년 deepmind는 0을 공개했다 이 두 가지 비판을 모두 다루었 다 이 인간에게서 시작하기보다는 이 기계 학습을 실행하는 데이터베이스 그들은 단지 보강을 한 것 거짓말 쟁이로 시작해서 정말 끔찍한 연주 프로그램과 그것은 그 자체에 대해 몇 번이고 정말로 강화 학습 영리한 방법으로 새로운 것이 었습니다

이 프로그램을 빌드하고이 새로운 알파 제로 프로그램 제로 의미 0 그것을 이길 수 있었던 지식 원래 alphago 프로그램 백 ~ 100 경기에서 0으로 맞췄다 2 판 알파 조 마스터 89 ~ 11 그래서이 전체적인 섹션을 되풀이하기 위해 기계의 테스트 케이스로 가라 배우기 때문에 우리는 그것을 좋아합니다 이 제한된 움직임과 우리는 이기는 것이 무엇을 의미하는지 아직 알지 못한다 오랫동안 컴퓨터가 정말 안좋다

그 일을 할 때 느끼는 것처럼 느껴진다 우리가 필요한 이러한 속성 그렇지 않은 휴지기 시스템을 만드는 것 가능한 모든 것을 보아라 할 수 있지만 몇 가지에 초점을 유망한 것으로 보이고 심지어는 보이는 것 그 모든 것을 읽을 수 없다면 어떤 감각을 가지고 일어날 것입니다 어떤 종류의 기능이 당신에게 좋은가요? 어떤 종류의 기능이 좋지 않은지 당신과 우리는 2015 년에 우리가 갔다는 것을 알았습니다

비록 당신이 시작 부분에 5 개의 동작을 만들 수있다 갑작스러운 길에 게임 스팬에 걸쳐 최고의 인간보다 낫다 몇 달 동안이게 전부 였어 변형의 영리한 사용 기계 학습에이 문제 문제를 일으킨 다음 그 기계를 가져 가라 학습 문제와 이것을 실행 알고리즘 강화 학습 및 그들은 마침내 이것을 만들 수 있습니다

그 알파 그 0 인간 지식을 전혀 사용하지 마라

Machine Learning Building Blocks

TANIA SALAME : 오늘 주제는 빌딩 블록에 대해 TensorFlow에 대해 처음부터 조금 설명하겠습니다

오픈 소스 라이브러리입니다 기본적으로 Google 직원이 만들었습니다 그들은 그것을 오픈 소스로 만들었습니다 나 자신의 훈련 데이터를 사용하는 방법에 대해 이야기 할 것이므로 이미 가지고있는 데이터와 Google의 사전 교육을받은 모델의 혜택을 누릴 수 있습니다 이 모델을 먹이는 기계 학습 수단 엄청난 양의 엄청난 양의 데이터가 이 데이터는 이미 고양이 또는 개로 분류되어 있습니다

그리고 그 모델은 모두 그 자체로, 이 이미지가 고양이 또는 개인지 여부를 감지 할 수 있습니다 제가 말씀 드렸듯이 이것은 하나의 예입니다 [아랍어로 발음하기]이 세션을 대화 형으로 만들고 싶습니다 [아라비아 말] 궁금한 점이 있으면 언제든지 저를 방해하기를 주저합니다

[아랍어로 발음하기] 귀하의 질문에 답변 해 드리겠습니다 예를 들어, 이 이미지를 고양이 나 개로 분류하고 싶습니다 내가 말했듯이, 우리는 기계 학습, 우리는이 모델에 엄청난 양의 데이터를 공급해야합니다 고양이 이미지와 개 이미지, 똑같이,이 모델은 이 다른 이미지들을 통해, 그것이 고양이 든 개이든간에 이제 어떻게 될까? 특정 입력 레이어가 있습니다

[SPEAKING ARABIC] 세부 정보 기계 학습의 과정 뒤에 하지만 기본적으로, 당신이 이 서로 다른 입력 레이어를 사용하면 분류 된 다음 활성화 된 뉴런으로 수학적 분석을 통해 그것이 고양이인지 개인지를 예측할 수 있습니다 예를 들어,이 이미지가 우리 모델에 입력되면, 그것은 다른 픽셀로 나뉘어집니다 그리고이 픽셀에서 우리는 예측할 수 있습니다 그것이 고양이 든 개이든간에

나는 기계의 아주 아주 아주 기초로 돌아갈 것이다 배우기 아주 간단한 예입니다 특정 도시에서 주택 판매 가격을 예측하고 싶습니다 예를 들어이 데이터 만 있습니다

매우 간단합니다 그리고 [ARABIC]이 되기에는 충분하지 않습니다 기계 학습 모델을 예측하고 생성 할 수 있습니다 저는 예를 들어 1,000 평방 피트의 영상을 가지고 있습니다 가격은 10 만 달러이고, 3,000 달러는 300,000 달러입니다

[아랍어로 말하다] 얼마나 많이 예측했으면 좋을까요? 2,000 평방 피트짜리 집이 얼마를 팔겠습니까? 관객 : [INAUDIBLE] TANIA SALAME : [아랍어 발음] 이것은 매우 쉽습니다 이것은 어떻게 선형 모델을하셨습니까? 수식처럼 순서대로 만들었습니다

새로운 입력이 무엇인지 예측하고 출력을 얻습니다 그래서 이것은 기본적으로 매우 단순한 방법입니다 기계 학습이란 무엇인지 설명합니다 처음에는 데이터를 봐야합니다 이 거대한 데이터 샘플을 얻어야합니다

자, 이것은 아주 단순한 예일뿐입니다 그런 다음 이러한 유형의 선형 관계를 만들어야합니다 또는 선형 모델 그것은 또한 당신이 해결하려고하는 경우에 달려 있습니다 때로는 해결하는 것이 좋을 때도 있습니다

문제를 직선적으로 학습하는 문제 또는 기계이므로 [아랍어] 우리는 숫자의 입력을 가지고 있으며, 우리는 결과를 얻어야합니다 다른 시간에는 깊은 학습 기계가 필요합니다 깊은 학습 모델

이제 깊은 학습 모델, 우리는 어쩌면 할 수 있습니다 시간이 많이 걸리기 때문에 다른 세션에 참여하십시오 깊은 학습 기계 모델을 설명합니다 하지만 기본적으로, 그것은 당신이 다른 뉴런을 가지고 있다는 것을 의미합니다, 내가 당신에게 이미지를 보여줬을 때 언급했듯이 이 다른 뉴런들은 수학 계산을하다 예를 들어,이 이미지가 고양이 또는 개

[아랍어로 발음하기]이 예에서는 숫자 만 사용했습니다 우리는 단지 집 가격이 얼마인지를 예측하고 있습니다 이것은 우리가 예측하는 곳입니다 [아랍어로 알림] 우리는 데이터를 다시 방문해야합니다 이 데이터로는 충분하지 않습니다

추가 데이터가 뭐라고 하시겠습니까? 판매 가격을 예측하기 위해 필요한 것이 무엇입니까? 관객 : [INAUDIBLE] TANIA SALAME : 위치 아주 좋아 관객 : [INAUDIBLE] TANIA SALAME : 컬러, OK 관객 : [INAUDIBLE] TANIA SALAME : 집의 품질 [아랍어] 관객 : [INAUDIBLE] TANIA SALAME : 건축 년도, [ARABIC] 좋아요, 그래서 당신은 매우 다른 의견을 가지고 있습니다 [아랍어로] 당신은 아주 좋은 제안을했습니다 [아랍어 유감]이 지역의 범죄율은 얼마입니까? 학교 등급은 무엇입니까? 근처에 학교가 있나요? 근처에 병원이 있습니까? 우리는 예를 들어 고속도로와 가까워 졌습니까? 아니면 우리는 아주 멀리 마을에 있습니까? 그래서 당신은 다른 의견을 가지고 있습니다

기계를 만들 때마다 고려해야합니다 학습 모델 그리고 이것은 많은 노력이 필요한 곳입니다 데이터 과학자를위한 많은 시간 기계 학습 모델을 작성하십시오 자, 여기에 우리가 두 가지 방법으로 올 것이다

기계 학습을 활용하십시오 [아랍어로 발음하기] 우리는 우리 자신의 모델을 훈련시킬 수 있습니다 그래서 우리는이 데이터를 얻을 수 있습니다 [아랍어로 발음하기] 우리는 모델을 만들려고합니다 그것은 주택 가격이 얼마인지를 예측할 수 있습니다

이 경우 우리는 우리 자신의 모델을 훈련하고 있습니다 우리는 이러한 다양한 데이터를 얻고 있습니다 우리는 그들을 분류하고 있습니다 우리는 예를 들어 범죄율을 조사하고 있습니다 차이를 만들거나하지 않겠습니까? 예를 들어,이 지역의 소득 유형 – 그것은 영향을 주는지 아닌지? 이렇게

따라서 제어력과 유연성이 향상되었습니다 당신이 당신 자신의 모델을 훈련 할 때 – 이 데이터를 가져올 때 이 모델을 만들려고합니다 그러나 단점은 매우 가파른 학습 곡선이라는 점입니다 그것을 올바르게하기 위해서는 시행 착오가 필요합니다 따라서 많은 일, 많은 일, 할 일이 많이 있습니다

이 훈련 데이터를 얻어야합니다 이 데이터의 유효성을 검사 한 다음 계속 먹이를주고 훈련 시켜라 계산과 예측을 올바르게하기 위해서 그런 다음 데이터를 다시 테스트해야합니다 새로운 입력과 새로운 데이터를 얻음으로써, 그래서 당신은이 모델이 충분히 견고하다는 것을 확신 할 수 있습니다

편견이 있는지 아닌지 확인해야합니다 예를 들어, 예측해야하는 모델을 먹인다고 가정 해 봅시다 그것이 고양이 든 개이든 – 나는이 모델에 엄청난 수의 고양이 사진을 보냈다 그리고 매우 적은 수의 개 그렇게 확실히, 나의 모델은 치우쳐 질 것이다

더 많은 것을 예측할 것이기 때문에 – 예측할 확률이 높을 것이다 언제나 개가 아닌 개가 고양이라는 것입니다 나는 그것을 새로운 입력으로 먹여야 만한다 또 다른 방법은 자신의 모델을 교육하는 대신 다른 단계들로 들어가기 우리는 TensorFlow에 대해 조금 이야기 할 것입니다

우리는 당신의 모델을 훈련시키는 것에 대해서 이야기하고 싶을 때 당신이 할 수있는 또 다른 방법이 있습니다 사전 훈련 된 모델을 사용하십시오 그래서 Google이 제공하는 것 – Google은 그런데 두 가지를 모두 지원하며 두 가지 모두에서 도움을줍니다 그것은 당신에게 자신의 모델을 훈련 시키는데 도움을줍니다

예를 들어 TensorFlow는 오픈 소스입니다 그리고 그것은 엄청나게 많은 수의 유연성을 가지고 있습니다 TensorFlow에서 수행 할 수있는 기능에 대해 설명합니다 그런 다음이 TensorFlow 교육 모델을 호스팅 할 수도 있습니다 Google의 관리 서비스 인 ML 엔진에 계산을 제공합니다

모델을 교육하기 위해 계산 인스턴스를 사용합니다 그리고 사전 훈련 된 모델도 있습니다 그래서 당신이 예를 들어, 번역 누가 Google에서 번역을 시도 했습니까? 관객 : [INAUDIBLE] TANIA SALAME : OK, 여기 사진을 사용하는 사람, 얼굴 검출 기능이 있으며, [INAUDIBLE] —- 예 관객 : [INAUDIBLE] TANIA SALAME : OK, [아랍어]

그래서이 모든 다른 기계 학습 API들 – 그들은 모두 우리 제품의 내부에 통합되어 있습니다 그리고이 미리 훈련 된 모델을 사용할 수도 있습니다 언제든지 자신 만의 솔루션을 만들 수 있습니다 예를 들어, Omran은 Dialogflow에 대해 설명했습니다 채팅 봇 만들기

ML API를 사용하여 자신의 챠트 봇을 만들 수도 있습니다 이것은 전문가들과 함께하는 곳입니다 너는 ML 지식을 필요로하지 않는다 모델을 처음부터 교육 할 필요가 없습니다 이 엄청난 양의 데이터를 가져올 필요가 없습니다

그것을 분류하고 가야한다 훈련, 시험 및 검증을 통해 앱에 통합 할 수 있습니다 몇 줄의 코드 만 있으면됩니다 매우 간단하며 데모에서 보여 드리겠습니다 단점은, 당신이 가지고있는 것입니다

제어 및 유연성이 떨어진다 제어력과 유연성이 낮다는 것은 무엇을 의미합니까? 그래서 예를 들면 – 나중에 보여 줄게 Vision API를 사용하고 있다고 가정 해 봅시다 Vision API에 대해 이야기하겠습니다 다음 몇 슬라이드에서 더 깊이있게

그래서 Vision API에서, 예를 들어, 나는 의자를 가진 회사 다 다른 종류의 의자를 판매합니다 Vision API는 많은 도움이되지 않습니다 예를 들어 의자에 먹이면, 나에게 줄 게 좋아, 의자

그런 다음 다른 유형의 의자에 먹이겠습니다 의자라고도합니다 그래서 여기에 내가 많은 통제력과 유연성을 갖지 못합니다 그러나 Google은이 문제를 해결했습니다 AutoML이라고하는 새로운 제품도 제공합니다

나중에 AutoML에 대해서도 이야기 할 것입니다 AutoML이 그 사이에 올 것입니다 AutoML을 사용하면 사전 교육을받은 모델의 이점을 누릴 수 있습니다 또한 데이터를 가져올 수 있습니다 더 구체적으로 예측하기 위해 사전 훈련 된 모델을 사용자 정의하려면 필요합니다

지금까지는 명확한가요? 네, 알겠습니다 누구든지 질문이 있습니까? 아니 좋아, 내가 말했듯이 우리는 두 가지 유형이있다 학습의 – 우리의 기계 학습을 해결하는 방법 문제 당신은 자신의 데이터를 사용하여 모델을 훈련시킵니다 – 이것은 TensorFlow가 오는 곳입니다

그런 다음이 솔루션을 호스팅하게됩니다 기계 학습 엔진에 있기 때문에 관리 서비스 그래서 당신은이 고통을 가질 필요가 없습니다 예를 들면, 서버를 구입 한 다음 회전 시켜서 모든 소프트웨어를 판매합니다 그리고 이들 서버 중 하나가 다운 된 경우, 그런 다음 새 서버로 교체해야합니다

네가해야 할이 모든 다른 고통 TensorFlow 기계 학습 모델을 호스팅하려면 – 당신이 클라우드에있을 때 당신은 그들을 필요로하지 않을 것입니다 나는 당신이 클라우드의 이점에 익숙하다는 것을 확신합니다 얼마나 융통성이 있고, 그것이 당신에게 어떻게 제공되는지 서비스로서의 인프라, 서비스로서의 플랫폼, 및 서비스로서의 소프트웨어 따라서 이것은 서비스로서의 인프라입니다 관리 서비스를 제공합니다

인스턴스에 TensorFlow를 호스팅해야하는 경우, 나머지는 Google에서 관리합니다 인스턴스를 많이 확장합니다 데이터와 계산을 피드로 하드웨어에 대해서도 이야기 할 것입니다 클라우드 ML 엔진에서 발견되며 속도도 빨라질 것입니다

데이터 교육 그리고 다른면에서 – 내가 언급 한대로 사전 훈련 된 모델 우리는 Cloud Vision API, Cloud Speech API, 자연어 번역, 클라우드 비디오 인텔리전스 게다가 그리고 다른 많은 사람들이 있습니다 그래서 모든 API를 포함하지 않았습니다 예

관객 : [INAUDIBLE] TANIA SALAME : 예, 예 그래서 [ARABIC] 사전 교육 모델 인 [ARABIC]은 API입니다 따라서 이러한 API에 대한 HTTP 요청을 만들어야합니다 네, 맞아요 예를 들어, 애플리케이션을 생성했다고 가정 해 봅시다

사용자가 사진을 저장할 위치 귀하의 응용 프로그램에 클라우드 비전 API를 사용하면이 혜택을 누릴 수 있습니다 우리가 제공하는 사전 훈련 된 모델 – 사용자가 사진을 업로드 할 때마다, 그것을 분류하거나 얼굴을 탐지 할 수있을 것입니다 당신이 가지고있는 다른 어떤 정보도 탐지 할 수 있습니다 그리고 우리에게는 많은 수의 문서가 있습니다

혜택을 누릴 수있는 모든 단일 API에서 기능에서 많이 예 관객 : [INAUDIBLE] TANIA SALAME : 그들은 무료입니까? 아니 [아랍어로 발음] 자유 계층이 있습니다 예를 들어 최대 1,000 건의 요청이 있습니다

매월 무료입니다 그러면 돈을 지불해야합니다 [아랍어로 알림] [아랍어] 특정 제한 사항이 있습니다 당신은 그것을 무료로 사용할 수 있습니다 모든 제품에서, 예를 들어, GCP의이 제품들뿐만 아니라, 당신은 또한 다른 몇몇 제품에서 가지고있다, 당신은 자유로운 곳에서 어느 정도 한계가 있습니다

그리고 나서 당신은 돈을 지불해야합니다 관객 중 누군가 나에게 말했다고 생각합니다 세션 전에 그들은 TensorFlow를 사용하고 있다고 말했습니다 의학 계산 용

아니면 그녀는 더 이상 여기에 없을 수도 있습니다 어쨌든, TensorFlow는 기계 학습을위한 것만이 아닙니다 계산과 알고리즘 생성을위한 것입니다 및 수학 계산 따라서 매우 강력한 오픈 소스 라이브러리입니다

다른 수학적 알고리즘을 사용할 수도 있습니다 기계 학습 만 할 필요는 없습니다 그러나 TensorFlow를 사용한 아이디어 그래프를 만들 수 있다는 것입니다 그것은 흐름 그래프라고 불리며,이 흐름 그래프 – 그것은 텐서 (tensors)에 작용합니다 그래서 텐서는 n 차원 배열입니다

TensorFlow에 대한 자세한 내용은 다루지 않겠습니다 그것은 매우 포괄적이기 때문입니다 많은 정보가 있습니다 TensorFlow를 극복해야하지만, 이것은 단지 당신이 할 수있는 일의 개요 자신의 모델을 훈련시키고 싶다 데이터가있는 흐름 그래프가 있습니다

계산 프레임 워크로 흘러갑니다 TensorFlow의 장점 중 하나 이 모델을 만들 수는 있지만 실행할 수는 없다는 것입니다 당신이 그것을 실행할 필요가있을 때까지 그래서 이것은 당신이 이익을 얻는 곳입니다, 예를 들면, 저장 또는 구성 필요 없음 이 다른 서버 및 하드웨어 기계 학습 모델을 실행해야하기 전에 필요 훈련 그리고 가장 중요한 점은 CPU, GPU 및 TPU에 대해 교육하십시오

그래서 나는 나중에 TPUs에 대해 조금 이야기 할 것이고, 여기서 TPUs는 GCP에서 특별히 발견됩니다 TensorFlow에 특정한 CPU입니다 그래서 그들은 TPU, Tensor Processing Unit이라고 불립니다 그리고 그들은 매우 강력합니다 모델 교육에 대한 경험이 있고, 당신은 그것이 극도의 시간이 걸린다는 것을 알게 될 것입니다

결과를 최대한 빨리 얻어야합니다 모델을 바꿀 수있게 좋은 결과를 내지 못하는 경우 처음부터 예를 들어, Google에서 한 테스트 중 하나는 우리는 기계 학습 모델을 만들었고, 서로 다른 볼을 가진 게임이있는 곳 나는 게임의 세부 사항에 들어 가지 않을 것이다 우리는이 기계 학습 모델을 만들었지 만, 먼저 CPU에서 테스트했습니다 약 8 시간이 걸렸습니다

그리고 나서 8 개의 GPU에서 약 5 시간이 걸렸습니다 그리고 나서 TPU에서 3 시간이 걸렸습니다 그런 다음 인스턴스 수를 늘릴 때 ML 엔진을 사용하여, 우리 한 시간 반이 걸렸습니다 언제든지 극단적 인 감소가 있습니다 당신이 하드웨어를 바꿔서 결과를 더 빨리 얻을 수 있습니다

이것은 TensorFlow가 할 수있는 것의 한 예입니다 보시다시피, 예를 들어,이 이미지, 엄청난 양의 픽셀을 가지고 있습니다 그리고 나서 우리는 별이 빛나는 밤 형태의 그림을 원합니다 이 이미지를 만들면 이미지를 만들 수 있습니다 멀리에서 발견된다

이것은 매우 흥미로운 문서입니다 그리고 나는 생각한다– 예, GitHub에 있습니다 사용할 수 있습니다 문제는 모든 단일 픽셀에 대해, 당신은 수학 계산을해야 할 것입니다 – 모든 단일 픽셀에서 많은 작업이 많이 걸릴 것입니다 많은 시간과 많은 처리 능력

그래서 TensorFlow와 TensorFlow가 모두 필요합니다 계산을 쉽게하고 TPU를 가지고있어 속도를 높일 수 있습니다 이제 Machine Learning APIs로갑니다 좋아, 그래서 우리는 한 가지 유형의 문제가 있었다 우리는 우리 자신의 모델을 훈련해야했습니다

우리는 우리 자신의 데이터를 가지고 있습니다 이제 예를 들어 이미지 분류가 있다고 가정 해 보겠습니다 문제 사과와 오렌지를 분류하고 싶습니다 모델을 생성하여 검색 할 수 있습니까? 관객 : [INAUDIBLE] 색상

TANIA SALAME : 컬러, OK 관객 : [INAUDIBLE] TANIA SALAME : OK 내가 먹었을 때 – 관객 : [INAUDIBLE] TANIA SALAME : 뭘? 관객 : [INAUDIBLE] TANIA SALAME : 텍스쳐, OK 관객 : [INAUDIBLE] TANIA SALAME : 지점, OK [아랍어 발음] 관객 : [INAUDIBLE] TANIA SALAME : [LAUGHS] OK, 정말 힘들어요

[아랍어 발음] 관객 : [INAUDIBLE] TANIA SALAME : 양식? [아랍어로 발음하기] 더 어렵습니다 [아랍어] ?? 관객 : [INAUDIBLE] TANIA SALAME : 죄송합니다 관객 : [INAUDIBLE] TANIA SALAME : 얼룩? 그래서 이것은 – 죄송합니다? 관객 : [INAUDIBLE] TANIA SALAME : [아랍어] 관객 : [INAUDIBLE] 타니아 가치 (TANIA SALAME) : 좋아 그럼 너는 어떻게 할거 니? 이 문제를 해결할 수 있어야합니다 [아랍어] 정말 힘들다면? 그리고 엄청난 양의 데이터를 얻어야합니다

그리고 나서 이것을 예측하지 못할 수도 있습니다 정확히 ML API가 필요한 곳입니다 Google이이 두 가지를 예측하는 데 도움이되는 곳입니다 다른 종류의 과일

그래서 Google은 거대하고 거대한 엄청난 금액을 가지고 있습니다 정보의 개와 걸레는 어떨까요? 관객 : [INAUDIBLE] TANIA SALAME : [아랍어] 관객 : [INAUDIBLE] TANIA SALAME : [아랍어] 관객 : [INAUDIBLE] TANIA SALAME : OK, 기계 학습 데이터에서 규칙을 학습하고 있습니다 엄청난 양의 데이터가 있어야합니다 그래서 당신은 예측할 수 있습니다

그래서 Google Cloud는 가능한 한 많이 노력하고 있습니다 모든 제품에서 기계 학습을 통합합니다 우리는 끊임없이 끊임없이 노력하고 있습니다 이러한 다양한 기계 학습 기능 추가 우리의 제품에 그래서 나는 Smart Reply에 대해 이미 이야기했다

사진이 있습니다 번역, 판지, YouTube, 드라이브 예를 들어 드라이브에서 검색하려는 경우, 그것은 또한 매우 효율적입니다 그리고 그것은 기계 학습을 기반으로합니다 예를 들어, 다음에 검색 할 것인가? 가장 많이 검색되는 문서 드라이브에있는 것입니다

이렇게 예를 들어 Play에서는 추천과 함께 예를 들어, 귀하의 프로필을 알 수 있습니다 가장 좋아하는 점은 무엇입니까? 예 관객 : [INAUDIBLE] TANIA SALAME : 동영상 추천, [ARABIC]

또한 기계 학습 API를 기반으로합니다 예를 들어 [ARABIC]은 마블 (Marvel), 만화, 당신은 항상이 다른 권고들을 가질 것입니다 이걸 바탕으로 다른 질문이 있으십니까? 승인 그래서 Machine Learning APIs – 그들은 빠르고, 확장 가능하며, 매우 쉽습니다

기계 학습 모델을 사용합니다 그들은 사전 훈련을 받았으며, 필요하지 않습니다 ML API에 추가 데이터를 입력해야합니다 우리는 방대한 데이터 세트를 가지고 있으며, 상자 밖의 작업입니다 기계 학습 전문가가 필요하지 않습니다

조금도 ML API에 대한 API 호출 일뿐입니다 예 관객 : [INAUDIBLE] TANIA SALAME : OK, Machine Learning APIs – 우리는 이미 모든 것을 해냈다 우리는 이미 전처리 작업과 모든 작업을 수행했습니다

ML– 관객 : [INAUDIBLE] TANIA SALAME : OK, [ARABIC] 로지스틱 회귀 자신의 모델을 훈련하는 일부입니다 [아랍어] ?? 당신은 자신의 데이터, [아랍어] ?? 관객 : [INAUDIBLE] TANIA SALAME : Cloud API를 사용하고 싶습니까? 보유하고있는 데이터를 예측 하시겠습니까? 좋습니다, 당신은 언제나 이것을 할 수 있습니다 예를 들어, [ARABIC] 데이터 당신은 사과와 오렌지 사이에서 분류하고 싶습니다 그리고 다른 것을하고 싶습니다 [아랍인] ?? 따라서이 데이터가 있고 Vision API를 사용했습니다

당신은 그것을 부르고이 데이터를 분류했습니다 그리고이 레이블을 가지고 있고 자신의 열차 모델에서 사용하고 싶습니까? 관객 : [INAUDIBLE] TANIA SALAME : 모델을 훈련 시키려면, ML API를 호출 할 필요가 없습니다 ML API는 최종 결과를 제공합니다 예를 들어, 얼굴 검색을 원하고, 당신은 객체 감지를 원한다 이미지에 무엇이 있는지 알고 싶습니다

비전 API를 호출합니다 너는 번역하고 싶다 너는 그 텍스트를 준다 당신은 번역을 얻을 것이다 자연어 처리 인 NLP를 원한다면 텍스트를 씁니다

그것은 당신에게 정서 분석, 텍스트 분석, 등등 전처리는 다른 것입니다 전처리는 데이터를 가져 오는 곳입니다 당신은 그것을 청소해야합니다 관련이없는 데이터를 필터링해야합니다

관련 데이터 데이터를 연결합니다 이상 치를 발견하게됩니다 그런 다음 예를 들어 버킷 화를 수행 할 수 있습니다 여러 가지 일을 할 수 있습니다 이 전처리 유형의 절차에서, 당신은 ML API를 사용하지 않는다

그러나 우리는 당신을지지합니다, 우리는 당신을 돕습니다, TensorFlow에서 전처리에 관해서 따라서 TensorFlow에는 이러한 여러 레이어가 있습니다 [아랍어로 발음하기] 문서, 또는 나중에 토론 할 수 있습니다 세션의 끝 TensorFlow에는 여러 레이어가 있습니다

최고 수준 인 TensorFlow API를 호출 할 수 있습니다 그것은 단지 API입니다 당신은 가지고있는 훈련 모델을 제공합니다 기계 학습 모델이 무엇인지 지정하십시오 네가 원한다면 – 예를 들어 선형 회귀 분석기, 당신은 DNN 분류자를 원합니다

또는 다른 모델을 함께 결합 할 수도 있습니다 그런 다음 정확도가 무엇인지, 무엇이 정확합니까? 학습 속도 – 학습 속도, 미안 해요 등등 그런 다음 결과를 얻습니다 이것은 TensorFlow입니다

그러나 당신은 또한 당신이 또한 전처리 과정을 깊고 깊게 이해하고, 데이터를 준비하고 다양한 유형의 모델 관객 : [INAUDIBLE] TANIA SALAME : 정규화 관객 : [INAUDIBLE] TANIA SALAME : 맞아 TensorFlow를 사용할뿐만 아니라, 너는 다른 선택권이 또한있다 GCP를 사용하여 데이터를 사전 처리합니다 그러나 그렇습니다, 이것은 당신이 견뎌야하는 고통의 일부입니다

[아랍어 발음] 단점 – 학습 곡선이 가파르고 시행 착오가 필요합니다 그것을 올바르게하기 데이터를 다시 사전 처리해야합니다 새로운 입력 데이터도 사전 처리해야합니다 그것과 하나가 일치하도록 당신이 훈련에 가지고있는 그래서 이들은 당신 자신의 모델을 훈련하는 종류입니다

좋아요, 그래서 저는 API를 진짜로 갈 것입니다 어떤 기능이 있는지 보여주기 위해 이러한 다양한 API에서 가능합니다 우리는 예를 들어 Vision API를 가지고 있습니다 당신은 사물 인식을 가지고 있습니다 이미지의 모든 객체를 인식합니다

나중에 얼굴을 보여 줄 얼굴 표정이 있어요 데모에서 다행히도, 잘될 것입니다 예를 들어,이 사람이 기쁜 경우, 슬픈, 화가났다 또한 로고를 감지 할 수 있습니다

텍스트를 추출 할 수 있으므로 자동 언어도 있습니다 신분증 또한 작성된 언어도 식별합니다 우리에게는 OCR이 있습니다 또한 부적절한 콘텐츠를 검색 할 수도 있습니다

자연어 API – 이것은 또한 엔티티 인식에 관한 한, 감정적 인 분석에,이 사용자는 무엇이고, 무엇 이 고객이 소셜 미디어에서 우리에 관해 말하고 있습니까? 이것은 주로 소셜 미디어와 관련하여 사용됩니다 그리고 고객의 피드백이 무엇인지 알기 위해서 예를 들어 고객이 행복하거나 슬퍼합니까? 그들은 어떤 우려를 가지고 있습니까? 특정 서비스에 문제가 있습니까? 내가 제공하는거야? 우리는 다국어 지원 및 구문 분석을 제공합니다 Speech API는 말하기 – 텍스트입니다 Dialogflow에서 그 중 일부를 본 것 같습니다

사용자가 말을 듣고이 말은 변형됩니다 기계가 이해할 수 있도록 텍스트로 변환합니다 그리고 기계가 제공하는 텍스트 또는 결과 다시 연설로 변형 될 것이다 예를 들어, Google Assistant 당신에게 대답 할 수 있습니다 예

관객 : [INAUDIBLE] TANIA SALAME : ML API는 다른 슬라이드에서 언급했듯이, 그들은 유연하지 않습니다 다른 하이퍼 매개 변수는 지정할 수 없습니다 너는 그것을 바꿀 수 없다 API 호출 일뿐입니다 당신은 그것을 입력으로 보낸 다음 요청을받습니다

예 그래서 Speech API – 당신은 음성 인식, 단어 시제 있습니다 그래서 그들은 또한 예를 들어 Google지도를 알고 있습니다 Google의 제품뿐 아니라 다른 제품도 있습니다 그러나 그들은 또한 다른 시제를 가질 수 있습니다

그들은 그것들을 자본화 할 수 있습니다 노이즈 견고성, 그래서 그들은 또한 노이즈를 필터링합니다 당신은 다음에 볼 수 있듯이 실시간 결과를 얻습니다 당신은 80 개 이상의 언어를 사용합니다 나는 그것이 현재의 순간에 더 있다고 생각한다

우리가 아마 100에 도달했다고 생각합니다 하지만 그래, 슬라이드가 좀 오래 되었어 관객 : [INAUDIBLE] TANIA SALAME : 죄송합니다 관객 : [INAUDIBLE] TANIA SALAME : 아니요 그래서 모든 ML APIs – 모든 ML APIs – 당신은 자유로운 곳에서 일정한 한계가 있습니다

그러나 그 때 당신은 지불해야합니다 따라서 모든 단일 API에 따라 다릅니다 관객 : [INAUDIBLE] TANIA SALAME : 요청에 따라 예 번역 API도 있습니다 번역 API에 대해 잘 알고 계실 것입니다

이미 Google 검색에서 사용하고 있습니다 그것은 텍스트를 번역합니다 자동으로 언어를 감지합니다 우리는 항상 지속적인 업데이트를하고 있습니다 그리고 프리미엄 에디션도 있습니다

나는 세부 사항으로 가지 않을 것이다 – 그러나 또한 제공된다 기업용 Google에는 Video Intelligence API가 있습니다 그래서 Video Intelligence API에서 – 최근에 추가되었습니다 최근에 GA로 일반 가용성으로 옮겼습니다

그래서 우리는 라벨을 감지했습니다 라벨을 감지합니다 예를 들어, 내부의 다른 엔티티 비디오의 – 고양이를 발견 할 수 있습니다 이것은 개, 꽃, 차 등등입니다 비디오 검색을 할 수도 있습니다

또한 Video Intelligence API의 일부이기도합니다 당신은 비디오로부터 통찰력을 얻습니다 그래서이 비디오의 내부에서 발견되는 것은, 당신은 더 많은 컴퓨터 시각적 지식을 갖게됩니다 그리고 점점 더 많은 것이 있습니다 따라서 우리는 지속적으로 이러한 다양한 기능을 추가하고 있습니다

Video Intelligence API에 통합 할 수 있습니다 내가 언급 한 것처럼 검색 할 수도 있습니다 이 비디오에서, 예를 들어 빨간 신발 – 당신은 거기에있는 섹션을 얻을 것이다 비디오에서 빨간 신발이었다 브라우저에서 직접 시도해 볼 수 있습니다

나는 그것을 매우 추천한다 그래서 다른 사이트로 이동하십시오 그리고 내가 언급했듯이 당신에게는 자유로운 제한이 있습니다 예 관객 : [INAUDIBLE] TANIA SALAME : 그렇습니다 ML API의 데이터는 이미 Google에 있습니다

아무도 ML API에서 데이터를 건드리지 않습니다 ML API에있는 데이터를 순서대로 사용합니다 YouTube와 통합 할 수 있습니까? 그래 넌 할수있어 관객 : [INAUDIBLE] TANIA SALAME : 개인 비디오, 예 따라서이 개인 비디오를 ML API에 보낼 수 있습니다

그런 다음 레이블을 붙입니다 관객 : [INAUDIBLE] TANIA SALAME : 아니, 그렇지 않아 그래서 당신은 자신의 모델을 훈련해야합니다 이제 AutoML에 대해 이야기하겠습니다 AutoML에는 AutoML에 Vision Intelligence API가 없습니다

나는 다음에 그것에 대해 토론 할 것이다 당신은 당신 자신의 데이터를 얻을 수 있습니다 당신이 그것을 분류하는 데 도움이 될 수 있습니다 하지만 기본적으로 ML API는 데이터를 변경할 수 없습니다 그것은 ML API에서 발견됩니다

이 거대한 데이터 세트는 Google에 있습니다 우리는 끊임없이 우리 모델을 훈련하고 있습니다 ML API에있는 데이터는 변경할 수 없습니다 예 관객 : [INAUDIBLE] TANIA SALAME : 이제 Cloud AutoML – 클라우드 AutoML은 많은 사람들이이 질문을 한 곳입니다

어떻게 우리가 ML API의 이점을 얻을 수 있는가? 그러나 동시에, 우리 자신의 훈련 모델을 얻으시겠습니까? 이것은 Cloud AutoML이있는 곳입니다 클라우드 AutoML은 현재 번역에서 지원됩니다 비전 및 자연어 그렇다면 AutoML은 무엇을 의미합니까? 이전에 언급했듯이 예를 들어, 나는 구름을 분류하고 싶다 구름의 종류

좋아요, 구름을보기 위해서 또 다른 예를 들어 봅시다 – 좋아, 점심 먹었으니 피자 먹자 우리는 피자를 먹었다 그래서 피자입니다 Vision API에 피자 이미지를 표시하면, 피자를 줄거야 내가 바베큐 파티를 보여 준다면

미안해? 관객 : [INAUDIBLE] TANIA SALAME : [아랍어로 발음하기] 피자도 줄 것입니다 [아랍어로 발음하기] 피자도 줄 것입니다 이제이 분류를 변경하고 싶습니까? 예를 들어 우리 모형을 원하니? 페퍼로니 또는 채식주의 자로이 피자를 지정하려면, 등등? 이것은 Cloud AutoML이있는 곳입니다

그래서 AutoML– 당신은 데이터를 얻습니다 당신은 페퍼로니, 채식주의 자, 닭고기, 바베큐, 도대체 무엇이 너는이 다른 심상을 얻는다, 그때 너는 AutoML에 입력하면 매우 간단합니다 당신은 그들의 라벨들로 이미지들을 공급하고, Cloud Vision API를 사용하면 사전 훈련 된 모델입니다 이러한 이미지의 분류 속도를 높이십시오

그럼 다음으로, 당신이 당신의 모델을 먹인 후에 이런 종류의 피자를 가지고, 귀하의 모델은 예측할 수 있습니다 페퍼로니, 채식주의 자, 또는 바베큐 치킨 관객 : [INAUDIBLE] TANIA SALAME : 네 따라서 클라우드 비전의 현재 분류 ​​기준입니다 분류 란 당신이 그래서 당신은 당신의 데이터를 분류해야 할 것입니다, 페퍼로니, 채식주의 자, 등등

그러나 자연 언어와 번역에서, 네가 분류 했어 입력 스트림을 얻습니다 그래, 예를 들면, 당신은 텍스트를 얻고있다 권리? 승인 따라서 Cloud AutoML은 도움이 될 것입니다

데이터 전처리에서, ML 모델 설계, 모델 매개 변수 그건 그렇고, 당신도 지정할 수 있습니다 다음과 같은 경우에 유연성이 있습니다 그것은 전처리 과정에서 업데이트를 평가하고 배포하는 매개 변수 따라서이 교육 모델을 얻을 수도 있습니다 데이터를 교육 데이터, 유효성 검사 데이터, 데이터를 테스트하고이 정보를 활용하십시오

클라우드 AutoML에서 모델을 학습 할 수 있습니다 그러나 AutoML의 이점은 이미 모델을 제자리에 두십시오 Vision API, Vision API, 자리에 있지만, 당신은 그것의 위에 구축하고있어 당신이 그것에 익숙하다면 이것은 또한 호출됩니다 – 그것은 transfer learning이라고 불립니다 그래서 우리는 학습을 우리가 ML API에서 가지고있는 정보 모델을 사용자 정의 할 수 있습니다

매우 간단합니다 몇 분 안에 배포 할 수 있습니다 원하는 경우에도 매우 간단합니다 나중에 확인할 수도 있습니다 대시 보드는 매우 쉽습니다

데이터를 업로드하고 레이블을 지정하기 만하면됩니다 그리고 나서 당신은 스스로 데이터를 훈련시킬 것입니다 예를 들어, 우리는 핸드백, 신발, 모자를 가지고 있다고 가정 해 봅시다 AutoML을 사용하면 나는 의자의 예에서 언급했듯이 또는 피자 중 하나입니다 그렇다면 왜 Cloud AutoML인가? 기계 학습 전문 지식이 필요하지 않습니다

나만의 맞춤형 모델을 만들 수 있습니다 우리 자신의 사전 훈련 된 모델의 이점을 누릴 수 있습니다 그것은 매우 간단하고 매우 높은 품질입니다 자, 질문이 없으면 마지막 주제 마지막 주제는 클라우드 TPU에 관한 것입니다

TPU는 CPU이지만 텐서 관련 CPU가 더 많습니다 매우 강력합니다 따라서 하나의 TPU는 180 테라 플롭입니다 teraFLOPS의 의미는 무엇입니까? teraFLOPS는 초당 1 조개의 계산입니다 따라서 매우 강력하고 매우 빠르며, Google에서만 발견되었습니다

TPU가 필요한 이유는 무엇입니까? 보시다시피 이것이 우리가 가지고있는 ML 프로세스입니다 한 눈에 우리에게는 사용자가 있으며, 데이터가 있으며, 우리는 목표를 가지고 있습니다 우리는 모델을 훈련시키고 싶습니다 그리고 나서 그것을 실행하고 싶습니다 훈련과 달리기 사이에, 그것은 매우 계산적으로 시간 집약적입니다

우리는 시간 집약적이라고 말할 때 매우 낙심합니다 왜? 예 관객 : [INAUDIBLE] 타니아 영혼 : [LAUGHS] 관객 : [INAUDIBLE] TANIA SALAME : 기본적으로 [SPANKING ARABIC] 나는 잘 모르겠다 [아랍어 발음] 관객 : [INAUDIBLE] TANIA SALAME : 네 [아랍어로] 기본적으로 Google은 – 그들은 기계 학습을 주도하고있었습니다 그래서 우리는 이미 기계 학습을 아주 오랜 시간에 걸쳐 통합했습니다

우리 제품에서 우리는 또한 – 우리는 TensorFlow의 요지 중 하나였습니다 우리는 항상 기계 학습에 종사합니다 그래서 나는 TPUs를 갖는 것이 놀랄 일이 아니다 Google에서 처음 소개되었습니다

하지만 어쨌든, 그래서 TPUs의 장점 그것은 시간을 많이 줄일 것입니다 왜 시간이 중요한가요? 아무도 왜 시간이 중요한지 말해 줄 수 있습니까? 네 관객 : [INAUDIBLE] TANIA SALAME : 죄송합니다 관객 : [INAUDIBLE] TANIA SALAME : 실시간 응용 프로그램입니다 좋아, 너 무슨 뜻이야? 관객 : [INAUDIBLE] TANIA SALAME : 좋습니다

그럼 [아랍 에미리트]가 뛰고 있습니다 달리기 부분에서는 결과가 매우 빨라지기를 원합니다 좋아, 다음 누가 [아랍어로 말하다] 관객 : [INAUDIBLE] TANIA SALAME : 시간은 돈입니다 바로, 시간은 돈입니다 그래서 당신이 지불하고 있습니다, 당신이 GCP에있는 한 당신은 지불하고 있습니다 – 모든 공용 클라우드에서 GCP뿐만 아니라 클라우드에서 무엇을 실행하고 호스팅하든, 그것은 돈이 들게 될 것이다 매우 중요한 두 번째 것은, [ARABIC] 이외의 매우 좋은 결과와 매우 빠른 결과 – 죄송합니다? 관객 : [INAUDIBLE] TANIA SALAME : 구현

그 이유 중 하나가 될 수 있습니다 다른 건 없니? 좋습니다, 그래서 이유 중 하나는 귀하의 데이터입니다 내 데이터가 부실하다고 생각하지 않습니다 내 데이터가 오래되기를 원치 않습니다 [아랍어로 알림] 내 모델을 만드는 데 일주일이 걸립니다

이 데이터를 바탕으로 내 모델을 훈련시킨 다음 일주일 후, 데이터가 변경됩니다 나는 이것을 원하지 않는다 내 데이터를 훈련 받고 내 모델의 일부로 만들고 싶습니다 가능한 한 빨리 그리고 항상 내 훈련 모델을 업데이트 할 수 있어야합니다 관객 : [INAUDIBLE] TANIA SALAME : 클라우드 TPU이므로 최첨단 기계 학습을 훈련하고 운영하는 데 도움을줍니다

매우 빠른 속도의 모델 제가 말했던 것처럼 당신은 비용을 줄일 수 있습니다 – 기계의 비용 학습 작업 및 속도, 새로운 인공 지능을위한 시장 가동 시간 응용 프로그램, 당신이 언급했다 결론적으로 TPU는 두 가지 교육에 모두 유용합니다 그리고 우리가 언급 한 것처럼 추론 그리고 ML 개발을 대폭 단축 할 수 있습니다

시간에서 일 시간

Machine Learning with Ease: How Ocado is Building Smart Systems w/ Help of GCP (Cloud Next ’18)

[음악 재생] LAURENT CANDILLIER : OK, Google 그럼 다음은 뭐니? Ocado Technology에서는 로봇과 AI에 응답 할 수 있습니다

여기에 우리 로봇 중 일부가 있습니다 로봇으로 가득한 거대한 창고 중 하나 실행을 위해 물건을 집어 들고있다 하루에 수천 개의 주문이 있습니다 당신은 지금 Ocado가 누구인지 궁금 할 것입니다 Ocado는 15 년 이래 영국의 온라인 소매 업체였습니다

고객은 웹 사이트 또는 앱으로 이동할 수 있습니다 주문 하시려면 추천을 통해 도움을 드릴 수 있습니다 일부는 귀하의 일반 제품이나 새로운 것들 그리고 어쩌면 어느 날,자가 운전하는 자동차 집에 도착할거야

그러나 한편으로, 수천 명의 피커와 운전자 이 일을 만들기 위해 노력하고 있습니다 Ocado는 이제 단순한 소매상이 아닙니다 또한 기술을 공유 할만큼 견고한 기술 회사이기도합니다 그래서 우리는 당신과 공유 할 수 있습니다 소매상 인이라면, 웹 사이트와 앱에서 전체 게재 시스템으로 우리의 완전 자동화 된 창고 등 사용 빅 데이터 및 인공 지능

세계에서 가장 큰 소매 업체 중 일부 이 모험에 우리와 벌써있다 영국의 Morrisons, 스페인의 Bon Preu, 프랑스의 Casino, 캐나다의 Sobeys, 스웨덴의 ICA 및 유나이티드의 Kroger 미국 이제 기계 학습의 몇 가지 예를 살펴 보겠습니다 그리고이 온라인 소매업을 도울 수있는 AI 제품 인식 – 현재, 우리의 pickers, 우리의 로봇, 제품의 바코드 위치를 알아야합니다

따기를 위해 그들을 식별하기위한 것입니다 이미지 인식을 사용하여이 프로세스의 속도를 높일 수있었습니다 방금 건너 뛰기 만하면 정확도가 향상됩니다 바코드가 어디에 있는지 찾아야하는 문제 그리고 더 많은 것이 있습니다

이러한 기술을 통해 고객에게 제공 할 수도 있습니다 제품 사진 만 찍을 수있는 가능성 그들의 바구니에 추가하고 싶다 사용할 수있는 기계 학습의 또 다른 예 수요 예측을위한 것입니다 하루에 수천 개의 주문을 적절하게 전달하려면, 우리는 그 수요를 예상해야합니다 매일 몇 번이나 주문 하시겠습니까? 일주일, 주말, 휴일에, 또는 특히 크리스마스에

그리고 더 정확하게 예측할 수 있다면 각 종류의 제품이 매일 얼마나 많이 요구되는지, 당신은 또한 공급망을 더 잘 예상 할 것입니다 그리고 이런 종류의 문제에서 기계 학습이 도움이 될 수 있습니다 예를 들어, 제품 권장 사항 정규 제품 중 일부가 부족합니까? 무료 제품을 원하십니까? 너 바구니에있는 것과? 다른 제품 대신에 하나의 제품을 선호하십니까? 기계 학습이 도움이 될 수 있습니다 마지막으로 더 자세히 설명 할 예제입니다

이 프레젠테이션에 고전적인 문제가있다 온라인 소매업에서 우리가 직면하는 것은 사기 행위를 탐지하는 것입니다 주문은 전달되었지만 지불되지 않았습니다 또는 지불되고, 그러나 그 후에 돈 다시해야합니다 이것을 지불 거절이라고합니다

그리고 이것은 일반적으로 신용 카드가 사용되었을 때 발생합니다 도난당한거야 좋아, 이제이 사기에 대해 자세히 설명해 보겠습니다 감지 문제를 해결하고 컨텍스트 설정을 시작하십시오 영국의 Ocado 매장은 5 만 개 이상의 제품으로, 650,000 명 이상의 고객, 250,000 명 이상의 주문 한 주에

그래서 하나의 지불 만 실패했다고 상상해보십시오 1,000 주문 중, 이미 의미 수백만 달러의 손실 반면에, 당신이 향상시킬 수 있다면 당신의 사기 탐지 시스템의 몇 퍼센트만으로, 당신은 수만 달러를 절약 할 수 있습니다 큰 경고 하나, 거짓 긍정 하나의 주문이 사기성이 있다고 예측한다면 그것은 일반 고객이기 때문에가 아닙니다

이는 일반 고객이 당신과 함께 사는 것을 멈출 것입니다 당신이 잃고있는 것이지, 아마도 일부는 실패합니다 그래서 내가 너에게 말했어 이제 우리는 승선했다 전 세계의 소매 업체가 훨씬 많습니다 그래서이 숫자들은 단지 번식합니다

그렇다면 이러한 종류의 사기 발견 문제에 어떻게 대처할 수 있습니까? 역사적으로, 우리는 일련의 수제 규칙을 사용 해왔다 예를 들어, 규칙 집합 500 명 이상을 위해 미래를위한 3 개 이상 순서를 두십시오 파운드와 당신은 배달 시간을 24 시간 미만으로 줄였습니다 주문이 위험합니다 당신은 그런 규칙을 많이 결합합니다 당신은 당신의 명령의 위험 잠재력을주는 점수를줍니다

따라서 이런 종류의 시스템은 직감에 기반을두고 있습니다 인간의 직감 일반적으로 인간은 10, 20, 30을 정의 할 수 있습니다 규칙은 10, 20 기능을 기반으로합니다 각 규칙은 1, 2, 3, 4 조건을 기반으로합니다

일반적으로 고정 된 일련의 규칙입니다 다른 가능한 방법은 기계 학습입니다 당신이 당신의 들어오는 명령에서 특징을 파생하면, 얼마나 많은 고객의 첫 번째 주문처럼 너의 바구니의 총 금액, 뭐야? 주문과 배송 사이의 시간, 그리고 알려진 클래스와 함께 이러한 모든 기능을 전달하십시오 지불 실패 또는 기계 학습 알고리즘으로 모델을 배울 것입니다 새로운 들어오는 주문이 나올지 예측할 수 있어야한다

지불 실패와 관련되거나 그렇지 않은 경우 이 시스템은 직관 대신 데이터를 기반으로합니다 훨씬 더 많은 규칙, 더 많은 기능, 규칙에 훨씬 더 많은 조건 그리고 그것은 적응할 수 있습니다 기계 학습 모델을 정기적으로 학습하고, 사기꾼의 마지막 행동을 고려합니다

시간이 지나면 진화 할 수 있습니다 좋아, 그래서 우리는 다른 기계에 대한 분석을했다 학습 알고리즘을 사용할 수 있습니다 여기에 우리가 가진 결과를 두 축에 표시했습니다 수직축에 예측 성능입니다 모델의

그리고 여러 번처럼 추가 상승 Kaggle 경쟁 및 실제 생활 전시회에서, 최고의 예측 성능에 도달하고 있습니다 그리고 TensorFlow 신경 회로망 흥미로운 결과도 있습니다 그리고 가로축에 다른면을 추가했습니다 이는 사기 탐지에서 중요합니다 그것이 설명력입니다

알고리즘이 이유를 설명 할 수 있다면 그는 한 명령이 사기인지 아닌지, 예를 들어, 바스켓의 내용물이 정상이 아니기 때문에, 또는 사용 된 지불 방법이 의심 스러울 경우, 그것은 인간을 도울 것입니다 그리고이 기계 학습 알고리즘을 사용하고 싶다면 법적인 이유로 자동화 된 결정을 내리기 위해, 왜 한 명령을 거절했는지 설명해야합니다 그래서 분명히, 이러한 특정 측면에서, 손수 만든 규칙이 최고입니다 그것은 인간에게 더 이해할 수 있습니다 하지만 규칙 유도 알고리즘은 정말 비슷합니다

의사 결정 트리도 이해할 수 있으며, 그러나 때로는 나무의 깊이가 인간에게 너무 높습니다 정말 그것을 이해하기 위해서 좋아, 여기 정말 중요한 것이있다 저는 데이터 과학자입니다 나는 기계 학습, 신경 네트워크, 데이터 클러스터링, 데이터 중복 제거 방법, 방법 불균형 계급 문제에 직면하기 위해서는, 신경망의 매개 변수를 구성하는 방법, 그 모두, 하지만 나는 기계 설정에 대해서는 전혀 모른다

네트워크 토폴로지, 클러스터링 머신, 데이터 복제,로드 균형 조정, 서버 구성 그래서 여기에서 가장 중요한 질문은 어떻게 할 수 있습니까? 지금 내 큰 데이터에서 일부 데이터 호수에 완전히 빠져있다 예측을 제공하는 기계 학습의 자동화 된 파이프 라인 생산에서 사기 발견을 위해, 잘하면 쉽고 빠르게,하지만 가장 중요한 것은, 스케일링 및 셋업 필요 없음 많은 기계 및 용기 및 자동 스케일링 공정 등 세 테라 하나의 주요 제약으로, 그것은 실시간입니다 사기범은 시간을 낭비하지 않습니다 신용 카드를 도용하면 고액을 위해 5 개의 주문을하기 위해 그것을 사용하려고 시도 할 것이다

그리고 예고없이 그래서 우리는 방금 두 가지 기능을 사용하는 모델이 있다고 상상해보십시오 고객을위한 많은 과거 주문 및 얼마나 많은 주문 고객을위한 미래의 주문 교육 시간에 쉽습니다 우리는 모든 데이터에 액세스 할 수 있습니다

우리는 투입물로부터 미래를 비틀 수 있습니다 그것을 기계 학습 모델 알고리즘에 전달하면 모델을 배울 것입니다 현재 서빙 할 때 더 복잡 할 수 있습니다 지난 주문 수는 무언가 일 수 있습니다 사전 계산되어 노출 된 정보 실시간으로 직접

향후 주문 수는 더 복잡 할 수 있으며, 부정 사용자가 실시간으로 많이 배치 할 수 있기 때문에, 실시간에 가까워 야합니다 따라서 미리 계산 된 한 세트의 기능이 필요합니다 실시간으로, 그리고 그들을 결합하여 입력으로 제공 정확히 동일한 모델을 학습하는 기계 훈련 시간 그래서 [무적], 당신은 좋은 해결책이 있습니까? 내 문제를 해결하고 어쩌면 일부 Google 도구를 사용할 수 있습니까? PRZEMYSLAW PASTUSZKA : 고맙습니다, 로랑 나는 그렇게하려고 노력할 것이다

우선, 와줘서 고마워 이제 솔루션을 어떻게 구현할 수 있는지 살펴 보겠습니다 Google Cloud Platform을 사용하여 사기 탐지 문제가 발생했습니다 물론 Laurent의 말처럼 우리는 가능한 한 쉽습니다 그럼 해보 죠

글쎄, 우선, 나는 너를 원해 우리가 여행의 끝에서 어디에 있고 싶어하는지 상상해보십시오 실제 물리적 구성 요소 란 무엇입니까? 그게 여기에있을거야? 여기 왼쪽에 볼 수있는 것이 있습니다 주문 관리 마이크로 서비스입니다 Ocada의 스마트 플랫폼은 수백 명에 의해 구동됩니다

이 같은 마이크로 서비스 각각은 매우 명확하게 정의 된 책임을 가지고 있습니다 여기에 이름에서 알 수 있듯이 주문 관리 명령이 내려지는 거래 이 서비스는 주문이 접수 될 때, 이 주문이 허위인지 여부를 알고 싶습니다 그러면 어떻게 될지, 다른 마이크로 서비스와상의 할 것입니다 – 사기 서비스라고 부르 자

고객 ID와 주문에 대한 모든 세부 정보를 보내주십시오 그 대가로 무엇을 얻고 싶습니까? 이 주문이 사기가 발생할 확률은 얼마입니까? 그리고 사기 서비스는 실제로 구성 요소입니다 우리가 건설하려고 노력하고있는 따라서이 이미지를 염두에 두시기 바랍니다 그래서 이것이 우리가 가고있는 곳입니다 기계 학습 프로젝트를 본 적이 없다면 어떨까요? 어떻게 시작 하시겠습니까? 어디서부터 시작하니? 물론 데이터가없는 기계 학습은 없습니다

상당한 양의 역사가 필요합니다 행동에서 패턴을 배울 수 있어야한다 고객의 이를 위해서는 올바른 도구 세트가 필요합니다 데이터를 저장하고 처리합니다 Google Cloud Platform에 대해 이야기하고 있으므로, 정말 좋은 분석 데이터베이스가 있습니다

우리가 사용하고 싶습니다 Google BigQuery입니다 Ocado는 모든 데이터를 BigQuery에 저장합니다 실제로는 페타 바이트의 데이터입니다 BigQuery는이 양을 완벽하게 조정합니다

BigQuery에 대해 정말 좋아하는 다른 점 얼마나 빠릅니다 우리는 SQL 쿼리를 작성하고 테라 바이트 단위의 데이터로 실행하며, 분 또는 초 단위로 결과를 얻습니다 다른 좋은 점은 그것이 BigQuery를 관리하려면 별도의 DBA 팀이 필요합니다 BigQuery에 데이터를로드하고, 쿼리를 실행하고, 그게 전부입니다 그런 종류의 BigQuery를 우리에게 판매 한 것은 가격 책정 정책입니다

BigQuery에서는 저장 비용을 지불합니다 그리고 SQL 쿼리의 관점에서 쿼리가 읽은 데이터의 양 따라서 그것은 매우 공정한 정책이며 실제로 비용을 관리하는 데 도움이됩니다 분석에 집중하십시오 그리고 두 가지 질문이 남아 있습니다 그래서 우리는 BigQuery를 메인 스토리지로 사용해야한다고 결정했습니다

그래서 첫 번째 질문은 우리가 어떻게 실제로 BigQuery에서 데이터를로드 하시겠습니까? 그리고 훨씬 더 근본적인 것, BigQuery에서 어떤 데이터를 가져 왔습니까? 그래서 데이터 호수에서 모든 데이터를 저장하고 싶습니다 이 경우에는 무엇을 의미합니까? 우리가 Ocado에서 사용하는 엄지 법칙은 실제로 우리를 위해 매우 잘 일하는 것은 애플리케이션의 비즈니스 상태가 변경된 경우, 당신은 보내야합니다, 아니면 오히려 당신의 미세 서비스 그 사업 상태에 대한 책임 이벤트를 분산 큐에 보내야합니다 변화에 해당합니다 우리가 작은 삼각주의 모든 데이터를 수집 할 때, 그러면 우리가 제 시간에 돌아갈 때, 당신은 정확한 상태가 무엇인지 알 수있다 특정 시점에서 전체 시스템의 그래서 여기에 섭취 파이프 라인 다이어그램이 있습니다

왼쪽에는 모든 마이크로 서비스가 표시되어 있습니다 내가 너에게 말했어 실제로 Amazon Web Services에서 실행 중입니다 또한 AWS Kinesis를 분산 대기열로 사용합니다 그런 다음 질문이 있습니다

어떻게해야합니까? 분산 대기열에서 BigQuery로 데이터를 전송 하시겠습니까? 그리고 스트리밍 어플리케이션을 작성했습니다 Apache Beam과 Google Dataflow를 사용하여, 연중 무휴로 운영됩니다 실시간으로 데이터를 이동합니다 그런 다음 BigQuery에 스트리밍 삽입을 사용했습니다 이 데이터를 저장합니다

Apache Beam 또는 Google Dataflow가 무엇인지 모르는 경우, 이것에 대해 더 많은 것을 말하면서 몇 분을 보냅니다 이를 위해 장난감 예제를 사용합니다 단어 모음이 있다고 가정 해 보겠습니다 너 셰익스피어 소설을 들었을거야 그리고 당신은이 소설에없는 각각의 단어를 가지기 위해 그것을 나눕니다

그리고 얼마나 많은 이들을 계산하고 싶습니까? 단어는 문자 A 또는 문자 B, C 등으로 시작합니다 예를 들어, Java Streams를 사용하여 이것을 작성한다면, 아마 스 니펫을 쓸 것입니다 맨 위에있는 것과 같습니다 먼저 첫 번째 문자를 추출합니다 각 단어의이 문자에 의한 그룹, 그 다음 각 그룹 수에 대해 이 그룹의 항목 중 그리고 Apache Beam에서도 매우 유사합니다

당신은 정확히 똑같은 변환을 씁니다 첫 번째 문자를 추출하는지도가 있습니다 단어의, 당신은 그룹화, 그리고 당신은 계산합니다 그리고 Apache Beam은 프로그래밍 모델 일뿐입니다 데이터를 변환합니다

Java Streams와 비슷합니다 실제로 어떻게 사용되는지 Java Streams의 경우 JVM에 따라 실행됩니다 그리고 그것은 빔과 같은 방식입니다 이 코드를 작성하고 실행하는 방법 선택한 실행 프레임 워크에 따라 다릅니다 그리고 프레임 워크에는 많은 사형 집행이 있습니다

Apache Apex에 이르기까지 선택할 수 있습니다 Apache Gearpump로 이동하십시오 사용하는 것은 Google Dataflow입니다 주로 다른 Google과 잘 통합되어 있기 때문에 클라우드 서비스 그러나 또한 반 관리됩니다

시스템의 구성을 여전히 제어 할 수 있지만, 하지만 대부분의 경우 Java 코드를 작성하기 만하면됩니다 Google Dataflow에 업로드하면 실행됩니다 BigQuery에서 모든 데이터를 보유하고 있습니다 그래서 Laurent이나 컴퓨터에서 일하는 다음 앱 학습 알고리즘은 아마도 거기에 가서 사용할 수있는 데이터를 탐색하십시오 배포본이 무엇인지 확인해야합니다

다른 변수들, 다른 테이블들이 어떻게 결합하는지 서로 서로 함께 데이터에 대해 다른 질문을 할 수 있습니다 예를 들어, 사람들에게 그들의 명령에 많은 양의 술을 마셨다 다른 사람들보다 사기꾼이 될 가능성이 더 큽니다 그리고 그 탐험 분석을하는 정말 좋은 도구 BigQuery입니다

왜냐하면 우선, 이미 거기에 데이터가있다 그것은 웹 UI를 가지고 있으며, 그냥 갈 수있는, 쿼리를 입력, 결과를 빨리 얻으십시오 결과에 따라 다른 쿼리를 공식화 할 수 있습니다 당신이 모든 것을 가지고있는 지점까지 반복하고, 반복합니다 귀하의 질문에 대한 답변

보다 심층적 인 분석이 필요한 경우, 어쩌면 차트를 그려보고 결과를 공유 할 수도 있습니다 다른 사람들과 함께, 다른 도구들이있다 Google Cloud Platform에서 이러한 작업을 수행 할 수 있습니다 제가 언급하고자하는 것은 Google Datalab입니다 기본적으로 호스팅 된 Jupyter 노트북입니다

거기에 파이썬 코드를 작성합니다 BigQuery에서 데이터를 추출 할 수 있습니다 어떤 라이브러리로 차트를 플롯 할 수 있습니다 파이썬 환경에서 사용할 수 있습니다 팬더를 사용할 수 있습니다

scikit-learn을 사용할 수 있습니다 Plotly를 원하는대로 사용할 수 있습니다 Google에서 Google이라는 다른 도구도 있습니다 여기에서 볼 수있는 공동 작업자 노트북에 대한이 아이디어를 한 걸음 더 전진시키는 것입니다

Google Collaborator에서 Jupyter 노트북 Google 드라이브의 파일 일뿐입니다 Google 드라이브 파일로 무엇을 할 수 있습니다 Jupyter 노트북과 함께 그래서 당신은 그것을 공유 할 수 있습니다 여기에 의견을 입력 할 수 있습니다

많은 사람들이 동일한 노트북에서 공동 작업을 할 수 있습니다 동시에 Ocado에서 많이 사용합니다 특히 노트북에 리뷰를하고있다 그리고 우리는 그것을 매우 편리하다고 생각합니다

이 시점에서 우리는 ML로 뛰어들 준비가되어 있습니다 우리는 기능 공학을 할 것이며, 원시 데이터에서 의미있는 정보를 추출 할 것이므로, 우리는 훈련하고 모델을 만들 것입니다 하지만 먼저 어떤 모델을 선택합니까? 로랑이 이미 여러분에게 보여준 슬라이드가 있습니다 그리고 로랑은 당신에게 우리가 신경 쓰는 두 가지 하나는 y 축의 정확도입니다

그리고 다른 하나는 explainability입니다, x 축에서 볼 수 있습니다 그러나 정직하게 말하면, 여기에도 3 차원이 있습니다 우리는 고려할 필요가있다 그리고 이것이 배포가 얼마나 쉬운 지입니다 클라우드 솔루션

Google Cloud Platform은 클라우드 기기 학습을 제공합니다 이것은 처음 설계된 서비스입니다 TensorFlow로 작성된 신경망을 훈련하고 제공합니다 이것이 정확히 어떻게 작동합니까? TensorFlow 코드를 작성합니다 이것을 파이썬 패키지에 패키지합니다

Google Cloud Storage에 저장합니다 그런 다음 클라우드 머신 학습 API라고 부릅니다 TensorFlow와 함께 저의 패키지가 있습니다 다음은 입력 데이터입니다 나를 위해 모델을 훈련 시키십시오

그리고 훈련 된 모델은 단지 또 다른 파일입니다 Google Cloud Storage에 있습니다 그러면 클라우드 머신 학습을이 모델로 지적 할 수 있습니다 그리고 당신은 말할 수 있습니다, 나를 위해 그것을 제공하십시오 따라서 클라우드 머신 학습이 어떤 역할을 할 것인가, 실시간으로 호출 할 수있는 REST 엔드 포인트를 생성합니다

당신은 모든 기능을 제공합니다 당신은 예측을 되 찾는다 언젠가 전에 Google은 클라우드 머신 학습을 발표했습니다 TensorFlow를 제외한 다른 알고리즘을 지원합니다 그래서 XGBoost 서비스를 지원합니다

그리고 scikit-learn 모델 불행히도 클라우드에서 아직 그들을 훈련시킬 방법이 없습니다 물론 CPU, GPU를 사용할 수 있습니다 이 모든 것을 훈련하기 위해 요약하자면, 신경 네트워크 클라우드에 배포하기가 정말 쉽습니다

기계 학습을 구름 짓기 XGBoost와 scikit-learn에 관해서는 그렇게 쉬운 일이 아닙니다 여전히 훈련을해야하기 때문에 혼자서 규칙 유도를 사용하려면 C5 프로그램, C ++로 작성되었으므로 실제로는 상자가 없습니다 클라우드에서 실행하는 방법

우리가 이것을한다면 우리는 아마 Docker 컨테이너에 패키지화하고, Kubernetes와 함께 Google 컨테이너 엔진에서 실행됩니다 그러나 이것은 많은 일을 요구할 것입니다 우리에게서, 많은 훌륭한 조정 그래서 모든 정보가 주어지면, 우리는 우리가 희생 할 것이라는 의식적인 결정을했습니다 지금은 설명력

그래서 우리가 그것에 관심이 없다는 것이 아닙니다 그러나 우리를 생산에 더 빨리 빠지게하려면, 우리는 클라우드에 쉽게 배포 할 수있는 것으로 시작할 것입니다 신경망은 배포하기 쉽고 여전히 꽤 좋은 정확도를 가지고 있습니다 이것이 우리가 간 것입니다 ML 모델을 선택했습니다

지금은 그것을 훈련 할 때입니다 그리고 여기 훈련 파이프 라인 높은 수준에서와 같이 보입니다 그래서 우리는 제가 전에 말했던 사건들을 가지고 있습니다 따라서 각각은 단일 변경에 해당합니다 응용 프로그램의 비즈니스 상태로 그 중 의미있는 정보를 추출해야합니다

예를 들어이 고객이 실패한 트랜잭션 수 과거에 있었나요? 이를 위해 BigQuery를 주로 사용합니다 그래서 우리는이 데이터를 변환하는 SQL 쿼리를 작성했습니다 이를 BigQuery에 테이블 세트로 저장하십시오 어느 시점에서 SQL을 관리하기가 어려워지기 때문에, 그래서 우리는 그 중 일부를 다시 쓰기로 결정했습니다 Apache Beam을 사용하여 다시 Dataflow로 변환합니다

BigQuery에서 이러한 모든 작업을 수행하면 우리는 클라우드 ML 교육을 실행할 수 있습니다 숙련 된 모델을 얻을 수 있습니다 물론, 기계 학습에서, 아주 드문 경우입니다 한 번 모델을 훈련시키고 전개하십시오 일반적으로 모델을 새로 고치는 것입니다

그렇게하기 위해서는 일정을 세우고 조율하는 방법이 필요합니다 귀하의 교육 파이프 라인 5 년 전 GCP로 시작했을 때, 상자 솔루션이 없었다 Google Cloud Platform에 준비가되어 있으므로 Google에서 직접 작성했습니다 우리는 이것을 Query Manager라고 부르며, 앱 엔진 애플리케이션 그 모든 것을 처리합니다

다행히도 당신을 위해, 지금 시작하는 경우, 현재 Apache Airflow가 호스팅되고 있습니다 Google Cloud Composer라는 이름이 붙어 있습니다 현재 베타 버전이지만 고도로 가서 시도해보십시오 그래서 우리는 매일 우리의 훈련 파이프 라인을 운영 할 계획입니다 그리고 매일 우리는 신선한 모델을 가지고 있습니다

그리고 남아있는 한 조각은 우리가 실시간으로이 모델을 제공해야합니다 그래서 우리가 이것을 정확히 어떻게하는지 봅시다 기억하기 만하면 이것은 우리가되고 싶은 곳입니다 주문 관리 응용 프로그램을 기억하십시오 고객 ID 및 주문 세부 사항을 Fraud Service에 보냅니다

사기 서비스는이 주문 확률을 반환합니다 사기 Cloud Machine Learning과 어떻게 연결 되나요? 하나의 아이디어는 사기 서비스 일 수 있습니다 클라우드 머신으로 기능을 보냅니다 실시간으로 학습하면 우리는 반응을 얻습니다

주문 관리부로 다시 전달합니다 여기서 한 가지 문제는 사기 서비스가 이 시점에서 모든 기능 고객의 현재 주문이 무엇인지 알기 때문에, 그러나 그것은 고객의 과거 행동이 무엇인지 알지 못합니다 그래서 우리는 어떻게 든이 데이터를 얻을 필요가 있습니다 기억 나시면 이미 계산했습니다

이 모든 것을 BigQuery에서 처리하므로 모든 기능을 갖추고 있습니다 준비가 된 고객의 과거 행동에 대해, BigQuery에 앉아 있습니다 어쩌면 우리는 단지 사기 서비스 BigQuery를 호출하고,이 특정 고객에 대한 데이터를 얻고, 현재 주문 데이터와 결합 클라우드 머신 러닝 (Cloud Machine Learning)에 전달하십시오 다시 한 가지 문제는 BigQuery입니다 랜덤 액세스 패턴을 위해 실제로 설계되지 않았습니다

BigQuery로 이동하여 해당 행을 찾습니다 특정 고객에게는 매우 비효율적입니다 그리고 우리는 이것을 할 여력이 없습니다 우리가 필요로하는 것은 일종의 지속적인 캐시입니다 BigQuery와 사기 서비스 사이에 위치하게됩니다

그래서 우리는 Google Datastore를 사용했습니다 Google Datastore는 NoSQL 문서 데이터베이스입니다 그래서 스키마가없는 엔티티를 배치합니다 쉽게 검색 할 수 있습니다 SQLite 쿼리를 통해 쿼리 할 수 ​​있습니다

그러나 우리는 이러한 모든 기능을 실제로 사용하지는 않습니다 Google은 Google Datastore를 핵심 가치 저장소로 사용하고 있습니다 따라서 우리는 고객에 관한 데이터를 핵심 가치 쌍으로 둡니다 키는 고객 ID이며 값은 이 고객을위한 모든 기능입니다 이제 데이터 저장소를 어떻게 채울 수 있습니까? 우리는 단순히 훈련 파이프 라인을 확장 시켰습니다

그래서 피처가 계산 될 때, 또한 Google Dataflow를 사용하여 이러한 기능을 전송합니다 BigQuery에서 Datastore로 이동합니다 그리고 이것은 Apache Beam과 함께 Dataflow에서 다시 수행됩니다 Apache Beam에는 이미 커넥터가 있으므로 BigQuery 및 Datastore에 쓰기 이 데이터 변환을 수행하는 프로그램은 정말 쉽습니다 단지 40 줄 또는 50 줄의 코드입니다

또한 일괄 처리 모드로 실행되어 데이터를 전송합니다 데이터 저장소에 저장합니다 우리가 함께 모든 조각을 결합하면, 훈련과 봉사, 이것이 우리가 끝내는 것입니다 서빙 부분의 바닥을 보면, 우리는 다시 주문 관리 부서에 현재 기능을 보냅니다 Datastore에 전화하는 사기 서비스에 과거의 기능을 얻을 수 있습니다

그런 다음이를 결합하여 클라우드 ML, 응답을 되찾아 라 이것이 작동하는 방식입니다 우리는이 아키텍처에 매우 만족했습니다 여기서 한 가지 문제는 데이터 저장소에 데이터가 채워져 있다는 것입니다 매일, 그렇지? 몇 초마다 채워지지 않습니다

교육 파이프 라인이 실행될 때만 다시 Laurent가 설명한 문제 사기꾼이 신용 카드를 훔칠 때 그녀 또는 그는 많은 거래를하려고 노력할 것입니다 작은 시간 창에서, 우리는 단순히 우리의 기능에서이 동작을 확인하십시오 그래서 우리는 약간의 해킹을해야했습니다 이것이 최종 아키텍처입니다

지금은 생산에 종사하고 있습니다 이제 Fraud Service는 데이터를 가져옵니다 주문 관리에서 현재 주문 데이터 저장소에서 과거의 기능을 가져옵니다 또한 다른 마이크로 서비스를 쿼리합니다

고객에 대한 최신 데이터 그래서 모든 것이 실시간으로 이루어집니다 그리고 나서 사기 서비스는이 모든 것을 결합합니다 클라우드 머신 러닝에 요청을 보냅니다 응답을 되 찾는다

좋습니다, 이것이 우리 건축물의 모습입니다 그리고 지금, Laurent, 결과에 대해 조금 더 이야기 해 주시겠습니까? 우리가 가진거야? LAAND CANDILLIER : 물론 감사합니다, [부적절한] 훌륭합니다 기본적으로, 우리는 우리가 실행해야 할 모든 것을 가지고 있습니다

클라우드에서 실행중인 컴퓨터 Google BigQuery에서 간단한 피쳐 엔지니어링으로 시작할 수 있습니다 내 데이터가있는 곳에서 간단한 기능을 추출하고, 고객의 과거 행동을 세기처럼, 일부 테이블에 합류했습니다 좀 더 복잡한 데이터 처리가 필요한 경우, Google Dataflow에서 Google Apache Beam을 사용할 수 있습니다 예를 들어, 정규화

내 열에 대한 루프를 수행해야합니다 수치 열에 대한 평균 및 표준 편차를 계산한다 내 정규화 된 값을 계산합니다 범주 형 기능에서 일부 변형을 수행하고, 예를 들어, [INAUDIBLE] 코딩과 같은 코드를 사용하거나, 카테고리에 정수 그리고 네, 이것들은 약간의 가공입니다

그건 너무 복잡했을거야 표준 SQL에서해야 할 일 Google Dataflow 덕분에 쉽게 사용할 수 있습니다 다음 단계에서는 Datastore를 가장 빠른 액세스로 사용할 수 있습니다 사전 계산 된 기능을 노출시켜야합니다

봉사 시간에 사용하십시오 Google Cloud ML 엔진을 사용하여 교육을 받았습니다 기계 학습 모델의 그리고 OK, 신경망을 사용합시다 그것은 좋은 의식적인 결정이다 프로덕션 환경에서 빠르게 진행되고 무엇보다 최선의 결과를 얻을 수 있습니다

Google Cloud에서 제공합니다 내 모델을 훈련하고 나면 다시 노출시킬 수 있습니다 Google Cloud ML 엔진 API를 통해 Datastore에서 노출 한 것과 결합하십시오 내 사전 계산 된 기능 이제 사기 탐지에 대한 예측을 실시간으로 실행할 수 있습니다

정말 훌륭합니다 그리고 우리는이 모든 것들로 정말 훌륭한 결과를 얻고 있습니다 분명히, 당신이 상상할 수 있다면, 만약 당신이 기계 실행 알고리즘과 신경망 비교 우리가 손수 만든 규칙을 가지고있는 초기 해결책으로, 결과는 정말로, 정말로 낫다 이미 예측 성능을 말했을 때, 그것은 정확성에 관한 것이 아니기 때문에 바라건대, 지불 실패는 드문 경우입니다 100 개 주문 중 하나가 사기가 있다고 상상해보십시오

정확도를 사용하여 예측 성능을 계산하는 경우, 아무것도 말할 수없는 모델 사기가 99 %의 정확성을가집니다 이런 종류의 불균형 계급 문제에서, 우리는 F 점수 또는 ROC 지역과 같은 다른 조치를 사용합니다 정밀도와 절충점을 찾는 곡선 리콜 실제 사기 비율 귀하의 알고리즘이 식별 할 수있는 정밀도가 그 중 하나입니다 사기로 파악 된 권리 예측의 비율 이걸로? 기계 학습을 통해 적응력도 얻습니다

우리는 정기적으로 모델을 다시 배울 수 있습니다 사기꾼의 새로운 행동을 설명하기 위해 가져 가십시오 그리고 우리는 여기서 최고의 구름을 가져 가고 있습니다 우리는 이미 확장 할 준비가되었습니다 모든이 건축술에

좋아요 이제는 훌륭한 시스템이 있습니다 주문이 사기성이 있는지 여부를 예측합니다 우리가 그걸 어떻게하지? 우리가 취하는 최종 결정은 무엇입니까? 주문이 사기성이 아닌 것으로 확인되면 쉽게 당신은 그를 통과시키고 마찰을 피하게 할 수 있습니다 고객과 이것은 Ocado가 정말로 중요시하는 것입니다

그냥 배달을 수락하고 그냥 받아들입니다 그 지불은 이후에 이루어질 것이고, 그것은 고객에게 좋기 때문입니다 또한 제품을 가지고있을 때 쉽게 처리 할 수 ​​있습니다 당신이 2 주 전에 물었던 것은 우리가 너에게 뭔가를 제안 해 그리고 네, 그렇게 취급하기가 더 쉽습니다

고객 친화적 인 제품입니다 한편, 알고리즘 명령은 아마 사기성이라고 말하면서, 그걸로 뭘합니까? 한 가지 가능성은 트리거 사전 승인입니다 신용 카드에 따라서 주문 금액을 미리 예약하고, 고객에게 배달 시간에 돈 사기 대행사에게 주문을 확인하도록 요청할 수도 있습니다 최종 결정을 내리십시오

그리고 이것은 설명이 되돌아 오는 곳입니다 당신이 생각한다고 설명 할 수 있다면 이 주문은 바구니의 내용물에 대해 의심 스럽습니다 또는 고객의 과거 행동, 또는 지불 방법을 사용하면 사기 대리인에게 그리고 네,이 최종 결정을 원한다면 자동으로 주문을 취소하는 것, 법적인 이유로 당신은 설명 할 수 있어야합니다 기본적으로, 나는 당신에게 좋은 결과를 선물했다

사기 발견으로 얻은 정보 다른 프로젝트에서도 우리가 실행, 제품 권장 사항, 수요 예측, 제품 인식, 우리는 또한 그 아키텍처로 정말 좋은 결과를 얻었습니다 같은 방식으로 사용하기에 충분하다 다른 프로젝트에 그래, 기본적으로 Big Data Machine Learning 클라우드에서 쉽게 만들 수 있습니다

감사합니다, 구글 무엇 향후 계획? 몇 가지 아이디어와 질문을하기 전에 몇 가지 힌트를드립니다 우리는 Google Dataprep으로 게임을 시작했습니다 미리 데이터를 시각화합니다 그리고 우리는이 제품이 정말로 유망하다는 것을 알게되었습니다

파이프 라인의 다른 쪽 끝에서, Google 데이터 스튜디오는 훌륭한 솔루션입니다 우리 기계를 감시하기 위해, 기본적으로 줄거리 우리 모델의 정확성과 리콜의 진화 Google에서 시작한 한 가지 작업이 있습니다 일부 서비스 수준 표시기 및 서비스를 지정하는 SRE 팀 신뢰성을 보장하는 수준의 목표 우리 전체 시스템의 또한 위대하다 관심을 가져 주셔서 감사합니다

[박수 갈채] [음악 재생]

Keras Tutorial TensorFlow | Deep Learning with Keras | Building Models with Keras | Edureka

모두들 시작하겠습니다 Keras에 대해 몇 가지 논의 할 것입니다

의제는 매우 간단하고 매우 높은 수준이 될 것이지만 4 가지가 있습니다 토론 할 포인트와 랩퍼에 대한 정보가 많으면 많을 것입니다 실전 연습과 데이터의 뉘앙스도 포함 시켰습니다 구현 또는 영웅을 사용하여 모델 구현을 보았으므로 Keras 란 무엇인가? Keras 란 무엇인가? 유스 케이스에서 다양한 기능과 혼란을 이해하고 내가 한 일은 세 가지 사용 사례를 만들었습니다 이미 사용한 사례 중 하나입니다

우리가 논의한 길쌈 신경 네트워크 (convolutional neural network) 이전 논의에서 우리가 토론했을 때 모델을 훈련하는 방법과 모델을 작동시키는 방법에 대한 관점 까지 갈비 신경 네트워크 작업하지만 기본적으로 우리가 논의하지 않았다 그들의 세부 사항은 어떻게 우리가 우리가 포함 할 수있는 것들이 우리의 이미지를 준비 하는가? 당신이 왜곡 할 수 있다고 얘기 한 것처럼 우리의 이미지를 더욱 강하게 만들어줍니다 이미지를 약간 뒤집어서 이미지를 뒤집을 수 있습니다 마지막으로 말했을 때 어떻게합니까? 매우 간단하지만 오늘은 코드 흐름을 포함 시켰습니다 일부 예제는 철저한 목록이 아닙니다 이미지와 함께해라

그러나 나는 약간을 포함했다 그래서 당신은 힌트를 얻는다 그것은 어떻게 끝났고 얼마나 쉬운 일인지 그리고 혼돈을 바라 보았습니다 문서를 개선하기 위해 더 많은 것들을 포함시킬 수 있습니다 내가 키라에 대해 토론하기 시작하기 전에, Kira의 주어진 래퍼가 tensorflow 위에서 작동 할 수 있습니다

theano의 일하는 정상은 C NT K의 꼭대기에서 일할 수 있습니다 당신이 혼돈을 설치 한 학습 소프트웨어는 그것의 백엔드를 취할 것입니다 특정 백엔드에서 자동으로 작업을 시작하므로 세미 기계가 tensorflow를 가지고 있음을 입는다 키라를 설치할 때 핵심을 실행할 때 나에게 줄 것이다 tensorflow의 상단에서 실행 중이지만 Theano가 있다고 가정하십시오 뿐만 아니라 tensorflow를 사용하면 어떤 백엔드를 명시 적으로 변경할 필요가 있습니다

실행하고 싶을 때 여기에 설치하면 JSON 파일이 C에 저장됩니다 드라이브 또는 문서 폴더와 이동해야하는 추적 및 파일 및 명시 적으로 말하자면 만약 당신이 텐서 흐름이라고하자 JSON 파일에서 편집 가능한 항목을 지정할 수 있도록 기본값이어야합니다 어떤 복잡한 문제라도 직면하면 매우 복잡한 응급실 크기가 아닙니다 웹 사이트이며 모든 유형의 운영 체제에 대한 충분한 지원을 제공합니다

그래서 Kiera 's는 래퍼 일 뿐이며 비슷한 방식으로 우리는 TF는 이것을 다시 주어진 텐서 흐름의 상단에있는 래퍼입니다 래퍼에 대해 논의 할 것이므로 이해를 시작하십시오 그래서 우리가 논의한 아키텍처로 돌아갈 것입니다 이미 보았거나 혼돈이 무엇인지, 그래서 카오스는 tensorflow thean 또는 c NT k의 위에 랩퍼입니다 사람들은 CN이 H 걸릴 몰라요 Microsoft의 깊은 학습 아키텍처 깊은 학습 라이브러리 인식 툴킷 내가 실수하지 않고 어떤 종류의 것을 만들고있다면 C와 TK가 정말 좋은 깊이있는 학습 아키텍처가 될 것입니다

하지만 솔직히 말해서 나는 그것을 사용하지 않았고 어떤 구현도하지 않았다 테 아노에서 일했고 나는 tensorflow에서 일했습니다 제 생각에는 tensorflow가 IANA보다 앞서 가고 있습니다 새 기능과 같은 기능적 건강이 예를 들어 시퀀스로 올라갑니다 시퀀스하기 위해서는 테아 노가 있지만 tensorflow에서 해결책을 찾아내는 데 시간이 좀 걸렸습니다

사용할 수있는 도움이 많이 있지만 계산 시간에 관한 한 차별화가별로 비슷하지 않은 이유는 우리가 이미 CNN 모델을 언급했을 때 Kiera의 것을 사용했습니다 세 가지 주요 이유 중 하나는 당신이 정말로 쉽고 빠르게 프로토 타입을 어떻게 그것이 우리가 명시 적으로 지정해야 할 많은 일을 하는가? 당신이 텐서 흐름 코드를 작성할 때 그들은 치료에서 디폴트되고있다 선은 매우 이해하기 쉽습니다 일들이 기본값으로되어 있고 세션 중 일부는 시작할 필요가 있습니다 강렬한 흐름과 변수를 초기화해야합니다

따옴표를 쓰는 데 필요한 집중적 인 흐름 당신은 할 필요가 없습니다 이런 것들은 이미 혼란에 빠졌습니다 더 적은 수의 코드를 작성할 때 모델을 시작하면 순차적 모델을 작성하는 측면에서 여러분이하고있는 것을 이미 알고 있습니다 특정 모델의 여부를 확인하는 측면에서 시간을 많이 절약합니다 일할 것인가, 아니면 실제로 어떻게 작동 할 것인가? 궁금해서 혼돈에 빠지면 모든 코드를 다룰 수 있고 더 깨끗한 코드와 이해하기 쉬운 왜 나는 텐서 흐름 종류가 필요한가? 하나의 이유가 무엇인지, 그래서 어떻게 할 것인가? 실제로 실전에서 일하는 것은 누군가가 아이디어로 당신에게 올 때입니다

매니저가 내일 당신에게 와서 당신이 말할 수 있다고 말하려합니다 우리가 감정 모델을 만들 수 있는지 아니면 매일 우리 고객으로부터받는 이메일 당신은 이메일을받으며, 그들이 할 수있는 어떤 방법으로 분류 할 수 있습니다 이제는 상담원들 사이에서 이러한 이메일을 더 잘 배포합니다 무슨 일이 일어나고 있는지는 메일이 나에게 오면 전송률은 약 20 % 다 그 한 사람은 그가해야 할 일을 이해하지 못하고 다음 중 하나는 관리자에게이 문제에 대해 SME가 누구인지 컨설팅을하는 것입니다

그래서 어떤 식 으로든 그렇게 말하게 해줘 나는 가능하다고 생각한다 나에게 몇 가지 카테고리가 할당 된 이메일을 3,000 개에서 3,000 개까지 할당 할 수 있습니다 만들거나 창문을 보여줘서 내가줬으면 좋겠어 알았어

너에게 데이터를 줄게 내일 당신은 당신이 가지고있는 데이터를 3,000 가지의 이메일로 얻습니다 매우 조잡한 모델이며, 그에게 보여주고 괜찮다고 나는 가능하다고 생각한다 나는 그렇지 않다 큰 정확도를 얻지 만 60-70 %의 정확도를 얻고 있습니다

아마 우리는 우리가 원했던대로 할 수있을 것입니다 더 큰 데이터 세트이므로 프로토 타이핑에 유용합니다 이러한 구현을 통해 매우 빠르게 두 번째는 tensorflow와 비교하여 문법적으로 집중적이다 나 같은 프로그래밍 배경에서 오지 않는 사람들은 많이하지 않았다 프로그래밍 나는 C 나 C ++을 모른다

내가 일하면서 파이썬을 배울 것이다 항상 코드 라인이 적은 구현을 찾고 있으며 Cara 's 정말로 거기에서이기는 이유는 누군가가 사용하고 싶어하는 몇 가지 이유입니다 Cara 's 그러나 한계는 예를 들어 당신이 원하는 몇몇 플랫폼 API를 배포하거나 앱을 배포해야하는 앱 모바일 앱을 만들고 싶습니다 모델을 Android 애플리케이션에 적용하면 이러한 경우에 어려움이있을 수 있습니다 귀하의 플랫폼이 Cara의 모델 객체를 지원하지 않을 수 있습니다

좋은 생각이 될 것입니다 정상적으로 수행되는 방법은 그 프로토 타입이나 POC를 당신의 비즈니스에 선보였습니다 감각은 더 큰 데이터에서 그렇게합니다 사람들이하는 일은 시작하는 것입니다 tensorflow와 tensorflow에서 동일하거나 유사한 모델을 구축하는 것은 다른 플랫폼에서의 수용 가능성이 매우 높습니다

프로토 타입을 만드는 방법과 Cara의 쇼케이스를 빠르게 프로젝트가 팔리면 tensorflow로 돌아와서 모델을 처음부터 다시 시작하면 일반적인 모델 배포가 어떻게 작동하는지 알 수 있습니다 카오스 집중적 인 흐름 모두가 아키텍처의 대부분을 지원합니다 우리는 n + CN + r / n을 논의했고, 실제로 그것을 보여줄 것입니다 앞에서 언급했듯이이 두 가지의 조합도 지원하는 유스 케이스가 있습니다 모델이되고 장소가 아닐지라도 더 높은 유형의 복잡성이 있습니다

그것에 대해 토론하기 위해 나는 다른 유형의 순차적 모델을 보여 주려고 노력할 것입니다 이미 혼돈 속에서 정의 할 수있는 모델이 한 가지 더 있다는 것을 이미 알았습니다 하지만 모든 중요한 아키텍처 3m LPC와 nrnl 그들은 사용할 수 있으며 매우 깔끔하고 깨끗하게 우리는 매우 적은 수의 코드로 코드를 작성할 수 있습니다 코드를 사용하고 하나 이상의 모델을 결합하여 예측 및 혼돈에 대한 가장 중요한 세 번째 요소는 두 가지 모두에서 실행될 수 있다는 것입니다 CPU와 GPU를 사용하면 정말 복잡한 작업을 수행 할 필요가 없습니다

혼돈 모델은 GPU 시스템 중 하나에서 실행됩니다 예를 들어 GCP 또는 AWS에 tensorflow가 있으면 쉽게 사용할 수 있습니다 영웅과 당신은 더 복잡한 요구 사항을 실행할 필요가 없습니다 혼란 때문에 그 관점에서 볼 때 매우 쉽습니다 그래서이 혼란이 어떻게 도움이 될 수 있는지 이해한다면, 시도하고 보자 서로 다른 섹션에는 집중적 인 흐름이 두 가지 유형이 있습니다

카오스에서 설정할 수있는 모델을 순차 모델 및 순차라고합니다 우리가 이미 본 모델은 우리가 수행하는 작업이 모델을 레이어의 순서 내가 올 것이다 기능성 구성의 또 다른 유형이 있습니다 잠시 후에 지금은 세부 사항을 언급 할 필요가 없습니다 일부 API가 기능면에서 관련되어 있기 때문에 도움이됩니다 작곡과 당신은 Kira 's에서이 api 's를 처음 보는 모양이라고 부를 수있다 순차적 인 모델과 우리는 이미 약간의 논의가있다 순차적 인 모델은 레이어를 다른 레이어 위에 쌓아 놓기 때문에 이동하면됩니다 순차적 모델이라고하는 혼돈 웹 사이트 선형 스택에 불과하지만 실제 의미는 무엇입니까? 입력 레이어를 가져 와서 숨겨진 레이어에 연결하면 이러한 가중치 계산 된 제 1 은닉 층에 대한 입력으로부터 오는 노드 값은이 활성화 기능이이 계층 이후에 계산 된 것입니다

다음 레이어를위한 입력과 우리가하는 모든 작업은 다음 레이어를 넣을 것입니다 다른 모델과 모델의 상단이 계산되므로 이러한 종류의 모델과 우리가 논의한 세 가지 모델은 모두 조밀하게 연결되어 있으며 MLP는 컨볼 루션 계층 다시 순차 모델이고 rln이고 다시 a 순차 모델은 이러한 모델의 방향성 때문입니다 입력에서 시작하고 감독자에게 주어진 몇 가지 예언 이 모델의 특성을 학습하면 순차적 합성 기능이라고 부릅니다 구성은 혼돈의 또 다른 유형의 구성이며, 더 복잡한 모델을 만드는 데 사용되며 복잡한 말을 할 때 당신은 당신의 모델들 사이에 입력을 가져와야합니다 에디션을 보여 주면 웹 사이트로 가서 무엇을하는지 보여줍니다 정말로 여기에서 실제로 일어나고있는 것이 당신이 거짓말을했다는 것을 의미합니다

일단이 모델을 순차적으로 시작하면 composition 이것은 모델에서 전달 될 유일한 입력이며 모든 예상 기능은 입력 기능을 통해 이루어 지지만 원한다면 상상해보십시오 약간의 개입은 당신이 어떤 특징이 배운 그리고 당신 중 일부는 아주 직관적으로 알지 못할 수도 있지만 당신은 정서 분석을위한 모델과 당신이 만든 모든 정보를 만들었습니다 정서가 긍정적인지 또는 부정적인지를 말하면서 사람들이 작성한 문장과 모델을 만들었지 만 개입하고 싶거나 시간에 대한 정보를 섭취하고 싶다고 말합니다 나중에이 모델의이 단계에서 이메일을 보내고 가능하거나 순차적이지 않으므로 이것이 구조이기 때문에 대답은 아니오입니다 이미 말했지만 키 에라의 기능적인 구성은 자유를 주었다

데이터 과학자들에게는 모델을 만들어서 우리가 입력 한 것과 나중에 입력 한 것의 일부를 계산합니다 전자 메일이 수신되는 시간 또는 어떤 국가와 같은 정보를 결합하고 싶습니다 당신이 그런 종류의 것을 들여오고 싶다면 그것은 어떤 언어에서 왔는지에 달려 있습니다 메타 데이터 정보라면 기능적 API를 사용할 수있을 것입니다 예를 들어 Karis의 아주 훌륭한 설명은 이것이 하나라는 것입니다

여기에 이것이 우리가 사용할 수있는 방법을 코드화하려는 예제이고 이것은 당신이 감정 분석을하고 있다고 가정 해 보겠습니다 실제로 M 베어링과 함께 lsdm을 사용하여 M 베어링에 대해 논의 할 것입니다 당신이 할 수있는 것은 여기서 당신이 이메일이나 트윗의 텍스트 또는 설문 조사 데이터 당신이 삽입 할 수있는 아키텍처의 한 종류를 만들었습니다 정보를 제공하지만이 시간이 트윗이므로이 두 가지 정보를 입력 할 수 있습니다 그런 다음 두 모델을 기반으로 모델을 만들 수 있습니다

텍스트뿐만 아니라 다른 정보를 가리키며 이것은 매우 여러분 중 일부가 spss에서 작업 한 것처럼 이미 spss에서 본 것과 비슷합니다 다른 노드와 노드에서 작업 한 사람들을 만드는 측면에서 모델러 기반 모델이나 소프트웨어에 의해 그들이 할 수있는 점에서 매우 간단하다 노드가 데이터를 가져 오면이 노드는이 노드가 데이터를 정리합니다 모델을 만들고 여기서 또 다른 기능을 모델에 포함시킬 수 있습니다 이런 종류의 건축물 Kiera 's는 당신이 가져올 수있는 곳을 제공합니다

이미 다른 기능을 구축하기 시작한 후에 다른 기능의 정보 다른 정보가있는 모델을 사용하면 모델을 완성하면 lsdm에서만 출력됩니다 시간과 텍스트의 정보를 결합한 다음 다른 정보를 만들 수 있습니다 모델은 두 정보 점을 기반으로하며 프로세스는 약간입니다 당신이 그것을 훈련시킬 필요가있는 다른 것이지만, 연결은 우리가 다른 소프트웨어에서 가지고있는 어셈블리와 비슷한 방식으로 작동합니다 하나의 정보 스트림 또는 한 스트림의 정보를 연결시킬 수 있습니다

사용 가능한 다른 정보 스트림을 사용하는 모델이 출시 될 예정입니다 순차적 인 모델의 관점에서만 상세한 설명을 통해 두 종류의 모델 이었지만 지금은 밀도가 높은 레이어를 시작하기 때문에 기본적으로 완전히 연결된 레이어이며 우리의 다중 레이어를위한 레이어입니다 퍼셉트론 (perceptron) 종류의 아키텍처가 다중 계층 구조가되도록 퍼셉트론 아키텍처와이 아키텍처는 밀도가 높습니다 카라의 반복적 인 신경 회로망에 연결된 층 또는 조밀 한 층 lsdm 셀을 사용하여 반복적 인 신경망을 수행하는 방법 유사한 작업 회선 신경 네트워크 및 풀링 계층 우리는 그것을 보았지만 나는 당신에게 어떤 차별화를 보여줄 것인가? 데이터 증가와 나는 이것이 정말로 의미하는 바를 설명 할 것이지만 우리는 모델 개선을 위해 혼돈을 어떻게 사용할 수 있는지에 대해 논의합니다 당신의 훈련 데이터를 가지고 노는 것이 카오스가있는 네 가지입니다

정말 도움이되고 우리는 토론에서이 모든 것을 구현하려고 노력할 것입니다 앞으로 우리가 가기 전에 먼저 정규화가 무엇인지 이해하자 정규화 계층은 먼저 정규화가 무엇인지 이해하므로 우리 중 일부는 우리 모두가 지금 얼마나 잘 알고 있는지 어떻게 알 수 있습니까? 모델은 정확성 측면에서하고 있습니다 그래서 우리가 로지스틱 모델을 가지고 있다고 가정 해 봅시다 우리가 원하는 것은 이것이 우리가 매개 변수에 대해 가지고있는 데이터라고 가정 해 봅시다

두 개의 피쳐에 대한 데이터가 x1과 x2로 주어 졌다고 가정하면 나는이 두 클래스를 하나의 클래스로 분리하거나 구분하기위한 예제를 가지고있다 이 두 가지 특징을 기반으로 한 학습 과정에서 또 하나의 방법은 우리가 아주 간단한 모델에 적합 할 수 있다면, 물류 모델을 선형 분류자를 사용하고, 오히려 차라리 이런 식으로 라인을 설정합니다 좋은 모델 나는 좋은 모델을 원하지 않는다 나는 조금 나쁘게 지키고 싶다 모델이 라인에 맞는다면 바로 직선이라는 것을 알 수 있습니다

우리에게이 점에 대한 분류가 잘못되어 있습니다 잘못 분류 된 점들은 오 분류되고 있으며 우리는 이것을 높은 점수라고 부릅니다 모델이 클래스를 분류 할 수 없었기 때문에 바이어스 문제 정확하게 설정되어있는 가설은 상당히 기본이며 모델의 미스 분류가 많고 높은 바이어스 문제가 나타납니다 모델에서는 교육 데이터 세트 및 테스트 데이터 세트를 말하면 이런 종류의 모델은 일반적으로 이와 같은 결과를 출력합니다 정확도가 0

65로 매우 좋지는 않지만 테스트 정확도는 63 회 정도는하지만 훈련에 대한 정확성을 말하고자합니다 데이터가 아주 좋지는 않을 것이며 분명히 테스트는 다른 유형의 예 또는 다른 유형의 가설은 당신에게 2 차 다항식에 관한 데이터가 있고 그것들을 사용한다고 해봅시다 한 줄을 맞추고이 종류의 포물선 또는 두 번째 다차원 가설은 100 % 정확하지는 않지만 이런 분류가 잘못 분류 된 것은이 문이 잘못 분류 된 것입니다 그러나 전반적으로 그 일을하고 있으며, 우리는이 유형의 적합을 바로 비록 위대한 이름은 아니지만 그게 대부분의 텍스트가 그것을 부르는 방법입니다 단지 올바른 구현이며 출력은 일반적으로 뭔가가 될 것입니다 이렇게하면 훈련 데이터 세트에 대해 90 % 정확하다는 것을 알 수 있습니다

아주 가까운 곳에서 89 점 또는 88 %의 정확도를 테스트 중 하나에 지정하십시오 이 종류의 출력을 설정하면 알 수있는 종류의 표시입니다 모델은 교육 데이터 세트에서 좋은 성과를 거두었으며 테스트 데이터 세트와 만약 당신이 아마 이런 종류의 상황에 빠지면 훌륭한 작업과 모델이 정말 좋습니다 한 가지 더 많은 방법이있을 수 있습니다 더 높은 차수의 다항식을 많이 포함하면 모델이 될 수 있습니다

그것과 비슷한 것은 매우 복잡한 회선에 적합합니다 흐리게 보였습니다 그러나 당신은 직감을 얻었습니다 매우 높은 차수의 다항식은이 행을 그렇게 많이 변경시킬 수 있습니다 비록 내가 언급하고 있지만 100 % 정확하거나 매우 높은 이것을하고있다

대부분의 시간이 100 %는 아니지만 정말 높은 정확도를 보이고 있습니다 08 09 정확도는 백분율이지만 테스트 데이터를 보면 정확도를 08 0

7이며 이것은 차별화와 이런 종류의 차트입니다 모델이 얼마나 좋은지 또는 나쁜지를 파악하는 데 정말로 도움이됩니다 모델 배포와 관련이없는 아키텍처와 관련이 없습니다 당신이 실제로 도달 한 곳을 어떻게 이런 종류의 문제는 높은 분산이라 불리우거나 과핑 (overfitting)과 왜 너무 많이 또는 너무 깔끔하게 맞춰져있는 오버 피팅 (overfitting)인지 데이터 집합을 훈련시키고 유사한 예측이나 유사한 유형을하지 않는 것 테스트의 정확성은 모델의 일반화 문제라고도합니다 새로운 데이터 포인트를 일반화하지는 못합니다

포인트는 교육 시간에 사용할 수 있었고 귀하의 모델은 그것이 한 것입니다 정말 정말 당신의 데이터를 암기하고 100 % 또는 훈련 데이터 세트에 대해 매우 높은 정확도를 보였지만 테스트를 할 때 훈련 시간에 사용할 수 없었던 라인은 왜냐하면 이제는 이런 종류의 문제가 일반화되지 않았기 때문입니다 오버 피팅 (overfitting)이라고 부르며 오버 피팅 (overfitting)을 피하기 위해 다음과 같은 몇 가지 단계가 있습니다 우리는 당신이 이런 종류의 모델을 설정했다면 우리가 그것을 적합하게 만들 수 있습니다 우리 모델이 비교적 좋은 예측을 할뿐만 아니라 테스트 데이터 세트 나 데이터에 대해서도 저널링을 실시했다

보지 않았거나 새로운 데이터가 언제든지 전화를 걸 때마다 설정합니다 우리는이 특정한 상황에 도달하면 우리가 증가하려고 노력한다는 것을 깨닫습니다 레이어와 노드의 수를 늘리고 복잡하게 만들지 만 사용자가 만든 것으로 상상해보십시오 복잡한 데이터는 교육 데이터 자체를 외운 다음 필요한 것입니다 네가 알기에 네가 그런 식으로 만들 수있는 몇 가지 방법을 알아 내야 해

교육뿐만 아니라 테스트를 위해 더 나은 예측을 할 수 있다는 이 작업을 수행하는 프로세스는 모델을 일반화하는 것을 알고 있습니다 잘 정규화의 범주에 속하는 몇 가지 방법이 있습니다 그 중 몇 가지를 논의 할 것이고 남은 것은 이미 있습니다 때로는 모델에 구현되어있어 실제로 모델을 수행 할 때 가장 일반적인 작업 중 하나입니다 우리가 보았던 마지막 7 개의 수업에서 지금까지 우리는 우리가 가지고있는 미세 조정 영역에 들어 가지 않은 모델에 적합합니다 당신이 가치를 선택하는 방법을 알고 있지만 우리가하지 않은 몇 가지 비트를 논의 이 섹션을 만졌고 이것들은 정말 편리 할 몇 가지 트릭입니다

당신이 당신의 모델을 개발할 때입니다 그래서 당신이 당신의 모델에서 문제를 지나치게 보았을 때 당신이 할 수있는 방법은 무엇인가? 그것을 피하거나 그것을 제거 할 수 있습니다 나는 정규화에 대해 이야기 할 것입니다 기술을 사용하지만 우선 문제를 해결하거나 직관적으로 생각하면 더 많은 데이터와 해결 방법 더 많은 데이터가 있다면 문제를 너무 많이 풀 수 있습니다 모델이 훈련을 암기 할 때 overfitting 문제를 갖게됩니다

데이터 집합을 만들지 만 교육 데이터 집합을 늘리면 처음에는 당신은 수천 가지의 훈련 예를 가지고 일하고 있으며 다섯 가지 예를 들어 봅시다 두 클래스에 대해 각각 백 개를 사용하고 모델에 적합하면 천 포인트는 그들이 떨어지는 곳과 많이 사용했기 때문에 나타났습니다 많은 노드와 기능 중에서 각 데이터 요소의 위치를 ​​식별 할 수있는 기능이 있습니다 그리고 더 많은 데이터를 얻었을 때 줄을 적절하게 조정하면 귀하의 모델에 대해 100,000 개의 데이터 포인트가 있으면 매우 어려울 것입니다 이 특별한 방법으로 모든 데이터 포인트를 기억할 때마다 모델은 일종의 전쟁 피팅 문제를 일으키고 있습니다

더 많은 데이터 세트를 가져 와서 데이터가 비교적 새로운 것이라면 내가 의미하는 바는 테스트와 테스트를 거친 것입니다 이 천 개의 행을 100 번 복제하면 안됩니다 내가 똑같은 것에서 더 많은 데이터를 얻으면 배포 또는 유사한 배포를 시도하고 테스트 한 것은 귀하의 모델은 어떤 종류의 수정이나 정규화를 가지지 않기 때문에 새로운 데이터를 얻는 것이 항상 그런 것은 아니라는 것을 우리 모두가 알고있는 데이터 세트를 암기 할 수 있습니다 쉬운 작업이므로 데이터 증가라고 불리는 프로세스가 있습니다 Kira 's 및 tensor flow에서 사용할 수 있습니다

이미지는 데이터 보강이 새로운 데이터를 생성하는 과정입니다 기존 데이터를 볼 수 있다면이 고양이는 우리와 함께 이미지를 사용할 수 있지만 만약 내가 뒤집어 말하면 거울 이미지 만 받아 들일 수 있으면 새로운 것을 만들었 어 이미지와 당신 중 일부는 그것이 당신이 알지 못하는 새로운 이미지가 아니라고 주장 할 수 있습니다 새로운 기능을 캡처하고 당신은 절대적으로 정확합니다 증강 된 데이터는 많은 자유 또는 많은 제거를 제공하지 않을 수 있습니다

새 데이터 세트로 overfitting하면되지만 일부 값을 추가하므로 일부 데이터를 보유 할 수 있습니다 이미지를 플립하면 플립 할 수 있습니다 플립 플립을 할 수 있습니다 그래서 당신이 그것을 거꾸로 만들거나 당신이 어떤 섹션의 줌을 할 수 있다고 가정 해 봅시다 이미지의 확대 / 축소가 필요하므로 확대해야한다고 가정 해 봅시다

확대 / 축소는 카오스의 데이터 증가에 대한 매우 간단한 연습입니다 텐서 흐름뿐만 아니라 이미지의 20 %를 확대하여 귀하의 이미지가 다르게 보일 수 있으므로 데이터 보강은 다음 중 한 가지 방법이 될 수 있습니다 우리가 간략하게 논의한 또 다른 방법을 과도하게 다루는 것은 우리가 드롭 아웃 (dropout)이라고 불리는 신경 네트워크에 대해 논의 중이 었으며 그 방울이 실제로 방금 내가 말한 직감에서 작동한다는 것을 의미합니다 모델이 모든 점을 암기하도록하지 마십시오 어떻게 작동합니까? 내가 그것을 설명하게해라

그것은 깊은 곳에서 왔던 매우 흥미있는 점이다 학습 시점 및 대부분의 경우 드롭 아웃 레이어를 사용할 것입니다 우리가 갈 모든 세 가지 아키텍처에서 한 가지 방법 또는 다른 방법 토론하고 내가 가진다면 그것이 어떻게 작동하는지 직감을 보자 4 개의 입력 특징 및 이들 3 개의 각각에 4 개의 숨겨진 노드를 갖는다 레이어라고 가정하고 이것이 H1이라고 가정합시다 이것은 H2이고 이것은 H3입니다

무작위로 일부 노드를 끄는 동안 모델 교육 및 내가 실제로 내 코드에서 힙 Rob를 언급 할 확률을 만들었습니다 그리고 당신이 가질 수있는 모든 3 개의 레이어를 Rob에서 생성했다고 가정 해 봅시다 다른 레이어의 다른 주요 확률이지만 예를 들어 첫 번째 슈트의 두 레이어에 대해 05의 확률과 05이고 세 번째는 0

75의 핵심 확률을 유지한다고 가정 해 봅시다 정말로 그렇습니다 그리고 당신이 알고있는 것처럼 우리는 다른 수의 에포크들을위한 모델을 실행합니다 이 팝이 어떻게 생기는지 보게 될 것이고, 내가 3 상자 만 모델로 만드세요이 모델은 당신이 설정 한 모델입니다

첫 번째 시대에 처음으로 실행되기 때문에 상자에 대한 모델에서 그러니 먼저 POC가 임의로 동전을 버리고이 노드에 대해 말하려합니다 이 노드는 스위치가 켜져 있어야하고 나머지는 계속 유지해야합니다 그것은 두 번째로 열립니다 왜냐하면 이것은 무작위적인 과정이기 때문에 왔습니다 이들은 꺼졌으며 P 확률이 0

75이므로 내 노트의 75 %를 열어 두거나 모델과 그 중 하나에 보관해야합니다 그들 중 어느 하나를 무작위로 꺼야 할 필요가있다 스위치를 끄고 기본적으로 스위치를 끄면 이 특정 노드의 출력이 이제 0으로 변환되었습니다 이 특정 노드의 모델 출력은 이들을 기반으로 계산됩니다 이 두 노드와 두 노드가 출력되고 출력됩니다

당신은이 가중치를 각각 배우기 위해 몇 가지 역 전파를 수행 할 것입니다 예측은 첫 번째 단계에서 이루어지며 가중치는 이 프로세스를 수행 할 때 업데이트 된 다음 두 번째 단계에서 두 번째 기점을 다시 확인하고 이번에는이 두 노드가 스위치를 끈다 고 가정 해 보겠습니다 이 두 게이츠가 꺼지고이 스위치가 스위치를 끈 다음 남은 열린 자에 대한 예측이 수행 된 후 예측은 이루어지고 세 번째 시대는 같은 무작위로 노드와 모델은 각각의 시대마다 예측을 할 수 있습니다 실제로하고있는 일은 모델에 얼마나 많은 양의 특정 노드가 기여하고 강제로 예측을합니다 나머지 노드는 우리가 l1과 l2 정규화와 같은 방식으로 작동합니다

우리가 간략하게 언급 한 l1과 l2 정규화를 사용할 수 있습니다 하지만 실제로 작업을 중단하면 구현이 쉽고 초과 피팅 문제를 가장 잘 해결할 수있는 방법을 보여 드리겠습니다 정규화 정규화 및 일괄 정규화는 이 표준화가 어떻게 일어날 지에 대한 관점 일괄 정규화 측면에서 추가 된 몇 가지 있지만 멀리까지 이 프로세스가 어떻게 수행되었는지는 정규화와 배치에서 동일합니다 정상화 그래서 먼저 정상화가 실제로 어떻게되는지 이해하고 시도하십시오 나는 당신이 당신의 데이터를 정상화시켜야한다고 옹호 해왔다

0과 1 사이의 같은 데이터를 조정하거나 데이터를 표준화합니다 평균이 0이고 표준 편차가 1이고 우리는 공식을 보았습니다 표준화와 그것이 정말로 도움이되는 방법 만약 내가 직관적으로 이것이 실제로있는 실제 데이터라고 말하고 싶다면 X 1과 X 2와이 두 값의 스케일이 다른 것을 보면 여기에 X 2의 가치에는 변화가 거의 없지만 거대한 X1의 값의 분산과 이것이 다른 가늠자는이 가치가 1 2 & 3다는 것을 밝힌다 이 값은 100 200과 몇 가지 더 큰 값과 같습니다 이런 종류의 가치를 지녔지 만 이러한 의미를 제거하면 가치는 원산지와 중간에있을 것입니다 그러면 당신이하는 것은 당신입니다 평균을 빼서 표준화하고 표준 편차로 나눈다

이제 귀하의 데이터는 일종의 무작위이며 그것은 다음과 같은면에서 도움이 될 것입니다 당신의 모델을 배우고 당신 중 일부는이 질문을 할 수 있습니다 정말로 당신은 당신이 일종의 일을했다는 것과 데이터가 동일하다는 것을 알게됩니다 변형 모델 교육 측면에서 어떻게 도움이 되는가? 몇 가지 그래프의 직감과 그것이 실제로 도움이되는지 확인하십시오 모델을 정말 빨리 만들 수 있습니다

따라서이 그래프 중 일부를 보시면 먼저 방정식에서이 방정식은 비용 함수의 방정식입니다 당신이이 특정한 것을 취하면 차이는 M 합계로 1이됩니다 섹션을 교차 엔트로피로 사용하면 실제 가치와 예상 확률은 얼마이며 비용은 얼마입니까? 계산되어 객관적인 또는 최적화 과정이 필요합니다 W와 B의 방법을 찾으려면 더 많은 매개 변수가 있다면 이 데이터를 3 차원으로 플롯하면이 손실이 최소화됩니다 우리가 WB와 J를 가지고 있다고 가정 해보고 싶다면이 값들이 어떻게 그것이 비정규 화 된 데이터이고 W와 B와 J를 가졌다면 같은 것이 아닐 것입니다 척도는 다를 수 있으며 이해할 수있는 값이 될 수 있습니다

또한 당신이 다른 비늘을 가지고있는 것과 같은 방식으로 생각합니다 W 2 이것은 w1이며 두 가지 기능이 서로 다른 규모이기 때문에 이것과 당신의 비용 함수를위한 다른 가늠자는 복잡하게 될 것입니다 다른 방향으로 다른 공간이있을 것입니다 윤곽선을 보면이 타원형이 될 것입니다 교육이 일어날 때 실제로 일어납니다 많은 가치를 바꿀 것입니다

수평 방향으로 보면 스케일은 높고 값은 작습니다 비늘이 어떤 모델보다 적기 때문에 더 작은 값을 변경해야합니다 훈련은 실제로 이렇게 일어난 비늘이었고 당신은 비용 함수가 더 많은 모델에서 당신의 피쳐를 표준화 할 수 있습니다 덜 대칭 적이며 모델이 시작하는 프로세스를 더 쉽게 수행합니다 어디서나 그리고 나서 당신은 직감이 있었기 때문에 세계 최소치에 도달했습니다

노드에 똑같은 직관이 적용되었습니다 그래서 제가 돌아 가면 내 기능이 켜져 있다면 우리가 이해하고있는 것을 보여주고 같은 척도는 모델이 배우고 수렴하는 것이 더 쉽다 당신이 여기의 건축물을 본다면 더 좋지만 지금은 다중 레이어 퍼셉트론 아키텍처는 실제로 이들 입력 노드가 입력되는 이들 상이한 층 (h1, h2 및 h3)에서 발생한다 첫 번째 숨겨진 레이어로 이동하여 실제로 그렇게하는 것처럼 호출한다고 가정 해 봅시다 이것이 w1이고 이것이 w2이고 이것이 w3 일뿐입니다 이 특정 노드에서 두 가지를 먼저 Z라고하고 Z를 점수라고합시다

나는 그것을 레이어 1이라고 부른다 나는 단지 윗면을 1로 지정할 것이다 이것은 레이어 1이고 하단은 노드 값이므로 스코어의 값 우리는 점수 또는 출력이라고 부르며 W 1 X 1 + W 2 X 2 더하기 W 3 X 3과 비슷하게 Z 1/2를 계산할 수 있습니다 이 노드와 z1 3은 이것이 알려지면 계산 될 것이다 당신의 무게와 각 입력의 일부 제품이 될 것입니다 이 세 가지 모두가 서로 다른 가중치와 이것들은 입력이고 이것들은 크기가 조정되지 않을 수도 있습니다

나는 의도적으로하지 않았습니다 당신이이 단계에서 점수를 계산하면 다른 단계에 대해 이야기했습니다 각 노드에서 활성화 함수를 적용하여 a1이라고 부르겠습니다 활성화 함수 G를 적용한 후이 특정 노드의 출력 이 하나와 G는 당신이나 Sigmoid 또는 십대 무엇이든 될 수 있습니다 활성화 함수를 사용하고 싶었지만이 두 값은 다음과 같이 계산되었습니다

각 노드는 먼저 자신의 점수를 계산 한 다음 활성화를 사용합니다 함수를 사용하여 그림을 얻고이 값을 1 또는 1 2 A 1 3 다른 가늠자에 있고 지금 여기에서 가치가 무엇 이건간에 1 1 a 1 2 또는 1 3 이제 이들은 내 다음 계층에 대한 입력입니다 이 값들은 우리가 입력 한 것과 같은 성질이 아닐 수도 있습니다 우리의 의견이 현대적인 최적화에 미치는 영향을 물류의 경우에 우리가 보아 왔듯이 정규 분포 또는 정규화 우리가 어떤 종류의 일을 할 때 무게로 곱한 무게를 가진 회귀 이것이 내 입력이며 정규화되지 않았거나 정상적으로 배포되었거나 그렇지 않은 경우 모두 0 또는 1로 확장되지 않음 표준화 내가 입력 한 내용이 간단한 네트워크와 내가 말한 의미는 X 1 X 2와 X 3 퍼셉트론 (perceptron)과 같은 매우 간단한 모델을 가지고 출력을 만들고 이것들은 나의 가중치 였고, 당신은 이것이 근본적으로 물류 모델이라는 것을 기억합니다 노드가 입력되고 정규화되지 않았거나 나는 최적화 측면에서 동일한 문제에 직면하게 될 것이다 정규화는 나오는 값을 정규화하는 과정입니다

이 레이어의 각 노드에서 노드를 사용하면 이러한 레이어의 출력을 피드 할 때 노드를 다음 레이어로 이동 시키면 모든 값이 정규화됩니다 우리의 입력 레이어에 대해서는 이것들이 이미 언급 한 기능들입니다 한 가지는 남아 있고 나는 의도적으로 말하지 않았다 왜냐하면 내가 말했듯이 나는 두 개의 높은 매개 변수 또는 세 개의 새로운 새로운 매개 변수에 대해 이야기 할 것입니다 수업 시간에 우리는이 질문을 통해 우리가 어떻게 우리를 정상화시킬 수 있는지에 대해 논의했습니다 값을 0으로 정규화한다는 것을 알았습니다

항상 도움이되는 것은 아니지만 이러한 평균화 된 값이 어떤 평균과 귀하의 모델이 실제 과정에서 배울 수있는 표준 편차 도움이 될 수있는 방법과 실제로 할 수있는 방법 두 가지 더 많은 하이퍼 매개 변수를 소개 할 수 있습니다 그것은 훈련 할 수 있고 여기서 표준화 된 값은 0과 같다고 말합니다 평균 및 표준 편차가 하나이지만 다시 zi를 할 수 있습니다 다시 정규화되었습니다 값이 한 개 개선되었으며 감마 하이퍼 매개 변수를 곱한 값으로 할 수 있습니다 제로 평균 및 표준 편차 표준화 값 및 플러스 베타 가치는 학습 과정에서 우리와 같은 방식으로 배울 것입니다

감마 값을 배우는 것과 같은 방식으로 가중치를 배웁니다 처음에는 임의의 값으로 시작하지만 과정에서 우리는 W와 B 또는 B 1과 같은 다른 모든 것들에 대해 배운 것과 같은 방법을 배웁니다 W 1 W 2 및이 기능은 동일하게 유지되고 체인 규칙을 통해 배우고 있지만 사실 우리는 이것을 기억할 필요가 없으며 얻고 싶지 않습니다 응용 프로그램에 어떻게 그것이 하루의 끝을 실행합니까 당신이 할 일은 대부분의 tensorflow 및 Kira 's의 응용 프로그램이 이미이 작업을 처리합니다 프로세스에서 노드의 정규화 된 값은 기본적으로 제로 평균이 아닙니다

그리고 단어 표준 편차는 몇 가지 평균과 어떤 표준 편차와 그 평균과 표준 편차 값은 모델이 WS와 동일한 방식으로 학습 과정을 통해 식별됩니다 B의 이것은 churn에 대한 예입니다 여기는 고객에 관한 데이터 세트입니다 우리는 성 (姓)과 성 (姓)이있는 고객 ID를 가지고 있습니다 신용 점수가 무엇인지 여부는 지리학이란 무엇인가? 고객에 대한 나이 및 기타 정보 및 그가 퇴사했는지 여부 또는 휘젓다 그렇지 않으면 우리가 가지고있는 정보이고 우리는 모델을 만들고 싶다

특히 MLP는 다중 레이어 퍼셉트론 또는 인공 신경망 아키텍처를 통해 고객이 어떤 고객인지를 어떻게 예측할 수 있는지 예측할 수 있습니다 휘젓다거나 앞으로 가지 않을 것입니다 그래서이 두 칼럼 지리 성별은 중요하고 가변적이지만 범주 형으로 분류됩니다 가치 그래서 우리가 할 수있는 일을 기억한다면 우리가하는 일은 뜨거운 인코딩을 통해서입니다 그것들을 0 또는 1로 만들면 대부분 이진이므로 우리는 0 1과 나머지를 만들 수 있습니다

필드는 숫자이므로 이미 걱정할 필요가 없습니다 목표는이 데이터를 사용하여 누군가가 갈 것인지를 예측하는 것입니다 churn 또는 not와 내가하기 전에 당신이 쉽게 혼란을 피할 수있는 지 보자 당신은 당신의 시스템에 윈도우즈와 맥 모두에서 사용하지 않았습니다 여기서 내가 제시하는 것은 내가 그것을 들려주게하고 만약에 단지 몇 분이 걸린다면 당신은 핍을 사용하고 당신이 설치할 수있는 핍을 통해 작동하지 않는 경우 웹 및 작동하지 않는 경우 Exe 파일에서 거기에서 설치하지만 내 경우에는 시간이 많이 걸렸고 두 대의 노트북이 이미 설치되어 있고 채찍이 일할 때마다 일했다

라이브러리 numpy matplotlib 그리고 이것들은 데이터 준비를위한 것입니다 이것은 데이터입니다 CSV 형식으로되어 있으므로 팬더 소스를 읽을 수 있습니다 CSV X는 3입니다 ~ 13은 고객 ID와 같았다면 처음 세 개의 열을 의미합니다

그래서 우리는 네 번째에서 입력을 시작하고 있습니다 색인은 0이고 우리는 X가 필요하고 12 번째 열은 13 번째 열이 우리의 Y입니다 우리는 그것을 만들었습니다 x1은 두 번째 열이 성 (gender)이었던 것을 의미합니다 위치 및 세 번째 기능은 성별이므로 우리는 하나의 핫 인코딩 이 값들의 수치 적 표현을 만드는 관점에서 열차와 시험을 위해 데이터를 나누어서 80 %를 훈련시켜 20 %를 훈련 시켜라

우리는 표준 스칼라를 사용하여 모든 값을 변환합니다 X의 모든 기능에 대한 모든 기능을 모든 값으로 변환합니다 0 & 1 사이에서 우리는 기차로의 운송에 적합하고 같은 것을 사용하고 있습니다 동일한 값을 갖는 테스트를 위해 동일한 값으로 변환하는 프로세스 또는 동일한 값 우리는 지금까지 사용 해왔지만 이제는 두 번째 부분은 어떻게하면 인공 신경망 그래서 우리는 단지 두 가지를 필요로합니다 이것은 Kara에서 가져온 것이므로 순차 모델을 사용하여 Kara 's VR을 가져와야합니다

왜냐하면 우리가 한 층을 다른 층 위에 선형으로 놓는 것을 상기한다면 패션과 모든 슬라이드 또는 모든 레이어가 조밀하게 될 것입니다 연결되어 있고 MLP가 그 층들 모두가 조밀하게 연결되어있어서 시작했습니다 순차적 모델로서의 나의 분류 자다 조밀 한 레이어 유닛 6을 추가하고있다 레이어 커널 이니셜 라이저에서 6 개의 숨겨진 노드를 어떤 종류로 초기화할까요? 입력 레이어와 숨겨진 레이어 사이의 연결 가중치 가중치를 초기화 할 수 있도록 초기화해야합니다

0에서 1 사이에는 임의의 n과 같은 다른 메소드도 있습니다 평균이 0이고 표준 편차가 1 인 가중치 truncated mean하지만 이러한 모든 프로세스는 우리가 가중치를 초기화합니다 reloj 활성화 함수를 사용하면 숫자가 11이므로 숫자가됩니다 입력 기능의 11은 우리가 명시 적으로 말하고있는 것인가? 당신은 조금 이것이 11 개의 노드를 가진 우리 입력 레이어이고 우리는 첫 번째 레이어가 있습니다 숨겨진 레이어는 6 개의 노드가 몇 개 있고이 모든 것을 초기화했습니다

균일 한 분포의 가중치를 사용하여 이 레이어의 각 노드의 맨 위에는 reloj 활성화 함수가 사용됩니다 이 후에 다른 레이어를 추가하면 밀도가 높은 다른 레이어가 추가됩니다 다시 6 개의 노드가있는 연결된 계층 잠깐 내가 활성화 함수를 일률적으로 초기화하고있다 레이 루 그리고 마지막으로 출력 레이어는 내가 할 수있는 바이너리 분류이기 때문에 내가하는 일은 0과 1을 사용하여 출력 확률을 계산하면 같은 단위를 더할 수 있습니다 무게와 활성화는 나에게 사건의 확률을주는 시그 모이 드이다 일단 우리는 두 개의 숨겨진 레이어로 아키텍처를 설정하고 하나의 출력 노드는 우리가 분류 한 모델을 컴파일 할 수 있으므로 옵티 마이저 Adam 우리가 원했던 바이너리 크로스 엔트로피와 메트릭으로 손실이 있습니다

측정은 예측값과 실제 값 사이의 정확도이므로 실행했습니다 매우 단순한 모델 분류 복장 열차로 X 열차 10 및 팩 크기 10을 받고 85 %의 출력을 주었고 새로운 항목을 예측해야하는 경우 여기서 X 테스트를 위해 분류 할 필요가 있는데, 나는 예측 함수를 사용하여 그것을 할 수있다 우리는 또한 여러분이 지리와 같은 모든 가치를 가지고있는 예를 보았습니다 프랑스이고 성별은 남성 신용 점수가 600이고 모든 정보 사용할 수있는 값의 배열을 만들고 동일한 예측을 사용할 수 있습니다 모델의 정확성이 모델의 정확성을 확인하는 함수입니다 그 사람이 의자에 앉을 것인지 말 것인지를 예측하는 사람은이 종류의 특정 데이터를 호출 할 때 CRM 및 고객에서 데이터가 사용되었습니다

연락처 센터에서 귀하의 정보를 데이터 세트에서 사용할 수 있습니다 귀하의 정보를 훈련 된 모델과 귀하의 산출물에 대해 평가 해 줄 것을 요청하십시오 당신이 갈아 타기를하든하지 않든간에 우리가 혼란 행렬 그래서 테스트와 예측이 사실이다 이것이 거짓이다 진실한 부정적이고 이들은 거짓 긍정이고 틀린 부정적이다 나는 어떻게해서 좋은가? 사용법과 하나의 값을 많이 테스트 할 수있는 방법은 내 모델이 다른 하이퍼 매개 변수의 가장 좋은 조합은 무엇입니까? 당신이 조정할 필요가있는 매개 변수는 얼마나 많은 베쓰 크기를 얼마나 많이 공기 상자 당신은 어느 옵티 마이저를 사용해야 하는지를 실행한다

atom rmsprop 또는 그라디언트 강하 또는 얼마나 많은 학습 속도를 사용해야 하는지를 결정해야합니다 그리드 검색은 여러 조합을 테스트 할 수있는 방법입니다 그것은 scikit에서 오는 것입니다 실제로 그것이하는 일은 실제로 다른 것을 만듭니다 조합이 2 인 경우 이것은 2이고 이것은 2의 조합입니다

have 2 2 2 우리가 만들 수있는 8 가지 조합을 의미합니다 8 당신의 모델이 이렇게 될 것입니다 일괄 처리로 25 시도 Airpark and atom 다음에 25라고 말할 것입니다 2 rmsprop 25 all to all 귀하의 모델이 시도 할 수있는 가능한 조합은 무엇 이었습니까? 정확성과 인공 지능을 정의하는 더 쉬운 방법 기능으로 신경 네트워크 그래서 나는 빌트인 분류자를 wilted했고 나는 내 함수의 입력 중 하나로서 옵티 마이저를 제공하고 내가 결정할 것입니다 나중에이 모델에 적합하면이 코드는 모두 동일하지만 모두 사용자 정의 함수 내에서이 코드를 빌드 한 것입니다 빌드 분류자를 좋아하거나 이름을 부여 할 수 있습니다 특정 함수 카오스 분류기 및 빌드 함수는 가지고있는 함수입니다

여기에 내장 된 당신은 매개 변수의 사전을 만들고 나는 아주 간단한 것들로 그것을 시도 배치 크기는이 공기 상자는 이러한 및 최적화 도구는이 두 가지입니다 다른 것을 시도해 볼 수도 있습니다 교차 엔트로피 또는 MSC의 다른 손실 함수를 시험해보십시오 방금 다른 옵션을 제공하지만 지금은 세 가지를 시도했습니다 미터를 데이터 과학자로 선택하여 코드를 실행할 수 있습니다

그리드 검색 CV 및 분류자를 호출했습니다 이것은 분류 자이며 매개 변수는 이것의 사전이며 득점은 정확도와 CV Denis입니다 십자가 유효성 검사 10 그래서 inbuilt 교차 유효성 검사와 같은 것이고 이 코드를 실행하면 실제로이 함수가 실행될 것입니다 모든 8 개의 조합과 8 개의 내장 된 분류기는 두 가지와 같습니다 2 개의 자작 나무에서 2 개의 조합이 Époque에서 2 개, 최적화에서 2 개이므로 사용할 수있는 8 가지 조합이 모두 실행되며 X 기차에서 기차를 타면 열차가 최고의 기차를 타는 이유는 정말 절약입니다

내가이 두 가지에 대한 가장 정확한 정확도를 준 매개 변수 그것에 관심이있어서 그는 모든 조합을 위해 그것을 실행할 것입니다 내가 그 하나의 Apoc을 주었던이 세 가지 조합의 최상의 매개 변수 25의 침대 크기를 가진 Adam 최적화 도구가 나에게 최고의 정확도를 제공합니다 이 특정 모델에 대한 79 점 6 점 콤비네이션에는 25 가지가 있고 아담은이 모델에 가장 적합한 조합입니다 비슷한 방식으로 다른 하이퍼 매개 변수를 사용해 볼 수도 있습니다 균일 한 무게를 사용하는 대신에 시도하고 싶다

무작위 초기화를 시도하고 일반 종류를 잘라내려고합니다 어떤 무게로 더 좋은 결과를 얻었는지 확인하고 이 조합을 하나씩 실행할 수 있음을 보여 드렸습니다 실제로 나는 20에서 30으로 시작했지만 시간이 많이 걸렸습니다 사실 추락해서 방금 한 두 개를 사용했습니다 일러스트레이션 목적 예는 우리가 고양이와 개 이미지를 가지고 있다는 것입니다

우리가 만든 모델을 통해 고양이와 개로 분류하고 싶다 우리가 시작하는 MLP와 같은 순차적 모델이기 때문에 순차적 모델 32 개의 필터를 가진 컨볼 루션 레이어 3 x 3 입력 폼 64 x 64의 이미지를 Ray Lu를 적용한 다음 2 x 2 매트릭스의 최대 풀링을 수행 그 후 또 다른 컨볼 루션과 최대 풀링 레이어를 추가했습니다 평평하게하고 최종 숨겨진 레이어는 밀도가 높습니다 128 유닛으로 연결된 레이어와 마지막으로 바이너리 분류입니다 Sigmoid 활성화와 함께 하나의 고밀도 레이어를 사용하고 Adam으로 컴파일 이진 크로스 엔트로피는 데이터 때문에 논의하고 싶은 중요한 것 보강은 복잡한 데이터 세트의 종류를 만드는 것을 알기에 좋은 것은 아닙니다

하지만 미래에 모델을 실제로 도울 수 있습니다 매우 명확하지 않은 이미지에 대한 올바른 예측을 했으므로 클릭 한 것으로 가정 해 봅시다 개와 그의 얼굴 사진이 반 밖에 없습니다 아주 크게 확대되었거나 약간의 노이즈가 있거나 화질이 좋지 않습니다 매우 청결하고 깨끗한 그림으로 모델을 훈련 한 경우 매우 좋습니다

당신의 모델이 올바르지 않을 수도있는 가능성이 있습니다 우리가 일반적으로 그런 문제를 극복하기 위해하는 일이 무엇인지를 이미지에 문제가 있거나 이미지에 왜곡이나 노이즈가 있습니다 이 경우에도 모델은 정확한 예측을 할 것입니다 우리는 이미지 생성 (image generation)이라고 불리는 것을 가지고 있으며 그것은 이미지 아래에 있습니다 cara의 전처리 이미지 섹션의 데이터 생성기 섹션과 당신이 가지고 놀 필요가 많은 가치가 많이 나는 단지 하나 둘로 놀고 있습니다

세 가지 세 가지 가치가 있지만 나와 함께 할 수있는 모든 것들을 보여 드리겠습니다 이미지를 사용하면 모든 이미지 데이터 생성기를 사용할 수 있으며 수행 할 수있는 작업을 수행 할 수 있습니다 당신은 그것이 할 수있는 모든 것들을 읽을 수 있습니까? 값을 회전하여 이미지를 어느 정도 회전시키고 일부 이미지를 확대 / 축소합니다 값 깨끗한 시프트 이미지 비누하지만 이들은 모두 이러한 것들과 같습니다 image 우리가 현재 사용하고있는 확대 / 축소 개념은 확대 / 축소에 있습니다 이미지를 깎아서 수평 이미지가 왜곡되게 만듭니다

우리가 고양이 이미지를 위해 한 변화의 종류를 알고 그래서 우리는 그 이미지를 뒤집었다 이미지의 20 %는 이미지의 20 %를 확대합니다 rescale은 모든 픽셀 값을 0에서 1로 변환하는 것을 의미하며 우리는 교육 데이터 세트를 통해서만 모델이 훈련 된 후에도 왜곡되고 매우 복잡한 사진들로 실제 좋은 힘을 얻었습니다 테스트 데이터 세트에서 사진을 깨끗하게 처리합니다 일반적으로 이러한 작업을 수행하지 않습니다

모델이 이러한 변경 사항에 대해 좋은 작업을하고 있는지 확인하고 싶습니다 교육 데이터 세트 및 일단 그것이 완료되면 우리는 단지 크기 조정 된 것을 보려고합니다 사진을보고 열차 테스트 이미지에서 효과가 있는지, 왜 우리가하는지 확인하십시오 왜냐하면 우리가 새로운 이미지를 위해 그것을 할 때 우리는이 모든 것을하기를 원하지 않기 때문입니다 우리가 20 %의 힘을 기울이고 줌을하고 있기 때문에 모든 것이 아닌 이미지가 가정되었지만 많은 옵션이 있으며 이 모든 일들이 무엇을하고 있는지 읽을 수 있다면 격려해 줄 것입니다 특히 매우 강력한 이미지 분류 프로그램을 개발하려는 경우 특히 모든 조건이나 조명 조건에서 작동하는지 확인하려고합니다

당신이 얼굴의 반을 알고 있든, 반 몸이 거기에 있는지 동물과 당신의 모델이 여전히 작동하고있어 이러한 기능 중 일부는 견고한 모델을 만드는 데 정말로 도움이되지만,이 특정 섹션은 많은 기능이 실제로 모델의 용량과 성능을 향상시킬 수 있습니다 더 나은 예측 조건은 여기에서 마지막 구현으로 넘어갑니다 우리가 한 일은 정서 분석을위한 유스 케이스를 구현했기 때문에 우리는 lsdm을 사용하여 NS 반복적 인 신경 네트워크를 사용하여 구현을 완료했습니다 세포 그래서 먼저 당신이 레이어를 가져올 데이터 세트 내가 DBAs 영화 데이터베이스입니다 영화에 대한 리뷰를 가지고 있고 그것이 좋은 움직임인지 검토했다 당신이 영화와 같은 것을 아는 누군가 또는 영화에 대한 감정이 무엇이 아닌가

우리가 MLP를 위해 조밀하게 연결된 계층을 사용하고있는 순차적 모델 아키텍처 LST M은 L STM 임베딩을위한 임베딩 및 전처리 해 주셔서 감사합니다 이 비디오를 듣는 것을 즐겼습니다 친절하게도 좋아하십시오 의심과 의문에 대해 의견을 말하면 가장 빠른 시일 내에 답변 해 드리겠습니다 우리의 재생 목록에서 더 많은 동영상을 찾아보고 Eddie Rica에 가입하십시오

더 행복한 학습을위한 채널