Introduction to Runway: Machine Learning for Creators (Part 2)

[철도 휘파람] 다른 비디오 자습서에 오신 것을 환영합니다 Runway 작업 및 기계 학습 모델 실행에 대한 정보 활주로 자체에서 이 비디오 자습서를보기 전에 전에 활주로를 사용한 적이 없다면 돌아가서 내 소개를보고 싶을 수도 있습니다

활주로에 다운로드하고 설치하는 방법 그러나 솔직히 말해서, 당신은 아마 그것을 알아낼 수 있습니다 runwaymlcom으로 이동하여 베타 다운로드를 클릭하십시오 활주로 소프트웨어를 다운로드하여 열어야합니다 그런 다음 모델 찾아보기로 이동합니다

모션 아래로 가서 PoseNet을 클릭하겠습니다 그리고 당신은 바로 여기에 자신을 찾을 수 있습니다 이것이 바로 내가있는 곳입니다 Runway를 설치했습니다 다운로드했습니다

그리고 PoseNet의 Runway 소프트웨어 페이지에 있습니다 기계 학습 모델 자, PoseNet은 무엇입니까? PoseNet은 기계 학습 모델입니다 한 명 이상의 사람에 대한 실시간 골격 추적을 수행합니다 그리고 무엇을 추측합니까? 나는 사람이고, 활주로가 여기에 달려 있습니다 PoseNet과 함께

그래서 나는 그것을 실행할 것입니다 먼저 작업 공간에 추가를 클릭하십시오 그래서 이미 가지고있는 작업 공간이 있습니다 코딩 기차 라이브라는 이전 비디오에서 만든 흐름 입력 소스를 선택하고 싶습니다 나는 그것이 나의 웹캠이되기를 원한다

그렇습니다, 활주로가 바로 나아갑니다 그런 다음 출력 소스를 선택하고 싶습니다 내가 원하기 때문에 처리하고 싶다 이 기계 학습 모델을 실행 한 결과를 얻기 위해 PoseNet 자체 처리 하지만 지금은 미리보기를 클릭하겠습니다 미리보기를 클릭합니다

아, 그리고 나는 달려야한다 하지만 그거 알아? 이것은 이전 비디오에서 보여준 것과 다릅니다 로컬로 실행 옵션이 있습니다 실제로이 모델은 로컬에서만 실행할 수 있습니다 클라우드에서 이것을 실행하는 것은 어리석은 일입니다

이 모든 시간을 보내야했기 때문에 네트워크를 통한 데이터 그리고 실행하기가 매우 쉽습니다 이것은 매우 작고 빠른 모델입니다 대부분의 최신 컴퓨터에서 실행할 수 있습니다 로컬로 실행을 클릭하겠습니다

따라서 GPU 크레딧이 필요하지 않습니다 물론 무료로 사용할 수 있습니다 그리고 우리는 그곳에가는 것을 볼 수 있습니다 지금 실행 중입니다 다양한 요점을 추측합니다

내 골격의 출력에 내 몸에 있습니다 볼 수있는 이하 그래서 일에 대한 좋은 점 중 하나 활주로와 그 모델은 많이 모델마다 다른 매개 변수와 값이 있습니다 조정하고 변경하여 실행할 수있는 것들 다른 방법으로 그리고 이것들은 일종의 하이퍼 파라미터로 알려져 있습니다 기계 학습 모델에 그래서 그들 중 일부는 실제로 모델 실행을 중단 한 다음 나는 그것을 가지고 시작할 수 있습니다

예를 들어이 아키텍처는 실제로 모델을 더 작게 만들 수 있습니다 정확도는 떨어질 수 있지만 더 빨리 실행됩니다 그러나 예를 들어, 나는 단지 가고 있습니다 대신 075로 변경하십시오 다시 실행하겠습니다

그러나 이러한 매개 변수 중 일부는 실제로 실시간으로 조정됩니다 예를 들어 너비와 높이를 변경할 수 있습니다 실제로 변화하는 이미지의 웹캠 자체의 이미지 해상도 원하는 경우 그레이 스케일을 더 만들 수 있습니다 실제로 여러 가지 작업을 수행하여 실제로 조정할 수 있습니다 들어가기 전에 이미지

그러나 이것은 중요한 부분이 아닙니다 이 비디오에서하고 싶은 일을 이 비디오에서하고 싶은 것은 여기서 Runway에서 모델을 실행하는 순간이 있습니다 나는 그것을 가지고 놀 수 있고, 조정하고, 정확하게 얻습니다 내가 원하는 방식으로 작동합니다 다음 단계로 넘어 가고 싶습니다 결과를 볼 수 있도록 여기에서 실행하도록 내 자신의 소프트웨어에서 그렇게하겠습니다

이것을 시도하는 데 사용할 소프트웨어 프로세싱이라고합니다 이 크기는 출력의 활주로에서 640×362, 처리 코드에서 수행 할 작업 캔버스 크기를 640 x 362로 설정합니다 무효 그리기 배경 0 이제 처리 스케치가 있습니다

내가 여기서 뛰고 있습니다 결과, 모델의 결과를 어떻게 볼 수 있습니까 내 프로세싱 스케치에서? 다양한 네트워크 프로토콜이 있습니다 활주로가 지원합니다 그리고 나는 그들에 대해 여기에서 찾을 수 있습니다 이 네트워크 탭을 클릭하여 그리고 처리 작업에 사용하고 싶은 것 OSC입니다 여러 가지 이유가 있습니다 한 프로토콜을 다른 프로토콜보다 선택하십시오

그것은 실제로 당신이하고있는 것에 달려 있습니다 하나의 이미지를 얻고 자하는 경우 HTTP 요청이 가장 적합합니다 그리고 다른 비디오에서 할게요 Runway에서 스타일로 다시 작업하는 방법을 보여 드리겠습니다 하지만 지금은 클릭합니다 OSC에서 처리와 잘 작동합니다 그리고 여기에 많은 정보가 있습니다

이 말은 서버 주소입니다 이것이 내가 활주로에서 필요한 가장 중요한 것입니다 내가 말하고자하는 것은 Processing이 유일한 IP라는 것입니다 로컬 IP 인 주소 이 컴퓨터의 주소와 포트 번호 OSC 메시지를 얻을 수 있습니다 여기를 클릭하겠습니다 그리고 ip와 같은 문자열을 만들 것입니다

나는 아마 갈거야 확신 별도의 변수에 포트 번호를 원합니다 그리고 이와 같은 포트 번호를 만들 것입니다 이제 여기 앉아서 모든 코드를 작성할 수 있습니다 이것을 위해, 나는 보통 코딩 기차 비디오에서 할 수 있습니다 그러나 이것은 상당히 다른 상황입니다 정말 예제를보고 싶어요 실행하고이를 수행하는 방법을 보여줍니다

그리고 Runway 작업에 대한 좋은 점 중 하나 미리 만들어진 예가 많이 있습니까? 다른 플랫폼과 소프트웨어를 사용하는 경우 그 중 하나가 처리 중입니다 그래서 당신이 실제로 어떻게하는지 보여 드리겠습니다 현실 세계에서이 작업을 수행하는 방법 지금하는 방법입니다 Runway ML GitHub에 가면 실제로 한 단계 뒤로 돌아 가야합니다 Runway ML 아래로 이동하십시오 Runway 소프트웨어에 대한 GitHub 페이지는 다음과 같습니다 그리고 많은 정보가 있습니다

높은 수준의 물건과 같은 것이 있습니다 머신 러닝 모델을 이식하는 방법 활주로 자체 자신의 모델을 훈련했거나 Runway에서 지원하지 않는 모델을 찾으십시오 당신이 그것을 추가 할 수있는 방법 그러나 그것은 우리가 여기서 실제로하고있는 것이 아닙니다

내가 찾고 싶은 것은 여기 Processing, Runway 그리고 가공 여기를 클릭하면이 저장소에 프로세싱과 함께 Runway를 사용하는 많은 예제 attnGAN에 StreetView가있는 것을 볼 수 있습니다 얼굴 랜드 마크, im2txt 및 voila, PoseNet 이것은 내가 일하고있는 것입니다

이 예를 살펴 보겠습니다 나는 이것이 오픈 소스 프로젝트라고 말해야한다 프로세싱은 오픈 소스 프로젝트입니다 내가 말했던 것에 관여 다른 많은 비디오에서 다른 모델을 찾으면 활주로에서 당신이 일을하고 기여하고 싶어 여기에 처리 예제가 있으므로 권장합니다 Runway의 창립자이자 제작자 중 한 명인 Chris는 그리고 나는 가공에 대해 이야기하고있다 활주로 도서관

그리고 최근에 두 개의 비디오 자습서를 만들었습니다 Processing Java 라이브러리를 만드는 방법에 대해 설명합니다 앞으로 처리 될 프로젝트를 보게됩니다 활주로 도서관 그러니 그 일에 참여하고 싶다면 의견을 적어 알려주세요 그리고 아마도이를 위해 GitHub 저장소를 만들 것입니다

좋아, PoseNet 아래로 가야겠다 그리고 posenetpde 아래에서 여기를 클릭하겠습니다 붙여 넣기 만하면됩니다 하지만 한 조각 씩 갈 것입니다

그리고 이미 활주로 호스트와 활주로 포트를 볼 수 있습니다 그래서 코드에서 실수를했습니다 그래서 저는-01을 놓쳤습니다 채팅에 대해 이미 이야기하고 있습니다

그리고 여기에 여분의 1이 있습니다 그리고 이것은 정수 여야합니다 그리고 이것은 실제로 호스트입니다 사실 같은 변수를 사용하겠습니다 이름은 runwayHost 및 runwayPort입니다 좋아, 지금 당장 얻은 것 같아

이제 예제가 작동하려면 처리 OSC가 있는지 확인해야합니다 라이브러리가 설치되었습니다 여기 와서 복사하면 이 수입 명세서를 붙여 넣습니다 꼭 필요한 OSC 객체를 붙여 넣을 수 있습니다 그리고 우리는 내가 OscP5 클래스가 존재하지 않는 오류가 있습니다

프로세싱 OSC를 설치하지 않았기 때문입니다 도서관 사용하기 때문에 이미 설치했을 수 있습니다 다른 프로젝트로 그러나 나는 여기에 갈 수 있었다 Sketch, Import Library, 라이브러리, OSC를 추가하여 검색하십시오

이것은 내가 찾고있는 라이브러리입니다 oscP5 설치를 클릭하겠습니다 이제 오류 메시지가 사라지는 것을 볼 수 있습니다 다음으로하고 싶은 것은 객체를 만드는 것입니다 OSC 메시지를 수신합니다 그리고 나는 이것을 새로운 OscP5 객체로 만들 수 있다고 생각합니다

이 특정 스케치에 대한 참조를 제공해야합니다 스케치에서 이벤트를 트리거해야하기 때문에 사용 가능한 데이터가있을 때 그런 다음 포트 번호를 지정하십시오 이것을 runwayPort라고합니다 활주로 예제를 보면 실제로 OscProperties라는이 개체를 사용하고 있습니다 좀 더 정교합니다

원격 주소, 수신 포트, 데이터 그램 크기와 다른 것들 아마도 이것을 내 예제에 붙여 넣을 것입니다 그러나 그것이 더 많은 종류의 것들과 함께 작동하는지 궁금합니다 방금 말한 단순화 된 기본 OscP5 객체 이것과 특정 포트 그러나 나는 이것을 필요로한다

방송 위치가 필요합니다 왜냐하면 런웨이에게 메시지를 보내야합니다 연결되어 있거나 연결이 끊어졌습니다 여기에는 두 가지가 있습니다 프로세싱 소프트웨어가 있습니다

그리고 Runway 소프트웨어가 있습니다 둘 다 내 컴퓨터에서 로컬로 실행 중입니다 이제 다른 시나리오에서 클라우드 GPU도 포함될 수 있습니다 활주로는 메시지를주고받습니다 그리고 이것은 내가 가고있는 것입니다 다음 예제에서해야 할 일 StyleGAN이라는 이름으로 Runway가 클라우드 GPU 와도 대화하도록하겠습니다

그러나 여기서 일어나지 않습니다 PoseNet은 실제로 내부에서 실행되고 있습니다 기본적으로 Runway 자체에 로컬로 래핑됩니다 PoseNet은 여기서 Runway에서 로컬로 실행됩니다 처리 중이 connect와 같은 메시지를 보내는 중입니다

나도 정보를 듣고 싶어 그것은 일회성 메시지입니다 그런 다음 Runway는 OSC를 통해 지속적으로 데이터를 보냅니다 PoseNet으로 감지하는 포즈 처리 웹캠 입력에서 모델 그래서 내가 원한다면 아마도 방법을 알아낼 수있을 것입니다 카메라 입력을 처리로 가져 오려면 이미지를 활주로로 보내고 활주로 결과를 다시 보냅니다 하지만 런웨이는 카메라에 직접 연결할 수 있습니다 아주 간단하기 때문에 그렇게 할 수도 있습니다

그래서 여기에도 같은 것을 넣어야합니다 웹캠처럼 여기에 약간의 메모를하면 웹캠이 런웨이와 대화 중입니다 나는 또한 처리와 이야기 할 수 있습니다 처리 결과도 표시하려면 이것이이 특정 예에서 진행되고있는 것입니다 이 브로드 캐스트 위치를 만들고 싶습니다 네트 주소 개체입니다 여기에 넣어야합니다

그리고 내가하고 싶은 첫 번째 일은 연결 메시지를 보내면됩니다 복사해서 여기에 붙여넣고 연결이라고하겠습니다 처리를 시작할 때 내가하고있는 일은 connect 함수를 호출합니까? OSC 메시지를 작성합니다 모든 단일 OSC 메시지는 두 부분으로 구성됩니다 이 두 부분은 주소이며 보통 경로처럼 일종의 문자열로 표시됩니다

이것이 서버 / 연결임을 알 수 있습니다 그게 주소 야 아니면 거의 메시지처럼 생각할 수도 있습니다 내가 생각하는 방식으로 그런 다음 데이터 이 경우에는 실제로 주소 자체가 메시지이므로 데이터가 없습니다 이것은 매우 단순화 된 것입니다 이 연결 메시지가있는 곳입니다

연결 중입니다 메시지 이름, 주소, 거기에 있어야 할 유일한 것입니다 데이터가 없습니다 그러나 Runway가 데이터를 다시 보내면 데이터 또는 요점과 같은 메시지 이름을 갖습니다 또는 포즈, 그런 것

그리고 그것은 많은 양의 데이터와 함께 패키지 될 것입니다 모든 xy의 모든 위치와 같습니다 자, 이것을 실행하고 무슨 일이 일어나는지 봅시다 예, 꽤 좋습니다 오류가 없습니다

연결되었으므로 메시지를 듣고 싶습니다 그리고 그 방법은 OSC 이벤트라는 이벤트를 사용하는 것입니다 마우스 누르는 것과 비슷합니다 또는 키 누르기 또는 직렬 이벤트 또는 캡처 이벤트 이것은 매우 특별한 이름을 가진 Processing의 함수입니다 OSC 이벤트라고합니다

그리고 oscP5 라이브러리는 그 함수를 호출하는 것을 알고 있습니다 데이터가 들어올 때 붙여 넣기 만하면됩니다 그리고 여기에 넣겠습니다 그리고 제가하려고하는 것 – 이것을 보도록합시다 그것을 통과 한 OSC 이벤트가 있습니다 OSC 메시지 이 메시지를 메시지로 변경하겠습니다 메시지에 해당 데이터가 있다면 주소와 같습니다

기억? 주소에는 데이터가 있으며, 이것이 우리가 찾고있는 주소입니다 그렇지 않은 경우 여기서 나가십시오 그래서 들어오는 다른 메시지를 무시하고 싶습니다 그런 다음 내가하고 싶은 일은 데이터 자체를 얻는 것입니다 따라서 메시지의 데이터는 실제로 문자열로 제공됩니다

그러나 문자열은 JSON으로 형식이 지정됩니다 JavaScript 객체 표기법입니다 JSON이 무엇인지 모른다면 JSON이 무엇인지 설명하는 다른 비디오로 JSON은 JavaScript에서 정말 잘 작동합니다 그것으로 작업하는 것은 조금 어색합니다 처리가 Java이므로 처리 중입니다

기본적으로 JavaScript를 사용하지 않습니다 그러나 우리는 그것을 작동시킬 것입니다 메시지의 첫 번째 자체는 JSON 데이터의 큰 문자열이며 JSON입니다 Processing의 parseJSONObject로 파싱 할 수있는 객체 기능 그런 다음 콘솔에서 볼 수 있습니다

실제로 데이터를 가져 오는지 봅시다 아무것도 얻지 못했습니다 왜 그런지 궁금합니다 그리고 실제로 이유를 알고 있습니다 우선, 여기에 실마리가 있습니다

데이터 그램 소켓을 만들 수 없습니다 포트 5100은 이미 사용 중이기 때문에 그리고 나는 여기에 이상한 일이 있다는 것을 잊었다 OSC를 사용하여 둘 사이에서 통신하는 경우 별도의 컴퓨터, 같은 포트 번호를 사용할 수 있습니다 각 개별 컴퓨터에서 하나의 포트 번호 하지만 여기서 활주로에 데이터를 보낼 수 있어야합니다 특정 포트에서 처리로 데이터를 수신 같은 포트가 될 수없는 다른 포트에서 그렇지 않으면 충돌이 발생합니다 제가 방송하는 포트는 57100입니다

이것이 Runway에 나와 있습니다 하지만 메시지를 받고 싶은 실제 포트 57200입니다 그리고 Runway는 자동으로 100을 추가하는 것을 알고 있습니다 무대 뒤에서 그러나 이것은 Runway의 기본 설정입니다

데이터 수신을 위해 다른 포트가 필요합니다 내가 보내는 포트로 코드에서 의미하는 바를 보여 드리겠습니다 이것이 바로 활주로 포트 5757입니다 그것이 내가 방송하고 싶은 포트입니다

그리고 그것은 내 방송 위치의 일부입니다 그것이 내가 방송하는 곳입니다 그러나 메시지를 받고 싶은 곳은 실제로 57200입니다 이제 이것을 실행하면 실제로 메시지가 수신됩니다 하지만 새로운 오류가 있습니다

ArrayIndexOutOfBoundsException입니다 따라서 이것은 런웨이 데이터가 이 포즈를 모두 보내는 것은 실제로 상당히 큽니다 그리고 필요한 것은 더 많은 공간입니다 더 큰 패킷 크기가 필요합니다 그렇기 때문에 Runway 예제에서 이 여분의 OSC 속성이있었습니다 더 큰 데이터 그램 크기를 설정할 수있는 개체입니다

청취 포트는 57200입니다 기본적으로 OscP5를 사용하기 전에 이럴 필요는 없지만 난 복사하여 붙여 넣습니다 이걸 다시 여기에 넣고 이것을 속성으로 변경하겠습니다 저는 이제 모든 조각을 가지고 있다고 생각합니다 내가보아야 할 것은, 우리가 간다, 많은 것들

이것 좀 봐 자, 저는 확신을 가지고 정확하게 처리했습니다 점수– 왼쪽 발목이 보이지 않습니다 왼쪽 발목을 카메라로 볼 수 없기 때문입니다 그래서 그 신뢰 점수가 너무 낮은 이유입니다 위로 스크롤하고 오른쪽 귀를 좋아합시다 매우 높은 신뢰 점수와 x 및 ay를 얻었습니다

내 오른쪽 귀를 위해 이제 저는이 데이터를 실제로 사용할 수있는 시점에 있습니다 런웨이 예제로 돌아가서 여기에 매우 정교한 루프가 있음을 알 수 있습니다 JSON을 파싱하고 모든 다른 핵심 포인트에서 감지하는 모든 것의 모든 다른 위치 지금 훨씬 더 간단한 일을하려고합니다 나는 오른쪽 눈과 왼쪽 눈을 얻을 것입니다

우리가 알아낼 수 있는지 봅시다 우리가 이것에 접근 할 수있는 한 가지 방법은 이 데이터 변수를 전역 변수로 만들 수 있습니다 이 JSON 객체를 사용하겠습니다 저는 이것을 전역 변수로 만들 것입니다 데이터라고하겠습니다

그런 다음 드로우 루프에서 나는 단지 데이터가 널이 아닌 한 Java에 있다는 것을 잊었습니다 그냥 할 수있어 데이터는 Runway로부터 무언가를받을 때까지 null이됩니다 런웨이에서 무언가를 받자 마자 내가해야 할 일은이 JSON을 구문 분석하는 것입니다 조금 더 쉽게하기 위해 내가 한 일 방금 JSON을 가져 와서 인쇄합니다 프로세싱 콘솔에 그것을 JSON 파일에 붙여 넣었습니다

Visual Studio Code에서 볼 수있는 그래서 참조 할 것이 있습니다 그래서 나는 포즈라고 불리는 것을 얻어야한다는 것을 알고 있습니다 가장 먼저 원하는 것은 poses 배열입니다 프로세싱에서 정말 이상한 것 중 하나는 JSON을 사용하면 데이터가 있는지 여부를 지정해야합니다 보는 것은 JSON 객체 또는 JSON 배열입니다

그리고이 포즈 데이터는 표시된대로 배열입니다 이 대괄호로 JSONArray의 포즈가 같다고 말하겠습니다 datagetJSONArray 문자열 포즈 그런 다음 키 포인트 배열을 얻고 싶습니다

아, 둘 이상의 포즈가있을 수 있기 때문에 하지만 포즈가 하나만 있다고 가정하겠습니다 그런 다음 포즈입니다 그럼 요점은 배열이 동일한 posesget 0 이것이 배열의 첫 번째 요소입니다

이제 핵심 포인트라는 새로운 배열을 얻습니다 JSON 배열 요점을 얻습니다 좋은 소식은 런웨이 예제입니다 거기에이 모든 것이 포함되어 있습니다 제가 잘못하면 키 포인트 get element 0이라고 말할 수 없기 때문에 여기에 오류가 있습니다

요소 0은 무엇입니까? JSON 객체입니다 우리는 거기에 갈 이제 핵심 사항이 있습니다 첫 번째 JSON 객체에서 키 포인트라는 JSON 배열입니다 인덱스 0

그렇다면 무엇을 찾고 싶습니까? 이제 핵심 포인트 배열에 있습니다 이것은 요소 0입니다 내가 왼쪽을 알고 있었다면- 아, 이건 쉬워요 코, 왼쪽 눈, 오른쪽 눈을 봅시다 0, 1 및 2, 완벽합니다

그래서 JSONObject nose equals를 얻고 싶습니다 keypointsgetJSONObject 0 그리고 우리는이 중 세 가지를 할 것입니다 왼쪽 눈-나는 이것을 조금하고있다 활주로 예제와 다릅니다

그런 다음 오른쪽 눈 다음에 활주로를 예로 들어 보겠습니다 확실히, 나는 여기서 루프를 사용할 수 있습니다 코, 왼쪽 눈, 오른쪽 눈 그런 다음 입장을 취해야합니다 nosePos는 nos

getJSONObject와 같습니다 코만하면 돼 난 그냥 코를 할거야 여기서 더 간단하게 유지하십시오 외삽하여 알아낼 수 있습니다 왼쪽 눈과 오른쪽 눈을하는 방법- nosegetJSON 객체 위치 그리고 x는 이 코 위치를 호출합니다

코 위치는 x를 얻습니다 이것이 옳다는 것을 확신하십시오 그리고 y는 nosePositionget y와 같습니다 알았어, 내가 뭘 잘못 봤니? getFloat

다시 한번, 저는 Java에 있습니다 유형을 지정해야합니다 내가 모든 것을 올바르게했다면 첫 번째 포즈의 모든 요점을 얻었습니다 코에 대한 모든 데이터가있는 객체를 얻었습니다 그런 다음 해당 물체에서 코 위치를 뺀 다음 x 그리고 그 물체에서 y

휴 이제 2020 년에 타원 x라고 말하겠습니다 그리고 그것을 빨간 코로 만들어 봅시다 25500을 채 웁니다

이것을 실행시켜 봅시다 그리고 우리는 간다 나는 지금 코를 제어하고 있습니다 활주로에서 OSC 메시지 처리로 놀랄 만한

자, 이것으로이 비디오 튜토리얼을 마치겠습니다 확실히, 당신이하고 싶은 일 전체 골격을 참조하십시오 PoseNet을 효과적으로 사용하려면 카메라가 당신으로부터 약 6 피트 정도 떨어져 있기를 원합니다 백업하고 전체 양식을 볼 수 있도록 허용하려고합니다 당신은 또한 이미지를 전달하고 포즈를 취할 수 있습니다

이미지에서 할 수있는 일이 많이 있습니다 그리고 확실히, 나는 추천 할 것입니다 Runway GitHub 리포지토리의 예제를 확인하십시오 이것은 모두 통과하는 멋진 루프가 있습니다 다른 위치의

실제로이 작은 매핑도 그들 사이의 모든 연결이 무엇입니까 실제 골격 자체에 약간의 운동으로 오른쪽 눈과 왼쪽 눈을 갖기 위해 내가 한 일을 확장 할 수 있습니다 그러나 그럼에도 불구하고 Runway 예제 자체를 얻을 수 있습니다 그러나 이것은 어떻게 Runway 자체에서 찾을 수있는 특정 모델 채팅에 참여한 사람이 방금 밀도에 대해 묻고있었습니다 예를 들어 OSC를 통해 활주로에서 통신 할 수있는 자세 처리합니다 하지만 다른 많은 경우에는 웹 소켓이나 HTTP 연결을 사용하고 싶습니다 특히 작업중인 경우 의사 소통 JavaScript로 브라우저에서

다음 비디오에서하려고하는 것은 보고 싶다면 StyleGAN을 실행하여 무지개를 생성하십시오 이미지를 P5에 전달 브라우저 자체에서 렌더링합니다 그리고 대화에서 뉴스 속보, Damien SRSP는 동일한 포트에서 보내기 및 받기를 나타냅니다 기본적으로 OSC 패킷은 수신 및 전송되지 않습니다 보내거나 받아야 할 경우 동일한 포트로 같은 포트에서 어쩌면 내가 실제로 무언가를 할 수 있었을 것입니다 포트 번호와 함께

나도 몰라 나는 사람들이 의견에 그것에 대해 쓸 것이라고 확신합니다 그러나이 코드는 작동합니다 Runway GitHub 리포지토리의 코드가 작동합니다 너무 재밌어요 그걸 써

그것으로 무언가를 만드십시오 나에게 공유하십시오 프로세싱에 대한이 튜토리얼을 즐기 셨기를 바랍니다 활주로 및 로컬에서 실행되는 PoseNet 모델 컴퓨터에서 안녕

[철도 휘파람] [음악 재생]

Introduction to Runway: Machine Learning for Creators (Part 1)

[땡땡] 여보세요 새로운 튜토리얼 시리즈에 오신 것을 환영합니다 소프트웨어에 대한 코딩 트레인 활주로라고 런웨이 란? 런웨이와 땜장이 종류를 다운로드하고 설치하는 방법 주위에? 이것이이 특정 비디오에서 할 것입니다

런웨이는 내가 만든 것이 아닙니다 활주로는 회사, 새로운 회사에 의해 만들어집니다 활주로 자체 그리고 그것은 소프트웨어의 한 조각입니다 사용하고 무료로 다운로드 할 수 있습니다 무료로 사용할 수 있습니다

클라우드 GPU 크레딧이 필요한 측면이 있습니다 나중에 살펴 보겠습니다 그리고 무료 크레딧과 쿠폰 코드를 얻을 수 있습니다 이 비디오의 설명에서 찾을 수 있습니다 하지만 난 정말 당신과 이야기하고 싶어 그게 너무 흥분되어서 앞으로 사용할 계획입니다 미래의 많은 튜토리얼과 코딩 문제, 그리고 교육 내가 할 일

그리고 나는 또한 내가 회사 활주로 자체의 고문입니다 그래서 저는 그 능력에 관여하고 있습니다 괜찮아 런웨이 란? 바로 여기에는 광고 소재에 대한 머신 러닝이 있습니다 인공 지능의 힘을 가져 오십시오 직관적이고 간단한 방법으로 창의적인 프로젝트에 시각적 인 인터페이스

오늘 새로운 제작 방법을 탐색하십시오 이것이 나에게있어 활주로의 핵심입니다 저는 창의적인 코더 인 사람입니다 처리 및 P5JS 작업 중입니다 다른 소프트웨어를 사용하고있을 수 있습니다

그것은 단지 상용 소프트웨어, 코딩 환경입니다 당신은 당신의 자신의 소프트웨어를 작성하고 있습니다 그리고 당신은 최근의 진보를 활용하고 싶습니다 기계 학습에서 이 모델에 대해 읽었습니다 이 모델에 대한이 YouTube 비디오를 보았습니다

당신은 당신의 일에 그것을 사용할 수 있습니까? 글쎄, 활주로 전에 당신이 한 일 중 하나 GitHub 리포지토리로가는 길을 찾으십시오 이 매우 긴 ReadMe를 좋아했습니다 설치 및 구성해야 할 다양한 종속성 그런 다음이 파일을 다운로드하여 설치 한 다음 이 라이브러리를 빌드하십시오 그리고 당신은 정말 오랫동안 거기에 갇힐 수 있습니다 따라서 Runway는 하나의 소프트웨어로 구성됩니다 기본적으로 머신 러닝을 실행하는 인터페이스 당신을위한 모델, 설치 및 구성 다른 일을하지 않아도 Install이라는 버튼을 누릅니다

그리고 그것은 당신에게 그 모델들을 가지고 놀 수있는 인터페이스를 제공합니다 해당 모델을 실험 한 다음 브로드 캐스트 이러한 모델의 결과를 다른 소프트웨어에 적용합니다 그리고 당신은 다양한 방법이 있습니다 HTTP 요청을 통해 방송을 할 수 있습니다 OSC 메시지를 통해 그리고이 모든 것이 말이되지 않을 수도 있습니다 당신에게, 그것은 완전히 괜찮습니다 나는 그들을 통해 찌르고 당신을 보여줄 것입니다 적어도 당신을 보여주기 위해 그들이 어떻게 작동하는지 활주로와 처리 방법 Runway와 P5JS를 페어링하는 방법, 그리고 다른 많은 예제가있는 곳을 보여 드리겠습니다 다른 플랫폼으로 할 수있는 것들과 같은 것들

첫 번째 단계는 여기를 클릭하는 것입니다 런웨이 베타 다운로드에서 자동으로 다운로드를 시작합니다 Mac OS, Windows 또는 Linux 용 실제로 Runway를 이미 다운로드하여 설치했습니다 이 단계를 건너 뛰겠습니다 실제로는 이제 소프트웨어를 실행하십시오 아 이제 런웨이에 오신 것을 환영합니다

시작하려면 로그인하세요 승인 이미 계정이 있다면 당신은 당신의 계정으로 로그인 할 수 있습니다 이미 계정이 있습니다 하지만 저는 새로운 것을 만들려고합니다

과정을 따르십시오 그래서 나는 여기에 갈 것입니다 계정을 만드십시오 이메일 주소를 입력하겠습니다 daniel@thecodingtrain

com에게 아무에게도 말하지 마십시오 그런 다음 사용자 이름과 비밀번호를 만들겠습니다 매우 강력한 비밀번호를 입력 했으므로 다음을 클릭하겠습니다 다니엘 쉬프 먼은 코딩 기차 계정을 만드십시오

아 인증 코드를 제공합니다 daniel@thecodingtraincom으로 계정이 생성되었으며 시작을 클릭 할 수 있습니다 일단 다운로드하고 Runway를 설치하고 가입하면 계정으로 로그인 한 경우 이 화면이 나타납니다 런웨이를 오랫동안 사용했다면 그런 다음 열린 작업 공간을 클릭하여 여기에 올 수 있습니다

작업 공간은 수집 방법이기 때문에 당신이 다른 모델의 무리 특정 프로젝트에 작업 공간으로 사용하고 싶습니다 그러나 우리는 그 어떤 것도하지 않았습니다 제가 가장 먼저 할 일은 모델 찾아보기를 클릭하기 만하면됩니다 그래서 당신이 제안하는 첫 번째 일은 그냥 모델을 클릭하고 무엇을 참조하십시오 Runway 인터페이스 자체에서 게임을 할 수 있습니다 런웨이에서 정말 멋진 것 중 하나가 탐색 할 수있는 소프트웨어 및 인터페이스 모델을 실험하여 작동 방식을 이해하고 그것이 잘하는 것, 잘하지 않는 것, 시작하기 전에 무엇을 하는가 자신의 소프트웨어 나 프로젝트로 가져옵니다

저는이 스페이드 코코 모델을 고를 것입니다 전에 보았다 이것은 매우 합법적입니다 나는 그것을 클릭했을 때 어떤 일이 일어날 지 전혀 모른다 이제 여기에 더 많은 정보가 있습니다 모델에 대해

모델이 무엇을하는지 알 수 있습니까? 스케치와 낙서에서 사실적인 이미지를 생성합니다 모델에 대한 자세한 정보를 찾을 수 있습니다 예를 들어,이 모델을 설명하는 논문입니다 "공간적으로 적응하는 시맨틱 이미지 합성 COCO-Stuff 데이터 세트에 대한 정규화 " 누군가가 물었을 때 이것은 초보자를위한 튜토리얼이라는 것을 기억하십시오 글쎄, 당신이 초보자라는 점에서 초보자를위한 것입니다

여기 와서 놀 수 있습니다 하지만 논문을 찾으려면 아주 깊이 갈 수 있습니다 메모를 읽고 이해 이 모델에 대한 자세한 내용, 모델 작성 방법, 어떤 데이터를 훈련 받았는지 항상 당신이있을 때마다 물어 매우 중요한 질문 기계 학습 모델을 사용합니다 여기에 귀속이있는 것을 볼 수 있습니다 이것이 모델을 훈련시킨 조직입니다 이들은 논문의 저자입니다

크기가 만들어 졌을 때 CPU 및 GPU가 지원되는 경우 갤러리 아래로 갈 수도 있습니다 그리고 우리는 생성 된 일부 이미지 만 볼 수 있습니다 아이디어를 얻을 수 있습니다 이것은 무언가를 테마로 한 모델입니다

이미지 분할이라고합니다 여기에 이미지가 있습니다 이미지 세분화는 무엇을 의미합니까? 이 이미지는 여러 조각으로 나뉘어져 있습니다 다른 세그먼트의 이러한 세그먼트는 색상으로 표시됩니다

보라색 부분, 분홍색 부분이 있습니다 연한 녹색 세그먼트 그리고이 색상들은 모델의 레이블과 연결되어 있습니다 본질적으로, 그것은 일종의 일에 대해 알고 있습니다 그 영역에 그릴 수 있습니다

따라서 이미지 분할을 두 가지 방법으로 수행 할 수 있습니다 내 이미지처럼 기존 이미지를 가져올 수 있습니다 오, 나는 그것을 분류하려고합니다 여기가 내 머리입니다 여기가 내 손입니다

여기가 내 손입니다 또는 정렬별로 이미지를 생성 할 수 있습니다 빈 이미지에 그리기, 여기에 손을 넣어 말하는 여기 머리를 올려 이것이 바로 이미지 분할입니다 적어도 내가 이해하는 방식입니다 내가 지금까지 무엇을 했습니까? Runway를 다운로드했습니다

나는 모델을 찔렀습니다 그리고 방금 하나를 클릭했습니다 이제 그 모델을 사용하고 싶습니다 나는 그것을 가지고 놀고 싶다 나는 그것을보고 싶다

여기 작업 공간에 추가로갑니다 바로 여기에 있습니다 작업 공간에 추가하십시오 이제는 아직 작업 공간이 없습니다 그래서 하나를 만들어야합니다

이 작업 공간을 호출하겠습니다 코딩 기차 라이브 스트림을 말하겠습니다 그래서 저는 그렇게 할 것입니다 Create를 누르겠습니다 이제 작업 공간이 있습니다

보시다시피, 이것은 내 작업 공간입니다 이 작업 공간에 하나의 모델 만 추가했습니다 그리고 지금 당장해야 할 일을 강조하고 있습니다 입력 소스를 선택해야합니다 따라서 모든 기계 학습 모델이 다릅니다

그들 중 일부는 텍스트 입력을 기대합니다 그들 중 일부는 이미지 입력을 기대합니다 그들 중 일부는 입력을 기대할 수 있습니다 스프레드 시트에서 임의의 과학 데이터 그런 다음 모델은 입력을 받아 실행합니다

모델을 통해 출력합니다 그리고 그 출력은 숫자 일 수 있습니다 또는 이미지 일 수도 있습니다 또는 더 많은 텍스트 일 ​​수 있습니다 이제 우리는 사례별로 일종의 공간에 있습니다

그러나 이미지 분할을 올바르게 이해하면 나는 입력과 출력을 확신한다 둘 다 이미지가 될 것입니다 작은 다이어그램을 만들어 봅시다 우리는 이것을 가지고 있습니다 이 모델은 다시 무엇을 불렀습니까? 스페이드 코코 이 머신 러닝 모델이 있습니다

아마도 여기에는 신경망 아키텍처가 있습니다 어쩌면 컨볼 루션 레이어가있을 수도 있습니다 이것은 우리가 그 논문을 읽고 싶을 것입니다 자세한 내용을 알아보십시오 런웨이는 우리가 그것을 즉시 사용할 수있게 해줄 것입니다

그리고 나는 항상 추천합니다 사용 방법에 대해 자세히 알아 보려면 이에 대해 자세히 읽어보십시오 여기 내 가정은 내가 만들고 싶은 소프트웨어에 있습니다 소프트웨어의 그림 조각을 만들고 싶습니다 사용자가 이미지를 분할 할 수 있습니다 아마 당신은 내가 일종의 추첨을 할 것이라고 상상할 수 있습니다 한 가지 색입니다 다른 색의 마커를 사용할 수 있습니다

이 이미지를 무리로 채울 것입니다 다른 색상 그런 다음 모델에이를 공급할 것입니다 그리고 밖으로 이미지가 올 것이다 우리는 입력했습니다

그리고 우리는 출력했습니다 그리고 다시, 이것은 모든 모델마다 다를 것입니다 활주로에서 선택할 수 있습니다 그럼에도 불구하고 많은 규칙이 있습니다 많은 모델들이 이미지를 기대합니다 입력 및 출력 이미지로 그들 중 일부는 텍스트를 입력으로 기대하고 이미지를 출력합니다

또는 입력 및 출력 텍스트로 이미지 등등 그리고 등등 그리고 지금하고 싶은 것은 입력 소스를 선택하는 것입니다 모델의 활주로에서 세그먼트 화 된 이미지를 생성 할 것입니다

그래서 그것은 파일에서 올 수 있습니다 실제로 네트워크 연결에서 올 수 있습니다 앞으로의 비디오에 들어가서 또는 스스로 탐색 할 수 있습니다 난 그냥 세분화를 선택합니다 알아

이것은 가장 위대한 것입니다 방금 일어난 일은 이미지 분할입니다 머신 러닝 모델의 일반적인 기능입니다 활주로에 전체 드로잉 엔진이 내장되어 있으므로 이미지 세분화로 놀 수 있습니다 보시다시피, 이것은 다른 라벨의 색상입니다 많은 교통 수단 인 것 같습니다

어쩌면 내가 원하는 것은 시도하자 사람들을 그려 봅시다 [음악 재생] 비행기와 와인 글라스 비행 오버 헤드와 두 사람 승인 일은 잘되고 있니? 이제 출력을 선택하겠습니다 그리고 나는 단지 미리보기를 원합니다

권리? 미리보기는 지금 내 보내지 않아도됩니다 다른 곳에서는 사용할 필요가 없습니다 난 그냥 Runway 자체에서 놀고 싶습니다 미리보기를하겠습니다 이제 입력을 선택했습니다

세그먼트입니다 활주로 자체의 인터페이스 출력을 선택했습니다 미리보기입니다 이제 모델을 실행할 차례입니다

우리가 간다 원격으로 실행하십시오 따라서 원격 GPU가 활성화되었습니다 가입 만하면 볼 수 있습니다 Runway의 경우 원격 GPU 크레딧 10 달러 한 번만 얼마나 실행하는지 보는 것이 재미있을 것입니다 실제로 사용합니다

한 가지만 말씀 드리겠습니다 추가 크레딧을 받고 싶은데 여기로 갈 수 있습니다 이것은 내 프로필의 일종의 아이콘과 같습니다 클릭 할 수 있습니다 이제 여기로갑니다

더 많은 크레딧 받기로갑니다 그리고 이것은 나를 브라우저 페이지로 데려 갈 것입니다 그리고 더 많은 크레딧을 지불 할 수있었습니다 하지만 여기를 클릭하겠습니다 CODINGTRAIN을 말하여 크레딧을 사용하겠습니다

바로 여기에 따라서 10 달러의 크레딧을 추가로 받으려면 당신은 이것을 할 수 있습니다 그리고 우리는 지금 20 달러의 크레딧이 있어야한다는 것을 알 수 있습니다 여기이 아이콘이 표시되어 있습니다 여기이 아이콘은 작업 공간입니다

그 중 하나의 모델로 하나만 가지고 있습니다 원격 GPU에 연결되어 있습니다 다른 모델을보고 싶다면 이 아이콘으로갑니다 괜찮아 이제 원격 실행을 누르겠습니다

[드럼 롤] 모델을 원격으로 실행 우와! [TA-DA] 어머 아 너무 예뻐요 무아 믿을 수 없어 이것이 바로 스페이드 코코 머신 러닝입니다 모델 생성

여기서 결과를 보는 것은 정말 흥미 롭습니다 그래서 당신은 생각할 수, 아무것도 몰라 이 모델에 대해, 작동 방식과 기대하는 것, 당신은 그것으로 꽤 이상한 결과를 얻을 수 있습니다 아마도 내가 좀 더 사려 깊다면 아마도 전체 공간을 가득 채우고 아마 너무 많이 비워두고 또한 두 사람과 함께 거대한 와인 잔을 포함 시켰습니다 좀 소름 끼치 네요 비록 이런 종류의 저와 비슷하다고 생각합니다 이상한 방식으로 그리고 우리는 여기서 볼 수 있습니다

이것 좀봐 $ 005 제가 언급해야 할 것은 이유입니다 왜 오랜 시간이 걸 렸어요 서버와 실제로 시작할 모든 것 모델을 실행합니다 하지만 이제 실시간으로 실행되므로 훨씬 빨리 일어날 수 있습니다 작성해 봅시다

그렇다면 그것을 채우는 것이 좋은 것입니까? 바닥재를 사용해 봅시다 나무 바닥으로 채우도록하겠습니다 오 우와 그런 다음 과일을 넣으십시오 아 이것은 지금 훨씬 나아 보입니다 옆에 오렌지를 넣자

오렌지 몇 개를 넣고 작은 과일 그릇을 만들어 봅시다 와우 이건 미친 짓이야 와우 나는 멈춰야했다 꽤 놀랍습니다

다시 한 번, 여기 잠시 후 방법에 대해 조금 더 생각하는 이 모델은 실제로 작동합니다 그리고 잘 알려진 데이터 세트를 살펴보면 코코 이미지 데이터 세트가 아마 나에게 더 많은 정보를 줄거야 그것이 잘 될 일에 대해 생각합니다 그러나 당신은 그것이 어떻게 볼 수 있는지 볼 수 있습니다 여기 나무 배경에 과일의 작은 더미 거의 천처럼 보입니다

마치 테이블 위에 앉아있는 것처럼 말입니다 매우 현실적입니다 그리고 그렇습니다 찰리 잉글랜드는 지적합니다 이것은 GPU 크레딧을 계속 사용하고 있습니다

그래도 여전히 볼 수 있습니다 라이브 페인팅을 많이해도 방금 $ 010을 사용했습니다 무료 $ 10로 많은 것을 할 수 있습니다 그냥 놀면서

현명하게 입력하면, 여기에서 분할을 선택했습니다 그러나 파일을 사용할 수도 있습니다 컴퓨터에서 파일을 열려면 나는 그렇게 할 수 있었다 그런 다음 내보내기로 변경하면 출력 나는 또한 실제로 그것을 내보낼 수 있습니다 다양한 형식으로 하지만 물론 여기서도 바로 미리보기에서이 다운로드 저장 버튼을 클릭 할 수 있습니다

이제이 특정 이미지를 영원히 더 많이 저장하고 있습니다 파일로 자, 여기서 실제로 중요한 것은 여기서 더 중요한 것은 네트워크 아래입니다 네트워크에서 여기를 클릭하고 싶었다면 이것은 이제이 특정 기계와 통신 할 수 있다는 것을 의미합니다 내 소프트웨어에서 학습 모델 내가 다운로드했거나 구매 한 소프트웨어인지 여부 다른 사람이 말한 것을 이러한 특정 프로토콜 중 하나 또는 내가 쓰고있는 자체 소프트웨어 거의 모든 프로그래밍 언어 또는 환경 프레임 워크, 모듈 또는 라이브러리가있는 경우 또는 이러한 유형의 프로토콜을 지원하십시오 여기 JavaScript의 좋은 점 중 하나는 JavaScript를 클릭하면 실제로 여기에 약간의 코드가 있음을 알 수 있습니다

실제로 자바 스크립트에 복사 / 붙여 넣기 만하면됩니다 직접 다시 올게요 OSC는 또한 매우 인기있는 메시징 네트워크 프로토콜입니다 창조적 인 코더를 위해 Open Sound Control의 약자이며 응용 프로그램간에 데이터를 보내야합니다

별도의 동영상으로 다시 돌아오겠습니다 이 중 일부가 어떻게 작동하는지 보여줍니다 또한 귀하의 Runway 소프트웨어에 대해서도 언급해야합니다 자체는 소프트웨어와 매우 유사한 방식으로 작동합니다 익숙한 Wekinator라고합니다 Wekinator는 Rebecca Fiebrink가 만든 소프트웨어입니다 몇 년 전에 OSC 메시징을 통해 데이터가 전송되는 신경망 그리고 사실 후에 그 결과를 얻습니다 비록 여기서 중요한 차이점은 런웨이라고 생각합니다

정말 큰 보물을 지원하도록 설정되어 있습니다 사전 훈련 된 모델 Wekinator는 신경망 교육에 더 많은 반면 작은 비트의 데이터로 즉석에서 런웨이가 계획하고있는 것 중 하나는 아마 9 월에 나올 것입니다 자신의 모델을 훈련시키는 기능도 있습니다 이번 런웨이 소개를 시청 해 주셔서 감사합니다 다운로드 및 설치의 기본 사항 소프트웨어, 높은 수준의 관점에서 볼 때 인터페이스 작업의 특징, 무료 클라우드를 얻는 방법 크레딧 그리고 내가 당신에게 제안하는 것은 이 비디오가 다운로드 된 후 소프트웨어를 실행 한 후 이 모델 찾아보기 페이지로 이동하십시오

보시다시피, 다양한 모델이 있습니다 모션, 생성, 커뮤니티, 텍스트, 인식 여기를 클릭하십시오 이 인식을 시도해 봅시다 얼굴 인식 조밀 한 캡

여기 PoseNet은 어디에 있습니까? 동작이 어려울 수 있습니까? DensePose PoseNet 여기 PoseNet이라는 모델이 있습니다 한 명 이상의 사람에 대한 실시간 골격 추적을 수행합니다 이 모델을 다른 라이브러리에서 다루었습니다 TensorFlow JS가있는 ML5 JS 라이브러리와 같습니다

다음 비디오에서하려고하는 것은 내 웹캠으로 Runway에서이 모델 PoseNet을 사용하고 있습니까? 이 컴퓨터에서 로컬로 실행 클라우드 크레딧을 요구하지 않고 이 모델의 결과를 [? 처리?] 자체 전체 워크 플로우를 보여 드리겠습니다 그러나 찌르십시오 주위를 클릭하십시오 원하는 모델을 찾으십시오

의견에 대해 알려주십시오 당신이 만든 이미지를 공유하십시오 그리고 난 당신이 활주로로 무엇을보고 기대합니다 큰 시청 해 주셔서 감사합니다

[음악 재생]

Machine Learning – Part 4 – Sky Isolation & Extraction – Flame 2020.1

모두들, 화염 학습 채널 허가 Flame 2020

1 업데이트로 기계 학습의 또 다른 유형은 Flame 제품에 도입되었습니다 그래서 기계 학습 시리즈의 4 부에서 한 번에 하늘을 추출하는 법을 배웁니다 그래서 화염은 이미지를 볼 수 있습니다 그리고 기계 학습을 사용하여

그 이미지의 어떤 부분이 하늘을 구성하는지 확인하십시오 그 추출을 사용할 수 있습니다 선택적 또는 복합체의 일부로 예를 들어 하늘을 채점하고 싶을 수도 있습니다 또는 하늘을 대체 할 수도 있습니다

두 가지 예제를 통해 실행 해 보겠습니다 좀 더 세세한 부분에 대해 토론하십시오 동영상이 진행됨에 따라 따라오고 싶다면 YouTube 설명을 통해 미디어를 다운로드하십시오

또는 현재 표시된 링크를 사용하십시오 그러니 사인의 첫 번째 클립을 가져 가세요 시퀀스로 엽니 다

세그먼트 선택 그리고 Effects Environment로 전환하십시오 하늘 추출을 설명하기 위해

2-up view를 사용할 수 있습니다 왼쪽에있는 매니저와 함께 결과보기는 오른쪽에 있습니다 이제 하늘 추출 워크 플로우

타임 라인에서 똑같을거야 배치 및 BatchFX 첫 번째 단계는 매니저에서 선택을 선택하는 것입니다

Flame이 비슷한 분석 기법을 사용하더라도 z- 깊이 및 법선 추출을위한 이 경우 3D 데이터를 생성하지 않습니다 하늘 추출은 중요한 기능입니다 3D AOV와 반대입니다 그 말로는, Selective의 Keyer 섹션에서 이제 유형을 다이아몬드에서 의미 론적으로 변경할 수 있습니다

이를 통해 기계 학습을 통한 상황 별 분석이 가능합니다 분석은 SKY로 설정됩니다 그리고 네가해야 할 일은

ACTIVE입니까? 결과가 문맥 식별에 의한 세분화이기 때문에 선택 도구가 키잉 도구에서이 작업을 수행 중입니다 따라서 추가 객체 또는 맵이 필요하지 않습니다 관리자의 선택 객체에 추가됩니다

그러나 선택 개체는 섬네일에 매트를 표시합니다 뷰어에서 선택적 매트를 보려면 결과 뷰어 위로 마우스를 이동하면

선택적 뷰어로 F9 키를 누릅니다 따라서이 매트는 기계 학습을 통해 생성되었습니다 이는 이미지의 색상이나 휘도를 키잉하는 것과 동일하지 않습니다

F1으로 원본 이미지보기 하늘이 흐린 것을 볼 수 있습니다 그리고 색상이나 휘도에는 균등성이 없습니다 F9를 사용하여 Selective 뷰어로 돌아 오는 중 하늘이 확인되었습니다 그리고 총에서 추출했습니다 네가 가진 유일한 조정은

임계 값 분석의 관심 영역 임계 값으로 증가 또는 감소 할 수 있습니다 반투명 영역 내의 흑백 양입니다

이것은보다 깨끗한 분리를 달성하는 데 도움이 될 수 있습니다 그러나 나무, 잎 및 전선과 같은 세부 사항은 약간의 문제가 발생할 수 있습니다 다른 발전기와 비슷합니다 다른 샷으로 시도해야합니다 이것이 워크 플로우에 어떻게 적용될 수 있는지 파악하게됩니다 팁으로

F9를 다시 토글 할 수 있습니다 그리고 선택적 뷰어는 선택 입력으로 전환합니다 격리가 컬러 오버레이로 표시됩니다 모든 선택 컨트롤은 여전히이보기에서 작동합니다

그리고 수축, 팽창도 할 수 있습니다 선택 프로세스의 출력을 포스트 프로세스로 흐리게 처리합니다 일단 하늘 격리를 만들었 으면

F4를 사용하여 결과보기로 다시 전환 할 수 있습니다 SelectiveFX를 하늘에 적용하십시오 그래서 MasterGrade를 사용하면 리프트, 감마 및 오프셋으로 게임을 즐길 수 있습니다

그리고 하늘을 따뜻하게 만드려면 색을 칠하십시오 시간대를 닦으면 하늘 분석은 각 프레임에 대해 생성 된 것을 볼 수 있습니다 이것이 바로 Machine Learning에서 하늘 추출을 사용하는 방법입니다 이제 두 번째 예제를 살펴 보겠습니다 간단한 하늘 교체를 수행합니다 BatchFX 또는 Batch에서이 작업을 수행하는 것이 좋습니다 타임 라인보기로 돌아 가기 ESCAPE를 누르거나 화면 가장자리를 스 와이프하면 릴을 표시합니다

"해변"클립 선택 시퀀스로 엽니 다 세그먼트 선택

그리고 FX 버튼을 사용하면 BatchFX 만들기 노드 사이에 공간을 확보하십시오 이제 하늘 추출 기계 학습에 액세스 할 수 있습니다

이미지 또는 작업 노드에서 하지만 Matchbox 노드로도 사용할 수 있습니다 어느 것이 단순히 매트를 생산합니다 따라서 Matchbox 노드를 Batch 노드 bin에서 드래그하십시오 그리고 SHIFT를 누른 상태에서 flowgraph에 드롭하십시오 브라우저에서 "ML_SKY_EXTRACTION"셰이더를 찾습니다 노드를 선택하고 결과보기로 F4를 누르면 AI가 자동으로 하늘을 감지합니다 이 매트를 추출합니다 F1과 F4 사이를 전환하여 전후를 볼 수 있습니다

이제 조정할 수있는 유일한 컨트롤은 임계 값입니다 이렇게하면 미세한 부분을 약간 조정할 수 있습니다 마지막으로이 매트는 해변의 전경을 합성하는 데 사용됩니다 하늘 보충 위에 INVERT 버튼을 클릭하십시오 그리고 이것은 당신에게 마지막 매트를 줄 것입니다 이제 BatchFX 회로도로 돌아가십시오 그리고 DESK 노드를 사용하면 릴에서 "하늘"클립을 가져옵니다

이제 B 합성물보다 A를 수행합니다 하지만 액션 3D 컴포 지터에서도이 작업을 수행 할 수 있습니다 더 복잡한 워크 플로우의 경우

이 경우 결과는 동일합니다 노드 저장소에서 Comp 노드를 드래그하십시오 해변 클립을 빨간색 입력에 연결하십시오 Matchbox 노드의 첫 번째 BLUE 입력으로의 출력 다음으로 "하늘"클립을 녹색 배경 입력에 연결하십시오

마지막으로 Comp 노드의 출력을 연결하십시오 BFX 출력 노드로 전송합니다 Comp 노드 선택 결과보기로 F4 키를 누릅니다 그래서 그것은 무광택으로 하늘 격리를 추출하는 워크 플로우입니다 그리고 하늘 보충으로 아주 기본적인 합성물을 수행하십시오

모든 기계 학습 동영상에서 언급했듯이 당신이 얻은 결과는 인공 지능 모델이 훈련 된 방식을 기반으로합니다 그리고 희망적으로 이것은 계속 발전 할 것입니다

Flame 제품의 향후 릴리스에서 완벽하게하기 위해 약간의 추가 작업이 필요할 수 있습니다 그러나 추출물의 대부분은 발전기에 의해 처리되었습니다 다른 기능, 워크 플로우를 확인하는 것을 잊지 마세요

Flame 20201 업데이트의 향상된 기능 의견, 피드백 및 제안은 언제나 환영하며 감사하겠습니다

향후 비디오를 위해 Flame Learning Channel에 가입하십시오 보고 주셔서 감사합니다

What Is Machine Learning (Supervised Learning) – Part 1

인공 지능, 기계 학습 – 최근에이 단어들이 사용되었습니다 동의어로 – 그러나 그들이 있어야합니까? 이 세 번째 비디오 우리의 인공 지능 시리즈 이 기계의 목적은 학습 시리즈, 나는 그 대답을 추구 할 것이다

질문, 그래서 앉아서, 긴장을 풀고, 나와 함께해라 분야에 대한 탐험에 기계 학습! 질문에 답하기 위해 이 비디오의 시작 부분에서 제기 된 먼저 이해를 얻을 필요가있다 기계 학습이란 무엇인가? 기계 학습은 엄청난 주제이며, 많은 필드가 그것을 채택하고 및 / 또는 그리고이 채택률은 증가 이러한 필드에는 자연 언어 처리, 컴퓨터 비전, 전산 생물학 및 로봇 – 단지 몇 가지 목록 지금 정의하기 학습하는 기계는 무엇입니까, 우선 저희에게 알려주십시오

정의, 학습은 무엇입니까 인간으로서 우리는 두 가지 기본 학습 방식이 있습니다 1) 선언적 지식, 즉, 암기, 축적 개별 사실 그리고, 2) 명령 적 지식, 즉 일반화, 능력을 오래 전부터 추론 할 수있는 능력 사리 이 두 가지 모드의 확장 컴퓨팅 분야에서, 기계 학습 그때 어떤 알고리즘입니다 미래의 결과를 예측할 수있는 과거 데이터

아서 사무엘이 인용 한 것처럼 1959 년, 컴퓨팅의 개척자 인 '기계 학습'이라는 용어는 '자기 학습'프로그램 체커, 기계 학습은 " 컴퓨터에 능력을주는 연구 명시 적으로 배우지 않고 배우기 프로그래밍 "할 수 있습니다 과거 데이터의 새로운 데이터를 추론하지 않습니다 반드시 새로운 아이디어, 실제로, 큰 통계 분야의 일부는 이것에 전념했다 그러한 알고리즘 중 하나는 통계는 회귀 분석으로 알려져 있습니다 1800 년대 초반부터 주변에 있었다

회귀 분석에서 목표는 관계를 수학적으로 측정한다 변수들 사이에 선 – 가장 적합하다고 생각하는 라인을 사용하여 예측 서로 이걸 보자 예, 시청 시간 데이터 및 참여, 좋아요 및 댓글, 무작위 샘플 YouTube 동영상 이제 데이터를 통해 선을 그립니다 트렌드를 볼 수있는 곳, 시계가 커지는 곳 시간은 증가와 상관 관계가있다

약혼 시연의 관점에서 연역 시간, 주어진 시간 우리의 라인 – 오브 – 베스트 – 우리가 레벨을 예측할 수있는 적합성 그것과 그 반대도 마찬가지입니다 현재 우리 모델은 다른 사용을 통한 출력 변수 회귀, 어떤 유형의 정렬 알려진 데이터 분류 문제로 이것을 보려면, 이제 예제를 확장 해 보겠습니다 시청 시간 및 참여도 추적 동영상을 선택하면 동영상을 추천합니다

다른 단어들, 우리는 YouTube의 변수 값 알고리즘은 비디오를 추천하기 위해 사용합니다 같이 당신은 볼 수 있습니다, 우리의 원래 데이터 포인트 이제 레이블이 주어 졌 읍니다 레이블이 지정된 데이터라고합니다 데이터 한 번 레이블이 지정되었으므로 이제 진행할 수 있습니다 의 출력 라벨을 분류 할 때 입력 변수에 기초한 데이터

비슷한 회귀의 경우, 우리는 우리를 위로 갈라 지도록 선을 그 으라 결정 공간,이 라인은 의사 결정 경계라고합니다 ~에서 안구 관점, 그려 보자 경계 : 시청 시간이 80 % 이상인 경우 의 동영상 재생 시간의 45 %가 동영상을 보는 사용자가 동영상을 본 다음 비디오가 권장됩니다 그렇지 않으면, 그건 그렇지 않을거야

이제 우리가 새로운 우리가 결정해야만하는 비디오 권장 사항 먼저, 우리는 변수 및 우리의 결정에 음모 공간; 이것을 레이블이없는 것으로합니다 데이터 결정 경계에 기반 우리 모델은 출력 레이블을 예측할 것이며, 이 경우 비디오를 사용하는 것이 좋습니다 만약 우리는 지금 우리가 나눈 것을 자세히보고 있습니다

데이터를 보면 86 개의 동영상이 제대로 분류되지 않은 권장되는대로 87 개가 권장됩니다 그러나 14 개의 비디오가 그들이 아니었을 때 추천 받고 13 살 때 권고하지 않았던 것처럼 이것은 우리 모델에 예측 적 정확도는 865 % 정확도 공식을 사용하여 계산 됨 올바른 모델의 총수 추측, 173, 모든 데이터로 나눠 짐 포인트, 200 또는 더 구체적으로 진정한 긍정의 합계, 87, 그리고 참 네거티브 86 개를 모두의 합계로 나눈 값 진실한 긍정, 참된 원판, 거짓 양성 반응, 14, 위음성, 13

이 행렬에서 볼 수있는 ~으로 사용되는 혼란 행렬로 기계의 성능 결정 학습 모델, 위양성은 모델이 예측 한 결과 속성이 있습니다이 경우 권고, 현실에서는 그렇지 않습니다 대조적으로 거짓 위 음성은 모델은 속성이 실제로는 실제로 존재하지 않는다 그곳에 우리의 현재 통보 분류 모델을 사용하면 산출 할 직선을 그리시오

100 % 정확도 결정 경계를 오른쪽으로 이동하십시오 참여율이 더 필요하고 우리는 비디오를 잘못 분류합니다 권장하지 않는 것이 좋습니다, 위음성 증가, 참여를 줄이기 위해 이동 Google은 동영상을 권장하지 않는 것이 좋습니다 위양성이 증가합니다

높은 곳에 우리가 곧 보게 될 것입니다 기계 학습 알고리즘은 모델 정확도를 극대화하십시오 자,이 예제 우리는 그냥 통과했습니다 기계 학습 알고리즘 참조 의사 결정 나무로 참고로이 '트리 기반', 즉 조건부 문장 기반 기계 학습 접근 방식은 전문가에게 많은 유사점을 제시합니다

시스템에서 이 시리즈의 이전 비디오 이것은 왜 전문가 시스템이 첫 번째 기계 학습 시스템 지금, 우리의 초점을 바꾼다 알고리즘을 활용하는 알고리즘 유형 다양한 접근법 나눌 조건문 결정 공간, 예를 들어, 경우 지원 벡터 기계 이제 우리가 분명히 다루지 않을 시간이야 다음과 같은 다양한 유형의 모델이 있습니다

이 비디오는 만족 스럽지만 호기심과 더 많은 것을 배울 수 있습니다 다른 제작자의 자원 빼앗을 요지 이 모든 모델에서 똑바로서야 할 필요는 없다 단어, 선형, a의 공식으로 모델링 라인, y = mx + b 그들은 할 수있다 이차, 다항식, 지수 등 이제, 우리의 이전 예제는 두 비디오 데이터 포인트를 분류하는 변수, 시청 시간과 참여

이제 뭐 우리가 다른 것을 추출 할 수 있다면 동영상의 속성을 추가하여 우리 모델의 다른 변수 동영상을 더 잘 분류하자 이 변수는 세션 시간입니다 사용자가 플랫폼에서 보낸 시간 당신의 비디오를보고 난 후에 글쎄, 2D 선은 이제 3D 평면이되어 우리의 의사 결정 공간을 3 차원으로 만듭니다 우리 두 변수의 경우 에서처럼 이러한 분류기는 똑바로 서서 곰팡이를 피울 수있다

데이터 포인트 주변 참고로, 진정으로 유용한 분류기는 라벨이 부착 된 많은 주와 겨루다 게다가 예를 들면 2 개 주, 권장 여부 권장하지만 이상적으로는 동영상과 같은 더 많은 정보 일주일, 한 달 등 권장됩니다 추가 변수 및 우리는 더 높은 상태로 계속 나아 간다

더 높은 차원 공간 빨리 손에서 벗어나기 시작하고있다 말 그대로 모델을 만드는 유일한 방법 보다 복잡한 실제 시스템 사용 이러한 알고리즘은 강력한 데이터 센터 컴퓨터 또는 GPU, 반복 계산에 탁월합니다 상상해 보라 시각화하고 초평면의 수작업으로 수학 1000 차원의 체계

그래서, 이것들을 밟은 후에 간단한 예와 다양한보기 기계 학습 모델은 기계이다 통계를 재 상표 화 한 것을 배우시겠습니까? 안에 감각, 예 그러나 훨씬 더 깊어집니다 그것보다 더 나은 시각화를 얻으려면 다양한 관계의 관계 들판에서 나는 이것들을 설명 할 것이다

거품 다이어그램 3 개의 주요 필드 이 다이어그램에서 인위적인 것입니다 인텔리전스, 빅 데이터 및 데이터 과학 계속하기 전에 부수적으로, 데이터 과학은 구성되어 있고 많은 것으로 구성되어있다 자기 자신의 필드들 수학, 통계 등 데이터의 의미를 파악하는 일차 목표 다른 말로하면, 데이터를 구조화합니다 를 위해 우리 다이어그램의 단순함을 위해서 데이터 과학 및 통계는 같은

큰 데이터, 데이터 과학 및 인공 지능 대다수의 기계가 어디에 있는가? 학습이 일어나고, 데이터 과학과 인공 지능의 교차점 우리의 사례가 발생한 곳입니다 그만큼 우리가 이걸 보았던 예들 비디오는 기계 학습의 하위 집합이며, 감독자라고 불리는 것 배우기 감독 학습은 우리가 우리 데이터에 대한 입력과 출력을 가지고있다 다른 단어, 분류 된, 구조화 된 데이터 및 우리는 모델을 극대화하기 위해 '훈련'해야합니다 그들의 예측 정확도

또한, 당신이 희망적으로 추측 할 수있는 것처럼 예를 들어 감독 학습은 다음과 같습니다 더 하위 섹션, 2 학습 모델의 기본 모드, 회귀 및 분류 회귀 분석 연속 출력을 예측하기위한 것입니다 다른 말로하면, 출력은 라인 – 모델의 가장 적합한 모델인지 여부 직선, 곡선 등이 될 수 있습니다 본질적으로 우리는 입력을 맵핑하려고 시도하고있다

변수를 연속 함수로 변환합니다 분류는 다른 한편으로는 이산 출력 예측 단어, 입력 변수 매핑 이산 카테고리 이것에 추가하려면, 많은 우리가 본 것과 같은 분류 모델 이전에 회귀 알고리즘 구현 게다가 그렇습니다 감독 학습은 다음과 같습니다

근본적으로 통계적인 수학 패턴 인식 문제, rebranded 그들은 기계 학습이기 때문에 우리가 반복하는 방식으로 적용된다 그들을 통해, 다른 말로하면, 기차 모델 예측 정확도를 높입니다 지금 감독 학습 만이 아닙니다 기계 학습의 하위 집합, 다음 이 연재 동영상에서 다루겠습니다 무 감독 학습 및 진행 앞으로 어떻게 모든 것을 깊이 배우는가? 이의 모든 것을 탐구하여 AI, 기계 사이의 오해 학습과 깊은 학습 – 그리고 오는 것 제기 된 질문에 대한 답변에 더 가깝다

이 비디오의 시작 부분! 그러나 이것은 당신이 배우기를 기다려야한다는 것을 의미하지는 않습니다 더! 더 자세히 알고 싶다면 기계 학습 및 나는 진짜로 배우는 것을 의미한다 이 알고리즘의 작동 방식 감독 된 방법론 회귀와 분류, 무 감독 학습 등 Brilliantorg는 여러분이 갈 수있는 곳입니다 예를 들어,이 과정에서 기계 학습, 그것은 우리가 모든 개념을 커버 이 비디오를 통해 진행되었습니다 이 채널의 주요 목표는 다양한 것에 대해 고무시키고 교육한다

기술 및 혁신 세상을 변화시키지 만 높은 수준은 한걸음 나아가 야한다 이 동영상 외에도 실제로 수학과 과학 학습 내가 토론하는 개념 너머 훌륭한 수학과 과학을 만들어이 일을한다 흥미 진진한 학습과 배양 호기심을 보여주는 다양한 사이의 상호 연관성 다른 주제! Singularity를 ​​지원하려면 번영과 자세한 정보 Brilliant, Brilliantorg/singularity로 이동하십시오

Brilliantorg/singularity와 무료 가입! 또한 처음 200 명이 해당 링크로 이동하면 20 % 할인됩니다 연간 프리미엄 가입 이 때 비디오가 결론에 도달했음을 지적하고, 나는 너를 데려 가서 고맙다 그것을 볼 시간! 당신이 그것을 즐긴다면 파트 레온에서 나를 돕는 것을 고려해 보라 이 채널을 계속 성장 시켜라

어떤 주제 제안이라도 남겨주세요 아래 코멘트에! 더 많은 콘텐츠를 구독하는 것을 고려하십시오 내 페이스 북 페이지처럼 한 입 크기의 콘텐츠 덩어리 이것은 가지고있다 Ankur, 너 지켜 봤어

특이점 번영과 나는 너를 볼거야 조만간 다시! [음악]

Machine Learning with ML.NET and Azure Functions: Part 2 | Azure Tips and Tricks

>> MLNET을 사용하여 서버리스 머신 학습을하는 법을 배우십시오

Azure 팁과 트릭의이 에피소드에서 Azure 기능 여기 Azure Cloud Shell에 있습니다 여기에서 실행할 Azure 함수를 만듭니다 꽃 유형을 예측하기 위해 MLNET으로 알고리즘을 학습하는 기계

이것은 컴퓨터 학습 모델을 사용합니다 우리는 이전 에피소드에서 만들었습니다 시작하기 위해 "ML NET Demo"라는 리소스 그룹을 만듭니다 다음으로 저장소 계정을 만듭니다 model

zip을 저장하려면이 파일이 필요합니다 함수가 사용할 파일 스토리지 계정에 고유 한 이름을 사용해야합니다 거기는 이제 Azure 함수를 만들겠습니다

다시 말하지만 Azure 기능에 고유 한 이름을 사용하십시오 거기는 괜찮아 Azure 포털로 전환합시다 여기 Azure 포털에서, Azure 스토리지에 기계 학습 모델을 업로드 할 것입니다

다음은 Azure 함수가 사용하는 저장소 계정입니다 형체에 가자 거기는 여기, 나는 만들거야 새로운 컨테이너와 저는 이것을 "모델"이라고 부를 것입니다

괜찮아 가자 이제 모델을 업로드해야합니다 Modelzip이 업로드됩니다

그게 전부 야 괜찮아 Visual Studio에 있습니다 우리는 Azure 함수를 만들 것입니다 시작하기 전에 Azure 기능 도구가 설치되었습니다

이미 데모 솔루션이 있습니다 모델 프로젝트와 함께 열어 라 이제 새 프로젝트를 추가하고 "Azure Functions"를 선택하십시오 "서버가없는 AI"라고 부를 것입니다 여기에서 "HTTP 트리거"를 선택하겠습니다

또한 스토리지 계정을 선택하겠습니다 찾아보기, 그것은 ML NET 데모 그룹에 있어야합니다 거기는 괜찮아 "좋아요", 함수를 생성합니다

괜찮아 몇 가지 더 첫째, NuGet 패키지를 받아야합니다 MLNET

그것을 찾아 보자 저기, "설치" 괜찮아 그게 그거야 다음으로 아일랜드어 데이터를 복사해야합니다

모델 프로젝트에서 함수에 대한 아일랜드어 예측 절 우리는 일을 참조 할 수도 있지만 이것은 데모에서 더 쉽습니다 괜찮아 이제 함수 코드입니다 이것이 내가 상자에서 꺼내는 것입니다 나는 이것을 이것으로 대체한다

이 기능은 HTTP 요청이며 Blob 바인딩이 있습니다 그러면 modelzip 파일이 생성됩니다 다음으로 MLNET이 작동하는지 확인합니다

MLNET에 포함되어 있기 때문에이 검사를합니다 64 비트 코드와 함수는 기본적으로 64 비트를 실행하지 않습니다 그런 다음 요청에있는 데이터를 읽습니다 여기에는 우리가 예측해야 할 꽃에 대한 데이터가 포함됩니다

그런 다음 기계 학습 모델을로드하고 그것은 데이터가 나타내는 홍채 꽃을 예측하는 것입니다 Azure에서 해보 죠 여기에서 마우스 오른쪽 버튼을 클릭하고 Azure로 푸시하려면 "게시"를 클릭하십시오 기존 함수를 선택하십시오 이 하나와 "게시"

거기에 간다 그것이 끝나면 나는 건너 뛸거야 여기 Azure 포털에 있습니다 Azure 기능은 Azure에 방금 게시되었습니다 거기는

우리가 MLNET과 함께 사용할 수 있기 전에, 우리는 응용 프로그램 설정을 변경해야합니다 MLNET을 실행하려면 64 비트에서 실행해야합니다 그게 전부 야

예측 함수를 살펴 보겠습니다 이제 테스트 창에서 테스트 할 수 있습니다 우리는 HTTP 게시물을 보내 그것을 보낼 것입니다 이 데이터는 홍채 꽃잎의 꽃잎과 꽃잎을 나타냅니다 우리는 거기에 갈 그게 전부 야

데이터를 가져 와서 그것이 속한 것으로 예측했습니다 버지니아 아이리스 꽃 쿨, 맞지? 기계 학습 알고리즘을 만드는 방법을 보았습니다 MLNET을 사용하고 Serverless Azure 함수에서 사용하십시오

이것은 서버리스 AI입니다

Machine Learning with ML.NET and Azure Functions: Part 1 | Azure Tips and Tricks

>> MLNET을 사용하여 서버리스 머신 학습을하는 방법을 배우고 Azure는 Azure Tips and Tricks의이 에피소드에서 작동합니다

우리는 MLNET 라이브러리로 애플리케이션을 구축 할 것입니다 우리는 유형을 식별 할 수 있어야합니다 아이리쉬 꽃은 우리가 먹는 데이터를 기반으로합니다 여기 우리는 Windows에서 일반적인 명령 프롬프트에 있습니다

닷넷 코어가 설치되어 있고 Azure 기능 도구도 있습니다 Azure 및 Net 코어를 활성화하여 이들을 설치할 수 있습니다 Visual Studio의 작업 부하 시작하자 먼저 데모라는 디렉토리를 만들고 거기에갑니다

이제 새로운 솔루션을 만듭니다 다음으로, 새로운 콘솔 애플리케이션을 생성하겠습니다 소위 모델이라고 불렀습니다 이제 모델 프로젝트를 솔루션에 추가하고, 모델 폴더로 이동합니다 모델 프로젝트는 기계 학습을 할 것입니다

기계 학습 모델을 만드는 훈련 그렇게하려면 MLNET이 필요합니다 그래서 MLNET에 NuGet 참조를 추가 할 것입니다

모든 패키지가 있는지 확인하기 위해, 나는 닷넷 복원을 할 것이다 자, 훈련 데이터를 위해, 먼저 데이터를위한 데이터 디렉토리를 만들고, 여기에서 데이터를 얻을 수 있습니다 이 URL에는 꽃잎에 관한 데이터가있는 데이터 파일이 포함되어 있습니다 sepal 크기 및 이것들이 속한 꽃 이걸 복사합시다

우리가 말하는 것에 대해 당신에게 더 좋은 아이디어를주기 위해서, 데이터는 꽃잎과 아일랜드 꽃의 꽃잎 홍채의 각 유형은 꽃잎과 sepals 괜찮아 Visual Studio 코드로 전환했습니다 방금 만든 솔루션을 열었습니다

다음은 "데이터"폴더입니다 여기에서는 새 파일을 만들어 irish-datatxt라고하고, 데이터를 붙여 넣습니다 그런 다음 데이터를 저장할 수있는 데이터 모델 클래스를 만들어야합니다 이것은 아일랜드 데이터 클래스입니다

그리고 이렇게 보입니다 데이터를 저장할 수있는 간단한 클래스입니다 또한 예측 데이터에 대한 클래스가 필요합니다 그래서, "New File", "IrishPrediction", 여기에 우리가 가서 이것을 붙여 넣을 것입니다 예측 레이블이 유지됩니다

마지막으로, 새 파일을 추가하고 "모델"이라고 부릅니다 이 클래스는 실제로 MLNET 코드를 포함합니다 훈련 데이터를 취하고 그것으로부터 기계 학습 모델을 생성한다 먼저 데이터를로드합니다

데이터 경로에서로드하는 텍스트 파일 다음으로,이 데이터를 분석하여 교육용으로 준비합니다 마지막으로 데이터를 사용하여 모델을 교육하고, 결과는 모델 파일에 기록됩니다 모델 경로 매개 변수에서 설정 한 경로 이제는 프로그램 클래스에서이 모든 것을 연결합니다 여기서 우리는 데이터의 경로를 설정합니다 모델을 저장해야하는 위치로 이동합니다

다음으로, 우리는 모델을 훈련시키고 그것을 테스트합니다 터미널 창에서 사용해 봅시다 먼저 모델 폴더로갑니다 자, dotnet 실행 모델, 그리고 거기에 간다 그것은 모델을 훈련시키고 그것을 테스트한다

여기 출력이 있습니다 시원한 다음은 modelzip 파일입니다 여기에는 기계 학습 모델이 들어 있습니다

MLNET은 매우 강력한 라이브러리입니다 C #으로 기계 학습을 할 수 있습니다 가서 확인해

Machine Learning – Part 3 – Human Face 3D Relighting – Flame 2020

모두들, 화염 학습 채널 허가 Machine Learning Series의 2 부에서

우리는 기계 학습을 계속 보았습니다 그리고 또 다른 발전기에 대해 논의했습니다 인간의 얼굴을 감지 할 수있는 그런 다음 깊이 맵이나 법선 맵을 추출합니다 3 부에서는 "얼굴 맵"생성기를 계속 사용합니다 그리고 그것이 사용될 수있는 몇 가지 다른 예를보세요 Action 3D 컴포 지터에서 3D 조명을 사용하는 것은 물론 인간의 얼굴을 다시 바라보기 위해서 따라오고 싶다면 제 2 부 끝에서 저장 한 설정을 다시로드하십시오 그리고 그것은 계속할 수있는 미디어와 노드를 갖게 될 것입니다 빠른 요약으로서

기계 학습 "얼굴지도"발전기 인간의 얼굴을 감지하도록 훈련 받았다 이전 예제에서 법선 맵이 Action의 서페이스에 적용되었습니다

그리고 "얼굴 분석"사용하기 불꽃이 얼굴의 법선을 결정했습니다 나는 또한 너에게 상기시키고 싶다 얼굴 인식이 제대로 작동하려면

눈, 코, 입을 볼 수 있어야합니다 이것은 기계 학습 모델이 훈련 된 방법입니다 이러한 구성 요소 중 하나라도 누락 된 경우

얼굴을 감지 할 수 없습니다 이걸로 옮겨서 3D 선택은 법선 맵을 사용하여 얼굴에 적용됩니다 그리고 이것은 어떤 그레이딩이나 룩 개발을 위해 이미지 고립을 만듭니다 지금이 시점까지 당신이 처리 한 모든 예제 가까이 다가왔다

그리고 이것들은 인간의 얼굴 탐지와 잘 작동합니다 그러나 배치로 돌아가는 중 그리고이 소스 클립을 보면 상황은 조금 다릅니다

여기에 우리는 모델의 긴 장면을 가지고 있습니다 그리고 그 총의 끝으로 승무원 중 한 명이 프레임에 들어갑니다 ALT + 2를 사용하여 제공된 Action 노드로 이동하십시오 그리고 우리는 어떻게 될지 살펴볼 것입니다 시간의 이익을 위해

법선지도 분석이 이미 이미지에 적용되었습니다 그리고 MasterGrade를 사용하는 선택이 있습니다 법선 맵과 이미지 격리를위한 Gmask 조합 이것을 처음부터 어떻게하는지보고 싶다면

이 시리즈의 제 2 부를보십시오 이제 Manager에서 법선 맵을 확장하면 그리고 컨트롤을 위해 그것을 선택하십시오 그것은 "얼굴 분석"으로 설정됩니다

다른 예제와 마찬가지입니다 그러나 결과보기 위로 마우스를 가져 가면 선택한 법선 객체 뷰어에 대해 F8 키를 누릅니다 프레임에서 얼굴을 감지 할 수 없다는 것을 알 수 있습니다

이것은 기계 학습 때문입니다 전체 프레임을 사용하여 얼굴을 감지하고 있습니다 F4를 사용하여 결과보기를 보는 중

얼굴은 프레임의 작은 부분 만 차지합니다 설상가상으로 프레임에 얼굴이 여러 개있을 수도 있습니다 너는 영향을 미치고 싶지 않을지도 모른다

얼굴에 법선 맵 생성기를 집중 시키려면 당신은 그것을 제약해야합니다 F8을 사용하여 법선지도 객체 뷰어로 다시 전환

분석 메뉴로 전환하십시오 다음으로 "관심 지역"을 활성화하십시오 조절 상자 사용하기

모델의 얼굴을 감싸도록 축소하십시오 결과보기와 객체 뷰어간에 전환 할 수 있습니다 대략적인 견적을 제공합니다 시간대를 닦으면 분석이 업데이트되어 관심 영역 만 사용됩니다 더 집중된 지역 더 정확한 얼굴이 될 것입니다

깊이 맵 및 법선 맵용 상자에 애니메이션을 적용 할 수 있습니다 그러나 이는 모션 벡터 맵에는 적용되지 않습니다 시간을두고 앞서 나가는 중 관리자에서 선택을 선택하면 F8을 사용하여 객체 뷰어를 표시합니다 3D selective이 법선 맵을 사용하는 방법을 볼 수 있습니다 그리고 그것은 얼굴 주위에 Gmask로 제한됩니다

선택을 다시 선택하면 선택적 3D AOV 컨트롤로 이동할 수 있습니다 그리고 얼굴의 조명 방향을 조정하십시오 F4를 누르고 컨트롤을 다시 조정하면 샷의 컨텍스트에서 얼굴이 어떻게 다시 켜지는지 확인할 수 있습니다 그래서 이것은 다양한 작업에 적합합니다 그리고 모든 그레이딩 또는 VFX를 통해 선택 사항을 제공합니다

결과에 영향을 미친다 그러나 이것은 2D 처리 파이프 라인입니다 즉, 픽셀 기반 쉐이더 효과를 적용하는 중입니다

하나의 이미지에 직접 표시됩니다 3D 액션 합성 환경을 이용하려면 이미지를 재 릴레이하는 3D 조명뿐만 아니라 당신은 사물을 약간 다르게합니다

그래서 배치로 돌아가십시오 그리고 Batch Schematic에서 최종 클립을 선택하십시오 여기에서 3D 조명을 사용하여 얼굴을 더 정확하게 다시 조명합니다

배치 노드 bin으로 이동 작업 노드를 드래그합니다 CONTROL + N이있는 미디어 노드 만들기

소스 클립을 빨간색 전면 입력에 연결하십시오 작업 노드 선택 ALT + 2를 눌러 2면보기를 표시하십시오 이제 초기에 얼굴 인식 프로세스는 동일합니다 매니저에서 표면 선택 문맥 메뉴를 통해 법선 매핑을 적용합니다 자료 확장 그리고 컨트롤을위한 법선 맵을 선택하십시오 법선 모드를 MEDIA INPUT 에서 변경하십시오 분석을하기

결과보기를 가리키면 F8을 사용하여 Normals Object 뷰어로 전환 할 수 있습니다 이 경우 얼굴 인식이 잘 작동했습니다

그리고 제약 조건도 필요하지 않습니다 F4를 사용하여 결과보기로 돌아갑니다 이제이 시점에서 Action 노드 bin으로 갔다면

그리고 빛을 3D 합성물로 끌어 왔습니다 법선이 얼굴을 다시 바라 보는 모습을 볼 수 있습니다 정말로 시원한 방법으로 당신은 다른 창조적 인 아이디어를 위해 이것을 사용할 수 있습니다

그러나 이상적으로는 나머지 부분을 놓치고 있습니다 이 문제를 해결하려면 주변 광원으로 빛을 사용합니다 그리고 다시 조명을위한 두 번째 빛을 추가하십시오

주변 광이 먼저 와야한다는 것을 기억하십시오 재 점등을위한 다른 조명 전에 그래서이 조명의 객체 메뉴로 전환하십시오 그리고 타입을 Ambient로 변경하십시오 다음으로 음영을 0 %로 설정하십시오 그래서이 빛은 표면의 원래 픽셀 값을 다시 가져옵니다 추가 쉐이딩없이 카메라 뒤에있는이 빛을 Z 공간으로 밀어 낼 수 있습니다

그런 다음 3D 합성물에 두 번째 빛을 추가하십시오 이 빛은 이제 그들의 법선을 기반으로 얼굴을 다시 조명하고 있습니다 이제 이런 종류의 쓸모있는 그러나 픽셀 값은 빛의 각도 만 해석합니다 그리고 그들의 육체적 입장을 고려하고 있지 않습니다 3D 합성의 관점에서 다시 말해서, 픽셀은 3D 공간에서의 위치를 ​​모릅니다 따라서이 작업을 올바르게 수행하려면 표면에 FACE DEPTH MAP을 생성해야합니다 Manager에서 서페이스 선택 문맥 메뉴를 사용하면 Z- 깊이 맵을 추가하십시오 미디어 입력을 FACE ANALYSIS로 변경하십시오

그래서 Z-depth 패스가 생성됩니다 그리고 원할 경우 Object 뷰어에서이를 볼 수 있습니다 이제 결과 뷰어를보고

Z 심도 패스는 아무 것도하지 않는 것처럼 보입니다 3D 공간에서 VERTICES를 바꾸려면 Flame에게 알려야하기 때문입니다 Z-depth 패스를 기반으로합니다 깊이 전달이 실제로 무엇을하는지 보여주기 위해 3D 공간에서 카메라에서 멀리 빛을 밀어 빛은 그녀의 얼굴에 빛나는 진짜 빛처럼 행동합니다 그리고 배우의 얼굴까지의 거리에 따라 조명을 현지화 할 수 있습니다 예를 들어, 빛의 확산을 줄일 수 있습니다 그리고 회전의 비트와 함께 그것을 재배치 그녀의 얼굴의 위쪽 절반 만 밝게합니다 조명 프로필 컨트롤로 전환하는 중

빛의 가장자리를 부드럽게 할 수 있습니다 그래서 빛을 움직일 수 있습니다 현실적인 행동을 취하십시오

이미지 표면에 3D 선택 물을 사용하는 것은 불가능합니다 이것을 더 창조적으로 취하십시오 조명을 통해 효과를 투사 할 수 있습니다

라이트 박스 쉐이더 사용 Manager에서 두 번째 빛을 선택하십시오 문맥 메뉴를 불러옵니다 라이트 박스 추가를 선택하십시오 Noise3D를 선택하십시오 그래서 소음의 효과는 빛을 통해 투사됩니다

그리고 그녀의 얼굴에 마치 특정 필터가있는 위치에 빛이있는 것처럼 Lightbox의 관점에서 더 재미있는 내용 셰이더 메뉴로 간다면

그리고 셰이더를 바꾸기로 선택하십시오 LINEAR GRADE라는 새로운 라이트 박스가 있습니다 이 쉐이더는 MasterGrade와 일치하는 선형 그레이딩 기능을 제공합니다 그러나 3D 조명을 통해 투사됩니다

그래서 이것은 염두에 두어야 할 것입니다 3D 합성물 내에서 장면 선형 소재를 다시 배치하는 경우 마지막으로 Machine Learning Series의 2 부에서 등급 매기기 및 개발 방법을 배웠습니다 2D 이미지에서 3D 선택 사용

이 비디오에서, 당신은 똑같은 일을하는 법을 배웠습니다 그러나 3D 합성 환경에서 3D 조명을 사용합니다 그래서 그것들은 두 개의 분리 된 프로세스와 파이프 라인입니다

그러나 두 가지를 결합하는 것을 막을 수있는 방법은 없습니다 채점 및 촬영 전개를 완벽하게 제어 할 수 있습니다 이미 3D 재 연결을 완료하셨습니다 표면 선택

문맥 메뉴를 불러옵니다 MasterGrade에 Selective를 추가하도록 선택하십시오 기본 이익을 빨간색으로 밀어 넣으십시오

그런 다음 톤 메뉴로 전환하십시오 그림자를 버리십시오 하이라이트를 따라 가면서 대비로 재생하려면

이것은 전체 이미지에 영향을줍니다 그리고 그 위에 조명이 투영됩니다 선택을 그녀의 얼굴로만 제한하려면

열쇠를 가릴 수도 있고 가릴 수도 있습니다 근데 얼굴 법선이 있으니 얼굴 깊이 맵은 물론 둘 중 하나를 선택할 수 있습니다

3D AOV로 전환 그리고 풀다운 메뉴를 클릭하십시오 Range, Distance, Near / Far는 Depth Map을 사용합니다

노멀은 노멀 패스를 사용합니다 얼굴 깊이 패스로 결과를 봅시다 따라서 거리 유형으로 전환하십시오 매니저에서 Selective를 선택하면 선택적 개체보기로 F8 키를 누릅니다 금액 증가 깊이에 따라 얼굴을 격리 할 수 ​​있습니다

그리고 이득을 증가시킬 수 있습니다 더 많은 강도로 이미지에 영향을 주도록하십시오 F4를 사용하여 결과보기를 보면 Manager에서 선택 기능을 켜고 끌 수 있습니다

그리고 선택 작품이 어떻게 작동하는지 볼 수 있습니다 3D relighting과 연계하여 나는 또한 Selective를 약간 흐리게 만들 것이다 조금 더 섞어서 사용하도록 도와줍니다 대신에 Normals 맵으로 Selective를 시도하려면

Selective Object 뷰어로 다시 전환하십시오 Type을 Normals로 변경하십시오 이제 조명 방향을 조정할 수 있습니다 격리를 조정할 값 중 하나를 선택합니다

F4를 사용하여 결과 뷰어로 전환하면 선택 사항을 계속 조정할 수 있습니다 그리고 법선지도가 어떻게 보이는지보십시오 얼굴의 음영을 조절할 수 있습니다

다시 한번, 이것은 3D 조명과 결합됩니다 채점과 개발을 통해 당신에게 많은 통제력을 부여합니다 이제는 Machine Learning에 대한 시리즈를 마칩니다

우리는 당신이 기술을 사용하여 즐기시기 바랍니다 필요한 경우 나중에 비디오에 예제가 추가 될 것입니다 다른 기능, 워크 플로우를 확인하는 것을 잊지 마세요

Flame 2020의 향상된 기능 의견, 피드백 및 제안은 언제나 환영하며 감사하겠습니다 향후 비디오를 위해 Flame Learning Channel에 가입하십시오

보고 주셔서 감사합니다

Machine Learning – Part 1 – The Z-Depth Generator – Flame 2020

모두들, 화염 학습 채널 허가 Flame 2020의 출시로

새로운 기술의 전체 범위 Flame 제품에 통합되었습니다 이것은 기계 학습의 형태입니다 훈련 된 인공 지능을 사용하는

이미지 분석 및 다양한 데이터 계산 VFX 및 Look for development에 사용할 수 있습니다 그래서이 데이터를 사용하여 이미지의 일부분을 분리 할 수 ​​있습니다 3D 선택을 통해 채점 할 때

또는 Action에서 작업 할 때 2D 또는 3D 합성물을 더욱 향상시킬 수 있습니다 다양한 유스 케이스가 있습니다 그리고 우리는 꽤 많이 다룰 것입니다 Machine Learning Series에 더 많은 비디오가 추가됨에 따라 1 부에서는 Z 깊이 생성기에 대해 소개합니다

효과 환경 내에서 시퀀스로 작업 할 때 참고로이 기계 학습은 Batch 및 BatchFX에서도 사용할 수 있습니다 당신은 Matchbox 노드로 그것을 찾습니다

이미지 노드 내에서 액션 3D 컴포 지터에서도 마찬가지입니다 이 주제는 이후 비디오에서도 다루게 될 것입니다 따라오고 싶다면 아래 설명에서 링크를 클릭하십시오 zip 파일을 다운로드하십시오 또는 팟 캐스트를보고있는 경우

표시된 링크를 웹 브라우저에 입력하십시오 이제이 장면을 사용하여 컨텍스트를 설정해 보겠습니다 여기에 분명히 기분이 좋지 않은 캐릭터가 있습니다

그리고 이것을 시각적으로 강조하고 싶습니다 보기 개발을 통해 그래서 총이 선택되었는지 확인하십시오 그리고 Effects Environment로 전환하십시오

나는 또한 매니저를 사용하는 것이 좋습니다 이미지 도구 모음의 다양한 구성 요소를보고 상호 작용합니다 2-up view는 ALT + 2를 누르십시오

8을 눌러 Manager를 표시하십시오 이제 시간 바를 닦으면 이 장면은 주인공 앞으로 전달을 추적하고 있습니다 그를 더욱 슬프거나 아프게 보이게하기 위해서 그는 선택과 함께 배경에서 격리해야합니다 그에 따라 등급을 매겼습니다 Flame Products의 이전 버전에서는

당신은 선택을 선택할 것입니다 그런 다음 주제를 키 입력하거나 마스크를 제거하십시오 또는 두 가지 도구를 함께 사용하십시오 하지만 이제 3D 데이터를 사용할 수 있습니다 선택 컨트롤의 3D AOV를 통해 유일한 문제는 이것이 실제 액션 샷이라는 것입니다 그리고 당신이 위치에 대한 깊이 정보를 포착 할 수 없다면 이 상황에서 3D 선택 도구를 사용할 수 없다고 생각할 수 있습니다 이것이 바로 Z-depth Generator를 학습하는 Machine이 매우 유용 할 수있는 곳입니다 당신은 매니저에서 표면을 선택할 수 있습니다 문맥 메뉴를 사용하여 깊이 맵을 적용하십시오 그러나 훨씬 쉬운 방법 당신이 선택한 선택과 함께

Selective의 3D AOV 메뉴에서 CREATE MAP을 클릭하기 만하면됩니다 이미지를 분석하는 데 약간의 시간이 걸립니다 그리고 Z-Depth Map이 표면 오브젝트에 추가됩니다 이제 Z-Depth Map이 실제로하는 일을 빠르게 알아 보겠습니다 Z- 깊이 컨트롤을 선택하여 보면 Z-depth 맵은 GLOBAL ANALYSIS로 설정됩니다 이것은 Flame이 전체 사진을보고 있다는 것을 의미합니다 그리고 장면 내 깊이를 이해하고 계산하려고합니다 너는 이것을 볼 수있다 F8 키를 누르면 선택한 Z 심도 맵이 오브젝트 뷰어에 표시됩니다

이제 몇 가지 대체 옵션이 있습니다 Z-Depth 맵에 관해서 예를 들어, 풀다운 메뉴를 클릭하면 얼굴 분석 및 미디어 입력이 있습니다 "얼굴 분석"은 인간의 얼굴을 인식합니다 그리고 얼굴의 피사체 깊이를 계산합니다

법선 맵과 함께 작업 할 때 얼굴 특징을 재연합니다 나중에 비디오에서 살펴 보겠습니다 마지막으로 MEDIA INPUT 설정 외부 입력을 기대합니다 CGI에서 일하고 있다면 그리고 당신은 Z 깊이를 통과 시켰습니다

배치에서이 설정을 사용할 수 있습니다 이미지 노드 또는 작업 노드 중 하나를 사용하십시오 그래서 그것들은 당신의 세 가지 선택입니다 그러나 이런 유형의 예를 들어

GLOBAL ANALYSIS를 고수 할 것입니다 이제이 Z 깊이는 32 비트 데이터 패스입니다 기계 학습을 통해 생성 된 즉, Flame의 개발 과정에서 응용 프로그램은 다양한 시나리오의 전체 범위에 노출되었습니다

이제는 객체 간의 상대적 깊이를 결정할 수 있습니다 이것은 모두 기계 학습이 분석 한 내용을 기반으로합니다 Flame 2020 출시 이것은 결코 완벽한 것이 아닙니다 그러나 Machine Learning은 Flame의 개발로 계속 진화하고 있습니다 앞으로의 결과로 더 성공적 일 것입니다 이 기능은 실제적으로 종속적입니다

그리고 명심하십시오 세부적인 세부 사항을 추출하지는 않는다 Z-depth 제너레이터에 모든 샷을 줄 가치가 있습니다

하지만 여기에 몇 장의 장면을 고려한 슬라이드가 있습니다 깊이 분석이 어려울 수있는 곳 일반적으로 특정 요소가 있습니다

이는 촬영의 깊이를 계산하기가 어려울 수 있습니다 예를 들어, 매우 밝거나 너무 날카로운 하늘이있는 풍경이나 장면 무거운 모션 블러가있는 모든 샷은 샷 깊이를 결정하기 위해 구분할 수 없게 만듭니다

나이트 샷은 깊이 생성을위한 후보가 될 수 있습니다 조명과 플레어 링이 너무 압도적으로 통제되지 않는 한 지역이 매우 어두우면 분명히

깊이 인식을 얻지 못할 것입니다 마지막으로 극단적 인 클로즈업과 같은 과장된 샷 낮은 각도 또는 높은 각도 또는 그 장면의 구성에 지나치게 부 자연스러운 것이면

배경을 결정하기 어렵게 만듭니다 따라서 깊이 분석은 어려움을 겪을 것입니다 기계 학습이 더 똑똑 해지면 Flame의 이후 버전에서 변경 될 수 있습니다 둘째, 시스템 성능에 따라 그것은 Z – 깊이 분석을 캐시 할 수 있습니다 그러나 이것이 필수 요구 사항은 아닙니다 우리의 예를 다시

3D 선택기로 Z 깊이 생성을 사용합시다 F4를 사용하여 뷰어를 결과보기로 전환하십시오 Selective in Manager를 선택하고 확장하십시오 MasterGrade로 채점을 시작하면 전체 이미지가 영향을 받고 있습니다 그래서 나는 이미지를 흐리게 만들었습니다 그리고 그를 매우 황량 해 보이게하는 다른 조정을했습니다

전체 사진이 다르게 보입니다 그리고 주인공 뿐만이 아닙니다 심도 맵을 사용하여 이미지를 분할하려면

3D AOV 메뉴로 전환하십시오 현재 유형은 DISTANCE로 설정되어 있습니다 금액을 늘리면

이것은 3D 선택을 활성화 그리고 그 성적이 총에 영향을 미치고있는 것을 볼 수 있습니다 깊이 맵을 기반으로합니다 이것을 아주 명료하게하기 위해서

선택적 무광택 개체보기를 보려면 F8 키를 누릅니다 금액 조정 중 Z-Depth가 어떻게 사용되는지 볼 수 있습니다 Selective에 대한 격리를 계산합니다

모든 종류의 가을이 풀다운 메뉴를 통해 사용할 수도 있습니다 선택 유형을 "Near / Far"로 전환하면

이미지 분할을 분리하기 위해 값을 조정할 수 있습니다 근거리 및 원거리 평면을 수동으로 정의합니다 범위는 Z 깊이를 사용하는 또 다른 옵션입니다 그러나 그것은 3D 선택적 비디오에서 다루어 질 것입니다

뷰어 위로 마우스를 가져 가면 F4를 사용하여 결과보기로 전환 Selective가 백그라운드에서 캐릭터를 어떻게 고립 시켰는지 확인할 수 있습니다 이제 선택적 모습의 가장자리가 조금 거칠어집니다 그리고 이것은 Z-depth 패스로 작업 할 때 예상됩니다 모든 Z 깊이 패스는 바이너리 데이터입니다 그리고 이것은 반투명을 포함하지 않는다는 것을 의미합니다

그러나 선택적 게시물 처리를 통해 당신은 격리를 흐리게 할 수 있습니다 그것이 Z 깊이 분석에서 만들어 지더라도 결과를 토글하면 다음과 같이 볼 수 있습니다 그리고 선택적 무광택 개체 뷰어 시퀀스를 문질러 주면

꽤 좋아 보인다 그러나 주스 카톤은 선택적인 격리의 절반에 포함됩니다 당신은 영향을받은 캐릭터 만 원할뿐입니다 따라서 이미지를 세분화하기 위해 선택적 3D를 사용하더라도 당신은 또한 Gmask와 결합 할 수 있습니다 선택적으로 섹션을 추가하거나 제거 할 수 있습니다 Selective

를 통해 컨텍스트 메뉴를 불러옵니다 직사각형의 Gmask를 추가합니다 주스 카톤 위로 그려

그리고 그것은 Gmask 내에서 Z 깊이를 분리 할 것입니다 대신에 Gmask의 외부에 영향을 미치려면 컨트롤 메뉴로 전환 그리고 반전 된 Gmask를 선택하십시오

따라서 워크 플로우는 이전과 동일합니다 선택기 내에서 키어, 마스크 및 3D 데이터를 결합 할 때 마스크 선택

그리고 평면 트랙을 수행하십시오 이미지의 움직임에 맞추기 이 예제를 끝내려면 여러 선택기에서 동일한 Z 심도 분석을 사용할 수 있습니다

예를 들어, MasterGrade없이 다른 Selective를 Surface에 추가하십시오 파일 브라우저에서 목록을 스크롤하십시오 BLOOM SelectiveFX를 선택하십시오 임계 값을 줄이면 전체 이미지의 어두운 부분이 피어납니다 이것을 단지 배경으로 제한하려면

3D AOV 메뉴로 전환 그리고 Linear Linear Amount를 약 3으로 증가시킵니다 이것은 현재 전경에 영향을주고 있습니다 배경 대신에

그래서 렌더링을 INVERT 그리고 고립을 약 50 % 정도로 흐리게 만듭니다 이제 블룸 임계 값을 맛에 맞게 조정할 수 있습니다

둘째, 꽃 색깔을 바꾸십시오 그것 좀 더 일출 밖에 보이게 마지막으로 Output MasterGrade

를 선택하십시오 그리고 전반적인 결과를 빨간색으로 따뜻하게합니다 이제이게 당신의 식욕을 젖 혔을 것입니다

Flame 2020 제품에서 기계 학습을 시도해보십시오 이 비디오는 Effects Environment 내에 Z-depth generator만을 보여 줬습니다 하지만 Batch 및 BatchFX에서도 사용할 수 있습니다 다른 유스 케이스로 이어질 수 있습니다

다음 비디오에서는 다른 기계 학습 분석에 대해 배우게됩니다 그것은 특별히 인간의 얼굴을 인식하도록 설계되었습니다 그리고 노멀 맵을 생성합니다 이것은 인간의 얼굴 부분을 개선하고 다시 조명하는 데 사용할 수 있습니다 다른 기능, 워크 플로우를 확인하는 것을 잊지 마세요 Flame 2020의 향상된 기능 의견, 피드백 및 제안은 언제나 환영하며 감사하겠습니다 향후 비디오를 위해 Flame Learning Channel에 가입하십시오 보고 주셔서 감사합니다

Machine Learning – Part 2 – Detecting the Human Face – Flame 2020

모두들, 화염 학습 채널 허가 Machine Learning Series의 파트 1에서

당신은 기계 학습에 대한 간단한 소개를 받았습니다 뿐만 아니라 Z 깊이 생성기를 보여 어떤 장면에서 깊이있는 정보를 추출 할 수 있습니까? 그리고 Z-depth 패스를 생성합니다 이것은 다양한 작업에 사용될 수 있습니다

이전 예제에서 Z-depth generator는 Effects Environment와 함께 사용되었습니다 이미지의 일부분을 분할하려면 그리고 룩 개발 작업을 수행하십시오

이 시리즈의 2 부에서는 우리는 배치에서 Machine Learning을 계속 살펴볼 것입니다 뿐만 아니라 다른 발전기 인간의 얼굴을 감지 할 수있는

그리고 법선지도를 추출하십시오 이것은 얼굴 특징을 분리하고 향상시키는 데 사용할 수 있습니다 3D 선택기를 사용하여 룩 개발을 수행하든 또는 Action 3D 컴포 지터의 3D 조명

따라오고 싶다면 아래 설명에있는 링크를 사용하여 zip 파일을 다운로드하십시오 또는 링크가 화면에 표시됩니다 다음으로 MediaHub에 미디어를로드하십시오 제공된 배치 설정을로드합니다 이제는 배치에 관해서

기계 학습은 몇 개의 노드에서 가능합니다 첫째, Machine Learning 모델은 Matchbox GLSL 쉐이더 기술을 기반으로합니다 예를 들면

Matchbox 노드를 Batch 노드 bin 밖으로 끌 수 있습니다 배치 다이어그램에서이 소스 노드에 연결하십시오 브라우저가 시작되면 목록의 가운데로 스크롤하십시오

여기에 두 개의 쉐이더가 있습니다 하나는 "MLDepthMap"이라고합니다 다른 하나는 "MLFaceMaps"입니다

우리는 곧 얼굴지도에 올거야 그러나 Depth Map 쉐이더를 선택하십시오 결과를 보려면 F4 키를 누릅니다

이것은 같은 종류의 글로벌 깊이 맵을 생성합니다 당신은 1 부에서 보았습니다 그러나 이제 Matchbox 노드의 형태가되었습니다

그리고 이것을 합성 플로우 그래프의 일부로 사용할 수 있습니다 "ML Depth Map 노드"에는 컨트롤이 없습니다 이제 Batch로 돌아가서 다른 Matchbox 노드를로드하십시오

또한 동일한 소스 클립과 연결하십시오 브라우저에서 이번엔 "MLFaceMaps"쉐이더 찾기 그리고 그것을 선택하십시오

이 노드의 결과보기를 보면 화염은 이미지를 분석합니다 그리고 기본적으로 맵 출력은 사람 얼굴의 법선 맵을 생성합니다

재 연결 효과에 사용할 수 있습니다 하지만 우리가하기 전에 풀다운 메뉴를 살펴 본다면 주목할만한 가치가 있습니다 이 기계 학습 생성기는 또한 인간의 얼굴의 자외선지도를 만들 수 있습니다

인간의 얼굴을 중심으로 한 깊이 맵 그리고 마지막으로 UV Depth 패스 그러므로 그것이 "MLFaceMaps"라고 불리는 이유입니다 이러한 모든 데이터 패스는 다양한 방법으로 사용됩니다 Flame의 3D 처리 도구를 사용합니다 예를 들어, 출력을 깊이에 두십시오 그리고 배치로 돌아갈 수 있습니다

이제 노드 bin에서 "Depth of Field node"를 찾습니다 이것을 밖으로 끌어 내십시오 그리고 소스 클립을 앞면과 연결하십시오

그리고 얼굴 Z 깊이는 두 번째 입력으로 전달됩니다 노드를 선택하고 결과보기로 F4를 누르십시오 그래프를 확대하면

당신은 어떻게 z 깊이 입력을 볼 수 있습니다 샷을 분석하고 분류했습니다 Z- 깊이 오프셋을 늘려 데이터를 카메라에 더 가깝게 이동하십시오 그리고 Z 깊이 범위를 줄이십시오

더 많은 세분화를 통해 데이터를 확장하려면 얼굴에 초점을 유지하려면 초점 평면과 초점 범위를 조정하십시오 쉬운 조정을 위해 이미지의 표시기를 볼 수 있습니다 당신이 흐려질 때

생성 된 "인간의 얼굴"깊이가 어떻게 통과하는지 볼 수 있습니다 얼굴에 초점을 맞추고 샷에 영향을 미치고 있습니다 "ML 깊이 맵"에서 글로벌 분석을 사용한 경우

결과는 매우 다를 것입니다 그러나 어느 쪽이든 기계 학습 모델은 이러한 결과를 얻는데 없어서는 안될 부분입니다 이제 마술처럼 보일지도 그러나 이해하는 것이 중요합니다

Flame이 이러한 깊이 맵과 법선 맵을 만드는 방법 그래서 나는 단지 작은 시간을 가져 가고 싶다 이 새로운 신기술에 대해 이야기하기

첫째,이 결과는 정의 된 명령 목록을 기반으로하지 않습니다 이미지에서 특정 색상을 제거하는 것 또는 보이는 픽셀을 추적합니다 대신, 기계 학습은 이미지에 대해 "생각"해야합니다 그런 다음 깊이 맵 또는 법선 맵을 생성하십시오 그렇다면 기계 학습은 어떻게 생각합니까? 글쎄, 2020 년 화염 개발 중

알고리즘 집합 우리는 이것을 "기계 학습 모델"이라고 부릅니다 "데이터 세트"라고 불리는 많은 이미지가 공급되었습니다 그것이 무엇을보고 있는지 이해하기 위해서 결과를 산출합니다

이제 모델을 제공하는 것은 불가능합니다 가능한 모든 시나리오가 발생할 수 있습니다 그러나 더 많은 데이터 집합이 집중됩니다

더 정확한 결과의 더 좋은 가능성 얼굴 법선 매핑을 볼 때 이것을 볼 수 있습니다 매번 성공적인 세대를 보장하는 것은 불가능합니다

하지만 결국, 당신은 기계 학습의 강점과 약점을 배우게됩니다 그리고 그것이 가장 잘 작동하는 내용 일부 지침에 관해서는 우리는 현재 피하는 것이 좋습니다

흐린 하늘, 무거운 성운, 극심한 피사계 심도 익스트림 모션 블러 미친 카메라 앵글 그리고 야간 촬영은 피사계 심도가 진정으로 결정될 수 없습니다

이제 예제로 돌아가 보겠습니다 Machine Learning을 사용하여 사람의 얼굴을 감지합니다 이번에는 Normals Maps in Action을 생성하게 될 것입니다

선택기 또는 3D 조명으로 즉시 사용할 수 있습니다 작업 노드를 드래그하여 그리고 다음 소스 클립을 배경으로 연결하십시오 그리고 미디어 입력

2-up view는 ALT + 2를 누르십시오 그리고 메인 뷰포트를 결과보기로 설정하십시오 다른 바로 가기는 8 키보드 바로 가기가있는 관리자입니다 법선 맵을 생성하려면 두 가지 방법이 있습니다 선택의 유무에 관계없이 예를 들어, 3D 조명을 사용하는 경우

그리고 당신은 선택적인 것이 필요하지 않습니다 Manager의 표면 위에 문맥 메뉴를 불러오는 중 그리고 법선 맵을 추가하십시오 MEDIA INPUT과 FACE ANALYSIS 중에서 수동으로 선택하는 것이 좋습니다

당신은 다음 비디오에서 그것을 보게 될 것입니다 그러나 선택과 함께 생성 된 노멀 맵을 사용하려는 경우 더 쉬운 방법은 Selective first를 추가하는 것입니다

같은 문맥 메뉴를 사용합니다 다음으로 3D AOV 메뉴로 전환하십시오 유형을 NORMALS로 변경하십시오 MAP 작성을 누르십시오 Manager에서 자료를 확장하는 경우

표면에 할당 된 법선 맵을 볼 수 있습니다 Normal Map 컨트롤로 이동하면 이미 "얼굴 분석"을 수행하도록 설정되어 있습니다 두 가지 방법 중 하나를 사용하여 같은 지점으로 이동할 수 있습니다

그러나 하나는 다른 것보다 자동화되어 있습니다 개체 뷰어에 대해 F8 키를 눌러 법선을 표시합니다 그래서 법선을 생성하고 있습니다

외부 입력을 사용하는 대신 이제 분석 메뉴로 전환 할 수 있습니다 그리고 법선을 디스크에 캐시하십시오 스크럽에 캐시하지 않으려는 경우 성능은 일반적으로 빠를 것입니다

모션 벡터 데이터 캐싱보다 이제 나는 이미 언급했다 3D 선택기 중 하나를 사용하여 법선 맵을 사용할 수 있습니다 또는 VFX 및 Look Development 용 3D 조명

각 워크 플로의 개별 예제를 살펴 보겠습니다 따라서 이미 적용한 Selective로 시작 선택 사항을 선택하고 결과보기로 F4 키를 누르십시오

이 시점에서 약간의 채점을하면 전체 이미지에 영향을줍니다 선택 컨트롤에서

선택적 키어나 마스크를 만들 수 있습니다 그러나 3D AOV 메뉴를 클릭하면 3D 데이터를 사용하여 이미지의 일부분을 분리 할 수 ​​있습니다 유형을 NORMALS로 설정하면 ACTIVE를 클릭하십시오 노멀 맵은 이제 3D 선택을 제한합니다 이를 확인하려면 Manager에서 여전히 선택이 선택되어 있는지 확인하십시오 선택적 개체 뷰어에 대해 F8 키를 누릅니다 이 표현은 선택 영역에 의해 제한되는 영역을 보여줍니다

흰색은 전체 효과에 적용되고 검정색은 효과가 없습니다 위젯 조정을 시작할 때 당신은 당신의 조명이 위에서 오는 것인지 선택할 수 있습니다

얼굴의 왼쪽, 오른쪽 따라서 조명이 어디서 발생하는지 정확히 판단 할 수 있습니다 영향을받는 영역을 제한하기 위해 임계 값을 줄일 수도 있습니다

이득을 조정할뿐만 아니라 제한된 지역을 부양하기 위해 결과 뷰어에 대해 F4 키를 누르면 3D 선택 도구가 얼굴과 상호 작용하는 모습을 볼 수 있습니다

마치 빛이 실제로 촬영에서 빛나는 것처럼 위젯을 조정할 수도 있습니다 결과보기에서 결과 업데이트를 확인하십시오 이제는 너무 가혹한 것 같습니다 따라서 Selective Render 옵션을 사용하면 수축, 팽창 뿐만 아니라 선택의 출력을 흐리게합니다

이것은 재 점착에보다 자연스러운 모습을 줄 수 있습니다 마지막으로 선택 영역의 여러 구성 요소를 결합 할 수 있습니다 그래서 당신이 Gmask를 사용하여 선택을 제한하고 싶다면 그것은 아주 솔직합니다 Manager의 선택 메뉴에서 컨텍스트 메뉴 불러 오기 무료 Gmask를 추가하십시오

이제 마스크를 얼굴 주위에 그립니다 문맥 메뉴를 사용하여 그라데이션 점을 추가하십시오 마스크를 안쪽으로 부드럽게합니다

결과는 지금 매우 유용하게 보입니다 그리고 Manager에서 Selective를 선택하면 F8을 사용하여 Selective Object 뷰어로 전환 마스크가 어떻게 3D 선택의 출력을 제한하는지 볼 수 있습니다

이제 분명히이 마스크는 얼굴을 추적해야합니다 그래서 관리자의 선택과 Gmask를 확장하십시오 Gmask가 선택된 상태에서 축 추적 메뉴로 전환 모드를 평면으로 변경하십시오 선택된 Gmask 객체 뷰어에 대해 F8 키를 누릅니다

'자동 업데이트 참조'설정 그리고 트랙을 분석하십시오 그걸로 Manager에서 Selective를 선택할 수 있습니다

선택적 개체 뷰어에 대해 F8 키를 누릅니다 시간대를 닦으십시오 마스크가 추적되고 3D 선택과 결합 된 것을 볼 수 있습니다 결과 뷰어로 F4를 누르면 모양새가 어떻게 고정되고 얼굴에만 제한되는지 확인할 수 있습니다 언제든지 3D 선택 메뉴로 되돌아 갈 수 있습니다 결과에 대한 즉석 업데이트를위한 설정을 변경하십시오

이 시점에서 배치 설정을 반복하여 저장하십시오 그리고 다음 비디오에서이 작업을 계속할 것입니다 그래서 그것은 인간의 얼굴 탐지의 한 예입니다

플랫 이미지에 선택적 3D를 사용 하여 이제 기계 학습은 데이터 만 계산할 수 있습니다 그것이 무엇을 가르쳤는지에 따라 그래서 다음 비디오에서 닫기 업 이외의 샷으로 얼굴을 추출하는 방법을 배우게됩니다 또한 액션 컴포지트에서 3D 조명을 사용하는 방법을 배우게됩니다 생성 된 법선 맵을 사용하여 얼굴을 다시 배치합니다

제 3 부로 이동하십시오 다른 기능, 워크 플로우를 확인하는 것을 잊지 마세요 Flame 2020의 향상된 기능

의견, 피드백 및 제안은 언제나 환영하며 감사하겠습니다 향후 비디오를 위해 Flame Learning Channel에 가입하십시오 보고 주셔서 감사합니다

Introduction to Machine Learning, Part 4: Getting Started with Machine Learning

기계 학습은 처음부터 끝까지 좀처럼 외곬 줄 수는 없습니다 다른 아이디어와 접근을 시도 할 것입니다

오늘은 기계 학습의 흐름을 단계적으로 설명하고 그 과정에서 몇 가지 중요한 결정 사항에 초점을 맞추고 있습니다 모든 기계 학습 흐름은 3 개의 질문으로 시작합니다 어떤 종류의 데이터를 처리합니까? 거기에서 어떤 통찰력을 얻고 싶은가? 그리고 어디서 어떻게 그 통찰력이 적용되는지? 이 비디오의 예는 휴대 전화 상태 모니터링 응용 프로그램을 기반으로하고 있습니다 입력은 휴대 전화의 가속도계와 자이로 스코프의 센서 데이터로 구성되어 있으며, 응답은 "걷기" "서" "달리는" "계단 오르기 ''누워 '등의 활동입니다 이러한 활동을 식별하기위한 분류 모델을 훈련하기 위해 센서 데이터를 사용하고 싶습니다

그럼 어떻게 해 "피트니스 앱 '을 작동 할 수 있는지를 확인하기 위해 워크 플로의 각 부분을 순서대로 살펴 보겠습니다 그럼 먼저 전화의 센서 데이터에서 시작하자 텍스트 및 CSV 등의 플랫 파일 형식은 취급하기 쉽고, 데이터 가져 오기를 쉽게합니다 이번에는 그 모든 데이터를 MATLAB으로 가져 레이블이있는 각 세트를 계획하고 데이터의 내용을 파악합니다 데이터를 전처리하는 결손 데이터 또는 국외자를 찾습니다

이 경우 저주파의 중력 효과를 제거하기 위해 신호 처리 기술을 사용하는 것도 고려해 볼 수 있습니다 이 알고리즘은 전화 방향이 아니라 피사체의 움직임에 초점을 맞추는 데 도움이됩니다 마지막으로, 데이터를 두 세트로 나눕니다 테스트 데이터의 일부를 저장하고 나머지 모델의 구축에 사용합니다 특징 엔지니어링은 기계 학습의 가장 중요한 부분 중 하나입니다

원시 데이터를 기계 학습 알고리즘이 사용 가능한 정보로 변환합니다 활동량 계의 경우는 가속도 센서 데이터의 주파수 성분을 캡처하는 특징을 추출합니다 이러한 특징은 알고리즘이 저주파 인 '걷기'와 고주파 인 '달린다'를 구별하는 것을 도울 것입니다 선택한 특징 량을 포함하는 새 테이블을 만듭니다 당신이 얻을 수있는 특징의 수는 당신의 상상에 맡길 수 있습니다

그러나 다양한 종류의 데이터에 자주 사용되는 많은 방법이 있습니다 그럼 모델을 구축하고 학습합시다 기본적인 의사 결정 트리와 같은 간단한 것부터 시작하는 것은 좋은 생각입니다 왜냐하면 실행 속도가 빠르고 해석이 쉽기 때문입니다 그리고 그것이 얼마나 잘 작동하는지 이해하기 위해, 혼동 행렬을보고 있습니다

이렇게하면 모델에 의해 만들어진 분류와 실제 클래스 레이블을 비교합니다 이 혼동 행렬은 우리의 모델이 '춤'과 '달린다'를 구별하는 데 문제가 있음을 보여줍니다 의사 결정 나무는 이런 종류의 데이터에 대해 잘 작동하지 않을 가능성이 있습니다 다른 방법도 시도합니다 멀티 클래스 서포트 벡터 머신 또는 SVM을 시도해 보자

이 방법에서는 99 %의 정확도를 얻을 수 있고 이것은 큰 개선이다 모델을 반복하며 다양한 알고리즘을 시도하여 목표를 달성했지만, 이것은 항상 그렇게 쉬운 일이 아닙니다 만약 우리의 분류기가 "춤 '과'달린다 '를 확실하게 구별 할 수 있다면, 모델을 개선하기위한 다른 방법을 검토합니다 모델을 개선하려면 두 가지 방향에서 접근을 취할 수 있습니다 오버 적합을 피하기 위해 모델을 단순화하거나 정밀도를 향상시키기 위해 복잡성을 추가합니다

뛰어난 모델은 가장 예측력있는 기능 만 포함되어 있습니다 따라서 모델을 단순화하기 위해, 우선 특징 량의 수를 줄여보십시오 때로는 모델 자체를 축소하는 방법을 검토합니다 이렇게는 결정 나무에서 가지를 깍는 또는 앙상블에서 학습자를 제거합니다 그래도 우리의 모델이 '달리는'과 '춤'의 차이를 알 수없는 경우, 그것은 매우 일반화 된 것이 원인 일 가능성이 있습니다

모델을 미세 조정하기 위해 특징 량을 추가 할 수 있습니다 이번 앱 예제에서는 자이로 스코프는 활동중인 휴대 전화의 방향을 기록합니다 이 데이터는 다양한 활동에 고유의 특징을 제공 할 수 있습니다 예를 들어, "달리는"특유의 가속과 회전의 조합이 있을지도 모릅니다 이제 모델을 조정했기 때문에 전처리에서 확보 한 테스트 데이터와 비교하여 그 성능을 확인할 수 있습니다

이제 모델이 안정적으로 활동을 분류 할 수 있다면 모델을 휴대 전화로 옮겨 기록을 시작할 준비가되었습니다 이상에서 기계 학습의 예와 기계 학습에 대한 개요 비디오 시리즈를 종료합니다 자세한 내용은이 비디오 아래의 링크를 참조하십시오 다음 시리즈에서는 기능 공학 및 하이퍼 매개 변수 조정 등 기계 학습 관련 고급 주제에 대해 설명합니다