Introduction to Runway: Machine Learning for Creators (Part 1)

[땡땡] 여보세요 새로운 튜토리얼 시리즈에 오신 것을 환영합니다 소프트웨어에 대한 코딩 트레인 활주로라고 런웨이 란? 런웨이와 땜장이 종류를 다운로드하고 설치하는 방법 주위에? 이것이이 특정 비디오에서 할 것입니다

런웨이는 내가 만든 것이 아닙니다 활주로는 회사, 새로운 회사에 의해 만들어집니다 활주로 자체 그리고 그것은 소프트웨어의 한 조각입니다 사용하고 무료로 다운로드 할 수 있습니다 무료로 사용할 수 있습니다

클라우드 GPU 크레딧이 필요한 측면이 있습니다 나중에 살펴 보겠습니다 그리고 무료 크레딧과 쿠폰 코드를 얻을 수 있습니다 이 비디오의 설명에서 찾을 수 있습니다 하지만 난 정말 당신과 이야기하고 싶어 그게 너무 흥분되어서 앞으로 사용할 계획입니다 미래의 많은 튜토리얼과 코딩 문제, 그리고 교육 내가 할 일

그리고 나는 또한 내가 회사 활주로 자체의 고문입니다 그래서 저는 그 능력에 관여하고 있습니다 괜찮아 런웨이 란? 바로 여기에는 광고 소재에 대한 머신 러닝이 있습니다 인공 지능의 힘을 가져 오십시오 직관적이고 간단한 방법으로 창의적인 프로젝트에 시각적 인 인터페이스

오늘 새로운 제작 방법을 탐색하십시오 이것이 나에게있어 활주로의 핵심입니다 저는 창의적인 코더 인 사람입니다 처리 및 P5JS 작업 중입니다 다른 소프트웨어를 사용하고있을 수 있습니다

그것은 단지 상용 소프트웨어, 코딩 환경입니다 당신은 당신의 자신의 소프트웨어를 작성하고 있습니다 그리고 당신은 최근의 진보를 활용하고 싶습니다 기계 학습에서 이 모델에 대해 읽었습니다 이 모델에 대한이 YouTube 비디오를 보았습니다

당신은 당신의 일에 그것을 사용할 수 있습니까? 글쎄, 활주로 전에 당신이 한 일 중 하나 GitHub 리포지토리로가는 길을 찾으십시오 이 매우 긴 ReadMe를 좋아했습니다 설치 및 구성해야 할 다양한 종속성 그런 다음이 파일을 다운로드하여 설치 한 다음 이 라이브러리를 빌드하십시오 그리고 당신은 정말 오랫동안 거기에 갇힐 수 있습니다 따라서 Runway는 하나의 소프트웨어로 구성됩니다 기본적으로 머신 러닝을 실행하는 인터페이스 당신을위한 모델, 설치 및 구성 다른 일을하지 않아도 Install이라는 버튼을 누릅니다

그리고 그것은 당신에게 그 모델들을 가지고 놀 수있는 인터페이스를 제공합니다 해당 모델을 실험 한 다음 브로드 캐스트 이러한 모델의 결과를 다른 소프트웨어에 적용합니다 그리고 당신은 다양한 방법이 있습니다 HTTP 요청을 통해 방송을 할 수 있습니다 OSC 메시지를 통해 그리고이 모든 것이 말이되지 않을 수도 있습니다 당신에게, 그것은 완전히 괜찮습니다 나는 그들을 통해 찌르고 당신을 보여줄 것입니다 적어도 당신을 보여주기 위해 그들이 어떻게 작동하는지 활주로와 처리 방법 Runway와 P5JS를 페어링하는 방법, 그리고 다른 많은 예제가있는 곳을 보여 드리겠습니다 다른 플랫폼으로 할 수있는 것들과 같은 것들

첫 번째 단계는 여기를 클릭하는 것입니다 런웨이 베타 다운로드에서 자동으로 다운로드를 시작합니다 Mac OS, Windows 또는 Linux 용 실제로 Runway를 이미 다운로드하여 설치했습니다 이 단계를 건너 뛰겠습니다 실제로는 이제 소프트웨어를 실행하십시오 아 이제 런웨이에 오신 것을 환영합니다

시작하려면 로그인하세요 승인 이미 계정이 있다면 당신은 당신의 계정으로 로그인 할 수 있습니다 이미 계정이 있습니다 하지만 저는 새로운 것을 만들려고합니다

과정을 따르십시오 그래서 나는 여기에 갈 것입니다 계정을 만드십시오 이메일 주소를 입력하겠습니다 daniel@thecodingtrain

com에게 아무에게도 말하지 마십시오 그런 다음 사용자 이름과 비밀번호를 만들겠습니다 매우 강력한 비밀번호를 입력 했으므로 다음을 클릭하겠습니다 다니엘 쉬프 먼은 코딩 기차 계정을 만드십시오

아 인증 코드를 제공합니다 daniel@thecodingtraincom으로 계정이 생성되었으며 시작을 클릭 할 수 있습니다 일단 다운로드하고 Runway를 설치하고 가입하면 계정으로 로그인 한 경우 이 화면이 나타납니다 런웨이를 오랫동안 사용했다면 그런 다음 열린 작업 공간을 클릭하여 여기에 올 수 있습니다

작업 공간은 수집 방법이기 때문에 당신이 다른 모델의 무리 특정 프로젝트에 작업 공간으로 사용하고 싶습니다 그러나 우리는 그 어떤 것도하지 않았습니다 제가 가장 먼저 할 일은 모델 찾아보기를 클릭하기 만하면됩니다 그래서 당신이 제안하는 첫 번째 일은 그냥 모델을 클릭하고 무엇을 참조하십시오 Runway 인터페이스 자체에서 게임을 할 수 있습니다 런웨이에서 정말 멋진 것 중 하나가 탐색 할 수있는 소프트웨어 및 인터페이스 모델을 실험하여 작동 방식을 이해하고 그것이 잘하는 것, 잘하지 않는 것, 시작하기 전에 무엇을 하는가 자신의 소프트웨어 나 프로젝트로 가져옵니다

저는이 스페이드 코코 모델을 고를 것입니다 전에 보았다 이것은 매우 합법적입니다 나는 그것을 클릭했을 때 어떤 일이 일어날 지 전혀 모른다 이제 여기에 더 많은 정보가 있습니다 모델에 대해

모델이 무엇을하는지 알 수 있습니까? 스케치와 낙서에서 사실적인 이미지를 생성합니다 모델에 대한 자세한 정보를 찾을 수 있습니다 예를 들어,이 모델을 설명하는 논문입니다 "공간적으로 적응하는 시맨틱 이미지 합성 COCO-Stuff 데이터 세트에 대한 정규화 " 누군가가 물었을 때 이것은 초보자를위한 튜토리얼이라는 것을 기억하십시오 글쎄, 당신이 초보자라는 점에서 초보자를위한 것입니다

여기 와서 놀 수 있습니다 하지만 논문을 찾으려면 아주 깊이 갈 수 있습니다 메모를 읽고 이해 이 모델에 대한 자세한 내용, 모델 작성 방법, 어떤 데이터를 훈련 받았는지 항상 당신이있을 때마다 물어 매우 중요한 질문 기계 학습 모델을 사용합니다 여기에 귀속이있는 것을 볼 수 있습니다 이것이 모델을 훈련시킨 조직입니다 이들은 논문의 저자입니다

크기가 만들어 졌을 때 CPU 및 GPU가 지원되는 경우 갤러리 아래로 갈 수도 있습니다 그리고 우리는 생성 된 일부 이미지 만 볼 수 있습니다 아이디어를 얻을 수 있습니다 이것은 무언가를 테마로 한 모델입니다

이미지 분할이라고합니다 여기에 이미지가 있습니다 이미지 세분화는 무엇을 의미합니까? 이 이미지는 여러 조각으로 나뉘어져 있습니다 다른 세그먼트의 이러한 세그먼트는 색상으로 표시됩니다

보라색 부분, 분홍색 부분이 있습니다 연한 녹색 세그먼트 그리고이 색상들은 모델의 레이블과 연결되어 있습니다 본질적으로, 그것은 일종의 일에 대해 알고 있습니다 그 영역에 그릴 수 있습니다

따라서 이미지 분할을 두 가지 방법으로 수행 할 수 있습니다 내 이미지처럼 기존 이미지를 가져올 수 있습니다 오, 나는 그것을 분류하려고합니다 여기가 내 머리입니다 여기가 내 손입니다

여기가 내 손입니다 또는 정렬별로 이미지를 생성 할 수 있습니다 빈 이미지에 그리기, 여기에 손을 넣어 말하는 여기 머리를 올려 이것이 바로 이미지 분할입니다 적어도 내가 이해하는 방식입니다 내가 지금까지 무엇을 했습니까? Runway를 다운로드했습니다

나는 모델을 찔렀습니다 그리고 방금 하나를 클릭했습니다 이제 그 모델을 사용하고 싶습니다 나는 그것을 가지고 놀고 싶다 나는 그것을보고 싶다

여기 작업 공간에 추가로갑니다 바로 여기에 있습니다 작업 공간에 추가하십시오 이제는 아직 작업 공간이 없습니다 그래서 하나를 만들어야합니다

이 작업 공간을 호출하겠습니다 코딩 기차 라이브 스트림을 말하겠습니다 그래서 저는 그렇게 할 것입니다 Create를 누르겠습니다 이제 작업 공간이 있습니다

보시다시피, 이것은 내 작업 공간입니다 이 작업 공간에 하나의 모델 만 추가했습니다 그리고 지금 당장해야 할 일을 강조하고 있습니다 입력 소스를 선택해야합니다 따라서 모든 기계 학습 모델이 다릅니다

그들 중 일부는 텍스트 입력을 기대합니다 그들 중 일부는 이미지 입력을 기대합니다 그들 중 일부는 입력을 기대할 수 있습니다 스프레드 시트에서 임의의 과학 데이터 그런 다음 모델은 입력을 받아 실행합니다

모델을 통해 출력합니다 그리고 그 출력은 숫자 일 수 있습니다 또는 이미지 일 수도 있습니다 또는 더 많은 텍스트 일 ​​수 있습니다 이제 우리는 사례별로 일종의 공간에 있습니다

그러나 이미지 분할을 올바르게 이해하면 나는 입력과 출력을 확신한다 둘 다 이미지가 될 것입니다 작은 다이어그램을 만들어 봅시다 우리는 이것을 가지고 있습니다 이 모델은 다시 무엇을 불렀습니까? 스페이드 코코 이 머신 러닝 모델이 있습니다

아마도 여기에는 신경망 아키텍처가 있습니다 어쩌면 컨볼 루션 레이어가있을 수도 있습니다 이것은 우리가 그 논문을 읽고 싶을 것입니다 자세한 내용을 알아보십시오 런웨이는 우리가 그것을 즉시 사용할 수있게 해줄 것입니다

그리고 나는 항상 추천합니다 사용 방법에 대해 자세히 알아 보려면 이에 대해 자세히 읽어보십시오 여기 내 가정은 내가 만들고 싶은 소프트웨어에 있습니다 소프트웨어의 그림 조각을 만들고 싶습니다 사용자가 이미지를 분할 할 수 있습니다 아마 당신은 내가 일종의 추첨을 할 것이라고 상상할 수 있습니다 한 가지 색입니다 다른 색의 마커를 사용할 수 있습니다

이 이미지를 무리로 채울 것입니다 다른 색상 그런 다음 모델에이를 공급할 것입니다 그리고 밖으로 이미지가 올 것이다 우리는 입력했습니다

그리고 우리는 출력했습니다 그리고 다시, 이것은 모든 모델마다 다를 것입니다 활주로에서 선택할 수 있습니다 그럼에도 불구하고 많은 규칙이 있습니다 많은 모델들이 이미지를 기대합니다 입력 및 출력 이미지로 그들 중 일부는 텍스트를 입력으로 기대하고 이미지를 출력합니다

또는 입력 및 출력 텍스트로 이미지 등등 그리고 등등 그리고 지금하고 싶은 것은 입력 소스를 선택하는 것입니다 모델의 활주로에서 세그먼트 화 된 이미지를 생성 할 것입니다

그래서 그것은 파일에서 올 수 있습니다 실제로 네트워크 연결에서 올 수 있습니다 앞으로의 비디오에 들어가서 또는 스스로 탐색 할 수 있습니다 난 그냥 세분화를 선택합니다 알아

이것은 가장 위대한 것입니다 방금 일어난 일은 이미지 분할입니다 머신 러닝 모델의 일반적인 기능입니다 활주로에 전체 드로잉 엔진이 내장되어 있으므로 이미지 세분화로 놀 수 있습니다 보시다시피, 이것은 다른 라벨의 색상입니다 많은 교통 수단 인 것 같습니다

어쩌면 내가 원하는 것은 시도하자 사람들을 그려 봅시다 [음악 재생] 비행기와 와인 글라스 비행 오버 헤드와 두 사람 승인 일은 잘되고 있니? 이제 출력을 선택하겠습니다 그리고 나는 단지 미리보기를 원합니다

권리? 미리보기는 지금 내 보내지 않아도됩니다 다른 곳에서는 사용할 필요가 없습니다 난 그냥 Runway 자체에서 놀고 싶습니다 미리보기를하겠습니다 이제 입력을 선택했습니다

세그먼트입니다 활주로 자체의 인터페이스 출력을 선택했습니다 미리보기입니다 이제 모델을 실행할 차례입니다

우리가 간다 원격으로 실행하십시오 따라서 원격 GPU가 활성화되었습니다 가입 만하면 볼 수 있습니다 Runway의 경우 원격 GPU 크레딧 10 달러 한 번만 얼마나 실행하는지 보는 것이 재미있을 것입니다 실제로 사용합니다

한 가지만 말씀 드리겠습니다 추가 크레딧을 받고 싶은데 여기로 갈 수 있습니다 이것은 내 프로필의 일종의 아이콘과 같습니다 클릭 할 수 있습니다 이제 여기로갑니다

더 많은 크레딧 받기로갑니다 그리고 이것은 나를 브라우저 페이지로 데려 갈 것입니다 그리고 더 많은 크레딧을 지불 할 수있었습니다 하지만 여기를 클릭하겠습니다 CODINGTRAIN을 말하여 크레딧을 사용하겠습니다

바로 여기에 따라서 10 달러의 크레딧을 추가로 받으려면 당신은 이것을 할 수 있습니다 그리고 우리는 지금 20 달러의 크레딧이 있어야한다는 것을 알 수 있습니다 여기이 아이콘이 표시되어 있습니다 여기이 아이콘은 작업 공간입니다

그 중 하나의 모델로 하나만 가지고 있습니다 원격 GPU에 연결되어 있습니다 다른 모델을보고 싶다면 이 아이콘으로갑니다 괜찮아 이제 원격 실행을 누르겠습니다

[드럼 롤] 모델을 원격으로 실행 우와! [TA-DA] 어머 아 너무 예뻐요 무아 믿을 수 없어 이것이 바로 스페이드 코코 머신 러닝입니다 모델 생성

여기서 결과를 보는 것은 정말 흥미 롭습니다 그래서 당신은 생각할 수, 아무것도 몰라 이 모델에 대해, 작동 방식과 기대하는 것, 당신은 그것으로 꽤 이상한 결과를 얻을 수 있습니다 아마도 내가 좀 더 사려 깊다면 아마도 전체 공간을 가득 채우고 아마 너무 많이 비워두고 또한 두 사람과 함께 거대한 와인 잔을 포함 시켰습니다 좀 소름 끼치 네요 비록 이런 종류의 저와 비슷하다고 생각합니다 이상한 방식으로 그리고 우리는 여기서 볼 수 있습니다

이것 좀봐 $ 005 제가 언급해야 할 것은 이유입니다 왜 오랜 시간이 걸 렸어요 서버와 실제로 시작할 모든 것 모델을 실행합니다 하지만 이제 실시간으로 실행되므로 훨씬 빨리 일어날 수 있습니다 작성해 봅시다

그렇다면 그것을 채우는 것이 좋은 것입니까? 바닥재를 사용해 봅시다 나무 바닥으로 채우도록하겠습니다 오 우와 그런 다음 과일을 넣으십시오 아 이것은 지금 훨씬 나아 보입니다 옆에 오렌지를 넣자

오렌지 몇 개를 넣고 작은 과일 그릇을 만들어 봅시다 와우 이건 미친 짓이야 와우 나는 멈춰야했다 꽤 놀랍습니다

다시 한 번, 여기 잠시 후 방법에 대해 조금 더 생각하는 이 모델은 실제로 작동합니다 그리고 잘 알려진 데이터 세트를 살펴보면 코코 이미지 데이터 세트가 아마 나에게 더 많은 정보를 줄거야 그것이 잘 될 일에 대해 생각합니다 그러나 당신은 그것이 어떻게 볼 수 있는지 볼 수 있습니다 여기 나무 배경에 과일의 작은 더미 거의 천처럼 보입니다

마치 테이블 위에 앉아있는 것처럼 말입니다 매우 현실적입니다 그리고 그렇습니다 찰리 잉글랜드는 지적합니다 이것은 GPU 크레딧을 계속 사용하고 있습니다

그래도 여전히 볼 수 있습니다 라이브 페인팅을 많이해도 방금 $ 010을 사용했습니다 무료 $ 10로 많은 것을 할 수 있습니다 그냥 놀면서

현명하게 입력하면, 여기에서 분할을 선택했습니다 그러나 파일을 사용할 수도 있습니다 컴퓨터에서 파일을 열려면 나는 그렇게 할 수 있었다 그런 다음 내보내기로 변경하면 출력 나는 또한 실제로 그것을 내보낼 수 있습니다 다양한 형식으로 하지만 물론 여기서도 바로 미리보기에서이 다운로드 저장 버튼을 클릭 할 수 있습니다

이제이 특정 이미지를 영원히 더 많이 저장하고 있습니다 파일로 자, 여기서 실제로 중요한 것은 여기서 더 중요한 것은 네트워크 아래입니다 네트워크에서 여기를 클릭하고 싶었다면 이것은 이제이 특정 기계와 통신 할 수 있다는 것을 의미합니다 내 소프트웨어에서 학습 모델 내가 다운로드했거나 구매 한 소프트웨어인지 여부 다른 사람이 말한 것을 이러한 특정 프로토콜 중 하나 또는 내가 쓰고있는 자체 소프트웨어 거의 모든 프로그래밍 언어 또는 환경 프레임 워크, 모듈 또는 라이브러리가있는 경우 또는 이러한 유형의 프로토콜을 지원하십시오 여기 JavaScript의 좋은 점 중 하나는 JavaScript를 클릭하면 실제로 여기에 약간의 코드가 있음을 알 수 있습니다

실제로 자바 스크립트에 복사 / 붙여 넣기 만하면됩니다 직접 다시 올게요 OSC는 또한 매우 인기있는 메시징 네트워크 프로토콜입니다 창조적 인 코더를 위해 Open Sound Control의 약자이며 응용 프로그램간에 데이터를 보내야합니다

별도의 동영상으로 다시 돌아오겠습니다 이 중 일부가 어떻게 작동하는지 보여줍니다 또한 귀하의 Runway 소프트웨어에 대해서도 언급해야합니다 자체는 소프트웨어와 매우 유사한 방식으로 작동합니다 익숙한 Wekinator라고합니다 Wekinator는 Rebecca Fiebrink가 만든 소프트웨어입니다 몇 년 전에 OSC 메시징을 통해 데이터가 전송되는 신경망 그리고 사실 후에 그 결과를 얻습니다 비록 여기서 중요한 차이점은 런웨이라고 생각합니다

정말 큰 보물을 지원하도록 설정되어 있습니다 사전 훈련 된 모델 Wekinator는 신경망 교육에 더 많은 반면 작은 비트의 데이터로 즉석에서 런웨이가 계획하고있는 것 중 하나는 아마 9 월에 나올 것입니다 자신의 모델을 훈련시키는 기능도 있습니다 이번 런웨이 소개를 시청 해 주셔서 감사합니다 다운로드 및 설치의 기본 사항 소프트웨어, 높은 수준의 관점에서 볼 때 인터페이스 작업의 특징, 무료 클라우드를 얻는 방법 크레딧 그리고 내가 당신에게 제안하는 것은 이 비디오가 다운로드 된 후 소프트웨어를 실행 한 후 이 모델 찾아보기 페이지로 이동하십시오

보시다시피, 다양한 모델이 있습니다 모션, 생성, 커뮤니티, 텍스트, 인식 여기를 클릭하십시오 이 인식을 시도해 봅시다 얼굴 인식 조밀 한 캡

여기 PoseNet은 어디에 있습니까? 동작이 어려울 수 있습니까? DensePose PoseNet 여기 PoseNet이라는 모델이 있습니다 한 명 이상의 사람에 대한 실시간 골격 추적을 수행합니다 이 모델을 다른 라이브러리에서 다루었습니다 TensorFlow JS가있는 ML5 JS 라이브러리와 같습니다

다음 비디오에서하려고하는 것은 내 웹캠으로 Runway에서이 모델 PoseNet을 사용하고 있습니까? 이 컴퓨터에서 로컬로 실행 클라우드 크레딧을 요구하지 않고 이 모델의 결과를 [? 처리?] 자체 전체 워크 플로우를 보여 드리겠습니다 그러나 찌르십시오 주위를 클릭하십시오 원하는 모델을 찾으십시오

의견에 대해 알려주십시오 당신이 만든 이미지를 공유하십시오 그리고 난 당신이 활주로로 무엇을보고 기대합니다 큰 시청 해 주셔서 감사합니다

[음악 재생]