[코틀린] 고도엔진에서 카메라 플러그인 쓸 수 있도록 코드 수정중..실패

 일단 그 전에 만들어둔

고도용 안드로이드 플러그인에

카메라 x기능을 추가해주어야한다.

가물가물해지기 전에 해놓아야겠다.


카메라 x 종속성 부여

def camerax_version = "1.4.1"
implementation "androidx.camera:camera-core:${camerax_version}"
implementation "androidx.camera:camera-camera2:${camerax_version}"
implementation "androidx.camera:camera-lifecycle:${camerax_version}"
implementation "androidx.camera:camera-video:${camerax_version}"
implementation 'androidx.constraintlayout:constraintlayout:2.1.4'
implementation "androidx.camera:camera-view:${camerax_version}"
implementation "androidx.camera:camera-extensions:${camerax_version}"

안드로이드 매니페스트에 권한 작성



음 보니까 안드로이드 스튜디오의

액티비티 클래스에 저런 권한 함수가 있어서 그대로

오버라이드해서 사용하는데

이걸 고도엔진에서는 액티비티 클래스가 없으니까 만들어줘야하는 것 같다.

보니까 고도 액티비티가 있는데 이게 대응되는 것?같은데

https://github.com/godotengine/godot/blob/master/platform/android/java/lib/src/org/godotengine/godot/GodotActivity.kt



아 이미 구현되어있네 이거 가져다 쓰면되겠다.라고 생각했는데

이건 목적이 다르넹

나는 안드로이드 네이티브 라이브러리 기능을 고도엔진에서 사용할 수 있게 플러그인으로 만드는 것이고

저거는 게임엔진으로 만든 게임을 안드로이드 네이티브 환경에서 보여준다라고 생각

아예 다르다 안드로이드 스튜디오로 빌드하는거니까...

난 지금 고도엔진으로 빌드할건데

근데어느쪽이든 가능하긴한데

굳이 고도로 만든 겜을 네이티브 안드로이드로 빌드하기 위해 저걸 써서한다? 왜지?

성능이나 마켓준수가 쉽다는데...흠

근데 그럼 고도엔진 프로젝트를 안드로이드 스튜디오에 맞게 또 찾아보고 해야하는데...

이건 좀..근데 코드자체는 codelab그대로 옮기면되니까 이건 편한데...


아 일다 나는

플러그인->고도엔진->빌드를 택해서 진행하기로..

다른방법도 있다는건 알겠다.


아 결국 GodotPlugin라이브러리에 다 이미 구현되어있다.


이거 구조도 비슷해서 앞에 Main붙어있는데 그대로 옮기고 고쳐줬다.


나머지도 해봄


음 빌드도됨..

함수를 불러올려면 위에 use고도해야하나?;

꼭있어야하넹.



오류나서 앱중지가 되고 있었는데 원인을 찾았다.

/*   val imageAnalyzer = ImageAnalysis.Builder()
       .build()
       .also {
           it.setAnalyzer(cameraExecutor, ImageAnalysis.Analyzer { image ->
               val buffer = image.planes[0].buffer
               val data = ByteArray(buffer.remaining())
               buffer.get(data)
               latestFrame = data
               image.close()
           })
       }*/

이 실시간 정보 얻는 부분이 뭔가 잘못된 것 같다. 

이부분은 ai가 짜준건데 -ㅅ-;;

저걸 주석하니까 내가원하는 버튼 눌렀을 때 권한요구하는 ui가 등장한당.



아 이게 되어야 뭘하는데 매개변수로 넣으면 앱중지되고 어떤 오류인지 파악도 안된다. ㅠㅠ


혹시 버전차이 때문인가 싶어서 버전을 바꿔보려고한당!!

고도엔진 4.3.0인데

4.2.2 고도엔진에 맞는버전으로 다운그레이드 진행

4.2.2로 다운그레이드 했는데도 똑같다.  

고도문서를 찾아봐야겠다. 왜 호환이 안되지

camerax를못쓰나?;


일단 

고도 안드로이드 플러그인 카메라도 뜯어봤는데..

이거 비윤리적인 짓같은데 -ㅅ-;;

어쨌든

자바 디컴파일러라는 프로그램으로 봤는데 이 분은 

기본 카메라로 한 것 같다 라이브러리 같은 걸 안쓰고..



그래서 

안드로이드 개발자 문서를 다시보러감.

인텐트라는게 있넹... 라이브러리 통합안해도된다고? ㅇㅎ


아니야 좀더 봅시다..



원인을 알게됐는데...

안드로이드 스튜디오로 오류를 파악할 수 있었다.


저 라이프사이클 클래스가 발견되지 않는다는데 -ㅅ-??

https://docs.gradle.org/current/userguide/custom_plugins.html#sec:packaging_a_plugin

플러그인 관련 문서가 있다.

aar파일을 열고 

아래 명령어를 git bash로 치니

jdeps classes.jar

classes.jar에 포함된 종속성 클래스들을

볼 수 있는데

not found가 뜨고 있었다.

아..

플러그인은 종속성이 포함이 안된것;; 쉣;;


다른 분 플러그인도 까서봐야겠다.

엥? 여기도안나오는데 -ㅅ-;;
아 이거 잘못된 방법임 ;;


아 삽질 괜히함..
가이드 코드 보니까 설명이있었따 -ㅅ-;;
보면 그 종속성을 고도엔진쪽에서 선언을 해야되는거였음;; 에효...


이 부분이 있었는데 ㅠㅠ

와 드디어 고도용 플러그인 종속성을 읽는 것 까지 알게됐넹.
함수가 없다가 생겼음..
나는 aar이면 종속성이 포함안된줄알았는데
고도엔진에서 읽지 못하는거였구낭.

이미지 텍스쳐를 직접 빨간색으로 만들어서 화면에 뿌리는것까지 해봄.

일단 진행한 정보 끝에 도달한 것은
카메라 실시간 스트립정보를
고도엔진에서 계속 전달받아서 출력하는것은 성능이 너무 구림.
앱이 계쏙켜놓으면 얼마 후 꺼짐.
그리고 
카메라x의 스트림 버퍼가 yuv형태인 것 같은데 이걸
rgb로 바꾼 뒤 바이트형태로 가져와서 숫자까지 확인했는데
이게 고도엔진 packedArray에 넣으면 변환이 안되는 것 같음.

이렇게 이미지텍스쳐에 넣을 수 있게 image를 만들어야하는데 안만들어짐
사이즈 크기가 다르다고 나오는데..
아니 원래 사이즈 전달받아서 하는건데 왜 다르지 ;;


private fun yuv420ToRgb(image: ImageProxy): ByteArray {
    val planes = image.planes
    val yBuffer = planes[0].buffer
    val uBuffer = planes[1].buffer
    val vBuffer = planes[2].buffer

    val ySize = yBuffer.remaining()
    val uSize = uBuffer.remaining()
    val vSize = vBuffer.remaining()

    val width = image.width
    val height = image.height

    val rgbBytes = ByteArray(width * height * 3)

    val yStride = planes[0].rowStride
    val uStride = planes[1].rowStride
    val vStride = planes[2].rowStride

    var rgbIndex = 0
    for (y in 0 until height) {
        for (x in 0 until width) {
            val yIndex = y * yStride + x
            val uvIndex = (y / 2) * uStride + (x / 2)

            val Y = yBuffer.get(yIndex).toInt() and 0xff
            val U = uBuffer.get(uvIndex).toInt() and 0xff
            val V = vBuffer.get(uvIndex).toInt() and 0xff

            // YUV to RGB conversion
            val R = Y + 1.402 * (V - 128)
            val G = Y - 0.344 * (U - 128) - 0.714 * (V - 128)
            val B = Y + 1.772 * (U - 128)

            rgbBytes[rgbIndex++] = R.coerceIn(0.0, 255.0).toInt().toByte()
            rgbBytes[rgbIndex++] = G.coerceIn(0.0, 255.0).toInt().toByte()
            rgbBytes[rgbIndex++] = B.coerceIn(0.0, 255.0).toInt().toByte()
        }
    }

    return rgbBytes
}


yv420 변환 코드 ai가 짜줌.



아 혹시 몰라 카메라x 문서를 가봤다.

근데 함수가 있었다 -ㅅ-;;

포맷을 지정해서 보낼 수가 있었던 것...
보내니까
내가 생각한대로 고도엔진 렌더링으로 카메라 스트림버퍼가 그려지고 있?음..

근데 2초 후  꺼짐
그리고 먹통됨 ㅋㅋ


메시지는..


ai한테 물어보니
과부하가 걸린 것 같당...
아무래도 거의 update 실시간급으로 고도엔진 c++언어도아니고 
느리긴 할거다..
근데 이걸 좀 속도 줄여서 사용하면 괜찮을라나?

일단 쉬고 속도한번 줄여서 진행해봐야겠다.


음... 30프레임으로 바꾸니까
val imageAnalyzer = ImageAnalysis.Builder()
    .setOutputImageFormat(ImageAnalysis.OUTPUT_IMAGE_FORMAT_RGBA_8888)
    .setBackpressureStrategy(ImageAnalysis.STRATEGY_KEEP_ONLY_LATEST)
    .build()
    .also {
        it.setAnalyzer(cameraExecutor, object : ImageAnalysis.Analyzer {
            private var lastEmitTime = 0L
            private val EMIT_INTERVAL = 300 // 밀리초 단위

            override fun analyze(image: ImageProxy) {
                val currentTime = System.currentTimeMillis()
                if (currentTime - lastEmitTime >= EMIT_INTERVAL) {
                    val width = image.width
                    val height = image.height
                    val buffer = image.planes[0].buffer
                    val data = ByteArray(buffer.remaining())
                    buffer.get(data)
                    emitSignal("updateData", data, width, height)
                    lastEmitTime = currentTime
                }
                image.close()
            }
        })
    }
카메라가 끊기면서 결국 한 20초?쯤에 또 먹통되는데...
https://youtu.be/J4fD2DpdZFY


아..


렌더링쪽 설정으로 메모리 공간 크기랑 그런것들을 늘려주니까 꽤 오래간다
5분 넘게 유지되는데
결국 꺼진다.
똑같은 오류다. 이오류만 해결하면 좋겠는데..

그리고 실시간 스트림정보를 가져왔는데 카메라 화면이 회전되어있다.

이것도 처리를 해주어야함;;
원래 카메라가 정방향 설치가 아니라 회전된 상태로 설치된단다...;;
이것도 처음 알았다.;;


근데 결국 용량늘려도 결국 꺼진다는건 뭔가 잘못된건데 ㅠㅠ
파이프라인이나 vulkan쪽 지식이 거의 없어서 ..허허..어떻게 해야할지 난감하다.

ㅠㅠ
아하..원인이..
렌더링 쪽인줄 알았는데..
이건 문제없고
애초에 analyzer로 고도엔진에 시그널로 정보를 계속보내는 부분이 문제인 것 같다. 
이부분을 안받아도 꺼지고 받아도 꺼진다 -ㅅ-;;
하..
너무 어려운걸 도전했당 ㅋㅋ
그냥 고도엔진을 임베드하고 안드로이드 스튜디오로 빌드하는게 나을 것 같다..

댓글

댓글 쓰기

이 블로그의 인기 게시물

[코틀린] 고도엔진 안드로이드 플러그인 최종정리

이미지
 자바가아닌 코틀린으로 다시 만드는 이유.. 안드로이드 카메라  x 라이브러리가 코틀린 가이드만 있음 -ㅅ-;; 안드로이드 스튜디오에 코틀린을 자바로 변환해주는 기능이 있다.  반대의 경우는 안됨 ㄷ;;(동생이 키오스크앱 개발자라 알려줌 ) ㄷㄷ 난 안드로이드 스튜디오를 많이 안다뤄봐서 몰랐... 일단 간단하게 진행 새로 만들어보장. 일단 코틀린으로 먼저 진행했는데 잘안됐다. 일단 수많은 시행착오와 밤샘을 겪고  이 블로그에도 길게 과정을 겪으면 첫 빌드 후 기능 호출까지 다뤄봤는데 안드로이드 스튜디오 툴에 익숙하지 않아서 잘모르던 주의사항을 끝 부분에 언급하려고한다. 만약 오류가 나거나 뭔가 빌드가 안되는 문제 고도엔진으로 만든 apk파일로 설치 실행 후 플러그인 기능이 호출안되거나 만든 자바클래스가 확인이 안되는 경우 등등은 끝부분에서 확인하면됨!!  안드로이드 스튜디오로 플러그인제작 고도엔진에서 제공하는 jar 파일을 종속성 부여  고도엔진에서 제공하는 라이브러리로 클래스를 만듦. 안드로이드api기능을 이것저것 작성해서 고도엔진에서 쓸 수 있음. 써놓고보니 길어서 정리가 안되는뎅 결국 고도엔진에서 사용할 모바일만의 api기능 들을 안드로이드 스튜디오로 만든다고 보면됨. 간단하게 진행하고 완료된 것까지 확인해보겠음!! 일단 안드로이드 스튜디오를 키고 새로운 프로젝트를 생성 새로운 프로젝트의 노액티비티로 만듦 언어  코틀린으로 ㄱㄱ 코틀린을 선택하면 자바 코틀린 둘다 가능 밑에 groovy선택 코틀린도 가능하당 난 일단 했던거 됐던걸로 진행 이름은 GodotPlugin으로 해서 만들었다. 빌드 언어를 코틀린으로하니까 난 안됐다 ㅠㅠ 빌드언어 코틀린도 가능한데 버전이 안맞았을 수 있다. 빌드할 때 오류 살펴보면됨. 버전은 고도4.2 최소인 24로 해줬다. 세팅까지 좀 기다렸다가.. 좀 시간이 걸린다.. 끝나면 이제 코끼리가 보인다 ㅋㅋ app과 밑에 gradle 스크립트가 나오는뎅. 일단 진행을 어떻...
자세한 내용 보기

godot용 android plugin 제작

이미지
최종 정리한 링크 가서 보시면됨 밑에 글들은 안드로이드 스튜디오를 많이 안다뤄봐서 삽질이 진행되는 과정이라 정리가 들됨 ㅠㅠ https://godotbeginner.blogspot.com/2025/01/blog-post_21.html 이미 시간이 흐른 뒤 왜 안되는지 앎 고도엔진 빌드환경이 중요함 보통 호환성 모드로 사용하는데  이러면 안드로이드 api를 사용할 수 없게 된다. 모바일로 바꿔서 진행해야한다. 이걸 해야한다고 꼭 나와있지않아서 엄청 헤맸다.  aar파일을 zip파일로 변경해서 내가만든 클래스를 확인하기 위해 classes.jar파일도 다시 압축풀고;; 중요사항이니 참고꼭하시길!!  일단 쫙 정리해보자. 일단 고도엔진에서 모바일 플랫폼  안드로이드에 있는 특정기능 카메라나 기타 등등 관련해서 지원하는 라이브러리가 없다. 물론 카메라서버라는게 생겼는데 이건 mac,ios만 지원함 ㅠ   그래서 휴대폰의 카메라캡쳐기능같은걸 사용하고 싶다면 플러그인을 만들던가 남이 만든걸 써야한다. 근데 나는 항상 써오기만 했다. 직접 만들어봐야 어떤 시스템으로 돌아가는지 정도는 알 수 있으니까 직접 만들어보는 것. 고도문서에 정리가 사실 잘되어있다.   아예 템플릿도 지원한다. 이것도 가이드가 잘되어있어서 내가 하는것처럼 안드로이드 스튜디오로 직접 만들필요도 없을거다 -ㅅ-; 하지만 난 답답한 것은 못참는다. 일단 직접 만들어봐야 나중에 다른분들 것도 잘쓸 수 있다고 생각 ㄱㄱ 일단 영상으로 가이드되어있는 것과 문서 가이드가 있는데 난 문서쪽이 더 잘되어있다고 판단. 문서 가이드대로 진행 일단 문서에 지침대로 라이브러리를 만들라는데 https://developer.android.com/studio/projects/android-library?hl=ko 홈페이지에 가이드가 잘되어있다. 중요한사실은 종속성 추가같은 것들은 app쪽에서 처리가되어야한다. 내가 이부분 꼬여가지고 설치 빌드가 안됐었다. ㅠ 일단 새로...
자세한 내용 보기

고도엔진을 안드로이드애플리케이션에 임베드하는거 공부하기

이미지
이제 방법이 없다. emitsignal쪽이 초당 30프레임속도로 보내든 10프레임속도로 보내든 데이터를 받지 않아도 앱중지가 일어난다;; 이 함수가 정확히 어떤문제가 있어서 그런지 파악이 안된다. 고도포럼에 도움요청해도 답이 없고... 보니까 안드로이드 ai플러그인도 많고 빌드는 안드로이드 스튜디오로 하고 게임만 고도엔진으로 만들어야할 것 같다. 일단 내가 사용할 고도엔진을 안드로이드에 임베드하는 방식을 고도문서에 나와있는 예제로 파악해야할 것 같다. 이 예제인데 사용안해봤다. 일단 저 앱을 사용하기전에 고도엔진 프로젝트도 있을텐데 열어보고 그 프로젝트가 모바일 애플리케이션에서 어떻게 임베드되는지  코드로 파악하고 아무튼 직접 테스트해봐야한다. 와 굉장히 불친절하다;; https://github.com/m4gr3d/Godot-Android-Samples/tree/master 일단 유튜브로 찾아보자 누군가 튜토리얼을 만들지 않았을까.. https://youtu.be/rn7iB4XQDmQ?list=PLQhQEGkwKZUqHh22dkbH4RslttR0kXrDa 일단 있구만... 봐도 잘모르겠넹;; 일단 예제 프로젝트를 깃허브에서 다운받아서 진행 아니 근데 리드미에 그냥 폰에 설치하는 명령어만 나오고 -ㅅ-뭘 따라하란거야;; 깃허브 파일 다운받으면 이런구조가 아니다  이런 구조로 맞춰줘야 안드로이드 스튜디오에서 올바르게 사용가능한 것 같다 -ㅅ-; 근데왜 그렇게  되어있는거징;; 버전오류가 나길래 버전을 맞춰줬다. distributionUrl = https \: //services.gradle.org/distributions/gradle-8.9-all.zip 깃허브가 거의 4개월인가 6개월전에 올라온거라 버전이 완전 좀 옛날이다. 7.5버전인데 나는 저걸 8.9로 해서 진행했다. 그리고 빌드하기전에 키스토어 작성해주고 서명키없으면 안드로이드는 설치안됨! 터미널에서 명령어 쳐줌. 빌드완료 확인. 폰에 설치했다. 짜잔 고기가나오넹 ㅋㅋ 아까 그뭐...
자세한 내용 보기