گفتگوی آزاد در مورد اعلام نتایج (شمارش معکوس)

[shebrahimi]

من با توجه به پایان نامه کارشناسی ارشدم روی agile development بیشتر کار کردم
پایتون هم یک پروژه کار کردم

data mining هم پروژه کارشناسی ام بوده.

دقیقا مشکلتون چی هست ؟

من رشته ام کامپیوتر نیست و میخوام از یادگیری ماشین برای دسته بندی شرکت ها به ورشکسته و غیرورشکسته استفاده کنم اما مشکل اینجاست که داده ام کوچک و به شدت هم unbalanced هست. حدود 1200 شرکت غیرورشکسته و 50 شرکت ورشکسته دارم. برای همین الگوریتم ها معمولا همه شرکت ها را به عنوان غیرورشکسته طبقه بندی می کنند و در عین حال خطا هم کم هست. از تکنیک های متعددی هم جهت حل مشکل نامتوازن بودن استفاده کردم مثل weighting - threshold tuning-oversampling (ADASYN) و blagging.
اما نتیجه زیاد جالب نبود. در واقع طبق قانون تجارت اگر نسبت سود انباشته به سرمایه شرکت کمتر از 0.5- شود، شرکت ورشکسته محسوب می شود. برای اینکه مساله از نامتوازن بودن خارج شود، نسبت سود انباشته به سرمایه رو به عنوان تارگت در نظر گرفتم تا مساله تبدیل به رگرسیون شود و بعد خروجی پیش بینی شده رگرسیون رو دادم به یک کلاسیفایر. نتیجه تا حدی بهتر شده است اما باز هم خوب نیست.
Accuracy: 0.944567627494
AUC: 0.846024464832
F1 Measure: 0.489795918367
Cohen Kappa: 0.465107452915
Precision: 0.352941176471
recall: 0.8
Confusion Matrix: [[414  22]
                         [  3  12]]
f measure-kappa , precision خوب نیست چون 22 غیرورشکسته رو هم به عنوان ورشکسته شناسایی می کند. برای همین فکر کنم اگر از بین inputs یا ویژگی ها مهم ترین ویژگی ها رو انتخاب کنم شاید نتیجه بهبود پیدا کنه اما چون از pipeline استفاده می کنم نمی دونم که چطور feature importance . برای رگرسیون از xgboost استفاده می کنم.
چون به هم ریخته میشه، بقیه اش رو کامل انگلیسی می نویسم.
با تشکر فراوان

خوب اینجا جاش نیست
ای دی تلگرامتون را برام پیام خصوصی کنید تا اونجا توضیح بذم

با سلام
ببخشید آی دی تلگرام و ایمیل رو براتون ارسال کردم اما لطف میکنید به ایمیل جواب بدهید چون دسترسی بیشتری به آن دارم.