گفتگوی آزاد در مورد اعلام نتایج (شمارش معکوس)

[shebrahimi]

با سلام
ببخشید شما یا آشنایانتان در حوزه دیتا ساینس کار کردید؟ به طور خاص تر رگرسیون و دسته بندی نامتوازن و به ویژه با پایتون کار کردید؟
با تشکر فراوان

من با توجه به پایان نامه کارشناسی ارشدم روی agile development بیشتر کار کردم
پایتون هم یک پروژه کار کردم

data mining هم پروژه کارشناسی ام بوده.

دقیقا مشکلتون چی هست ؟

من رشته ام کامپیوتر نیست و میخوام از یادگیری ماشین برای دسته بندی شرکت ها به ورشکسته و غیرورشکسته استفاده کنم اما مشکل اینجاست که داده ام کوچک و به شدت هم unbalanced هست. حدود 1200 شرکت غیرورشکسته و 50 شرکت ورشکسته دارم. برای همین الگوریتم ها معمولا همه شرکت ها را به عنوان غیرورشکسته طبقه بندی می کنند و در عین حال خطا هم کم هست. از تکنیک های متعددی هم جهت حل مشکل نامتوازن بودن استفاده کردم مثل weighting - threshold tuning-oversampling (ADASYN) و blagging.
اما نتیجه زیاد جالب نبود. در واقع طبق قانون تجارت اگر نسبت سود انباشته به سرمایه شرکت کمتر از 0.5- شود، شرکت ورشکسته محسوب می شود. برای اینکه مساله از نامتوازن بودن خارج شود، نسبت سود انباشته به سرمایه رو به عنوان تارگت در نظر گرفتم تا مساله تبدیل به رگرسیون شود و بعد خروجی پیش بینی شده رگرسیون رو دادم به یک کلاسیفایر. نتیجه تا حدی بهتر شده است اما باز هم خوب نیست.
Accuracy: 0.944567627494
AUC: 0.846024464832
F1 Measure: 0.489795918367
Cohen Kappa: 0.465107452915
Precision: 0.352941176471
recall: 0.8
Confusion Matrix: [[414  22]
                         [  3  12]]
f measure-kappa , precision خوب نیست چون 22 غیرورشکسته رو هم به عنوان ورشکسته شناسایی می کند. برای همین فکر کنم اگر از بین inputs یا ویژگی ها مهم ترین ویژگی ها رو انتخاب کنم شاید نتیجه بهبود پیدا کنه اما چون از pipeline استفاده می کنم نمی دونم که چطور feature importance . برای رگرسیون از xgboost استفاده می کنم.
چون به هم ریخته میشه، بقیه اش رو کامل انگلیسی می نویسم.
با تشکر فراوان

I would appreciate if you could let me know how to determine feature importance for XGBoostregressor while using pipeline.
In fact, I tried "fit.feature_importances_" but this error is reported:

AttributeError: 'Pipeline' object has no attribute 'feature_importances_'

The same is true about plot_importance (fit):

raise ValueError('tree must be Booster, XGBModel or dict instance')
ValueError: tree must be Booster, XGBModel or dict instance

The answer provided to the following post is similar to what I mean but unfortunately I couldn't get the idea.

http://datascience.stackexchange.com/que...ikit-learn

Really, I want to do something like this (Part: Feature Selection with XGBoost Feature Importance Scores) in order to see if my model improves or not.

Besides, I have been suggested that If I build a good regression algorithm, then I predict values and predict bankruptcy when the value is below some threshold, which I tune on a hold out set to find a right balance between precision and recall. However, I couldn't understand what to do?